ML Lineage: ML 데이터 흐름 추적¶

제한 사항¶

• 모델 예측에서 생성된 테이블 및 뷰는 현재 모델에 대한 계보 관계를 다시 캡처하지 않습니다.

• 현재 계보 정보는 복제되지 않습니다.

Snowflake는 향후 릴리스(ML Lineage)에서 이러한 제한 사항을 해결하고자 합니다.

필수 권한¶

사용자는 Python API에서 계보를 탐색하려면 VIEW LINEAGE 권한이 필요합니다. 이 권한은 ACCOUNTADMIN 역할에 자동으로 부여되며, 이 역할은 계정 수준에서 다른 역할에 권한을 부여할 수 있습니다. 예:

USE ROLE ACCOUNTADMIN;
GRANT VIEW LINEAGE ON ACCOUNT TO ROLE test_role;

ML Lineage 만들기¶

일반적으로 Snowflake는 오브젝트가 생성될 때 계보 정보를 기록합니다. 모델에 대한 계보는 모델이 Model Registry에 로그될 때 캡처됩니다. Snowpark ML 을 사용하여 모델을 학습하면 모델이 Snowpark DataFrame 에서 학습된 경우 계보 기록이 자동으로 생성됩니다.

아래 목록과 같은 다른 시나리오에서도 약간의 추가 노력으로 계보 기록을 생성할 수 있습니다.

• Snowpark MLfrom 나 다른 종류의 데이터 원본(예: pandas DataFrame)을 사용하여 모델을 학습시키기.

• Snowpark ML 또는 Snowpark DataFrame 을 사용하지 않고 모델 학습시키기.

• Snowflake 외부에서 모델 학습시키기.

이러한 시나리오에서도 아래와 같이 원본 데이터 오브젝트를 sample_data 로 뒷받침하는 Snowpark DataFrame 을 Model Registry의 log_model 메서드에 전달하여 원본 데이터 오브젝트와 학습된 모델을 연결할 수 있습니다.

registry.log_model(...,
          sample_input_data=df_backed_by_source_table)

ML Lineage 쿼리하기¶

ML 아티팩트의 계보를 여러 가지 방법으로 쿼리할 수 있습니다.

Snowsight UI¶

모든 아티팩트의 랜딩 페이지에는 Lineage 탭이 있습니다. 기본 뷰는 선택한 오브젝트에서 한 단계 떨어진 업스트림 및 다운스트림 오브젝트를 표시합니다. Snowsight UI 내의 계보에 대한 자세한 내용은 Snowsight 의 데이터 계보 섹션을 참조하십시오.

계보 데이터의 Snowsight 뷰 샘플은 아래와 같습니다.

Snowpark ML lineage API¶

FeatureView, ModelVersion 및 Dataset 오브젝트에서 사용 가능한 lineage 메서드는 현재 오브젝트의 계보 관계를 검색하므로 Snowflake Feature Store 또는 Model Registry에서 검색된 데이터 오브젝트의 계보를 추적할 수 있습니다.

지원되는 모든 오브젝트에 대해 lineage 메서드는 다음 인자를 사용할 수 있습니다.

• direction 으로, UPSTREAM 또는 DOWNSTREAM 입니다. DOWNSTREAM 이 기본값입니다.

• domain_filter 는 계보를 검색할 대상 오브젝트 유형의 목록입니다. 기본값은 모든 계보 관계를 반환하는 것입니다. 사용 가능한 도메인은 "feature_view", "dataset", "model", "table", "view" 입니다.

이 메서드는 연결된 계보 노드 목록을 반환합니다. 이러한 클래스를 Python 세션으로 가져온 경우 이러한 노드는 Dataset, FeatureView 또는 ModelVersion 의 인스턴스일 수 있습니다. 그렇지 않으면 각 노드는 일반 LineageNode 인스턴스로 표시됩니다.