ML リネージトレース： ML データフロー¶

制限事項¶

• モデル予測から作成されたテーブルや表示では、現在のところ、モデルに遡るリネージ関係は把握できません。

• リネージ情報は現時点では複製されていません。

Snowflakeは、 ML リネージの今後のリリースでこれらの制限に対処する予定です。

必要な権限¶

Python APIs からの系譜を調べるには、ユーザーには VIEW LINEAGE 権限が必要です。この権限は自動的に ACCOUNTADMIN ロールに付与され、 ロールはこの権限をアカウントレベルで他のロールに付与することができます。例:

USE ROLE ACCOUNTADMIN;
GRANT VIEW LINEAGE ON ACCOUNT TO ROLE test_role;

ML リネージの作成¶

通常、Snowflakeはオブジェクトが作成されたときにリネージ情報を記録します。モデルのリネージは、モデルがモデルレジストリにログ記録されるときに取得されます。Snowpark ML を使用してモデルをトレーニングすると、Snowpark DataFrame からモデルをトレーニングした場合、リネージ記録が自動的に生成されます。

以下にリストされているような他のシナリオでも、少し手間をかければリネージ記録を作成することができます。

• Snowpark MLfrom を使用したモデルのトレーニングは、他の種類のデータソース（pandas DataFrame など）を使用します。

• Snowpark ML または Snowpark DataFrame を使用せずにモデルをトレーニングします。

• Snowflake以外のモデルをトレーニングします。

このようなシナリオでも、以下のようにソースデータオブジェクトにバックされた Snowpark DataFrame をモデルレジストリの log_model メソッドに sample_data として渡すことで、ソースデータオブジェクトと学習済みモデルを関連付けることができます。

registry.log_model(...,
          sample_input_data=df_backed_by_source_table)

ML リネージのクエリ¶

ML アーティファクトのリネージは、いくつかの方法でクエリできます。

Snowsight UI¶

すべてのアーティファクトのランディングページには、 Lineage タブがあります。デフォルトの表示では、選択したオブジェクトから一歩離れた上流および下流のオブジェクトが表示されます。Snowsight UI 内のリネージの詳細については、 Snowsight のデータ系統 をご参照ください。

Snowsightによる血統データの表示サンプルを以下に示します。

Snowpark ML リネージ API¶

FeatureView、 ModelVersion、 Dataset オブジェクトで可用性メソッド lineage は、現在のオブジェクトのリネージリレーションを取得します。これにより、Snowflake Feature StoreやModel Registryから取得したデータオブジェクトのリネージをトレースすることができます。

サポートされているすべてのオブジェクトについて、 lineage メソッドは以下の引数を受け付けます。

• direction、 UPSTREAM または DOWNSTREAM、 DOWNSTREAM がデフォルトです。

• domain_filter、 リネージを取得するターゲットオブジェクトタイプのリスト。デフォルトでは、すべてのリネージ関係を返します。可用性ドメインは "feature_view", "dataset", "model", "table", "view" です。

このメソッドは、接続されたリネージノードのリストを返します。これらのクラスが Python セッションにインポートされている場合、これらのノードは Dataset、 FeatureView、または ModelVersion のインスタンスになります。それ以外の場合、各ノードは一般的な LineageNode インスタンスで表されます。