ML Lineage: ML-Datenfluss verfolgen¶

Einschränkungen¶

• Tabellen und Ansichten, die aus Modellvorhersagen erstellt werden, erfassen derzeit nicht die Abstammungsbeziehung zurück zum Modell.

• Herkunftsinformationen werden derzeit nicht repliziert.

Snowflake beabsichtigt, diese Beschränkungen in zukünftigen Versionen von ML Lineage zu beheben.

Erforderliche Berechtigungen¶

Benutzer benötigen die Berechtigung VIEW LINEAGE, um die Herkunft von Python-APIs zu ermitteln. Diese Berechtigung wird automatisch an die Rolle ACCOUNTADMIN vergeben, die sie dann an andere Rollen auf Kontoebene vergeben kann. Beispiel:

USE ROLE ACCOUNTADMIN;
GRANT VIEW LINEAGE ON ACCOUNT TO ROLE test_role;

ML Lineage erstellen¶

Im Allgemeinen zeichnet Snowflake Informationen zur Herkunft auf, wenn Objekte erstellt werden. Die Herkunft von Modellen wird erfasst, wenn das Modell in der Model Registry eingetragen wird. Das Trainieren eines Modells mit Snowpark ML erzeugt automatisch Herkunftsdatensätze, wenn das Modell mit einem Snowpark-DataFrame trainiert wird.

Andere Szenarios, wie z. B. die unten aufgeführten, können mit ein wenig zusätzlichem Aufwand ebenfalls Herkunftsnachweise erzeugen.

• Trainieren eines Modells mit Snowpark MLfrom einer anderen Art von Datenquelle (z. B. pandas-DataFrame).

• Trainieren eines Modells, ohne Snowpark ML oder einen Snowpark-DataFrame zu verwenden.

• Trainieren eines Modells außerhalb von Snowflake.

In diesen Szenarien können Sie immer noch das Quelldatenobjekt und das trainierte Modell miteinander verbinden, indem Sie ein Snowpark-DataFrame, das durch das Quelldatenobjekt unterstützt wird, als sample_data an die log_model-Methode der Model Registry übergeben, wie unten gezeigt.

registry.log_model(...,
          sample_input_data=df_backed_by_source_table)

Abfragen von ML Lineage¶

Sie können die Herkunft von ML-Artefakten auf mehrere Arten abfragen.

Snowsight-UI¶

Die Landing Page eines jeden Artefakts hat eine Registerkarte Lineage. In der Standardansicht werden Objekte angezeigt, die einen Schritt vor- oder nachgelagert zum ausgewählten Objekt sind. Für eine detailliertere Ermittlung der Herkunft innerhalb der Snowsight-UI, siehe Data Lineage in Snowsight.

Nachfolgend sehen Sie ein Beispiel für die Snowsight-Ansicht der Herkunftsdaten.

Snowpark ML Lineage-API¶

Die Methode lineage, die für die Objekte FeatureView, ModelVersion und Dataset verfügbar ist, ruft die Ablaufverfolgung für das aktuelle Objekt ab, sodass Sie die Ablaufverfolgung von Datenobjekten verfolgen können, die aus dem Snowflake Feature Store oder der Model Registry abgerufen wurden.

Für alle unterstützten Objekte akzeptiert die Methode lineage die folgenden Argumente:

• direction entweder UPSTREAM oder DOWNSTREAM. DOWNSTREAM ist die Standardeinstellung.

• domain_filter, eine Liste der Zielobjekttypen, für die die Herkunft abgerufen werden soll. Die Standardeinstellung ist, dass alle Herkunftsbeziehungen zurückgegeben werden. Die verfügbaren Domänen sind "feature_view", "dataset", "model", "table" und "view".

Die Methode gibt eine Liste der verbundenen Herkunftsknoten zurück. Diese Knoten können Instanzen von Dataset, FeatureView oder ModelVersion sein, wenn Sie diese Klassen in Ihre Python-Sitzung importiert haben. Andernfalls wird jeder Knoten durch eine generische LineageNode-Instanz dargestellt.