ML Lineage: rastrear o fluxo de dados do ML¶

Limitações¶

• Atualmente, as tabelas e exibições criadas a partir de previsões de modelos não capturam a relação de linhagem com o modelo.

• As informações de linhagem não são replicadas no momento.

A Snowflake pretende abordar essas limitações em versões futuras do ML Lineage.

Privilégios obrigatórios¶

Os usuários precisam ter o privilégio VIEW LINEAGE para explorar a linhagem de Python APIs. Esse privilégio é concedido automaticamente à função ACCOUNTADMIN, que pode então concedê-lo a outras funções no nível da conta. Por exemplo:

USE ROLE ACCOUNTADMIN;
GRANT VIEW LINEAGE ON ACCOUNT TO ROLE test_role;

Criação do ML Lineage¶

Em geral, o Snowflake registra informações de linhagem quando os objetos são criados. A linhagem dos modelos é capturada quando o modelo é registrado no Model Registry. O treinamento de um modelo usando o Snowpark ML gera automaticamente registros de linhagem se o modelo for treinado a partir de um Snowpark DataFrame.

Outros cenários, como os listados abaixo, também podem gerar registros de linhagem com um pouco mais de esforço.

• Treinar um modelo usando o Snowpark MLfrom de algum outro tipo de fonte de dados (como um pandas DataFrame).

• Treinar um modelo sem usar o Snowpark ML ou um Snowpark DataFrame.

• Treinar um modelo fora do Snowflake.

Nesses cenários, você ainda pode associar o objeto de dados de origem e o modelo treinado passando um Snowpark DataFrame apoiado pelo objeto de dados de origem como sample_data para o método log_model do Model Registry, conforme mostrado abaixo.

registry.log_model(...,
          sample_input_data=df_backed_by_source_table)

Consulta do ML Lineage¶

Você pode consultar a linhagem dos artefatos do ML de várias maneiras.

Snowsight UI¶

A página de destino de cada artefato tem uma guia Lineage. A visualização padrão exibe objetos a montante e a jusante a um passo do objeto selecionado. Para uma exploração mais detalhada da linhagem da Snowsight UI, consulte Linhagem de dados no Snowsight.

Uma amostra da exibição do Snowsight dos dados de linhagem é mostrada abaixo.

API de linhagem do Snowpark ML¶

O método lineage disponível nos objetos FeatureView, ModelVersion e Dataset recupera as relações de linhagem do objeto atual, para que você possa rastrear a linhagem dos objetos de dados recuperados do Snowflake Feature Store ou do Model Registry.

Para todos os objetos compatíveis, o método lineage aceita os seguintes argumentos:

• direction, UPSTREAM ou DOWNSTREAM. DOWNSTREAM é o padrão.

• domain_filter, uma lista de tipos de objetos de destino para os quais a linhagem será recuperada. O padrão é retornar todas as relações de linhagem. Os domínios disponíveis são "feature_view", "dataset", "model", "table" e "view".

O método retorna uma lista de nós de linhagem conectados. Esses nós podem ser instâncias de Dataset, FeatureView ou ModelVersion, se você tiver importado essas classes para a sua sessão Python. Caso contrário, cada nó é representado por uma instância genérica do LineageNode.