Linhagem de dados¶

Sobre os relacionamentos upstream e downstream¶

A linhagem de dados ajuda você a entender os relacionamentos de um objeto em termos de objetos de origem e de destino. Na terminologia de linhagem, o objeto de origem está “upstream” (acima) do objeto de destino, e o objeto de destino está “downstream” (abaixo) do objeto de origem. Snowsight revela os objetos de forma incremental, um passo de cada vez upstream ou downstream da sua seleção.

Por exemplo, nesta instrução SQL:

CREATE TABLE table2 AS SELECT col1 FROM table1;

table2 é a tabela de destino e está a jusante da tabela de origem, table1. A coluna col1, originada na tabela table1, está inclusa na tabela table2; essa também é uma relação de linhagem downstream.

Se você visualizar os detalhes da tabela table1 no Snowsight, a guia Lineage exibirá uma seta apontando de table1 para table2 para indicar a relação de linhagem downstream. Se, em vez disso, você começar na tabela table2, uma seta aponta de table2 para table1.

Introdução¶

Para começar a usar a linhagem de dados na Snowsight, faça o seguinte:

1. Faça login na Snowsight com os privilégios necessários.

2. Use o menu Data » Databases para selecionar um objeto compatível, como uma tabela ou visualização.

3. Selecione a guia Lineage.

As ações básicas na guia Lineage incluem o seguinte:

• A. Selecione um objeto para mostrar detalhes adicionais sobre ele, incluindo colunas e tags nessas colunas.

• B. Selecione +/- para mostrar ou ocultar objetos que estão mais upstream ou downstream.

• C. Selecione a seta que conecta dois objetos para mostrar informações sobre como o objeto downstream foi criado (por exemplo, a instrução SQL que criou um objeto). Seus privilégios de controle de acesso determinam quais informações são exibidas.

• D. Abre um novo diagrama de linhagem que se concentra na linhagem do objeto selecionado.

Para saber mais sobre como usar a guia Lineage para executar outras ações, consulte o seguinte:

• Linhagem de colunas

• Trabalhar com tags

• Identificar políticas de mascaramento

Linhagem de colunas¶

Você pode usar a Snowsight para rastrear o relacionamento entre as colunas em um objeto de origem e as colunas em um objeto de destino. Para uma coluna específica, você pode determinar todas as colunas upstream e downstream que compartilham a linhagem com a coluna.

Para determinar a linhagem de uma coluna:

1. Abra a guia Linhagem e selecione o objeto que contém a coluna que você deseja rastrear. Um painel lateral é aberto.

2. Passe o mouse sobre o nome da coluna no painel lateral e selecione View Lineage.

3. Selecione Upstream Lineage ou Downstream Lineage para listar as colunas em objetos upstream ou downstream.

   Você pode usar a coluna Distance para determinar a distância de uma coluna na linhagem. Por exemplo, se a distância downstream for 1, então a coluna está em um objeto que foi criado diretamente a partir do objeto atual. Se a distância downstream for 2, então a coluna existe em um objeto que foi criado a partir de um objeto que foi criado a partir do objeto atual.

Trabalhar com tags¶

A guia Lineage oferece uma experiência de governança integrada que permite que você visualize a linhagem das colunas, identifique as colunas que devem ter tags e aplique novas tags, tudo no mesmo fluxo de trabalho.

A possibilidade de ver e aplicar tags depende dos privilégios de controle de acesso da função que você está usando para visualizar a guia Lineage. Para obter informações sobre os privilégios necessários para trabalhar com tags, consulte Resumo de comandos DDL, operações e privilégios.

Identificar políticas de mascaramento¶

1. Abra a guia Linhagem e selecione o objeto desejado. Um painel lateral é aberto.

2. Para visualizar a política de mascaramento em uma coluna do objeto, localize a coluna na seção Columns. Se a coluna estiver protegida por uma política de mascaramento, um símbolo aparecerá ao lado do nome da coluna. Passe o mouse sobre o símbolo para ver o nome e os detalhes da política de mascaramento.

   Se houver um problema com a política de mascaramento, por exemplo, se houver várias políticas de mascaramento atribuídas à mesma coluna, será exibido Policy Error em vez do símbolo de mascaramento. Se você passar o mouse sobre Policy Error, será exibida uma explicação do erro. Para obter ajuda adicional para identificar por que o erro pode ter ocorrido, consulte Descoberta de tags e políticas e Solução de problemas de políticas de mascaramento baseadas em tags.

Recuperar a linhagem de forma programática¶

Você pode usar a função GET_LINEAGE (SNOWFLAKE.CORE) para recuperar informações de linhagem de forma programática. Essa função retorna um subconjunto das informações fornecidas pela guia Lineage na Snowsight.

Operações compatíveis com a linhagem de dados¶

As operações a seguir criam relacionamentos upstream e downstream entre um objeto de origem e um objeto de destino:

• COPY INTO

• CREATE TABLE … AS SELECT (CTAS)

• CREATE TABLE … CLONE

• CREATE VIEW

• CREATE MATERIALIZED VIEW

• INSERT … SELECT …

• MERGE

• UPDATE, por exemplo:

  UPDATE mydb.schema1.table1 FROM mydb.schema2.table2 SET table1.col1 = table2.col1;
  

  Copy

Objetos com suporte¶

A linhagem de dados oferece suporte à movimentação de dados e a dependência entre objetos semelhantes a tabelas. Um objeto «semelhante a uma tabela» é qualquer objeto que possa ser consultado como uma tabela, inclusive tabelas (nada é mais semelhante a uma tabela do que uma tabela). Os objetos do tipo tabela incluem:

• Tabelas

• Tabelas dinâmicas

• Tabelas externas

• Tabelas Iceberg

• Exibições

• Exibições materializadas

Os estágios também podem participar de relacionamentos de linhagem de dados, assim como os seguintes objetos de aprendizado de máquina.

• Conjuntos de dados

• Exibições de recursos (que na verdade são tabelas ou exibições dinâmicas dentro do Snowflake)

• Modelos

A linhagem de colunas é compatível entre colunas em quaisquer dois objetos do tipo tabela. É possível, por exemplo, selecionar uma coluna em uma tabela para visualizar a linhagem da coluna downstream, que mostra os outros objetos semelhantes a tabelas em que essa coluna aparece.

Além disso, é possível ver as associações de políticas de tags e mascaramento se estiver usando uma função que tenha privilégios para gerenciar tags e políticas de mascaramento.

Controle de acesso às informações de linhagem¶

Uma função com os seguintes privilégios pode acessar a guia Lineage e visualizar as dependências e os objetos de linhagem upstream e downstream de um objeto:

• VIEW LINEAGE na conta.

• Qualquer privilégio nos objetos para os quais você deseja avaliar a linhagem, como SELECT em uma tabela.

• USAGE no banco de dados e no esquema que contém o objeto.

O privilégio VIEW LINEAGE controla se um usuário pode visualizar a linhagem de dados de seus objetos. Por padrão, a função PUBLIC tem esse privilégio, o que significa que todos podem visualizar a linhagem. Para restringir quem pode visualizar a linhagem, você pode revogar o privilégio VIEW LINEAGE da função PUBLIC e concedê-lo a funções personalizadas.

Se um usuário não tiver privilégios para um objeto upstream ou downstream no gráfico de linhagem, o objeto aparecerá em cinza com uma mensagem informando que ele não tem privilégios suficientes para visualizar o objeto. O objeto cinza não significa um nó terminal no gráfico de linhagem; ele apenas indica que o usuário não pode visualizar a linhagem mais upstream ou downstream desse ponto porque não tem privilégios para obter a linhagem desse objeto. Esse comportamento também se aplica a objetos e colunas protegidos por outras políticas de acesso.

Um usuário deve ter privilégios para acessar o Exibição QUERY_HISTORY para ver a instrução SQL que resultou no objeto de destino.

Nós de tabela renomeados e excluídos¶

As tabelas renomeadas são mostradas no gráfico, mas as tabelas excluídas não são mostradas.

Histórico e retenção da linhagem¶

A linhagem foi introduzida no Snowflake em novembro de 2024. As informações sobre a linhagem estão disponíveis da seguinte forma:

• A linhagem de uma dependência de objeto (por exemplo, uma visualização baseada em uma tabela) que ocorreu antes dessa data está disponível.

• A linhagem de movimentação de dados (por exemplo, usando uma instrução CTAS para criar uma tabela a partir de outra tabela) que ocorreu antes dessa data não está disponível.

As informações históricas são mantidas da seguinte forma:

• A linhagem da coluna é mantida por um ano.

• A linhagem do objeto é mantida por um ano.

Limitações e considerações¶

• A linhagem não está disponível para os seguintes tipos de objetos:

  • Objetos em um banco de dados compartilhado.

  • Objetos no banco de dados compartilhado SNOWFLAKE.

  • Objetos no INFORMATION_SCHEMA de um banco de dados.

• As tabelas dinâmicas aparecem no gráfico de linhagem para outros objetos, mas a guia Lineage não aparece para as próprias tabelas dinâmicas.

• A linhagem não inclui uma tabela que foi usada para filtragem ou união quando os dados não foram movidos da tabela para o objeto downstream. No exemplo a seguir, a tabela t2 não é considerada parte da linhagem da tabela target_table:

  CREATE TABLE target_table AS
    SELECT t1.c1, t1.c2
      FROM t1, t2
      WHERE t1.c3 = t2.c3;
  

  Copy

• A linhagem não consegue rastrear a movimentação de dados que resulta de consultas separadas e desunidas. Por exemplo, o conjunto de consultas a seguir não resulta da linhagem da tabela sourceTable1 para a tabela target_table.

  SET read_output1 = (SELECT c1 FROM sourceTable1);
  
  INSERT INTO target_table(c1) VALUES ($read_output1);
  

  Copy