Dependências de objeto¶

Dependências de objeto com suporte¶

O Snowflake suporta objetos de referência e objetos referenciados da seguinte forma:

Observe que Snowflake oferece suporte apenas aos seguintes objetos no contexto do compartilhamento de dados:

Para obter mais detalhes, consulte a seção Usage Notes da exibição OBJECT_DEPENDENCIES.

Benefícios¶

A identificação de dependências de objeto pode fornecer informações sobre casos de uso de rastreamento de dados da seguinte forma:

Análise de impacto:

O conhecimento da dependência de objetos permite aos administradores de dados identificar as relações entre objetos de referência e objetos referenciados para garantir que as atualizações dos objetos referenciados não tenham impacto adverso sobre os usuários do objeto de referência.

Por exemplo, um proprietário de tabela planeja adicionar uma coluna a uma tabela. Consultar a exibição OBJECT_DEPENDENCIES com base no nome da tabela retorna todos os objetos (por exemplo, exibições) que serão afetados.

O administrador de dados pode então coordenar um plano de ação para assegurar que o tempo de atualização de tabelas e visualizações não resulte em nenhuma consulta quebrada que afete negativamente os usuários que consultam as exibições criadas a partir da tabela.

Conformidade:

A relação de dependência de objetos ajuda o responsável pela conformidade a identificar a relação entre fontes de dados confidenciais (ou seja, objeto referenciado) e destinos de dados (ou seja, objeto de referência). O responsável pela conformidade pode então decidir como melhor atualizar o objeto de referência e o objeto referenciado com base nos requisitos de conformidade (por exemplo, GDPR).

Integridade de dados:

A relação de dependência de objetos ajuda os profissionais de dados primários, tais como analistas, cientistas, encarregados de conformidade e outros usuários comerciais, a ter confiança de que os dados provêm de uma fonte confiável.

Limitações¶

Além da exibição Usage Notes, observe as seguintes limitações ao consultar a exibição OBJECT_DEPENDENCIES:

Parâmetros de sessão:

O Snowflake não pode calcular com precisão as dependências dos objetos que incluem parâmetros de sessão em suas definições porque os parâmetros de sessão podem assumir valores diferentes, dependendo do contexto.

O Snowflake recomenda não utilizar variáveis de sessão em definições de exibição e função.

Implementações do Snowflake:

Esta exibição não capta as dependências que são necessárias para as implementações do Snowflake. Por exemplo, a exibição não registra a dependência necessária para criar uma nova tabela a partir do clone de outra tabela.

Resolução de objetos:

Se uma definição de exibição usa uma função para chamar um objeto para criar a exibição, ou se um objeto é chamado dentro de outra função ou exibição, o Snowflake não registra uma dependência de objeto. Por exemplo:

create or replace view v_on_stage_function
as
select *
from T1
where get_presigned_url(@stage1, 'data_0.csv.gz')
is not null;

Copy

Neste exemplo, a função get_presigned_url chama o estágio stage1. O Snowflake não registra que a exibição chamada v_on_stage_function depende do estágio chamado stage1.

Dependências quebradas:

Se o valor do tipo de dependência for BY_NAME_AND_ID e uma dependência de objeto mudar devido a uma operação CREATE OR REPLACE ou ALTER em um objeto, o Snowflake registra apenas a dependência de objeto antes destas operações.

O Snowflake não registra a dependência de objetos no resultado da consulta de exibição após estas operações, porque o resultado é uma referência quebrada.

Dependências de objetos com recursos e serviços de floco de neve¶

Objetos externos:

O Snowflake rastreia dependências de objetos apenas para objetos Snowflake. Por exemplo, se um objeto Snowflake depende de um bucket Amazon S3, esta exibição não registra a dependência do bucket porque ele é um objeto Amazon, não um objeto Snowflake.

Replicação:

Enquanto um objeto secundário depende do objeto primário, esta exibição não registra dependências devidas a uma operação de replicação.

Compartilhamento de dados:

Para contas de provedor, esta exibição não permite que uma conta de provedor de compartilhamento de dados determine objetos dependentes na conta de consumidor de compartilhamento de dados. Por exemplo, um provedor de compartilhamento de dados cria uma exibição e a compartilha. O provedor do compartilhamento de dados não pode usar esta exibição para determinar qualquer objeto na conta do consumidor que foi criado a partir da exibição compartilhada (por exemplo, novas tabelas ou exibições).

Para contas de consumidor, esta exibição não permite que uma conta de consumidor de compartilhamento de dados determine objetos dependentes na conta de provedor de compartilhamento de dados. Por exemplo, se uma conta de consumidor de compartilhamento de dados usar um UDF disponibilizado pela conta do provedor de compartilhamento de dados, o consumidor do compartilhamento de dados não pode utilizar esta exibição para identificar quaisquer objetos dos quais o UDF compartilhado depende.

Para obter mais detalhes, consulte Notas de uso do compartilhamento de dados.

Mostrar objetos dependentes de uma tabela externa¶

Crie uma exibição materializada chamada sales_view a partir da tabela externa chamada sales_staging_table:

CREATE OR REPLACE MATERIALIZED VIEW sales_view AS SELECT * FROM sales_staging_table;

Copy

Consulte a exibição OBJECT_DEPENDENCIES no esquema Account Usage do banco de dados compartilhado SNOWFLAKE. Observe que a exibição materializada é referencing_object_name e a tabela externa é referenced_object_domain:

SELECT referencing_object_name, referencing_object_domain, referenced_object_name, referenced_object_domain
FROM snowflake.account_usage.object_dependencies
WHERE referenced_object_name = 'SALES_STAGING_TABLE' and referenced_object_domain = 'EXTERNAL TABLE';

Copy

+-------------------------+---------------------------+------------------------+--------------------------+
| REFERENCING_OBJECT_NAME | REFERENCING_OBJECT_DOMAIN | REFERENCED_OBJECT_NAME | REFERENCED_OBJECT_DOMAIN |
+-------------------------+---------------------------+------------------------+--------------------------+
| SALES_VIEW              | MATERIALIZED VIEW         | SALES_STAGING_TABLE    | EXTERNAL TABLE           |
+-------------------------+---------------------------+------------------------+--------------------------+

Análise de impacto: encontrar os objetos referenciados por uma tabela¶

Considere uma tabela base chamada SALES_NA, onde NA indica a América do Norte, US indica os Estados Unidos e CAL indica a Califórnia, com uma série de exibições aninhadas:

• (tabela) SALES_NA » (exibição) NORTH_AMERICA_SALES » (exibição) US_SALES

• (tabela) SALES_NA » (exibição) NORTH_AMERICA_SALES » (exibição) CAL_SALES

Para criar a tabela e as exibições aninhadas, execute os seguintes comandos:

CREATE TABLE sales_na(product string);
CREATE OR REPLACE VIEW north_america_sales AS SELECT * FROM sales_na;
CREATE VIEW us_sales AS SELECT * FROM north_america_sales;
CREATE VIEW cal_sales AS SELECT * FROM north_america_sales;

Copy

Da mesma forma, considere a relação da tabela base SALES_NA com suas exibições aninhadas, e considere a tabela base SALES_UK, onde UK indica o Reino Unido, com sua exibição aninhada.

Observe que duas exibições diferentes servem como objetos de origem para derivar a exibição chamada GLOBAL_SALES:

• (tabela) SALES_NA » (exibição) NORTH_AMERICA_SALES » (exibição) GLOBAL_SALES

• (tabela) SALES_UK » (exibição) GLOBAL_SALES

Para criar estas exibições aninhadas, execute os seguintes comandos:

CREATE TABLE sales_uk (product string);
CREATE VIEW global_sales AS SELECT * FROM sales_uk UNION ALL SELECT * FROM north_america_sales;

Copy

Consulte a exibição OBJECT_DEPENDENCIES no esquema Account Usage do banco de dados compartilhado SNOWFLAKE para determinar as referências de objetos para a tabela SALES_NA. Observe a quarta linha no resultado da consulta, que especifica a tabela SALES_NA mas não faz referência à tabela SALES_UK:

WITH RECURSIVE referenced_cte
(object_name_path, referenced_object_name, referenced_object_domain, referencing_object_domain, referencing_object_name, referenced_object_id, referencing_object_id)
    AS
      (
        SELECT referenced_object_name || '-->' || referencing_object_name as object_name_path,
               referenced_object_name, referenced_object_domain, referencing_object_domain, referencing_object_name, referenced_object_id, referencing_object_id
          FROM snowflake.account_usage.object_dependencies referencing
          WHERE true
            AND referenced_object_name = 'SALES_NA' AND referenced_object_domain='TABLE'

        UNION ALL

        SELECT object_name_path || '-->' || referencing.referencing_object_name,
              referencing.referenced_object_name, referencing.referenced_object_domain, referencing.referencing_object_domain, referencing.referencing_object_name,
              referencing.referenced_object_id, referencing.referencing_object_id
          FROM snowflake.account_usage.object_dependencies referencing JOIN referenced_cte
            ON referencing.referenced_object_id = referenced_cte.referencing_object_id
            AND referencing.referenced_object_domain = referenced_cte.referencing_object_domain
      )

  SELECT object_name_path, referenced_object_name, referenced_object_domain, referencing_object_name, referencing_object_domain
    FROM referenced_cte
;

Copy

+-----------------------------------------------+------------------------+--------------------------+-------------------------+---------------------------+
| OBJECT_NAME_PATH                              | REFERENCED_OBJECT_NAME | REFERENCED_OBJECT_DOMAIN | REFERENCING_OBJECT_NAME | REFERENCING_OBJECT_DOMAIN |
+-----------------------------------------------+------------------------+--------------------------+-------------------------+---------------------------+
| SALES_NA-->NORTH_AMERICA_SALES                | SALES_NA               | TABLE                    | NORTH_AMERICA_SALES     | VIEW                      |
| SALES_NA-->NORTH_AMERICA_SALES-->CAL_SALES    | NORTH_AMERICA_SALES    | VIEW                     | CAL_SALES               | VIEW                      |
| SALES_NA-->NORTH_AMERICA_SALES-->US_SALES     | NORTH_AMERICA_SALES    | VIEW                     | US_SALES                | VIEW                      |
| SALES_NA-->NORTH_AMERICA_SALES-->GLOBAL_SALES | NORTH_AMERICA_SALES    | VIEW                     | GLOBAL_SALES            | VIEW                      |
+-----------------------------------------------+------------------------+--------------------------+-------------------------+---------------------------+

GDPR: encontrar a fonte de dados para uma determinada exibição¶

Objetos derivados (por exemplo, exibições, CTAS) podem ser criados a partir de muitos objetos de origem diferentes para fornecer uma exibição ou painel de controle personalizado. Para atender aos requisitos regulamentares, tais como GDPR, os encarregados de conformidade e auditores precisam ser capazes de rastrear dados de um determinado objeto até sua origem.

Por exemplo, a exibição GLOBAL_SALES é derivada de dois caminhos de dependência diferentes que apontam para duas tabelas base diferentes:

• (tabela) SALES_NA » (exibição) NORTH_AMERICA_SALES » (exibição) GLOBAL_SALES

• (tabela) SALES_UK » (exibição) GLOBAL_SALES

Para criar estas exibições aninhadas, execute os seguintes comandos:

CREATE TABLE sales_na (product string);
CREATE OR REPLACE VIEW north_america_sales AS SELECT * FROM sales_na;
CREATE TABLE sales_uk (product string);
CREATE VIEW global_sales AS SELECT * FROM sales_uk UNION ALL SELECT * FROM north_america_sales;

Copy

Consulte a exibição OBJECT_DEPENDENCIES no esquema Account Usage do banco de dados compartilhado SNOWFLAKE para encontrar a(s) fonte(s) de dados da exibição GLOBAL_SALES. Cada linha no resultado da consulta especifica um caminho de dependência para um objeto único.

WITH RECURSIVE referenced_cte
(object_name_path, referenced_object_name, referenced_object_domain, referencing_object_domain, referencing_object_name, referenced_object_id, referencing_object_id)
    AS
      (
        SELECT referenced_object_name || '<--' || referencing_object_name AS object_name_path,
               referenced_object_name, referenced_object_domain, referencing_object_domain, referencing_object_name, referenced_object_id, referencing_object_id
          from snowflake.account_usage.object_dependencies referencing
          WHERE true
            AND referencing_object_name = 'GLOBAL_SALES' and referencing_object_domain='VIEW'

        UNION ALL

        SELECT referencing.referenced_object_name || '<--' || object_name_path,
              referencing.referenced_object_name, referencing.referenced_object_domain, referencing.referencing_object_domain, referencing.referencing_object_name,
              referencing.referenced_object_id, referencing.referencing_object_id
          FROM snowflake.account_usage.object_dependencies referencing JOIN referenced_cte
            ON referencing.referencing_object_id = referenced_cte.referenced_object_id
            AND referencing.referencing_object_domain = referenced_cte.referenced_object_domain
      )

  SELECT object_name_path, referencing_object_name, referencing_object_domain, referenced_object_name, referenced_object_domain
    FROM referenced_cte
;

Copy

+-----------------------------------------------+-------------------------+---------------------------+------------------------+--------------------------+
| OBJECT_NAME_PATH                              | REFERENCING_OBJECT_NAME | REFERENCING_OBJECT_DOMAIN | REFERENCED_OBJECT_NAME | REFERENCED_OBJECT_DOMAIN |
+-----------------------------------------------+-------------------------+---------------------------+------------------------+--------------------------+
| SALES_UK<--GLOBAL_SALES                       | GLOBAL_SALES            | VIEW                      | SALES_UK               | TABLE                    |
| NORTH_AMERICA_SALES<--GLOBAL_SALES            | GLOBAL_SALES            | VIEW                      | NORTH_AMERICA_SALES    | VIEW                     |
| SALES_NA<--NORTH_AMERICA_SALES<--GLOBAL_SALES | NORTH_AMERICA_SALES     | VIEW                      | SALES_NA               | TABLE                    |
+-----------------------------------------------+-------------------------+---------------------------+------------------------+--------------------------+

Compartilhamento de dados¶

Considere a tabela a seguir, que é um trecho da exibição OBJECT_DEPENDENCIES na conta do consumidor, em que:

• V1 especifica uma exibição que o consumidor cria a partir de um objeto compartilhado.

• S_V1 especifica uma exibição que o provedor compartilha.

• S_T1 especifica uma tabela que o provedor compartilha.

Dada esta tabela, observe o seguinte:

• Se o provedor revogar S_T1 do compartilhamento, o consumidor continuará a ver linhas que especificam S_T1 (linha 2) em sua exibição local, desde que S_T1 não tenha sido renomeado antes da revogação.

• Se o provedor descartar uma tabela ou exibição em sua conta, a tabela ou exibição não será mais incluída no compartilhamento. A exibição do consumidor local preserva os registros existentes para a tabela ou exibição descartada porque a tabela ou exibição foi compartilhada antes da operação de descarte na conta do provedor.

  O consumidor não pode observar mudanças de exibição na conta do provedor.