Como trabalhar com funções de métricas de dados¶

Avalie agora: exemplo de DMF do sistema¶

Use a seguinte sintaxe para chamar uma DMF:

SELECT <data_metric_function>(<query>)

Onde:

data_metric_function

Especifica uma DMF do sistema ou definida pelo usuário.

query

Especifica uma consulta SQL em uma tabela ou exibição.

As colunas na consulta devem corresponder aos argumentos da coluna na assinatura da DMF.

Chame uma DMF do sistema para começar a avaliar a qualidade de seus dados imediatamente.

Por exemplo, chame a NULL_COUNT (função de métricas de dados do sistema) DMF do sistema para ver o número de valores NULL na coluna SSN (o número da segurança social dos US):

USE ROLE data_engineer;
SELECT SNOWFLAKE.CORE.NULL_COUNT(
  SELECT ssn
  FROM hr.tables.empl_info
);

Você pode consultar a tabela de eventos para visualizar os resultados. Para obter mais informações, consulte Visualize os resultados da DMF:.

Crie sua própria DMF¶

Use o comando CREATE DATA METRIC FUNCTION para criar suas próprias DMFs.

Crie uma DMF que chama a função COUNT para retornar o número total de linhas que não contêm valores NULL ao avaliar as três primeiras colunas da tabela:

CREATE OR REPLACE DATA METRIC FUNCTION governance.dmfs.count_positive_numbers(
  arg_t TABLE(
    arg_c1 NUMBER,
    arg_c2 NUMBER,
    arg_c3 NUMBER
  )
)
RETURNS NUMBER
AS
$$
  SELECT
    COUNT(*)
  FROM arg_t
  WHERE
    arg_c1>0
    AND arg_c2>0
    AND arg_c3>0
$$;

Para um exemplo que faça referência a uma tabela diferente daquela à qual você atribui a DMF, consulte Exemplo: referência de chave estrangeira.

Visualização das propriedades de uma DMF¶

Descreva a DMF para visualizar suas propriedades:

DESC FUNCTION governance.dmfs.count_positive_numbers(
  TABLE(
    NUMBER, NUMBER, NUMBER
  )
);

+-----------+---------------------------------------------------------------------+
| property  | value                                                               |
+-----------+---------------------------------------------------------------------+
| signature | (ARG_T TABLE(ARG_C1 NUMBER, ARG_C2 NUMBER, ARG_C3 NUMBER))          |
| returns   | NUMBER(38,0)                                                        |
| language  | SQL                                                                 |
| body      | SELECT COUNT(*) FROM arg_t WHERE arg_c1>0 AND arg_c2>0 AND arg_c3>0 |
+-----------+---------------------------------------------------------------------+

Proteção da DMF¶

Torne a DMF uma DMF segura:

ALTER FUNCTION governance.dmfs.count_positive_numbers(
 TABLE(
   NUMBER,
   NUMBER,
   NUMBER
))
SET SECURE;

Listagem de suas DMFs¶

Use o comando SHOW DATA METRIC FUNCTIONS ou SHOW FUNCTIONS para listar DMFs em sua conta, banco de dados ou esquema:

SHOW DATA METRIC FUNCTIONS IN ACCOUNT;

Copy

Alternativamente, você pode consultar a exibição Information Schema FUNCTIONS ou a exibição Account Usage FUNCTIONS para listar suas DMFs no banco de dados especificado ou em sua conta, respectivamente.

A coluna is_data_metric especifica se a função é uma DMF.

Defina uma tag em uma DMF¶

Use o comando ALTER FUNCTION para definir uma tag em uma DMF:

ALTER FUNCTION governance.dmfs.count_positive_numbers(
  TABLE(NUMBER, NUMBER, NUMBER))
  SET TAG governance.tags.quality = 'counts';

Como agendar suas DMFs para serem executadas¶

Você pode agendar suas DMFs para serem executadas para automatizar as medições de qualidade de dados em uma tabela.

O Snowflake usa a função de proprietário da tabela, que é a função com o privilégio OWNERSHIP na tabela, para chamar a DMF agendada. A função de proprietário da tabela deve ter estas concessões:

• O privilégio USAGE na DMF definida pelo usuário e o privilégio USAGE no banco de dados e esquema que armazenam a DMF definida pelo usuário.

• A função de banco de dados se DATA_METRIC_USER se a DMF for uma DMF do sistema.

• O privilégio EXECUTEDATAMETRICFUNCTION na conta.

O parâmetro de objeto DATA_METRIC_SCHEDULE para uma tabela, exibição ou exibição materializada permite que você programe quando seus DMFs podem ser executados. Todas as funções de métricas de dados na tabela ou exibição seguem o mesmo cronograma.

Existem três abordagens para agendar a execução de sua DMF:

• Defina a DMF a ser executada após um número especificado de minutos.

• Use uma expressão cron para agendar a DMF a ser executada em uma frequência específica.

• Use um evento de acionamento para agendar a DMF para ser executada quando houver uma DML mudança para a tabela, como inserir uma nova linha na tabela. No entanto:

  • O reclustering de tabelas não aciona a execução de uma DMF.

  • A abordagem do acionador só está disponível para certos tipos de tabelas. Para obter mais informações, consulte ALTER TABLE … SET DATA_METRIC_SCHEDULE.

Por exemplo:

Defina a programação da função de métrica de dados para ser executada a cada 5 minutos:

ALTER TABLE hr.tables.empl_info SET
  DATA_METRIC_SCHEDULE = '5 MINUTE';

Copy

Defina a programação da função de métrica de dados para ser executada às 8:00 AM diariamente:

ALTER TABLE hr.tables.empl_info SET
  DATA_METRIC_SCHEDULE = 'USING CRON 0 8 * * * UTC';

Copy

Defina a programação da função de métrica de dados para ser executada às 8:00 AM somente nos dias úteis:

ALTER TABLE hr.tables.empl_info SET
  DATA_METRIC_SCHEDULE = 'USING CRON 0 8 * * MON,TUE,WED,THU,FRI UTC';

Copy

Defina a programação da função de métrica de dados para ser executada três vezes ao dia às 06:00, 12:00 e 18:00 UTC:

ALTER TABLE hr.tables.empl_info SET
  DATA_METRIC_SCHEDULE = 'USING CRON 0 6,12,18 * * * UTC';

Copy

Defina a função de métrica de dados para ser executada quando uma operação DML geral, como inserir uma nova linha, modifica a tabela:

ALTER TABLE hr.tables.empl_info SET
  DATA_METRIC_SCHEDULE = 'TRIGGER_ON_CHANGES';

Copy

Você pode usar o comando SHOW PARAMETERS para exibir o cronograma de DMF de um objeto de tabela aceito:

SHOW PARAMETERS LIKE 'DATA_METRIC_SCHEDULE' IN TABLE hr.tables.empl_info;

Copy

+----------------------+--------------------------------+---------+-------+------------------------------------------------------------------------------------------------------------------------------+--------+
| key                  | value                          | default | level | description                                                                                                                  | type   |
+----------------------+--------------------------------+---------+-------+------------------------------------------------------------------------------------------------------------------------------+--------+
| DATA_METRIC_SCHEDULE | USING CRON 0 6,12,18 * * * UTC |         | TABLE | Specify the schedule that data metric functions associated to the table must be executed in order to be used for evaluation. | STRING |
+----------------------+--------------------------------+---------+-------+------------------------------------------------------------------------------------------------------------------------------+--------+

Para objetos de exibição e exibição materializada, especifique TABLE como o domínio do objeto e verifique o cronograma da seguinte forma:

SHOW PARAMETERS LIKE 'DATA_METRIC_SCHEDULE' IN TABLE mydb.public.my_view;

Copy

Como adicionar e remover uma DMF em uma tabela ou exibição¶

Use um comando ALTER TABLE ou ALTER VIEW para fazer o seguinte:

• Adicione uma DMF a uma tabela usando o comando ALTER TABLE.

  ALTER TABLE t
    ADD DATA METRIC FUNCTION governance.dmfs.count_positive_numbers
    ON (c1, c2, c3);
  

  Copy

• Descarte uma DMF de uma tabela usando um comando ALTER TABLE.

  ALTER TABLE t
    DROP DATA METRIC FUNCTION governance.dmfs.count_positive_numbers
    ON (c1, c2, c3);
  

  Copy

Acompanhamento das referências da DMF¶

Você pode consultar a exibição Account Usage DATA_METRIC_FUNCTION_REFERENCES para visualizar as referências de DMF em sua conta ou chamar a função de tabela Information Schema DATA_METRIC_FUNCTION_REFERENCES para identificar as DMFs associadas a uma determinada tabela ou exibição ou às tabelas ou exibições associadas a uma determinada DMF.

Por exemplo:

Retorna uma linha para cada objeto (tabela ou exibição) que possua a DMF nomeada count_positive_numbers definida naquela tabela ou exibição:

USE DATABASE governance;
USE SCHEMA INFORMATION_SCHEMA;
SELECT *
  FROM TABLE(
    INFORMATION_SCHEMA.DATA_METRIC_FUNCTION_REFERENCES(
      METRIC_NAME => 'governance.dmfs.count_positive_numbers'
    )
  );

Copy

Retorne uma linha para cada DMF atribuída à tabela nomeada hr.tables.empl_info:

USE DATABASE governance;
USE SCHEMA INFORMATION_SCHEMA;
SELECT *
  FROM TABLE(
    INFORMATION_SCHEMA.DATA_METRIC_FUNCTION_REFERENCES(
      REF_ENTITY_NAME => 'hr.tables.empl_info',
      REF_ENTITY_DOMAIN => 'table'
    )
  );

Copy

Como chamar sua DMF manualmente¶

Use a seguinte sintaxe para chamar uma DMF:

SELECT <data_metric_function>(<query>)

Onde:

data_metric_function

Especifica uma DMF do sistema ou definida pelo usuário.

query

Especifica uma consulta SQL em uma tabela ou exibição.

As colunas na consulta devem corresponder aos argumentos da coluna na assinatura da DMF.

Chame sua DMF diretamente e visualize os resultados:

SELECT governance.dmfs.count_positive_numbers(
    SELECT c1,
           c2,
           c3
    FROM t
  );

Quando você definir uma DMF em uma tabela ou exibição e agendá-la para execução, você pode consultar a exibição criada a partir da tabela de eventos para visualizar os resultados. Para obter mais informações, consulte Visualize os resultados da DMF:.

Visualize os resultados da DMF:¶

Para exibir os resultados de DMF, primeiro você precisa gerenciar o acesso aos resultados e depois escolher como exibi-los:

• Gerenciar o acesso aos resultados de DMF

• Opções

Como descartar a DMF do sistema¶

Descarte a DMF do sistema:

DROP FUNCTION governance.dmfs.count_positive_numbers(
  TABLE(
    NUMBER, NUMBER, NUMBER
  )
);

Limitações¶

Para obter mais informações, consulte a seção sobre limitações da qualidade de dados.