Como usar funções de métricas de dados para realizar verificações de qualidade de dados¶

Programe a execução da DMF¶

Você pode programar a execução das DMFs para automatizar as medições de qualidade dos dados em uma tabela.

O Snowflake usa a função de proprietário da tabela, que é a função com o privilégio OWNERSHIP na tabela, para chamar a DMF agendada. A função de proprietário da tabela deve ter estas concessões:

• O privilégio USAGE na DMF definida pelo usuário e o privilégio USAGE no banco de dados e esquema que armazenam a DMF definida pelo usuário.

• A função de banco de dados se DATA_METRIC_USER se a DMF for uma DMF do sistema.

• O privilégio EXECUTEDATAMETRICFUNCTION na conta.

O parâmetro de objeto DATA_METRIC_SCHEDULE para uma tabela, exibição ou exibição materializada permite que você programe quando seus DMFs podem ser executados. Todas as funções de métricas de dados na tabela ou exibição seguem o mesmo cronograma.

Existem três abordagens para agendar a execução de sua DMF:

• Defina a DMF a ser executada após um número especificado de minutos.

• Use uma expressão cron para agendar a DMF a ser executada em uma frequência específica.

• Use um evento de acionamento para agendar a DMF para ser executada quando houver uma DML mudança para a tabela, como inserir uma nova linha na tabela. No entanto:

  • O reclustering de tabelas não aciona a execução de uma DMF.

  • A abordagem do acionador só está disponível para certos tipos de tabelas. Para obter mais informações, consulte ALTER TABLE … SET DATA_METRIC_SCHEDULE.

Por exemplo:

Defina a programação da função de métrica de dados para ser executada a cada 5 minutos:

ALTER TABLE hr.tables.empl_info SET
  DATA_METRIC_SCHEDULE = '5 MINUTE';

Copy

Defina a programação da função de métrica de dados para ser executada às 8:00 AM diariamente:

ALTER TABLE hr.tables.empl_info SET
  DATA_METRIC_SCHEDULE = 'USING CRON 0 8 * * * UTC';

Copy

Defina a programação da função de métrica de dados para ser executada às 8:00 AM somente nos dias úteis:

ALTER TABLE hr.tables.empl_info SET
  DATA_METRIC_SCHEDULE = 'USING CRON 0 8 * * MON,TUE,WED,THU,FRI UTC';

Copy

Defina a programação da função de métrica de dados para ser executada três vezes ao dia às 06:00, 12:00 e 18:00 UTC:

ALTER TABLE hr.tables.empl_info SET
  DATA_METRIC_SCHEDULE = 'USING CRON 0 6,12,18 * * * UTC';

Copy

Defina a função de métrica de dados para ser executada quando uma operação DML geral, como inserir uma nova linha, modifica a tabela:

ALTER TABLE hr.tables.empl_info SET
  DATA_METRIC_SCHEDULE = 'TRIGGER_ON_CHANGES';

Copy

Você pode usar o comando SHOW PARAMETERS para exibir o cronograma de DMF de um objeto de tabela aceito:

SHOW PARAMETERS LIKE 'DATA_METRIC_SCHEDULE' IN TABLE hr.tables.empl_info;

Copy

+----------------------+--------------------------------+---------+-------+------------------------------------------------------------------------------------------------------------------------------+--------+
| key                  | value                          | default | level | description                                                                                                                  | type   |
+----------------------+--------------------------------+---------+-------+------------------------------------------------------------------------------------------------------------------------------+--------+
| DATA_METRIC_SCHEDULE | USING CRON 0 6,12,18 * * * UTC |         | TABLE | Specify the schedule that data metric functions associated to the table must be executed in order to be used for evaluation. | STRING |
+----------------------+--------------------------------+---------+-------+------------------------------------------------------------------------------------------------------------------------------+--------+

Para objetos de exibição e exibição materializada, especifique TABLE como o domínio do objeto e verifique o cronograma da seguinte forma:

SHOW PARAMETERS LIKE 'DATA_METRIC_SCHEDULE' IN TABLE mydb.public.my_view;

Copy

Associe a DMF a uma tabela¶

Use um comando ALTER TABLE ou ALTER VIEW para associar um DMF e especificar quais colunas serão passadas como argumentos. Por exemplo, o comando a seguir associa o DMF do sistema NULL_COUNT à tabela t. Quando o DMF for executado, ele retornará o número de valores NULL na coluna c1.

ALTER TABLE t
  ADD DATA METRIC FUNCTION SNOWFLAKE.CORE.NULL_COUNT
    ON (c1);

Alguns DMFs não aceitam uma coluna como argumento. Por exemplo, para associar o DMF do sistema ROW_COUNT à exibição v2, execute o seguinte comando:

ALTER VIEW v2
  ADD DATA METRIC FUNCTION SNOWFLAKE.CORE.ROW_COUNT
    ON ();

O DMF ACCEPTED_VALUES contém uma expressão lambda, bem como o nome da coluna, que permite verificar quantos registros não correspondem a um valor esperado. Por exemplo, a instrução a seguir associa a função à tabela t1, de modo que a função retorna o número de registros em que o valor da coluna age não é igual a cinco.

ALTER TABLE t1
  ADD DATA METRIC FUNCTION SNOWFLAKE.CORE.ACCEPTED_VALUES ON (age, age -> age = 5);

Descarte uma DMF de um objeto¶

Você pode descartar uma DMF usando um comando ALTER TABLE ou ALTER VIEW. Por exemplo:

ALTER TABLE t
  DROP DATA METRIC FUNCTION governance.dmfs.count_positive_numbers
    ON (c1, c2, c3);

Copy