29 de março de 2024 — Notas de versão do Data Quality Monitoring¶

Data Quality Monitoring e funções de métricas de dados — Versão preliminar¶

Neste lançamento, a Snowflake tem o prazer de anunciar a versão preliminar do Data Quality Monitoring com funções de métricas de dados (DMFs). O Data Quality Monitoring usa DMFs monitorar continuamente as métricas de qualidade dos dados, como integridade, precisão, exclusividade e validade. Você pode usar as DMFs do sistema fornecido pela Snowflake para métricas comuns, como contagem de linhas, duplicatas e atualização. Alternativamente, você pode criar suas próprias DMFs personalizadas para definir métricas específicas para seus próprios dados.

Você pode usar a DMF em uma consulta para testar a qualidade dos dados em seu pipeline ou associar a DMF a tabelas desejadas para monitorar continuamente sua qualidade. O monitoramento contínuo pode ser baseado em cronograma para medições periódicas ou baseado em acionadores para medir somente quando a tabela subjacente for modificada. Os resultados da DMF são registrados em uma tabela de eventos centralizada em sua conta Snowflake para proteger a privacidade dos seus dados. Você pode criar painéis, configurar alertas ou consultar resultados de métricas diretamente da tabela de eventos. Além disso, os dados na tabela de eventos estão no formato OpenTelemetry padrão para fácil integração com ferramentas de observabilidade.

Para obter mais detalhes, consulte Introdução à qualidade de dados e funções de métricas de dados.