Usar o Snowsight para configurar verificações de qualidade de dados

Este tópico descreve como usar o Snowsight para configurar verificações de qualidade de dados. Você pode usar as seguintes estratégias para configurar verificações de qualidade de dados:

Para obter uma introdução aos conceitos de verificações de qualidade de dados, consulte Conceitos básicos de verificações de qualidade de dados.

Configurar verificações de qualidade usando o Cortex Data Quality

O Cortex Data Quality usa AI para sugerir verificações de qualidade de dados com base nas características de seus metadados. Se você aceitar as sugestões, o Snowflake verificará seus dados em intervalos regulares para identificar problemas de qualidade.

O Cortex Data Quality utiliza a função AI_COMPLETE do Snowflake Cortex para sugerir verificações de qualidade de dados de forma inteligente. Como ele é executado com segurança dentro do Snowflake Cortex, seus dados e metadados corporativos estão sempre seguros dentro do Snowflake. O Cortex Data Quality também respeita totalmente o controle de acesso do Snowflake e fornece sugestões baseadas apenas nos dados que você pode acessar.

Para usar o Cortex Data Quality para configurar verificações de qualidade de dados, faça o seguinte:

  1. Faça login no Snowsight.

  2. No menu de navegação, selecione Catalog » Database Explorer e, em seguida, selecione o objeto.

  3. Selecione a guia Data Quality.

  4. Selecione Monitoring.

  5. Faça uma das seguintes opções:

    • Se esta for a primeira vez que você configura as verificações de qualidade, selecione Get started.

    • Se você está configurando verificações de qualidade adicionais, selecione Add quality check e, depois, Suggested quality checks.

  6. Revise as verificações de qualidade de dados sugeridas. Para alterar os critérios que determinam se os dados passam em uma verificação de qualidade, edite o conteúdo da coluna What should the result be?.

  7. Selecione as verificações de qualidade que deseja implementar e selecione Apply.

Para obter mais informações sobre o Cortex Data Quality, consulte Mais sobre o Cortex Data Quality.

Configurar as verificações de qualidade manualmente

Para criar verificações de qualidade de dados com base no conhecimento dos seus dados, faça o seguinte:

  1. Faça login no Snowsight.

  2. No menu de navegação, selecione Catalog » Database Explorer e, em seguida, selecione o objeto.

  3. Selecione a guia Data Quality.

  4. Selecione Monitoring.

  5. Faça uma das seguintes opções:

    • Se esta for a primeira vez que você configura as verificações de qualidade, selecione Start manually.

    • Se você está configurando verificações de qualidade adicionais, selecione Add quality check e, depois, Build checks manually.

  6. Na caixa de diálogo Set up a quality check, selecione o tipo de verificação que você deseja criar.

  7. Configure os critérios que determinam se os dados passam na verificação de qualidade e selecione Save.

Dica

Se você quiser habilitar a detecção de anomalias para que o Snowflake possa detectar automaticamente problemas de qualidade de dados com base no volume histórico e na atualização de seus dados, use o Cortex Data Quality e aceite as sugestões para detecção de anomalias ou configure a detecção de anomalias manualmente.

Ajustar a frequência de execução das verificações de qualidade

O cronograma de uma tabela ou exibição determina a frequência com que a DMF aciona as execuções da verificação de qualidade de dados. O cronograma pode ser baseado no horário ou nas atualizações feitas na tabela.

Nota

Não será possível usar o Snowsight para ajustar o cronograma até que você tenha adicionado pelo menos uma verificação de qualidade. Você pode usar o comando ALTER <object> para definir o cronograma de uma tabela ou exibição a qualquer momento.

  1. Faça login no Snowsight.

  2. No menu de navegação, selecione Catalog » Database Explorer e, em seguida, selecione o objeto.

  3. Selecione a guia Data Quality.

  4. Selecione Monitoring.

  5. Selecione Settings.

  6. Especifique com que frequência você deseja executar a DMF:

    • Para executar a DMF em um intervalo regular de um dia ou menos, selecione Interval-based timing e o intervalo na lista suspensa.

    • Para executar a DMF seguindo um cronograma personalizado, selecione Select schedule e defina o cronograma.

    • Para executar a DMF sempre que houver uma alteração de DML na tabela; por exemplo, quando uma linha é adicionada, selecione Trigger-based execution.

Mais sobre o Cortex Data Quality

As seções a seguir fornecem informações adicionais sobre o Cortex Data Quality.

LLMs obrigatórios

O Cortex Data Quality não funcionará a menos que o parâmetro de conta CORTEX_MODELS_ALLOWLIST permita os modelos mistral-7b e llama3.1-8b na conta. Por padrão, ambos os modelos são permitidos. Para obter mais informações sobre a definição desse parâmetro, consulte Parâmetro de lista de permissões no nível da conta.

Requisitos de controle de acesso

Administradores com a função ACCOUNTADMIN tem todos os privilégios necessários para usar o Cortex para sugerir verificações de qualidade de dados.

Os outros usuários devem ter os seguintes privilégios e funções:

  • Privilégio OWNERSHIP na tabela

  • Privilégio EXECUTE DATA METRIC FUNCTION na conta

  • Função de banco de dados SNOWFLAKE.DATA_METRIC_USER

  • Função de banco de dados SNOWFLAKE.CORTEX_USER

Limitar o acesso

Por padrão, a função de banco de dados CORTEX_USER é concedida à função PUBLIC, o que significa que todos os usuários têm essa função. Se não quiser que todos os usuários possam usar os recursos do Snowflake Cortex, você poderá revogar essa função de banco de dados da função PUBLIC e, em seguida, concedê-la a funções específicas.

Para impedir que os usuários usem o Cortex para sugerir verificações de qualidade, revogue a função de banco de dados CORTEX_USER da função PUBLIC executando os seguintes comandos. Certifique-se de usar a função ACCOUNTADMIN.

USE ROLE ACCOUNTADMIN;

REVOKE DATABASE ROLE SNOWFLAKE.CORTEX_USER
  FROM ROLE PUBLIC;
Copy

Agora é possível fornecer acesso seletivamente concedendo a função de banco de dados CORTEX_USER a funções específicas. No exemplo a seguir, use a função ACCOUNTADMIN e conceda ao usuário some_user a função de banco de dados CORTEX_USER por meio da função da conta cortex_access_role, que você cria para essa finalidade.

USE ROLE ACCOUNTADMIN;

CREATE ROLE cortex_access_role;
GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE cortex_access_role;

GRANT ROLE cortex_access_role TO USER some_user;
Copy

Você também pode conceder a função de banco de dados CORTEX_USER a funções existentes.

Considerações sobre custo

O custo de uso do Cortex Data Quality consiste em:

  • Custos associados à função COMPLETE (SNOWFLAKE.CORTEX). Essas cobranças aparecem em uma fatura como AI-Services, incluindo todos os usos do Snowflake Cortex.

  • Custo de computação do warehouse padrão que executa o Snowsight.