Utiliser Snowsight pour mettre en place des contrôles de qualité des données

Cette rubrique explique comment utiliser Snowsight pour mettre en place des contrôles de qualité des données. Vous pouvez utiliser les stratégies suivantes pour mettre en place des contrôles de qualité des données :

Pour une introduction aux concepts de contrôles de qualité des données, consultez Concepts de base des contrôles de la qualité des données.

Configurer des contrôles de qualité à l’aide de Cortex Data Quality

Cortex Data Quality utilise l’AI pour suggérer des contrôles de qualité des données en fonction des caractéristiques de vos métadonnées. Si vous acceptez ces suggestions, Snowflake vérifie régulièrement la qualité de vos données pour identifier des problèmes éventuels.

Cortex Data Quality tire parti de la fonction Snowflake Cortex AI_COMPLETE pour suggérer intelligemment des contrôles de qualité des données. Parce qu’elles fonctionnent en toute sécurité à l’intérieur de Snowflake Cortex, les données et métadonnées de votre entreprise restent toujours en sécurité à l’intérieur de Snowflake. Cortex Data Quality respecte également pleinement le contrôle d’accès Snowflake et fournit des suggestions qui ne sont basées que sur les données auxquelles vous pouvez accéder.

Pour utiliser Cortex Data Quality afin de configurer des contrôles de qualité des données, procédez comme suit :

  1. Connectez-vous à Snowsight.

  2. Dans le menu de navigation, sélectionnez Catalog » Database Explorer, puis sélectionnez l’objet.

  3. Sélectionnez l’onglet Data Quality.

  4. Sélectionnez Monitoring.

  5. Effectuez au choix :

    • S’il s’agit de la première fois que vous configurez des contrôles de qualité, sélectionnez Get started.

    • Si vous configurez des contrôles de qualité supplémentaires, sélectionnez Add quality check, puis sélectionnez:ui:Suggested quality checks.

  6. Examinez les contrôles de qualité des données suggérés. Pour modifier les critères qui déterminent si les données passent un contrôle de qualité, modifiez le contenu de la colonne What should the result be?.

  7. Sélectionnez les contrôles de qualité que vous souhaitez mettre en œuvre, puis sélectionnez Apply.

Pour plus d’informations sur Cortex Data Quality, consultez En savoir plus sur Cortex Data Quality.

Configurer manuellement les contrôles de qualité

Pour créer des contrôles de qualité des données basés sur la connaissance de vos données, procédez comme suit :

  1. Connectez-vous à Snowsight.

  2. Dans le menu de navigation, sélectionnez Catalog » Database Explorer, puis sélectionnez l’objet.

  3. Sélectionnez l’onglet Data Quality.

  4. Sélectionnez Monitoring.

  5. Effectuez au choix :

    • S’il s’agit de la première fois que vous configurez des contrôles de qualité, sélectionnez Start manually.

    • Si vous configurez des contrôles de qualité supplémentaires, sélectionnez Add quality check, puis sélectionnez:ui:Build checks manually.

  6. Dans la boîte de dialogue Set up a quality check, sélectionnez le type de contrôle que vous souhaitez créer.

  7. Configurez les critères qui déterminent si les données passent le contrôle de qualité, puis sélectionnez Save.

Astuce

Si vous souhaitez activer la détection des anomalies afin que Snowflake puisse détecter automatiquement les problèmes de qualité des données en fonction du volume historique et du niveau d’actualisation de vos données, utilisez l’option Cortex Data Quality et acceptez ses suggestions pour la détection des anomalies, ou configurez manuellement la détection des anomalies.

Ajustez la fréquence d’exécution des contrôles de qualité

La planification d’une table ou d’une vue détermine la fréquence à laquelle la DMF qui alimente les contrôles de qualité des données s’exécute. La planification peut être basée sur l’heure ou sur les mises à jour de la table.

Note

Vous ne pouvez pas utiliser Snowsight pour ajuster la planification tant que vous n’avez pas ajouté au moins un contrôle de qualité. Vous pouvez utiliser une commande ALTER<object> pour définir la planification d’une table ou d’une vue à tout moment.

  1. Connectez-vous à Snowsight.

  2. Dans le menu de navigation, sélectionnez Catalog » Database Explorer, puis sélectionnez l’objet.

  3. Sélectionnez l’onglet Data Quality.

  4. Sélectionnez Monitoring.

  5. Sélectionnez Settings.

  6. Indiquez la fréquence d’exécution souhaitée pour la DMF :

    • Pour exécuter la DMF à intervalle régulier d’un jour ou moins, sélectionnez Interval-based timing, puis sélectionnez l’intervalle dans la liste déroulante.

    • Pour exécuter la DMF selon un calendrier personnalisé, sélectionnez Select schedule et définissez le calendrier.

    • Pour exécuter la DMF chaque fois qu’une modification de DML est apportée à la table, par exemple lorsqu’une ligne est ajoutée, sélectionnez Trigger-based execution.

En savoir plus sur Cortex Data Quality

Les sections suivantes fournissent des informations supplémentaires sur Cortex Data Quality.

LLMs obligatoires

Cortex Data Quality ne fonctionnera pas si le paramètre de compte CORTEX_MODELS_ALLOWLIST n’autorise pas les modèles mistral-7b et llama3.1-8b au sein du compte. Par défaut, les deux modèles sont autorisés. Pour plus d’informations sur l’utilisation de ce paramètre, consultez Paramètre de la liste d’autorisation au niveau du compte.

Exigences en matière de contrôle d’accès

Les administrateurs avec le rôle ACCOUNTADMIN disposent de tous les privilèges nécessaires pour utiliser Cortex pour suggérer des contrôles de qualité des données.

Les autres utilisateurs doivent disposer des privilèges et des rôles suivants :

  • Privilège OWNERSHIP sur la table

  • Privilège EXECUTE DATA METRIC FUNCTION sur le compte

  • Rôle de base de données SNOWFLAKE.DATA_METRIC_USER

  • Rôle de base de données SNOWFLAKE.CORTEX_USER

Limiter l’accès

Par défaut, le rôle de base de données CORTEX_USER est accordé au rôle PUBLIC, ce qui signifie que chaque utilisateur l’a. Si vous ne souhaitez pas que tous les utilisateurs puissent utiliser les fonctionnalités Snowflake Cortex, vous pouvez révoquer ce rôle de base de données du rôle PUBLIC, puis l’accorder à des rôles spécifiques.

Pour empêcher les utilisateurs d’utiliser Cortex pour suggérer des contrôles de qualité, révoquez le rôle de base de données CORTEX_USER du rôle PUBLIC en exécutant les commandes suivantes. Veillez à utiliser le rôle ACCOUNTADMIN.

USE ROLE ACCOUNTADMIN;

REVOKE DATABASE ROLE SNOWFLAKE.CORTEX_USER
  FROM ROLE PUBLIC;
Copy

Vous pouvez maintenant fournir un accès sélectif en accordant le rôle de base de données CORTEX_USER à des rôles spécifiques. Dans l’exemple suivant, utilisez le rôle ACCOUNTADMIN et accordez à l’utilisateur some_user le rôle de base de données CORTEX_USER via le rôle d’utilisateur cortex_access_role, que vous créez à cet effet.

USE ROLE ACCOUNTADMIN;

CREATE ROLE cortex_access_role;
GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE cortex_access_role;

GRANT ROLE cortex_access_role TO USER some_user;
Copy

Vous pouvez également accorder le rôle de base de données CORTEX_USER à des rôles existants.

Considérations relatives aux clients

Le coût d’utilisation de Cortex Data Quality consiste en ce qui suit :

  • Coûts associés à la fonction COMPLETE (SNOWFLAKE.CORTEX). Ces frais sont facturés sous la forme de Services AI, ce qui inclut toutes les utilisations de Snowflake Cortex.

  • Coût de calcul de l’entrepôt par défaut qui exécute Snowsight.