Classer automatiquement les données sensibles¶

Prise en main¶

Le workflow de base pour classer automatiquement les données sensibles est le suivant :

1. Créez un profil de classification qui contrôle la fréquence à laquelle les données sensibles d’un schéma sont automatiquement classées, y compris si les balises du système doivent être automatiquement appliquées après la classification.

2. En option, utilisez le profil de classification pour mapper les balises définies par l’utilisateur aux balises du système, de sorte qu’une colonne contenant des données sensibles puisse être associée à une balise définie par l’utilisateur en fonction de sa classification.

3. En option, ajoutez un classificateur personnalisé au profil de classification afin que les données sensibles puissent être automatiquement classées avec des catégories sémantiques et de confidentialité définies par l’utilisateur.

4. Définissez le profil de classification d’un schéma pour que les tables de ce schéma soient automatiquement classées.

Pour des exemples de bout en bout de ce workflow, voir Exemples.

À propos des profils de classification¶

Un ingénieur des données crée un profil de classification en créant une instance de la classe CLASSIFICATION_PROFILE afin de définir les critères utilisés pour classer automatiquement les tables d’un schéma. Ces critères comprennent :

• Durée pendant laquelle une table doit exister avant d’être classée automatiquement.

• Combien de temps avant que les tables précédemment classées ne soient reclassées ?

• Si les balises du système et les balises personnalisées sont automatiquement ensemble sur les colonnes après la classification. Vous pouvez décider si vous souhaitez que Snowflake applique automatiquement les balises suggérées ou si vous préférez examiner les attributions de balises proposées, puis les appliquer vous-même.

• Un mappage entre les balises de classification du système et les balises des objets définis par l’utilisateur afin que les balises définies par l’utilisateur puissent être appliquées automatiquement.

Lorsque l’ingénieur des données affecte le profil de classification à un schéma, les données sensibles des tables du schéma sont automatiquement classées selon la planification définie par le profil. Un ingénieur des données peut attribuer le même profil de classification à plusieurs schémas ou créer plusieurs profils de classification s’il est nécessaire de définir des critères de classification différents pour différents schémas.

Le processus de classification automatique des données nécessite l’accès aux données brutes de la table. Les données brutes comprennent les tables pour lesquelles une politique de masquage a été attribuée à une colonne. Cependant, Snowflake préserve l’intention de réglementer l’accès aux données protégées en utilisant un rôle interne pour classer automatiquement les données. Le rôle interne peut accéder aux données protégées par une politique de masquage, mais ce rôle n’est pas accessible aux utilisateurs.

Pour un exemple d’utilisation de la commande CREATE CLASSIFICATION_PROFILE pour créer un profil de classification, voir Exemples.

À propos du mappage des balises¶

Vous pouvez utiliser le profil de classification pour mapper les balises du système SEMANTIC_CATEGORY à une ou plusieurs balises d’objet. Ce mappage de balises permet d’attribuer automatiquement à une colonne contenant des données sensibles une balise définie par l’utilisateur en fonction de sa classification. Le mappage des balises peut être ajouté lors de la création du profil de classification ou ultérieurement en appelant la méthode <classification_profile_name>!SET_TAG_MAP.

Étant donné que les balises d’objet définies par l’utilisateur peuvent être associées à une politique de masquage, vous pouvez utiliser un mappage de balises pour activer le masquage automatique basé sur les balises. Si vous choisissez d’appliquer automatiquement des balises après la classification, vous pouvez automatiser l’ensemble du processus de protection des colonnes à l’aide d’une politique de masquage basée sur la classification des données. Lorsque de nouvelles données sont ajoutées à un schéma, les politiques de masquage basées sur les balises sont automatiquement affectées aux colonnes contenant des données sensibles.

Que vous définissiez le mappage des balises lors de la création du profil de classification ou après, le contenu du mappage est spécifié en tant qu’objet JSON. Cet objet JSON contient la clé 'column_tag_map', qui est un tableau d’objets spécifiant une balise définie par l’utilisateur, la valeur de la chaîne de cette balise et les catégories sémantiques auxquelles la balise est mappée. Une fois que le mappage de balises est associé à un profil de classification et que vous classez automatiquement les tables d’un schéma, la balise est affectée aux colonnes qui correspondent aux catégories sémantiques.

Voici un exemple de mappage de balises :

'tag_map': {
  'column_tag_map': [
    {
      'tag_name':'tag_db.sch.pii',
      'tag_value':'Highly Confidential',
      'semantic_categories':[
        'NAME',
        'NATIONAL_IDENTIFIER'
      ]
    },
    {
      'tag_name': 'tag_db.sch.pii',
      'tag_value':'Confidential',
      'semantic_categories': [
        'EMAIL'
      ]
    }
  ]
}

Sur la base de ce mappage, si vous avez une colonne d’adresses e-mail et que le processus de classification détermine que la colonne contient ces adresses, la balise tag_db.sch.pii = 'Confidential' est ensemble sur la colonne contenant les adresses e-mail.

Si votre mappage de balises comprend plusieurs objets JSON qui mappent des balises, des valeurs de balises et des valeurs de catégories, l’ordre des objets JSON détermine quelle balise et quelle valeur doivent être définies sur la colonne en cas de conflit. Spécifiez les objets JSON dans l’ordre d’affectation souhaité, de gauche à droite, ou de haut en bas si vous formatez JSON.

En cas de conflit entre une balise attribuée manuellement et une balise appliquée par la classification automatique, une erreur se produit. Pour obtenir des informations sur le suivi de ces erreurs, voir Résolution des problèmes.

Mise en œuvre de la classification automatique des clients¶

Snowflake vous permet de définir des classificateurs personnalisés qui utilisent une logique personnalisée pour identifier et classer les données sensibles. Par exemple, vous pouvez créer un identificateur personnalisé qui utilise une expression régulière pour identifier les catégories ICD-10 et les classer dans la catégorie sémantique ICD_10_CODES.

Après avoir créé un classificateur personnalisé, vous pouvez l’ajouter au profil de classification afin que Snowflake classe automatiquement les données en fonction de sa logique. Vous pouvez ajouter le classificateur personnalisé lors de la création du profil de classification ou en appelant la méthode <classification_profile_name>!SET_CUSTOM_CLASSIFIERS.

L’ajout de classificateurs personnalisés et d’un mappage dans votre profil de classification constitue une solution de gouvernance puissante. Il vous permet de classer automatiquement les données en fonction de votre connaissance de ce qui est sensible et d’appliquer une balise définie par l’utilisateur que vous pouvez suivre. Si vous utilisez cette balise définie par l’utilisateur pour mettre en œuvre le masquage basé sur la balise, vos données sensibles spécifiques au domaine sont automatiquement protégées par une politique de masquage lorsque des données sont ajoutées à un schéma.

Voir les résultats de la classification automatique¶

Vous pouvez voir les résultats de la classification automatique de la manière suivante :

• Appelez la procédure stockée SYSTEM$GET_CLASSIFICATION_RESULT. Par exemple :

  CALL SYSTEM$GET_CLASSIFICATION_RESULT('mydb.sch.t1');
  

  Copy

  Vous ne pouvez pas renvoyer les résultats tant que le processus de classification n’est pas terminé. Le processus de classification automatique ne démarre qu’une heure après avoir paramétré le profil de classification sur le schéma.

• Utilisez un rôle auquel est attribué le rôle de base de données SNOWFLAKE.GOVERNANCE_VIEWER pour interroger la vue DATA_CLASSIFICATION_LATEST. Par exemple :

  SELECT * FROM snowflake.account_usage.data_classification_latest;
  

  Copy

  Les résultats peuvent n’apparaître que trois heures après la fin de la classification.

Limitations¶

• Les profils de classification ne peuvent pas être définis sur un compte de lecteur.

• Vous ne pouvez pas classer automatiquement les vues.

• Un seul profil de classification peut être défini sur un schéma.

• Le même profil de classification ne peut être défini sur plus de 10 000 schémas.

• Un maximum de 100 millions de tables peuvent être classées dans un schéma.

• Vous ne pouvez pas classer automatiquement une table si elle présente l’une des caractéristiques suivantes :

  • Elle compte plus de 10 000 colonnes.

  • Elle a une colonne dont le nom comporte plus de 255 caractères.

  • Elle a une colonne dont le nom contient le caractère $.

  • Elle provient d’une action.

Contrôle d’accès¶

Cette section décrit les privilèges et les rôles qui vous permettent de travailler avec les profils de classification et d’activer la classification automatique des données sensibles.

Pour un exemple de l’octroi de ces privilèges et des rôles de base de données au rôle d’un ingénieur des données, voir Exemple de base : Classification automatique des tables dans un schéma.

Coût de la classification automatique des données sensibles¶

La classification automatique des données sensibles consomme des crédits car elle utilise les ressources de calcul sans serveur pour classer les tables du schéma. Pour plus d’informations sur le tarif de cette consommation, voir la table 5 dans Snowflake Service Consumption Table.

Vous pouvez interroger les vues des schémas ACCOUNT_USAGE et ORGANIZATION_USAGE pour déterminer le montant consacré à la classification automatique des données sensibles. Pour suivre la consommation des crédits, interrogez les vues suivantes :

Vue METERING_HISTORY (ACCOUNT_USAGE)

Vous permet de récupérer le coût horaire de la classification automatique en vous concentrant sur SENSITIVE_DATA_CLASSIFICATION dans la colonne SERVICE_TYPE. Par exemple :

SELECT
  service_type,
  start_time,
  end_time,
  entity_id,
  name,
  credits_used_compute,
  credits_used_cloud_services,
  credits_used,
  budget_id
  FROM snowflake.account_usage.metering_history
  WHERE service_type = 'SENSITIVE_DATA_CLASSIFICATION';

Copy

Vue METERING_DAILY_HISTORY (ACCOUNT_USAGE et ORGANIZATION_USAGE)

Vous permet de récupérer le coût journalier de la classification automatique en vous concentrant sur SENSITIVE_DATA_CLASSIFICATION dans la colonne SERVICE_TYPE. Par exemple :

SELECT
  service_type,
  usage_date,
  credits_used_compute,
  credits_used_cloud_services,
  credits_used
  FROM snowflake.account_usage.metering_daily_history
  WHERE service_type = 'SENSITIVE_DATA_CLASSIFICATION';

Copy

USAGE_IN_CURRENCY_DAILY (ORGANIZATION_USAGE)

Vous permet de récupérer le coût journalier de la classification automatique en vous concentrant sur SENSITIVE_DATA_CLASSIFICATION dans la colonne SERVICE_TYPE. Utilisez cette vue pour déterminer le coût en devises et non en crédits.

Exemples¶

• Exemple de base : Classification automatique des tables dans un schéma

• Exemple : Utilisation d’un mappage de balises et de classificateurs personnalisés

• Exemple : Test d’un profil de classification avant d’activer la classification automatique

Résolution des problèmes¶

Par défaut, Snowflake utilise la table d’événements de l’utilisateur pour connecter les événements liés à la classification automatique des données sensibles. Si vous souhaitez empêcher que les événements de classification soient connectés, réglez le paramètre de compte ENABLE_AUTOMATIC_SENSITIVE_DATA_CLASSIFICATION_LOG sur FALSE.

Vous pouvez utiliser la requête suivante pour accéder aux messages d’erreur de la table des événements :

SELECT
  record_type,
  record:severity_text::string log_level,
  parse_json(value) error_message
  FROM log_db.log_schema.log_table
  WHERE record_type='LOG' and scope:name ='snow.automatic_sensitive_data_classification'
  ORDER BY log_level;

Les messages d’erreur suivants sont possibles, la sortie étant tronquée pour contenir la clé "failure_reason" et sa valeur (le message d’erreur) :

"failure_reason":"NO_TAGGING_PRIVILEGE"

"failure_reason":"MANUALLY_APPLIED_VALUE_PRESENT"

"failure_reason":"TAG_NOT_ACCESSIBLE_OR_AUTHORIZED"

Pour plus d’informations sur les messages de la table des événements, voir Affichage des messages de journalisation.