Détecter et masquer les informations personnelles identifiables (PII)¶

Exemples de masquage de base¶

L’exemple suivant masque un nom et une adresse dans le texte d’entrée.

SELECT AI_REDACT(
  input => 'My name is John Smith and I live at twenty third street, San Francisco.'
  );

Sortie de masquage de base :

My name is [NAME] and I live at [ADDRESS]

L’exemple suivant masque uniquement les noms et les adresses e-mail dans le texte d’entrée. Notez que le texte ne contient qu’un prénom, qui est reconnu et masqué en tant que [NAME]. Le texte d’entrée ne contient pas d’adresse e-mail, de sorte qu’aucun espace réservé d’e-mail n’apparaît dans la sortie.

SELECT AI_REDACT(
  input => 'My name is John and I live at twenty third street, San Francisco.',
  categories => ['NAME', 'EMAIL']
  );

Sortie de masquage sélectif :

My name is [NAME] and I live at twenty third street, San Francisco.

Exemple de bout en bout¶

L’exemple suivant traite les lignes d’une table et insère la sortie masquée dans une autre table. Vous pouvez utiliser une approche similaire pour stocker les données masquées dans une colonne à l’intérieur d’une table existante. Une fois masqué, le texte est transmis à la fonction AI_SENTIMENT permettant d’extraire des informations globales sur les sentiments.

1. Créez une table avec du texte non masqué.

   CREATE OR REPLACE TABLE raw_table AS
     SELECT 'My previous manager, Washington, used to live in Kirkland. His first name was Mike.' AS my_column
     UNION ALL
     SELECT 'My name is William and I live in San Francisco. You can reach me at (415).450.0973';
   

   Copy

2. Affichez les données non masquées.

   SELECT * FROM raw_table;
   

   Copy

3. Créez une table de masquage.

   CREATE OR REPLACE TABLE redaction_table (value VARCHAR);
   

   Copy

4. Maquez les PII de la raw_table et insérez les lignes dans la redaction_table.

   INSERT INTO redaction_table
     SELECT AI_REDACT(my_column) AS value FROM raw_table;
   

   Copy

5. Affichez les résultats masqués.

   SELECT * FROM redaction_table;
   

   Copy

6. Exécutez la fonction AI_SENTIMENT sur le texte masqué.

   SELECT
       value AS redacted_text,
       AI_SENTIMENT(value) AS summary_sentiment
     FROM redaction_table;
   

   Copy

Exemple de découpage en morceaux¶

Cet exemple illustre comment masquer des PII à partir d’un texte long en divisant le texte en morceaux plus petits, en masquant chaque morceau séparément, puis en recombinant les morceaux masqués dans la sortie finale. Cette approche permet de contourner les limites de jetons d’AI_REDACT.

1. Créez une table avec les données des patients.

   CREATE OR REPLACE TABLE patients (
     patient_id INT PRIMARY KEY,
     patient_notes TEXT
     );
   

   Copy

2. Divisez le texte en morceaux, appliquez AI_REDACT à chaque morceau, et concaténez les morceaux masqués.

   CREATE OR REPLACE TABLE final_temp_table AS
     WITH chunked_data AS (
       SELECT
           patient_id,
           chunk.value AS chunk_text,
           chunk.index AS chunk_index
         FROM
           patients,
           LATERAL FLATTEN(
               input => SNOWFLAKE.CORTEX.SPLIT_TEXT_RECURSIVE_CHARACTER(
                   patient_notes,
                   'none',
                   1000
                   )
               ) AS chunk
         WHERE
           patient_notes IS NOT NULL
           AND LENGTH(patient_notes) > 0
       ),
     redacted_chunks AS (
         SELECT
             patient_id,
             chunk_index,
             chunk_text,
             TO_VARIANT(results:value) AS redacted_chunk,
             TO_VARIANT(results:error) AS error_string
           FROM (
             SELECT
                 patient_id,
                 chunk_index,
                 chunk_text,
                 AI_REDACT(chunk_text,TRUE) AS results
               FROM
                 chunked_data
           )
     ),
     final AS (
         SELECT
             chunk_text AS original,
             IFF(error_string IS NOT NULL, chunk_text, redacted_chunk) AS redacted_text,
             patient_id,
             chunk_index
           FROM
             redacted_chunks
     )
     SELECT * FROM final;
   

   Copy

3. Interrogez les résultats.

   SELECT
       patient_id,
       LISTAGG(redacted_text, '') WITHIN GROUP (ORDER BY chunk_index) AS full_output
     FROM final_temp_table
     GROUP BY patient_id;
   

   Copy

Exemple de détection de base¶

L’exemple suivant identifie et renvoie la catégorie, l’emplacement et le texte de chaque instance de PII détectée sans masquer l’entrée.

SELECT AI_REDACT(
    input => 'My old manager, Washington, used to live in Washington. His first name was Mike.',
    return_error_details => FALSE,
    mode => 'detect'
    );

Sortie de détection de base :

{
  "spans": [
    {
      "category": "NAME",
      "end": 26,
      "start": 16,
      "text": "Washington"
    },
    {
      "category": "ADDRESS",
      "end": 54,
      "start": 44,
      "text": "Washington"
    },
    {
      "category": "NAME",
      "end": 79,
      "start": 75,
      "text": "Mike"
    }
  ]
}

Exemple de bout en bout avec liste d’autorisation¶

L’exemple suivant illustre un workflow de masquage sélectif qui utilise le mode detect et une liste d’autorisation. Il charge une liste de noms à conserver à partir d’un fichier en zone de préparation, utilise AI_REDACT en mode detect pour identifier les emplacements des PII, puis transmet les résultats à une UDF Python qui ne masque que les PII ne figurant pas dans la liste d’autorisation.

1. Conservez une liste de valeurs autorisées en chargeant la liste depuis une zone de préparation dans une table temporaire.

   CREATE OR REPLACE TEMP TABLE string_list (value STRING);
   
   COPY INTO string_list
     FROM @mystage/allowlist.txt
     FILE_FORMAT = (
       TYPE = 'CSV'
       RECORD_DELIMITER = '\n'
       FIELD_DELIMITER = '\t'   -- any char NOT in file
       TRIM_SPACE = TRUE
       SKIP_HEADER = 0
       );
   

   Copy

2. Afficher la table de la liste d’autorisation

   SELECT * FROM string_list;
   

   Copy

   Sortie de la table de la liste d’autorisation :

   VALUE
   Mike
   David
   

3. Créez une UDF Python qui masque sélectivement les PII basées sur la liste d’autorisation.

   CREATE OR REPLACE FUNCTION redact_spans_with_allowlist(
     SPAN_DATA VARIANT,
     ALLOWLIST ARRAY,
     ORIGINAL_TEXT STRING
     )
     RETURNS STRING
     LANGUAGE PYTHON
     RUNTIME_VERSION = '3.8'
     HANDLER = 'redact_text'
     AS
     $$
     def redact_text(span_data, allowlist, original_text):
         spans = span_data.get('spans', [])
         # Sort descending to maintain index integrity
         sorted_spans = sorted(spans, key=lambda x: x['start'], reverse=True)
   
         result = original_text
   
         for span in sorted_spans:
             text_val = span.get('text')
             if text_val in allowlist:
                 continue
   
             start, end = span['start'], span['end']
             label = f"[{span['category']}]"
   
             # Splice the string
             result = result[:start] + label + result[end:]
   
         return result
     $$;
   

   Copy

4. Testez l’UDF.

   SELECT redact_spans_with_allowlist(
     PARSE_JSON('{"spans": [{"category": "NAME", "end": 26, "start": 16, "text": "Washington"}, {"category": "NAME", "end": 79, "start": 75, "text": "Mike"}]}'),
     ARRAY_CONSTRUCT('Washington'), -- This will NOT be redacted
     'Hello, my name is Washington and his is Mike.'
     );
   

   Copy

5. Exécutez AI_REDACT en mode detect.

   CREATE OR REPLACE TABLE raw (message TEXT);
   
   INSERT INTO raw (message) VALUES
     ('My old manager, Washington, used to live in Washington. His first name was Mike.');
   
   SELECT
       t.message AS message,
       AI_REDACT(input=>t.message, return_error_details=>FALSE, mode=>'detect') AS spans,
       redact_spans_with_allowlist(spans, l.str_list, message) AS result
     FROM raw t
       CROSS JOIN (
         SELECT ARRAY_AGG(value) AS str_list
           FROM string_list
         ) l;
   

   Copy

Exemple de sortie de bout en bout avec liste d’autorisation :

{
  "spans": [
    {"category": "NAME",
    "end": 26,
    "start": 16,
    "text": "Washington"
    },
    {"category": "ADDRESS",
    "end": 54,
    "start": 44,
    "text": "Washington"
    },
    {"category": "NAME",
    "end": 79,
    "start": 75,
    "text": "Mike"
    }
  ]
}