Persönlich identifizierbare Informationen (PII) erkennen und unkenntlich machen¶

Einfache Beispiele für die Ausblendung¶

Bei folgendem Beispiel werden ein Name und eine Adresse aus dem Eingabetext maskiert.

SELECT AI_REDACT(
  input => 'My name is John Smith and I live at twenty third street, San Francisco.'
  );

Ausgabe einfache Ausblendung:

My name is [NAME] and I live at [ADDRESS]

Im folgenden Beispiel werden nur Namen und E-Mail-Adressen aus dem Eingabetext unkenntlich gemacht. Beachten Sie, dass der Text nur einen Vornamen enthält, der als [NAME] erkannt und redigiert wird. Der Eingabetext enthält keine E-Mail-Adresse, daher wird in der Ausgabe kein E-Mail-Platzhalter angezeigt.

SELECT AI_REDACT(
  input => 'My name is John and I live at twenty third street, San Francisco.',
  categories => ['NAME', 'EMAIL']
  );

Ausgabe selektive Ausblendung:

My name is [NAME] and I live at twenty third street, San Francisco.

End-to-End-Beispiel¶

Im folgenden Beispiel werden Zeilen aus einer Tabelle verarbeitet und die maskierte Ausgabe in eine andere Tabelle eingefügt. Sie könnten einen ähnlichen Ansatz verwenden, um die ausgeblendeten Daten in einer Spalte einer bestehenden Tabelle zu speichern. Nach der Ausblendung wird der Text an die AI_SENTIMENT-Funktion übergeben, um allgemeine Stimmungsinformationen zu extrahieren.

1. Eine Tabelle mit nicht ausgeblendetem Text erstellen.

   CREATE OR REPLACE TABLE raw_table AS
     SELECT 'My previous manager, Washington, used to live in Kirkland. His first name was Mike.' AS my_column
     UNION ALL
     SELECT 'My name is William and I live in San Francisco. You can reach me at (415).450.0973';
   

   Copy

2. Nicht ausgeblendete Daten anzeigen.

   SELECT * FROM raw_table;
   

   Copy

3. Eine Ausblendungstabelle erstellen.

   CREATE OR REPLACE TABLE redaction_table (value VARCHAR);
   

   Copy

4. PII in raw_table ausblenden und die Zeilen in redaction_table einfügen.

   INSERT INTO redaction_table
     SELECT AI_REDACT(my_column) AS value FROM raw_table;
   

   Copy

5. Ausgeblendete Ergebnisse anzeigen.

   SELECT * FROM redaction_table;
   

   Copy

6. Die Funktion AI_SENTIMENT für ausgeblendeten Text anzeigen.

   SELECT
       value AS redacted_text,
       AI_SENTIMENT(value) AS summary_sentiment
     FROM redaction_table;
   

   Copy

Chunking-Beispiel¶

Dieses Beispiel veranschaulicht, wie Sie PII in umfangreichem Text redigieren können, indem der Text in kleinere Blöcke aufgeteilt, jeder Block separat ausgeblendet wird und dann die ausgeblendeten Blöcke in der endgültigen Ausgabe wieder kombiniert werden. Dieser Ansatz funktioniert im Rahmen der Token-Beschränkungen von AI_REDACT.

1. Erstellen Sie eine Tabelle mit Patientendaten.

   CREATE OR REPLACE TABLE patients (
     patient_id INT PRIMARY KEY,
     patient_notes TEXT
     );
   

   Copy

2. Teilen Sie den Text in Blöcke auf, wenden Sie AI_REDACT auf jeden Block an und verketten Sie die ausgeblendeten Blöcke.

   CREATE OR REPLACE TABLE final_temp_table AS
     WITH chunked_data AS (
       SELECT
           patient_id,
           chunk.value AS chunk_text,
           chunk.index AS chunk_index
         FROM
           patients,
           LATERAL FLATTEN(
               input => SNOWFLAKE.CORTEX.SPLIT_TEXT_RECURSIVE_CHARACTER(
                   patient_notes,
                   'none',
                   1000
                   )
               ) AS chunk
         WHERE
           patient_notes IS NOT NULL
           AND LENGTH(patient_notes) > 0
       ),
     redacted_chunks AS (
         SELECT
             patient_id,
             chunk_index,
             chunk_text,
             TO_VARIANT(results:value) AS redacted_chunk,
             TO_VARIANT(results:error) AS error_string
           FROM (
             SELECT
                 patient_id,
                 chunk_index,
                 chunk_text,
                 AI_REDACT(chunk_text,TRUE) AS results
               FROM
                 chunked_data
           )
     ),
     final AS (
         SELECT
             chunk_text AS original,
             IFF(error_string IS NOT NULL, chunk_text, redacted_chunk) AS redacted_text,
             patient_id,
             chunk_index
           FROM
             redacted_chunks
     )
     SELECT * FROM final;
   

   Copy

3. Fragen Sie die Ergebnisse ab.

   SELECT
       patient_id,
       LISTAGG(redacted_text, '') WITHIN GROUP (ORDER BY chunk_index) AS full_output
     FROM final_temp_table
     GROUP BY patient_id;
   

   Copy

Einfaches Beispiel zur Erkennung¶

Das folgende Beispiel identifiziert und gibt die Kategorie, den Speicherort und den Text jeder erkannten PII-Instanz zurück, ohne die Eingabe auszublenden.

SELECT AI_REDACT(
    input => 'My old manager, Washington, used to live in Washington. His first name was Mike.',
    return_error_details => FALSE,
    mode => 'detect'
    );

Ausgabe einfache Erkennung:

{
  "spans": [
    {
      "category": "NAME",
      "end": 26,
      "start": 16,
      "text": "Washington"
    },
    {
      "category": "ADDRESS",
      "end": 54,
      "start": 44,
      "text": "Washington"
    },
    {
      "category": "NAME",
      "end": 79,
      "start": 75,
      "text": "Mike"
    }
  ]
}

Beispiel für End-to-End mit Zulassungsliste¶

Das folgende Beispiel zeigt einen selektiven Ausblendungs-Workflow, der den detect-Modus und eine Zulassungsliste verwendet. Es wird eine Liste von Namen geladen, die aus einer Stagingdatei beibehalten werden sollen, und AI_REDACT im detect-Modus verwendet, um PII-Speicherorte zu identifizieren. Anschließend werden die Ergebnisse an eine Python-UDF übergeben, die nur die PII ausblendet, die nicht in der Zulassungsliste sind.

1. Behalten Sie eine Zulassungsliste mit Werten bei, indem Sie die Liste aus einem Stagingbereich in eine temporäre Tabelle laden.

   CREATE OR REPLACE TEMP TABLE string_list (value STRING);
   
   COPY INTO string_list
     FROM @mystage/allowlist.txt
     FILE_FORMAT = (
       TYPE = 'CSV'
       RECORD_DELIMITER = '\n'
       FIELD_DELIMITER = '\t'   -- any char NOT in file
       TRIM_SPACE = TRUE
       SKIP_HEADER = 0
       );
   

   Copy

2. Die Tabelle mit der Zulassungsliste anzeigen

   SELECT * FROM string_list;
   

   Copy

   Ausgabe der Tabelle mit der Zulassungsliste:

   VALUE
   Mike
   David
   

3. Erstellen Sie eine Python-UDF, die PII basierend auf der Zulassungsliste selektiv ausblendet.

   CREATE OR REPLACE FUNCTION redact_spans_with_allowlist(
     SPAN_DATA VARIANT,
     ALLOWLIST ARRAY,
     ORIGINAL_TEXT STRING
     )
     RETURNS STRING
     LANGUAGE PYTHON
     RUNTIME_VERSION = '3.8'
     HANDLER = 'redact_text'
     AS
     $$
     def redact_text(span_data, allowlist, original_text):
         spans = span_data.get('spans', [])
         # Sort descending to maintain index integrity
         sorted_spans = sorted(spans, key=lambda x: x['start'], reverse=True)
   
         result = original_text
   
         for span in sorted_spans:
             text_val = span.get('text')
             if text_val in allowlist:
                 continue
   
             start, end = span['start'], span['end']
             label = f"[{span['category']}]"
   
             # Splice the string
             result = result[:start] + label + result[end:]
   
         return result
     $$;
   

   Copy

4. Testen Sie die UDF.

   SELECT redact_spans_with_allowlist(
     PARSE_JSON('{"spans": [{"category": "NAME", "end": 26, "start": 16, "text": "Washington"}, {"category": "NAME", "end": 79, "start": 75, "text": "Mike"}]}'),
     ARRAY_CONSTRUCT('Washington'), -- This will NOT be redacted
     'Hello, my name is Washington and his is Mike.'
     );
   

   Copy

5. Führen Sie AI_REDACT im Modus detect aus.

   CREATE OR REPLACE TABLE raw (message TEXT);
   
   INSERT INTO raw (message) VALUES
     ('My old manager, Washington, used to live in Washington. His first name was Mike.');
   
   SELECT
       t.message AS message,
       AI_REDACT(input=>t.message, return_error_details=>FALSE, mode=>'detect') AS spans,
       redact_spans_with_allowlist(spans, l.str_list, message) AS result
     FROM raw t
       CROSS JOIN (
         SELECT ARRAY_AGG(value) AS str_list
           FROM string_list
         ) l;
   

   Copy

Beispielausgabe für End-to-End mit Zulassungsliste:

{
  "spans": [
    {"category": "NAME",
    "end": 26,
    "start": 16,
    "text": "Washington"
    },
    {"category": "ADDRESS",
    "end": 54,
    "start": 44,
    "text": "Washington"
    },
    {"category": "NAME",
    "end": 79,
    "start": 75,
    "text": "Mike"
    }
  ]
}