個人を特定できる情報（PII）を検出および編集する¶

基本的な編集の例¶

次の例では、入力テキストから名前と住所を編集しています。

SELECT AI_REDACT(
  input => 'My name is John Smith and I live at twenty third street, San Francisco.'
  );

基本的な編集の出力:

My name is [NAME] and I live at [ADDRESS]

次の例では、入力テキストから名前とメールアドレスのみを編集しています。テキストには名のみが含まれていることに注意してください。これは[NAME]として認識および編集されます。入力テキストにはメールアドレスが含まれていないため、出力にはメールのプレースホルダーは表示されません。

SELECT AI_REDACT(
  input => 'My name is John and I live at twenty third street, San Francisco.',
  categories => ['NAME', 'EMAIL']
  );

選択的な編集の出力:

My name is [NAME] and I live at twenty third street, San Francisco.

エンド・ツー・エンドの例¶

次の例では、あるテーブルの行を処理し、編集した出力を別のテーブルに挿入しています。同様の方法を使用して、編集されたデータを既存のテーブルの列に格納できます。編集後、テキストは全体的な感情情報を抽出するために:doc:`AI_SENTIMENT</sql-reference/functions/ai_sentiment>`関数に渡されます。

1. 編集されていないテキストを含むテーブルを作成します。

   CREATE OR REPLACE TABLE raw_table AS
     SELECT 'My previous manager, Washington, used to live in Kirkland. His first name was Mike.' AS my_column
     UNION ALL
     SELECT 'My name is William and I live in San Francisco. You can reach me at (415).450.0973';
   

   Copy

2. 編集されていないデータを表示します。

   SELECT * FROM raw_table;
   

   Copy

3. 編集テーブルを作成します。

   CREATE OR REPLACE TABLE redaction_table (value VARCHAR);
   

   Copy

4. ``raw_table``からPIIを編集し、行を``redaction_table``に挿入します。

   INSERT INTO redaction_table
     SELECT AI_REDACT(my_column) AS value FROM raw_table;
   

   Copy

5. 編集された結果を表示します。

   SELECT * FROM redaction_table;
   

   Copy

6. 編集されたテキストに対してAI_SENTIMENT関数を実行します。

   SELECT
       value AS redacted_text,
       AI_SENTIMENT(value) AS summary_sentiment
     FROM redaction_table;
   

   Copy

チャンキングの例¶

この例では、テキストを小さなチャンクに分割し、各チャンクを個別に編集し、編集されたチャンクを再結合して最終出力を作成することによって、長いテキストから PII を編集する方法を示します。このアプローチは AI_REDACT のトークン制限で機能します。

1. 患者データを含むテーブルを作成します。

   CREATE OR REPLACE TABLE patients (
     patient_id INT PRIMARY KEY,
     patient_notes TEXT
     );
   

   Copy

2. テキストをチャンクに分割し、各チャンクにAI_REDACTを適用して、編集されたチャンクを連結します。

   CREATE OR REPLACE TABLE final_temp_table AS
     WITH chunked_data AS (
       SELECT
           patient_id,
           chunk.value AS chunk_text,
           chunk.index AS chunk_index
         FROM
           patients,
           LATERAL FLATTEN(
               input => SNOWFLAKE.CORTEX.SPLIT_TEXT_RECURSIVE_CHARACTER(
                   patient_notes,
                   'none',
                   1000
                   )
               ) AS chunk
         WHERE
           patient_notes IS NOT NULL
           AND LENGTH(patient_notes) > 0
       ),
     redacted_chunks AS (
         SELECT
             patient_id,
             chunk_index,
             chunk_text,
             TO_VARIANT(results:value) AS redacted_chunk,
             TO_VARIANT(results:error) AS error_string
           FROM (
             SELECT
                 patient_id,
                 chunk_index,
                 chunk_text,
                 AI_REDACT(chunk_text,TRUE) AS results
               FROM
                 chunked_data
           )
     ),
     final AS (
         SELECT
             chunk_text AS original,
             IFF(error_string IS NOT NULL, chunk_text, redacted_chunk) AS redacted_text,
             patient_id,
             chunk_index
           FROM
             redacted_chunks
     )
     SELECT * FROM final;
   

   Copy

3. 結果をクエリします。

   SELECT
       patient_id,
       LISTAGG(redacted_text, '') WITHIN GROUP (ORDER BY chunk_index) AS full_output
     FROM final_temp_table
     GROUP BY patient_id;
   

   Copy

基本的な検出の例¶

次の例では、入力を編集せずに、検出された各PIIインスタンスのカテゴリ、場所、およびテキストを特定して返します。

SELECT AI_REDACT(
    input => 'My old manager, Washington, used to live in Washington. His first name was Mike.',
    return_error_details => FALSE,
    mode => 'detect'
    );

基本的な検出の出力:

{
  "spans": [
    {
      "category": "NAME",
      "end": 26,
      "start": 16,
      "text": "Washington"
    },
    {
      "category": "ADDRESS",
      "end": 54,
      "start": 44,
      "text": "Washington"
    },
    {
      "category": "NAME",
      "end": 79,
      "start": 75,
      "text": "Mike"
    }
  ]
}

許可リストを使用したエンドツーエンドの例¶

次の例は、``detect``モードと許可リストを使用した選択的編集ワークフローを示しています。ステージングされたファイルから保持する名前のリストをロードし、``detect``モードでAI_REDACTを使用してPIIの場所を特定し、許可リストにないPIIのみを編集するPython UDFにその結果を渡します。

1. ステージから仮テーブルにリストをロードすることにより、値の許可リストを保持します。

   CREATE OR REPLACE TEMP TABLE string_list (value STRING);
   
   COPY INTO string_list
     FROM @mystage/allowlist.txt
     FILE_FORMAT = (
       TYPE = 'CSV'
       RECORD_DELIMITER = '\n'
       FIELD_DELIMITER = '\t'   -- any char NOT in file
       TRIM_SPACE = TRUE
       SKIP_HEADER = 0
       );
   

   Copy

2. 許可リストテーブルを表示します。

   SELECT * FROM string_list;
   

   Copy

   許可リストテーブルの出力:

   VALUE
   Mike
   David
   

3. 許可リストに基づいてPIIを選択的に編集するPython UDFを作成します。

   CREATE OR REPLACE FUNCTION redact_spans_with_allowlist(
     SPAN_DATA VARIANT,
     ALLOWLIST ARRAY,
     ORIGINAL_TEXT STRING
     )
     RETURNS STRING
     LANGUAGE PYTHON
     RUNTIME_VERSION = '3.8'
     HANDLER = 'redact_text'
     AS
     $$
     def redact_text(span_data, allowlist, original_text):
         spans = span_data.get('spans', [])
         # Sort descending to maintain index integrity
         sorted_spans = sorted(spans, key=lambda x: x['start'], reverse=True)
   
         result = original_text
   
         for span in sorted_spans:
             text_val = span.get('text')
             if text_val in allowlist:
                 continue
   
             start, end = span['start'], span['end']
             label = f"[{span['category']}]"
   
             # Splice the string
             result = result[:start] + label + result[end:]
   
         return result
     $$;
   

   Copy

4. UDFをテストします。

   SELECT redact_spans_with_allowlist(
     PARSE_JSON('{"spans": [{"category": "NAME", "end": 26, "start": 16, "text": "Washington"}, {"category": "NAME", "end": 79, "start": 75, "text": "Mike"}]}'),
     ARRAY_CONSTRUCT('Washington'), -- This will NOT be redacted
     'Hello, my name is Washington and his is Mike.'
     );
   

   Copy

5. ``detect``モードでAI_REDACTを実行します。

   CREATE OR REPLACE TABLE raw (message TEXT);
   
   INSERT INTO raw (message) VALUES
     ('My old manager, Washington, used to live in Washington. His first name was Mike.');
   
   SELECT
       t.message AS message,
       AI_REDACT(input=>t.message, return_error_details=>FALSE, mode=>'detect') AS spans,
       redact_spans_with_allowlist(spans, l.str_list, message) AS result
     FROM raw t
       CROSS JOIN (
         SELECT ARRAY_AGG(value) AS str_list
           FROM string_list
         ) l;
   

   Copy

許可リストを使用したエンドツーエンドの例の出力:

{
  "spans": [
    {"category": "NAME",
    "end": 26,
    "start": 16,
    "text": "Washington"
    },
    {"category": "ADDRESS",
    "end": 54,
    "start": 44,
    "text": "Washington"
    },
    {"category": "NAME",
    "end": 79,
    "start": 75,
    "text": "Mike"
    }
  ]
}