개인 식별 정보(PII) 감지 및 수정¶

기본 수정 예제¶

다음 예에서는 입력 텍스트에서 이름과 주소를 수정합니다.

SELECT AI_REDACT(
  input => 'My name is John Smith and I live at twenty third street, San Francisco.'
  );

기본 수정 출력:

My name is [NAME] and I live at [ADDRESS]

다음 예에서는 입력 텍스트에서 이름과 이메일 주소만 수정합니다. 텍스트에는 [NAME]으로 인식되고 수정되는 이름만 포함됩니다. 입력 텍스트에는 이메일 주소가 포함되지 않으므로 출력에 이메일 자리 표시자가 표시되지 않습니다.

SELECT AI_REDACT(
  input => 'My name is John and I live at twenty third street, San Francisco.',
  categories => ['NAME', 'EMAIL']
  );

선택적 수정 출력:

My name is [NAME] and I live at twenty third street, San Francisco.

엔드투엔드 예제¶

다음 예제에서는 한 테이블의 행을 처리하고 수정된 출력을 다른 테이블에 삽입합니다. 유사한 접근 방식을 사용하여 기존 테이블의 열에 수정된 데이터를 저장할 수 있습니다. 수정 후 텍스트는 AI_SENTIMENT 함수에 전달되어 전체 감정 정보를 추출합니다.

1. 수정되지 않은 텍스트가 있는 테이블을 생성합니다.

   CREATE OR REPLACE TABLE raw_table AS
     SELECT 'My previous manager, Washington, used to live in Kirkland. His first name was Mike.' AS my_column
     UNION ALL
     SELECT 'My name is William and I live in San Francisco. You can reach me at (415).450.0973';
   

   Copy

2. 수정되지 않은 데이터를 확인합니다.

   SELECT * FROM raw_table;
   

   Copy

3. 수정 테이블을 생성합니다.

   CREATE OR REPLACE TABLE redaction_table (value VARCHAR);
   

   Copy

4. ``raw_table``에서 PII를 수정하고 ``redaction_table``에 행을 삽입합니다.

   INSERT INTO redaction_table
     SELECT AI_REDACT(my_column) AS value FROM raw_table;
   

   Copy

5. 수정된 결과를 확인합니다.

   SELECT * FROM redaction_table;
   

   Copy

6. 수정된 텍스트에 AI_SENTIMENT 함수를 실행합니다.

   SELECT
       value AS redacted_text,
       AI_SENTIMENT(value) AS summary_sentiment
     FROM redaction_table;
   

   Copy

청킹의 예¶

이 예제에서는 텍스트를 더 작은 청크로 분할하고 각 청크를 별도로 수정한 다음, 수정된 청크를 최종 출력으로 다시 결합하여 긴 텍스트에서 PII를 수정하는 방법을 보여줍니다. 이 접근 방식은 AI_REDACT의 토큰 제한과 같은 문제를 해결합니다.

1. 환자 데이터가 포함된 테이블을 생성합니다.

   CREATE OR REPLACE TABLE patients (
     patient_id INT PRIMARY KEY,
     patient_notes TEXT
     );
   

   Copy

2. 텍스트를 청크로 분할하고, 각 청크에 AI_REDACT를 적용하며, 수정된 청크를 연결합니다.

   CREATE OR REPLACE TABLE final_temp_table AS
     WITH chunked_data AS (
       SELECT
           patient_id,
           chunk.value AS chunk_text,
           chunk.index AS chunk_index
         FROM
           patients,
           LATERAL FLATTEN(
               input => SNOWFLAKE.CORTEX.SPLIT_TEXT_RECURSIVE_CHARACTER(
                   patient_notes,
                   'none',
                   1000
                   )
               ) AS chunk
         WHERE
           patient_notes IS NOT NULL
           AND LENGTH(patient_notes) > 0
       ),
     redacted_chunks AS (
         SELECT
             patient_id,
             chunk_index,
             chunk_text,
             TO_VARIANT(results:value) AS redacted_chunk,
             TO_VARIANT(results:error) AS error_string
           FROM (
             SELECT
                 patient_id,
                 chunk_index,
                 chunk_text,
                 AI_REDACT(chunk_text,TRUE) AS results
               FROM
                 chunked_data
           )
     ),
     final AS (
         SELECT
             chunk_text AS original,
             IFF(error_string IS NOT NULL, chunk_text, redacted_chunk) AS redacted_text,
             patient_id,
             chunk_index
           FROM
             redacted_chunks
     )
     SELECT * FROM final;
   

   Copy

3. 결과를 쿼리합니다.

   SELECT
       patient_id,
       LISTAGG(redacted_text, '') WITHIN GROUP (ORDER BY chunk_index) AS full_output
     FROM final_temp_table
     GROUP BY patient_id;
   

   Copy

기본 감지 예제¶

다음 예제에서는 입력을 수정하지 않고 감지된 각 PII 인스턴스의 카테고리, 위치, 텍스트를 식별하고 반환합니다.

SELECT AI_REDACT(
    input => 'My old manager, Washington, used to live in Washington. His first name was Mike.',
    return_error_details => FALSE,
    mode => 'detect'
    );

기본 감지 출력:

{
  "spans": [
    {
      "category": "NAME",
      "end": 26,
      "start": 16,
      "text": "Washington"
    },
    {
      "category": "ADDRESS",
      "end": 54,
      "start": 44,
      "text": "Washington"
    },
    {
      "category": "NAME",
      "end": 79,
      "start": 75,
      "text": "Mike"
    }
  ]
}

허용 목록이 있는 엔드투엔드 예제¶

다음 예제에서는 detect 모드 및 허용 목록을 사용하는 선택적 수정 워크플로를 보여줍니다. 스테이징된 파일에서 보존할 이름 목록을 로드하고, detect 모드에서 AI_REDACT를 사용하여 PII 위치를 식별한 다음, 허용 목록에 없는 PII만 수정하는 Python UDF에 결과를 전달합니다.

1. 스테이지에서 임시 테이블로 목록을 로드하여 값의 허용 목록을 유지합니다.

   CREATE OR REPLACE TEMP TABLE string_list (value STRING);
   
   COPY INTO string_list
     FROM @mystage/allowlist.txt
     FILE_FORMAT = (
       TYPE = 'CSV'
       RECORD_DELIMITER = '\n'
       FIELD_DELIMITER = '\t'   -- any char NOT in file
       TRIM_SPACE = TRUE
       SKIP_HEADER = 0
       );
   

   Copy

2. 허용 목록 테이블 확인

   SELECT * FROM string_list;
   

   Copy

   허용 목록 테이블 출력:

   VALUE
   Mike
   David
   

3. 허용 목록에 따라 PII를 선택적으로 수정하는 Python UDF를 생성합니다.

   CREATE OR REPLACE FUNCTION redact_spans_with_allowlist(
     SPAN_DATA VARIANT,
     ALLOWLIST ARRAY,
     ORIGINAL_TEXT STRING
     )
     RETURNS STRING
     LANGUAGE PYTHON
     RUNTIME_VERSION = '3.8'
     HANDLER = 'redact_text'
     AS
     $$
     def redact_text(span_data, allowlist, original_text):
         spans = span_data.get('spans', [])
         # Sort descending to maintain index integrity
         sorted_spans = sorted(spans, key=lambda x: x['start'], reverse=True)
   
         result = original_text
   
         for span in sorted_spans:
             text_val = span.get('text')
             if text_val in allowlist:
                 continue
   
             start, end = span['start'], span['end']
             label = f"[{span['category']}]"
   
             # Splice the string
             result = result[:start] + label + result[end:]
   
         return result
     $$;
   

   Copy

4. UDF를 테스트합니다.

   SELECT redact_spans_with_allowlist(
     PARSE_JSON('{"spans": [{"category": "NAME", "end": 26, "start": 16, "text": "Washington"}, {"category": "NAME", "end": 79, "start": 75, "text": "Mike"}]}'),
     ARRAY_CONSTRUCT('Washington'), -- This will NOT be redacted
     'Hello, my name is Washington and his is Mike.'
     );
   

   Copy

5. detect 모드에서 AI_REDACT를 실행합니다.

   CREATE OR REPLACE TABLE raw (message TEXT);
   
   INSERT INTO raw (message) VALUES
     ('My old manager, Washington, used to live in Washington. His first name was Mike.');
   
   SELECT
       t.message AS message,
       AI_REDACT(input=>t.message, return_error_details=>FALSE, mode=>'detect') AS spans,
       redact_spans_with_allowlist(spans, l.str_list, message) AS result
     FROM raw t
       CROSS JOIN (
         SELECT ARRAY_AGG(value) AS str_list
           FROM string_list
         ) l;
   

   Copy

허용 목록이 있는 엔드투엔드 예제 출력:

{
  "spans": [
    {"category": "NAME",
    "end": 26,
    "start": 16,
    "text": "Washington"
    },
    {"category": "ADDRESS",
    "end": 54,
    "start": 44,
    "text": "Washington"
    },
    {"category": "NAME",
    "end": 79,
    "start": 75,
    "text": "Mike"
    }
  ]
}