민감한 데이터를 자동으로 분류¶

시작하기¶

민감한 데이터를 자동으로 분류하는 기본 워크플로는 다음과 같이 구성되어 있습니다.

1. 분류 후 :ref:`시스템 태그 <label-classification_system_tags>`를 자동으로 적용할지 여부를 포함하여 데이터베이스에서 민감한 데이터가 자동으로 분류되는 빈도를 제어하는 *분류 프로필*을 만듭니다.

2. 선택 사항으로 분류 프로필을 사용하여 사용자 정의 태그를 시스템 태그에 매핑하여 민감한 데이터가 있는 열을 분류에 따라 사용자 정의 태그에 연결할 수 있습니다.

3. 선택 사항으로 분류 프로필에 사용자 정의 분류기 를 추가하여 민감한 데이터를 사용자가 정의한 의미 및 개인정보 보호 범주로 자동 분류할 수 있습니다.

4. 데이터베이스의 테이블이 자동으로 분류되도록 데이터베이스에 분류 프로필을 설정합니다.

이 워크플로의 전체 예제는 예 섹션을 참조하십시오.

분류 프로필 정보¶

데이터 엔지니어는 데이터베이스의 테이블을 자동으로 분류하는 데 사용되는 기준을 정의하기 위해 CLASSIFICATION_PROFILE :doc:`클래스</sql-reference/snowflake-db-classes>`의 인스턴스를 생성하여 분류 프로필을 만듭니다. 이 기준에는 다음이 포함됩니다.

• 테이블을 자동으로 분류하기 전에 테이블이 존재해야 하는 기간입니다.

• 이전에 분류된 테이블을 재분류해야 하는 기간입니다.

• 분류 후 시스템 및 사용자 정의 태그를 열에 자동으로 설정할지 여부입니다. 추천 태그를 자동으로 적용할지, 아니면 제안된 태그 할당을 검토한 후 직접 적용할지 결정할 수 있습니다.

• 시스템 분류 태그와 사용자 정의 오브젝트 태그 간의 매핑 을 통해 사용자 정의 태그를 자동으로 적용할 수 있습니다.

데이터 엔지니어가 데이터베이스에 분류 프로필을 할당하면 데이터베이스에 속하는 테이블에 있는 민감한 데이터가 프로필에 정의된 일정에 따라 자동으로 분류됩니다. 데이터 엔지니어는 여러 데이터베이스에 동일한 분류 프로필을 할당하거나 데이터베이스마다 다른 분류 기준을 설정해야 하는 경우 여러 분류 프로필을 만들 수 있습니다.

데이터를 자동으로 분류하는 프로세스에는 테이블의 원시 데이터에 대한 액세스가 필요합니다. 원시 데이터에는 열에 마스킹 정책이 할당된 테이블이 포함됩니다. 그러나 Snowflake는 내부 역할을 사용하여 데이터를 자동으로 분류함으로써 보호되는 데이터에 대한 액세스를 규제하려는 의도를 유지합니다. 내부 역할은 마스킹 정책으로 보호되는 데이터에 액세스할 수 있지만, 이 역할은 사용자가 액세스할 수 없습니다.

CREATE CLASSIFICATION_PROFILE 명령을 사용하여 분류 프로필을 만드는 예제는 예 섹션을 참조하십시오.

민감한 데이터 자동 분류에서 오브젝트 제외¶

기본적으로, Snowflake는 분류 프로필이 설정된 데이터베이스의 모든 민감한 데이터베이스를 자동으로 분류합니다. 분류 프로세스 중에 건너뛰도록 자동 분류에서 스키마, 테이블 또는 열을 제외하도록 Snowflake를 구성할 수 있습니다.

자세한 내용은 민감한 데이터 자동 분류에서 데이터 제외 섹션을 참조하십시오.

태그 매핑 정보¶

분류 프로필을 사용하여 SEMANTIC_CATEGORY 시스템 태그 를 하나 이상의 오브젝트 태그 에 매핑할 수 있습니다. 이 태그 매핑을 사용하면 민감한 데이터가 있는 열에 분류에 따라 사용자 정의 태그를 자동으로 할당할 수 있습니다. 태그 맵은 분류 프로필을 만드는 동안 또는 나중에 <classification_profile_name>!SET_TAG_MAP 메서드를 호출하여 추가할 수 있습니다.

사용자 정의 오브젝트 태그에는 마스킹 정책이 연관되어 있을 수 있으므로 태그 맵을 사용하여 자동 태그 기반 마스킹 을 활성화할 수 있습니다. 분류 후 자동으로 태그를 적용하도록 선택하면 데이터 분류에 따른 마스킹 정책으로 열을 보호하는 전체 프로세스를 자동화할 수 있습니다. 스키마에 새로운 데이터가 추가되면 태그 기반 마스킹 정책이 민감한 데이터가 포함된 열에 자동으로 할당됩니다.

분류 프로필을 생성하는 동안 태그 맵을 정의하든 그 이후에 정의하든 관계없이, 맵의 내용은 JSON 오브젝트로 지정됩니다. 이 JSON 오브젝트에는 사용자 정의 태그, 해당 태그의 문자열 값, 태그가 매핑되는 의미 체계 카테고리를 지정하는 오브젝트의 배열인 'column_tag_map' 키가 포함되어 있습니다. 태그 맵이 분류 프로필과 연결되고 데이터베이스에서 테이블을 자동으로 분류하면 의미 체계 범주에 해당하는 열에 태그가 할당됩니다.

다음은 태그 매핑의 예입니다.

'tag_map': {
  'column_tag_map': [
    {
      'tag_name':'tag_db.sch.pii',
      'tag_value':'Highly Confidential',
      'semantic_categories':[
        'NAME',
        'NATIONAL_IDENTIFIER'
      ]
    },
    {
      'tag_name': 'tag_db.sch.pii',
      'tag_value':'Confidential',
      'semantic_categories': [
        'EMAIL'
      ]
    }
  ]
}

이 매핑을 기반으로 이메일 주소 열이 있고 분류 프로세스에서 해당 열에 이러한 주소가 포함되어 있다고 판단되면 이메일 주소가 포함된 열에 tag_db.sch.pii = 'Confidential' 태그가 설정됩니다.

여러 개의 JSON 오브젝트가 태그 맵에 포함되어 있고, 태그, 태그 값, 범주 값을 매핑하는 경우, JSON 오브젝트의 순서에 따라 충돌이 발생할 때 열에 설정할 태그와 값이 결정됩니다. JSON 오브젝트를 왼쪽에서 오른쪽으로, JSON 형식으로 지정하는 경우 위에서 아래로 원하는 할당 순서대로 지정합니다.

수동으로 할당된 태그와 자동 분류로 적용된 태그가 충돌하는 경우 오류가 발생합니다. 이러한 오류 추적에 대한 자세한 내용은 문제 해결하기 섹션을 참조하십시오.

사용자 지정 분류 구현하기¶

Snowflake를 사용하면 사용자 정의 로직을 사용하여 민감한 데이터를 식별하고 분류하는 사용자 정의 분류기 를 정의할 수 있습니다. 예를 들어, 정규식을 사용하여 ICD-10 코드를 식별하고 이를 의미 체계 범주 ICD_10_CODES 에 속하는 것으로 분류하는 사용자 정의 분류기를 만들 수 있습니다.

사용자 정의 분류기를 생성한 후에는 분류 프로필에 추가하여 Snowflake가 해당 로직에 따라 데이터를 자동으로 분류하도록 할 수 있습니다. 분류 프로필을 만들 때 또는 <classification_profile_name>!SET_CUSTOM_CLASSIFIERS 메서드를 호출하여 사용자 정의 분류기를 추가할 수 있습니다.

분류 프로필에 사용자 지정 분류자와 태그 매핑을 모두 추가하면 강력한 거버넌스 솔루션을 제공합니다. 이를 통해 민감한 정보에 대한 지식을 기반으로 데이터를 자동으로 분류하고 추적할 수 있는 사용자 정의 태그를 적용할 수 있습니다. 이 사용자 정의 태그를 사용하여 :doc:`태그 기반 마스킹</user-guide/tag-based-masking-policies>`을 구현하면 데이터가 데이터베이스에 추가될 때 도메인별 민감한 데이터가 마스킹 정책에 의해 자동으로 보호됩니다.

데이터베이스에 분류 프로필 설정¶

데이터베이스에 분류 프로필을 설정하여 민감한 데이터 자동 분류를 구현합니다. 데이터베이스에 분류 프로필을 설정하면 해당 데이터베이스 내의 모든 테이블과 뷰가 민감한 데이터 분류를 통해 자동으로 모니터링됩니다.

스키마에도 분류를 설정할 수 있습니다. 분류 프로필에도 연결된 데이터베이스 내에 존재하는 스키마에 분류 프로필을 설정하면, 스키마에 설정된 프로필이 데이터베이스에 설정된 프로필을 재정의합니다.

분류 프로필을 설정하려면 ALTER DATABASE 또는 ALTER SCHEMA 명령을 사용하여 CLASSIFICATION_PROFILE 매개 변수를 설정합니다. 예를 들어 my_db 데이터베이스의 모든 테이블과 뷰가 민감한 데이터 자동 분류를 통해 모니터링되도록 분류 프로필 ``my_profile``을 설정하려면 다음 명령을 실행합니다.

ALTER DATABASE my_db
  SET CLASSIFICATION_PROFILE = 'governance_db.classify_sch.my_profile';

뷰 분류¶

기본적으로 민감한 데이터 분류는 뷰의 데이터를 분류하지 않습니다. 기본 설정을 변경하지 않으면 테이블만 분류됩니다.

뷰 분류는 테이블 분류보다 비용이 더 많이 들 수 있습니다. 추가 비용은 뷰를 생성한 쿼리의 복잡성에 따라 다릅니다. 구체화된 뷰는 다른 뷰처럼 추가 비용이 발생하지 않습니다.

분류 프로필의 구성 오브젝트에 있는 classify_views 키에 따라 뷰의 분류 여부가 결정됩니다. 다음 분류 프로필은 뷰가 분류되도록 기본값을 변경합니다.

CREATE OR REPLACE SNOWFLAKE.DATA_PRIVACY.CLASSIFICATION_PROFILE
  my_classification_profile(
    {
      'minimum_object_age_for_classification_days': 0,
      'maximum_classification_validity_days': 30,
      'classify_views': true
    });

SET_CLASSIFY_VIEWS 메서드를 사용하여 뷰 분류를 활성화하거나 비활성화할 수도 있습니다.

자동 분류로 모니터링되는 오브젝트 결정하기¶

분류 프로필과 연결된 데이터베이스 및 스키마를 나열하여 민감한 데이터 자동 분류로 모니터링되는 데이터를 확인할 수 있습니다. 데이터베이스 또는 스키마가 분류 프로필과 연결된 경우 해당 엔터티의 모든 테이블과 뷰는 프로필에 정의된 기준에 따라 자동으로 분류됩니다.

SYSTEM$SHOW_SENSITIVE_DATA_MONITORED_ENTITIES 함수를 사용하여 분류 프로필과 연결된 데이터베이스 및 스키마를 나열합니다. 데이터베이스만 나열하거나, 스키마만 나열하거나, 모든 데이터베이스와 스키마를 나열할 수 있습니다. 예를 들어 분류 프로필과 연결된 모든 데이터베이스 및 스키마를 나열하려면 다음 명령을 실행합니다.

SELECT SYSTEM$SHOW_SENSITIVE_DATA_MONITORED_ENTITIES();

출력에는 데이터베이스 또는 스키마의 이름, 해당 유형, 분류 프로필이 나열됩니다. 다음은 출력의 예입니다.

[
{"name":"HR_DB","type":"DATABASE","profile_name":"GOV_DB.CLASSIFY_SCH.MY_CLASSIFICATION_PROFILE"},
{"name":"SALES_DB.SCH1","type":"SCHEMA","profile_name":"GOV_DB.CLASSIFY_SCH.TEST_PROFILE"}
]

자동 분류 결과 보기¶

자동 분류 결과는 다음과 같은 방법으로 볼 수 있습니다.

• SYSTEM$GET_CLASSIFICATION_RESULT 저장 프로시저를 호출합니다. 예:

  CALL SYSTEM$GET_CLASSIFICATION_RESULT('mydb.sch.t1');
  

  Copy

  분류 프로세스가 완료될 때까지 결과를 반환할 수 없습니다. 자동 분류 프로세스는 데이터베이스에 분류 프로필을 설정한 후 1시간이 경과해야 시작됩니다.

• SNOWFLAKE.GOVERNANCE_VIEWER 데이터베이스 역할이 부여된 역할을 사용하여 DATA_CLASSIFICATION_LATEST 뷰를 쿼리합니다. 예:

  SELECT * FROM snowflake.account_usage.data_classification_latest;
  

  Copy

  분류가 완료된 후 3시간이 경과해야 결과가 표시될 수 있습니다.

제한 사항¶

• 독자 계정에는 분류 프로필을 설정할 수 없습니다.

• 하나의 데이터베이스나 스키마에는 하나의 분류 프로필만 설정할 수 있습니다.

• 1,000개를 초과하는 데이터베이스에 분류 프로필을 설정할 수 없습니다.

• 10,000개를 초과하는 스키마에 분류 프로필을 직접 설정할 수 없습니다.

• 스키마에는 최대 1억 개의 테이블을 분류할 수 있습니다.

• 테이블에 다음과 같은 특성이 있는 경우 자동으로 분류할 수 없습니다.

  • 10,000개를 초과하는 열.

  • 이름이 255자를 초과하는 열.

  • $ 문자가 포함된 이름의 열.

  • 공유에서 가져온 것입니다.

액세스 제어¶

이 섹션에서는 분류 프로필로 작업하고 민감한 데이터 자동 분류를 활성화할 수 있는 권한과 역할에 대해 설명합니다.

데이터 엔지니어 역할에 이러한 권한과 데이터베이스 역할을 부여하는 예제는 기본 예제: 데이터베이스에서 테이블 자동 분류 섹션을 참조하십시오.

민감한 데이터를 자동으로 분류하는 데 드는 비용¶

중요한 데이터 자동 분류는 :ref:`서버리스 컴퓨팅 리소스<label-serverless_credit_usage>`를 사용하여 데이터베이스에서 테이블을 분류하기 때문에 크레딧을 소비합니다. 이러한 사용 가격에 대한 자세한 내용은 `Snowflake Service Consumption Table`_의 테이블 5를 참조하세요.

ACCOUNT_USAGE 및 ORGANIZATION_USAGE 스키마에서 뷰를 쿼리하여 민감한 데이터를 자동으로 분류하는 데 얼마나 많은 비용이 사용되었는지 확인할 수 있습니다. 크레딧 사용을 모니터링하려면 다음 뷰를 쿼리하십시오.

METERING_HISTORY 뷰(ACCOUNT_USAGE)

SERVICE_TYPE 열에서 SENSITIVE_DATA_CLASSIFICATION 에 초점을 맞춰 자동 분류의 시간당 비용을 검색할 수 있습니다. 예:

SELECT
  service_type,
  start_time,
  end_time,
  entity_id,
  name,
  credits_used_compute,
  credits_used_cloud_services,
  credits_used,
  budget_id
  FROM snowflake.account_usage.metering_history
  WHERE service_type = 'SENSITIVE_DATA_CLASSIFICATION';

Copy

METERING_DAILY_HISTORY 뷰(ACCOUNT_USAGE 및 ORGANIZATION_USAGE)

SERVICE_TYPE 열에서 SENSITIVE_DATA_CLASSIFICATION 에 초점을 맞춰 자동 분류의 일일 비용을 검색할 수 있습니다. 예:

SELECT
  service_type,
  usage_date,
  credits_used_compute,
  credits_used_cloud_services,
  credits_used
  FROM snowflake.account_usage.metering_daily_history
  WHERE service_type = 'SENSITIVE_DATA_CLASSIFICATION';

Copy

USAGE_IN_CURRENCY_DAILY (ORGANIZATION_USAGE)

SERVICE_TYPE 열에서 SENSITIVE_DATA_CLASSIFICATION 에 초점을 맞춰 자동 분류의 일일 비용을 검색할 수 있습니다. 크레딧이 아닌 통화로 비용을 확인하려면 이 뷰를 사용합니다.

예¶

• 기본 예제: 데이터베이스에서 테이블 자동 분류

• 예제: 태그 매핑 및 사용자 지정 분류기 사용하기

• 예제: 자동 분류를 활성화하기 전에 분류 프로필 테스트하기

문제 해결하기¶

분류되지 않은 테이블의 문제 해결을 시작하는 가장 간단한 방법은 테이블을 직접 쿼리하는 것입니다(예: SELECT * FROM my_table). 테이블을 쿼리할 수 없으면 자동으로 분류할 수 없습니다.

오브젝트를 자동으로 분류할 수 없는 경우 Snowflake는 이벤트를 :doc:`이벤트 테이블</developer-guide/logging-tracing/event-table-setting-up>`에 기록합니다. 기본적으로 이벤트는 계정 수준 이벤트 테이블에 기록됩니다. 실패한 오브젝트의 데이터베이스에 대해 정의된 이벤트 테이블이 있는 경우 이벤트가 대신 여기에 기록됩니다.

일반적으로 Snowflake가 오브젝트를 다시 분류하기 전에 지연이 있습니다. 추가로 실패한 모든 시도는 이벤트 테이블에 기록됩니다. 이러한 지연 및 재시도 프로세스는 오브젝트가 수정되거나 자동 분류에서 제거될 때까지 계속됩니다.

분류 이벤트가 기록되지 않도록 하려면 ENABLE_AUTOMATIC_SENSITIVE_DATA_CLASSIFICATION_LOG 계정 매개 변수를 FALSE로 설정합니다.

SELECT
  record_type,
  record:severity_text::string log_level,
  parse_json(value) error_message
  FROM <event_db>.<event_schema>.<event_table>
  WHERE record_type='LOG' and scope:name ='snow.automatic_sensitive_data_classification'
  ORDER BY log_level;

SELECT
  RECORD_ATTRIBUTES:"object_name"::string AS object_name,
  parse_json(value):"error_message" error_message,
  PARSE_JSON(VALUE):"profile_name" classification_profile_name,
  timestamp,
  FROM <event_db>.<event_schema>.<event_table>
  WHERE record_type='LOG'
    AND scope:name ='snow.automatic_sensitive_data_classification'
    AND RECORD_ATTRIBUTES:"event_type" = 'CLASSIFICATION_ERROR'
  ORDER BY TIMESTAMP DESC;

"failure_reason":"NO_TAGGING_PRIVILEGE"

"failure_reason":"MANUALLY_APPLIED_VALUE_PRESENT"

"failure_reason":"TAG_NOT_ACCESSIBLE_OR_AUTHORIZED"