Snowsight 를 사용하여 데이터 품질 검사 설정

이 항목에서는 Snowsight 를 사용하여 데이터 품질 검사를 설정하는 방법에 대해 설명합니다. 다음 전략을 사용하여 데이터 품질 검사를 설정할 수 있습니다.

데이터 품질 검사의 개념에 대한 소개는 데이터 품질 검사의 핵심 개념 섹션을 참조하세요.

Cortex Data Quality를 사용하여 품질 검사 설정

Cortex Data Quality는 AI를 사용하여 메타데이터의 특성을 기반으로 데이터 품질 검사를 제안합니다. 제안을 수락하는 경우 Snowflake는 정기적으로 데이터의 품질 문제를 확인하여 문제를 식별합니다.

Cortex Data Quality는 :doc:`Snowflake Cortex AI_COMPLETE 함수 </sql-reference/functions/ai_complete>`를 활용하여 데이터 품질 검사를 지능적으로 제안합니다. Snowflake Cortex 내에서 안전하게 실행되므로 엔터프라이즈 데이터와 메타데이터가 항상 Snowflake 내에서 안전하게 유지됩니다. 또한 Cortex Data Quality는 Snowflake 액세스 제어를 완전히 준수하며 사용자가 액세스할 수 있는 데이터만 기반으로 제안을 제공합니다.

Cortex Data Quality를 사용하여 데이터 품질 검사를 설정하려면 다음을 수행합니다.

  1. Snowsight 에 로그인합니다.

  2. 탐색 메뉴에서 Catalog » :ui:`Database Explorer`를 선택한 후 오브젝트를 선택합니다.

  3. Data Quality 탭을 선택합니다.

  4. Monitoring 를 선택합니다.

  5. 다음 중 하나를 수행하십시오.

    • 품질 검사를 처음 설정하는 경우 :ui:`Get started`를 선택합니다.

    • 추가 품질 검사를 설정하는 경우 :ui:`Add quality check`를 선택한 다음 :ui:`Suggested quality checks`를 선택합니다.

  6. 제안된 데이터 품질 검사를 검토합니다. 데이터가 품질 검사를 통과하는지 여부를 결정하는 기준을 변경하려면 What should the result be? 열의 내용을 편집합니다.

  7. 구현하려는 품질 검사를 선택한 다음 :ui:`Apply`를 선택합니다.

Cortex Data Quality에 대한 자세한 내용은 Cortex Data Quality에 대해 자세히 알아보기 섹션을 참조하세요.

수동으로 품질 검사 설정

데이터에 대한 지식을 기반으로 데이터 품질 검사를 생성하려면 다음을 수행합니다.

  1. Snowsight 에 로그인합니다.

  2. 탐색 메뉴에서 Catalog » :ui:`Database Explorer`를 선택한 후 오브젝트를 선택합니다.

  3. Data Quality 탭을 선택합니다.

  4. Monitoring 를 선택합니다.

  5. 다음 중 하나를 수행하십시오.

    • 품질 검사를 처음 설정하는 경우 :ui:`Start manually`를 선택합니다.

    • 추가 품질 검사를 설정하는 경우 :ui:`Add quality check`를 선택한 다음 :ui:`Build checks manually`를 선택합니다.

  6. Set up a quality check 대화 상자에서 생성할 검사 유형을 선택합니다.

  7. 데이터가 품질 검사를 통과하는지 결정하는 기준을 구성한 다음 :ui:`Save`를 선택합니다.

Snowflake가 데이터의 과거 볼륨과 최신성을 기반으로 데이터 품질 문제를 자동으로 감지할 수 있도록 변칙 검색을 활성화하려면 :ref:`Cortex 데이터 품질 <label-data_quality_ui_setup_cortex>`을 사용하고 변칙 검색에 대한 제안을 수락하거나 :doc:`수동으로 변칙 검색을 설정 </user-guide/data-quality-anomaly>`합니다.

품질 검사 실행 빈도 조정

테이블 또는 뷰의 일정에 따라 DMF가 데이터 품질 검사 실행을 지원하는 빈도를 결정합니다. 일정은 시간 또는 테이블 업데이트를 기반으로 할 수 있습니다.

참고

하나 이상의 품질 검사를 추가할 때까지는 Snowsight 를 사용하여 일정을 조정할 수 없습니다. 테이블 또는 뷰의 일정은 ALTER <object> 명령을 사용하여 언제든지 설정할 수 있습니다.

  1. Snowsight 에 로그인합니다.

  2. 탐색 메뉴에서 Catalog » :ui:`Database Explorer`를 선택한 후 오브젝트를 선택합니다.

  3. Data Quality 탭을 선택합니다.

  4. Monitoring 를 선택합니다.

  5. Settings 을 선택합니다.

  6. DMF를 실행할 빈도를 지정합니다.

    • 1일 이하의 일정한 간격으로 DMF를 실행하려면 :ui:`Interval-based timing`을 선택하고 드롭다운 목록에서 간격을 선택합니다.

    • 사용자 지정 일정에 따라 DMF를 실행하려면 :ui:`Select schedule`을 선택하고 일정을 설정합니다.

    • 테이블에 DML 변경 사항이 있을 때마다 DMF를 실행하려면(예: 행이 추가되는 경우) :ui:`Trigger-based execution`을 선택합니다.

Cortex Data Quality에 대해 자세히 알아보기

다음 섹션에서는 Cortex Data Quality에 대한 추가 정보를 제공합니다.

필수 LLMs

Cortex Data Quality는 CORTEX_MODELS_ALLOWLIST 계정 매개변수가 계정 내의 mistral-7bllama3.1-8b 모델을 허용하지 않는 경우 작동하지 않습니다. 기본적으로 두 모델이 모두 허용됩니다. 이 매개 변수 사용에 대한 자세한 내용은 계정 수준 허용 목록 매개 변수 섹션을 참조하세요.

액세스 제어 요구 사항

ACCOUNTADMIN 역할의 관리자에게는 Cortex를 사용하여 데이터 품질 검사를 제안하는 데 필요한 모든 권한이 있습니다.

다른 사용자에게는 다음의 권한과 역할이 있어야 합니다.

  • 테이블에 대한 OWNERSHIP 권한.

  • 계정에 대한 EXECUTE DATA METRIC FUNCTION 권한.

  • SNOWFLAKE.DATA_METRIC_USER 데이터베이스 역할

  • SNOWFLAKE.CORTEX_USER 데이터베이스 역할

액세스 제한

기본적으로, CORTEX_USER 데이터베이스 역할은 PUBLIC 역할에 부여되므로 모든 사용자에게 이 역할이 있습니다. 모든 사용자가 Snowflake Cortex 기능을 사용하는 것을 원하지 않는 경우, PUBLIC 역할에서 이 데이터베이스 역할을 취소한 다음 특정 역할에 부여합니다.

사용자가 Cortex를 사용하여 품질 검사를 제안하지 못하게 하려면 다음 명령을 실행하여 PUBLIC 역할에서 CORTEX_USER 데이터베이스 역할을 취소합니다. ACCOUNTADMIN 역할을 사용해야 합니다.

USE ROLE ACCOUNTADMIN;

REVOKE DATABASE ROLE SNOWFLAKE.CORTEX_USER
  FROM ROLE PUBLIC;
Copy

이제 CORTEX_USER 데이터베이스 역할을 특정 역할에 부여하여 액세스 권한을 선택적으로 제공할 수 있습니다. 다음 예제에서는 ACCOUNTADMIN 역할을 사용하고 이를 위해 생성한 계정 역할 cortex_access_role``을 통해 사용자 ``some_user 및 CORTEX_USER 데이터베이스 역할을 부여합니다.

USE ROLE ACCOUNTADMIN;

CREATE ROLE cortex_access_role;
GRANT DATABASE ROLE SNOWFLAKE.CORTEX_USER TO ROLE cortex_access_role;

GRANT ROLE cortex_access_role TO USER some_user;
Copy

CORTEX_USER 데이터베이스 역할을 기존 역할에 부여할 수도 있습니다.

비용 고려 사항

Cortex Data Quality 사용 비용은 다음과 같이 구성됩니다.

  • COMPLETE (SNOWFLAKE.CORTEX) 기능과 관련된 비용. 이러한 요금은 청구서에 AI 서비스로 표시되며, 여기에는 Snowflake Cortex의 모든 사용이 포함됩니다.

  • Snowsight 를 실행하는 기본 웨어하우스의 컴퓨팅 비용.