|sf-web-interface|의 데이터 품질 검사 모니터

Snowsight 페이지를 사용하여 테이블 또는 뷰의 데이터 품질을 모니터링할 수 있습니다. 해당 DMFs(데이터 메트릭 함수)의 결과에 대한 인사이트를 포함하여 오브젝트와 연결된 DMFs의 대화형 뷰를 제공합니다.

데이터 품질 및 DMFs를 더 자세히 알아보려면 데이터 품질 및 데이터 메트릭 함수 소개 섹션을 참조하세요.

시작하기

오브젝트의 데이터 품질에 대한 인사이트를 얻으려면 다음을 수행합니다.

  1. Snowsight 에 로그인합니다.

  2. 탐색 메뉴에서 Catalog » :ui:`Database Explorer`를 선택한 후 오브젝트를 선택합니다.

  3. Data Quality 탭을 선택합니다.

  4. Monitoring 를 선택합니다.

  5. 다음 중 하나를 수행하십시오.

    • 이전에 DMFs를 연결한 적이 없으면 :ui:`Set up`을 선택합니다. 그러면 일정을 설정하고 사용자 지정 DMFs를 만들며 DMF와 오브젝트를 연결하는 데 도움이 되도록 미리 채워진 워크시트가 열립니다.

    • DMFs를 이미 오브젝트와 연결했으면 탐색을 시작합니다! 적절한 :doc:`액세스 제어 권한</user-guide/data-quality-access-control>`이 있는 경우에만 DMF를 볼 수 있습니다.

실행 중인 DMFs 이해

오브젝트와 연결된 DMFs는 Quality Dimensions 아래에 나열됩니다.

DMFs는 다음과 같이 그룹화됩니다.

  • 시스템 DMFs는 카테고리<label-dmf_system>`를 기준으로 그룹화됩니다. 예를 들어, NULL_COUNT 및 BLANK_COUNT DMFs는 :ui:`Accuracy 카테고리로 그룹화됩니다. 카테고리에 시스템 DMF가 하나만 있는 경우(예: Volume 카테고리의 ROW_COUNT DMF) DMF의 이름은 생략됩니다.

  • 오브젝트와 연결된 모든 사용자 지정 DMFs</user-guide/data-quality-custom-dmfs>`는 :ui:`Custom 아래에 그룹화됩니다.

DMF마다 DMF와 오브젝트 간의 모든 연결에 대한 하나의 행이 존재합니다. 열 인자가 다르기만 하면 동일한 DMF를 동일한 오브젝트에 여러 번 연결할 수 있습니다. 여러 행이 있는 경우 특정 열 행을 선택하면 해당 열을 인자로 하여 DMF를 실행한 결과를 확인할 수 있습니다.

예를 들어, NULL_COUNT DMF가 다음 SQL 문을 사용하여 테이블 ``t1``과 연결되었다고 가정해 보겠습니다.

ALTER TABLE t1
  ADD DATA METRIC FUNCTION SNOWFLAKE.CORE.NULL_COUNT
    ON (c1);
Copy

열 ``c1``이 포함된 행은 이 DMF를 실행한 결과를 보여줍니다.

Run Schedule 위젯은 DMFs 실행 빈도를 지정합니다. 즉, 오브젝트의 DATA_METRIC_SCHEDULE 매개 변수에 대해 설정된 값에 해당합니다. 자세한 내용은 DMF 실행 예약하기 섹션을 참조하십시오.

실패한 품질 검사 조사

데이터 품질 검사는 *기대치*를 가진 DMF 연결로 구성됩니다. 기대치를 사용하면 데이터가 DMF에서 수행한 데이터 품질 검사를 통과하는지에 대한 기준을 정의할 수 있습니다. DMF가 값을 반환하는 경우, 해당 값을 이 기대치 기준과 비교하여 데이터가 검사를 통과했는지, 아니면 실패했는지를 판단합니다. 기대치를 사용하여 데이터 품질 검사를 설정하는 방법에 대한 자세한 내용은 기대치를 사용하여 데이터 품질 검사 구현하기 섹션을 참조하세요.

다음 프로세스를 사용하여 실패한 품질 검사를 조사할 수 있습니다.

1단계: 실패한 품질 검사가 있었습니까?

모든 오브젝트와 연결된 DMFs의 품질 검사 실패 횟수가 Monitoring 페이지 상단에 표시됩니다.

2단계: 다음 중 어떤 DMF 카테고리가 품질 검사에 실패했습니까?

Checks by dimension 위젯을 사용하여 Monitoring 페이지의 각 DMFs 그룹의 상태를 확인합니다. 빨간색은 그룹에 있는 하나 이상의 DMF가 품질 검사에 실패했음을 나타냅니다.

3단계: 다음 중 어떤 DMF 연결이 품질 검사에 실패했습니까?

카테고리에서 품질 검사가 1회 이상 실패한 경우 카테고리의 위젯을 확장한 다음, Quality Checks 열을 검색하여 모든 검사를 통과하지 못한 행을 찾습니다.

4단계: 품질 검사란 무엇입니까?

조사 중인 품질 검사를 더 잘 이해하려면 다음을 수행합니다.

  1. 데이터 품질 검사에 실패한 DMF 연결을 선택합니다. 측면 패널이 열립니다.

  2. Quality Checks 섹션에서 Status 열을 확인하여 실패한 품질 검사를 검토합니다. 이는 위반된 :doc:`기대치</user-guide/data-quality-expectations>`에 해당합니다.

  3. 실패한 각 품질 검사에 대해 Expression 열을 사용하여 품질 검사에서 DMF가 반환할 것으로 예상한 값을 확인합니다. 이는 :ref:`기대치의 식<label-dmf_expectation_expression>`에 해당합니다.

5단계: 품질 문제의 영향을 받는 자산은 무엇입니까?

측면 패널이 열린 상태에서 Impacted Assets 섹션을 찾습니다. 여기에서는 품질 문제의 영향을 받을 수 있는 다른 오브젝트를 확인할 수 있습니다. 오브젝트 목록을 해석하는 방법에 대한 자세한 내용은 :ref:`label-data_quality_ui_drill_impacted`을 참조하세요.

6단계: 어떤 레코드가 품질 검사를 위반했습니까? (시스템 DMFs만 선택)

  1. 측면 패널이 열린 상태에서 :ui:`View Failed Records`를 선택합니다.

  2. 미리 채워진 쿼리를 실행하여 품질 검사에 실패한 레코드를 확인합니다. 이 쿼리는 SYSTEM$DATA_METRIC_SCAN 함수를 호출합니다.

    SYSTEM$DATA_METRIC_SCAN 함수를 사용하여 데이터 품질 문제를 해결하기 위한 방법에 대한 자세한 내용은 SYSTEM$DATA_METRIC_SCAN을 사용하여 데이터 수정하기 섹션을 참조하세요.

DMF 결과 드릴다운

Quality Dimensions 아래의 각 행에는 DMF의 최신 결과와 7일 간의 결과 추세가 표시됩니다. 이러한 결과를 드릴다운하려면 행을 선택하여 측면 패널을 엽니다. 다음은 측면 패널의 요소에 대한 설명입니다.

View Lineage 버튼

DMF를 선택하여 해당 DMF와 연결된 오브젝트의 :doc:`계보 </user-guide/ui-snowsight-lineage>`를 확인합니다.

View failed records 버튼(시스템 DMFs만 선택)

DMF가 0보다 큰 값을 반환하면 품질 문제가 있는 것으로 플래그가 지정된 레코드를 확인할 수 있습니다. 예를 들어, NULL_COUNT DMF가 ``5``를 반환하는 경우 NULL 값을 포함하는 5개의 레코드를 확인할 수 있습니다.

:ui:`View failed records`를 선택하면 SYSTEM$DATA_METRIC_SCAN 함수를 호출하는 쿼리로 미리 채워진 워크시트가 열립니다. 이 쿼리를 실행하여 DMF의 결과에 포함된 레코드를 반환합니다.

SYSTEM$DATA_METRIC_SCAN 함수를 사용하는 방법에 대한 자세한 내용은 데이터 품질 문제 해결 섹션을 참조하세요.

Arguments 섹션(다중 인자 DMFs만 해당)

사용자 지정 DMF가 여러 열을 인자로 사용하면 해당 열이 나열됩니다. 열을 선택하여 해당 열이 포함된 오브젝트의 Columns 탭으로 이동할 수 있습니다.

Quality Checks 섹션

DMF와 오브젝트 간 연결에 추가된 :doc:`기대치</user-guide/data-quality-expectations>`를 나열합니다. 각 기대치는 데이터 품질 검사를 구현합니다. 이 섹션에는 다음 열이 포함됩니다.

  • Name — 기대치의 이름입니다.

  • Expression — 기대치의 식입니다. 자세한 내용은 기대치를 충족하는 항목 정의하기 섹션을 참조하십시오.

  • Status — 마지막으로 DMF가 실행되었을 때 기대치가 위반되었는지 여부를 나타냅니다.

Impacted Assets 섹션

DMF가 연결된 오브젝트의 계보에서 다운스트림 오브젝트를 표시합니다. 데이터 품질 문제가 있는 경우 영향을 받을 수 있는 다른 오브젝트를 확인할 수 있습니다. 이 섹션의 내용은 DMF가 단일 인자(예: 시스템 DMFs)를 수락하는지, 아니면 여러 인자를 수락하는지에 따라 달라집니다.

  • DMF가 하나의 열을 인자로 수락하는 경우, Snowflake는 다운스트림 오브젝트에 해당 열의 데이터가 포함되어 있는지 확인합니다. 예를 들어, NULL_COUNT DMF가 t1 테이블의 name 열에서 NULL 값을 식별한다고 가정해 보겠습니다. t1``에서 빌드된 다운스트림 뷰는 ``name 열의 데이터가 포함된 경우에만 영향을 받는 자산 목록에 나타납니다.

  • DMF가 여러 열을 수락하는 경우 열의 데이터가 다운스트림 오브젝트에 존재하지 않더라도 모든 다운스트림 오브젝트가 나타납니다.

Run History 섹션

추세를 파악할 수 있도록 시간 경과에 따른 DMF의 결과를 그래픽으로 표시합니다.

언어: 한국어