데이터 메트릭 함수 작업¶

고유 DMF 만들기¶

데이터 품질 검사를 수행할 수 있는 시스템 데이터 품질 메트릭 함수(DMF) 가 없는 경우 CREATE DATA METRIC FUNCTION 명령을 사용하여 자체적으로 DMF 를 생성할 수 있습니다.

예제: 단일 테이블 인자를 사용한 사용자 정의 DMF

COUNT 함수를 호출하여 테이블의 처음 세 열에 양수가 있는 행의 총 개수를 반환하는 DMF 를 만듭니다.

CREATE OR REPLACE DATA METRIC FUNCTION governance.dmfs.count_positive_numbers(
  arg_t TABLE(
    arg_c1 NUMBER,
    arg_c2 NUMBER,
    arg_c3 NUMBER
  )
)
RETURNS NUMBER
AS
$$
  SELECT
    COUNT(*)
  FROM arg_t
  WHERE
    arg_c1>0
    AND arg_c2>0
    AND arg_c3>0
$$;

Copy

예제: 여러 테이블 인자를 사용하여 참조 검사 성능 수행하기

사용자 정의 DMF 에는 테이블을 허용하는 인자가 두 개 이상 있을 수 있습니다. DMF 를 테이블에 추가하면 해당 테이블이 첫 번째 인자로 사용됩니다. 테이블을 허용하는 추가 인자가 있는 경우 두 번째 테이블의 정규화된 이름도 지정해야 합니다. 이 기능은 서로 다른 데이터 세트에서 참조 무결성, 일치 및 비교 또는 조건부 검사를 간소화합니다.

기본 키/외래 키 관계로 정의된 참조 무결성을 검증하고 싶다고 가정해 보겠습니다. 이 경우 DMF 를 생성하여 소스 테이블의 모든 레코드가 참조된 테이블에 해당 레코드가 있는지 확인할 수 있습니다. 다음 사용자 정의 DMF 는 한 테이블의 열 값이 다른 테이블의 열에 해당하는 값이 없는 기록의 수를 반환합니다.

CREATE OR REPLACE DATA METRIC FUNCTION governance.dmfs.referential_check(
  arg_t1 TABLE (arg_c1 INT), arg_t2 TABLE (arg_c2 INT))
RETURNS NUMBER AS
 'SELECT COUNT(*) FROM arg_t1
  WHERE arg_c1 NOT IN (SELECT arg_c2 FROM arg_t2)';

Copy

이제 salesorders 테이블의 sp_id 로 식별되는 모든 주문이 salespeople 테이블의 sp_id 로 다시 매핑되는지 확인하려고 한다고 가정해 보겠습니다. salesorders 테이블에 salespeople 테이블을 다른 테이블 인자로 지정하면서 DMF 를 추가할 수 있습니다.

ALTER TABLE salesorders
  ADD DATA METRIC FUNCTION governance.dmfs.referential_check
    ON (sp_id, TABLE (my_db.sch1.salespeople(sp_id)));

Copy

출력은 salesorders 테이블에서 sp_id 열의 값이 salespeople 테이블의 sp_id 열에 나타나지 않는 행의 수를 반환합니다. 값이 0보다 크면 salesorders 에 salespeople 의 기록에 매핑되지 않는 sp_id 값이 있음을 나타냅니다.

수동으로 DMF 호출¶

다음 구문을 사용하여 DMF를 호출합니다.

SELECT <data_metric_function>(<query>)

여기서

data_metric_function

시스템 DMF 또는 사용자 정의 DMF를 지정합니다.

query

테이블 또는 뷰에 SQL 쿼리를 지정합니다.

쿼리의 열은 DMF 서명의 열 인자와 일치해야 합니다.

DMF를 직접 호출하여 결과를 확인합니다.

SELECT governance.dmfs.count_positive_numbers(
    SELECT c1,
           c2,
           c3
    FROM t
  );

테이블이나 뷰에 DMF를 설정하고 실행하도록 예약하면 이벤트 테이블에서 생성된 뷰를 쿼리하여 결과를 확인할 수 있습니다. 자세한 내용은 DMF 결과 보기 섹션을 참조하십시오.

테이블 또는 뷰에 DMF 추가 또는 삭제¶

ALTER TABLE 또는 ALTER VIEW 명령을 사용하여 다음을 수행합니다.

• ALTER TABLE 을 사용하여 테이블에 DMF를 추가합니다.

  ALTER TABLE t
    ADD DATA METRIC FUNCTION governance.dmfs.count_positive_numbers
      ON (c1, c2, c3);
  

  Copy

• ALTER TABLE 명령을 사용하여 테이블에서 DMF를 삭제합니다.

  ALTER TABLE t
    DROP DATA METRIC FUNCTION governance.dmfs.count_positive_numbers
      ON (c1, c2, c3);
  

  Copy

실행할 DMFs 예약¶

테이블에서 데이터 품질 측정을 자동화하기 위해 DMFs를 실행하도록 예약할 수 있습니다.

Snowflake는 테이블에 대한 OWNERSHIP 권한이 있는 역할인 테이블 소유자 역할을 사용하여 예약된 DMF를 호출합니다. 테이블 소유자 역할에는 다음과 같은 권한이 있어야 합니다.

• 사용자 정의 DMF에 대한 USAGE 권한과 사용자 정의 DMF를 저장하는 데이터베이스 및 스키마에 대한 USAGE 권한.

• DMF가 시스템 DMF인 경우 DATA_METRIC_USER 데이터베이스 역할.

• 계정에 대한 EXECUTE DATA METRIC FUNCTION 권한.

테이블, 뷰 또는 구체화된 뷰의 DATA_METRIC_SCHEDULE 오브젝트 매개 변수를 사용하면 DMFs의 실행 시점을 예약할 수 있습니다. 테이블이나 뷰의 모든 데이터 메트릭 함수는 동일한 일정을 따릅니다.

DMF의 실행 일정을 예약하는 방법은 다음의 세 가지입니다.

• 지정된 시간(분) 후에 실행되도록 DMF를 설정합니다.

• 특정 빈도로 실행되도록 DMF를 예약하려면 cron 식을 사용합니다.

• 트리거 이벤트를 사용하여 테이블에 새 행을 삽입하는 등 테이블에 DML 변경 이 있을 때 DMF가 실행되도록 예약합니다. 하지만:

  • 테이블을 재클러스터링 해도 DMF가 실행되지는 않습니다.

  • 트리거 방식은 특정 종류의 테이블에만 사용할 수 있습니다. 자세한 내용은 ALTER TABLE … SET DATA_METRIC_SCHEDULE 섹션을 참조하십시오.

예:

데이터 메트릭 함수 일정을 5분마다 실행되도록 설정합니다.

ALTER TABLE hr.tables.empl_info SET
  DATA_METRIC_SCHEDULE = '5 MINUTE';

Copy

데이터 메트릭 함수 일정을 매일 AM 8:00에 실행되도록 설정합니다.

ALTER TABLE hr.tables.empl_info SET
  DATA_METRIC_SCHEDULE = 'USING CRON 0 8 * * * UTC';

Copy

데이터 메트릭 함수 일정을 평일 AM 8:00에만 실행되도록 설정합니다.

ALTER TABLE hr.tables.empl_info SET
  DATA_METRIC_SCHEDULE = 'USING CRON 0 8 * * MON,TUE,WED,THU,FRI UTC';

Copy

데이터 메트릭 함수 일정을 매일 UTC 0600, 1200, 1800에 3회 실행되도록 설정합니다.

ALTER TABLE hr.tables.empl_info SET
  DATA_METRIC_SCHEDULE = 'USING CRON 0 6,12,18 * * * UTC';

Copy

새 행 삽입과 같은 일반 DML 작업으로 테이블이 수정될 때 데이터 메트릭 함수가 실행되도록 설정합니다.

ALTER TABLE hr.tables.empl_info SET
  DATA_METRIC_SCHEDULE = 'TRIGGER_ON_CHANGES';

Copy

SHOW PARAMETERS 명령을 사용하여 지원되는 테이블 오브젝트에 대한 DMF 일정을 볼 수 있습니다.

SHOW PARAMETERS LIKE 'DATA_METRIC_SCHEDULE' IN TABLE hr.tables.empl_info;

Copy

+----------------------+--------------------------------+---------+-------+------------------------------------------------------------------------------------------------------------------------------+--------+
| key                  | value                          | default | level | description                                                                                                                  | type   |
+----------------------+--------------------------------+---------+-------+------------------------------------------------------------------------------------------------------------------------------+--------+
| DATA_METRIC_SCHEDULE | USING CRON 0 6,12,18 * * * UTC |         | TABLE | Specify the schedule that data metric functions associated to the table must be executed in order to be used for evaluation. | STRING |
+----------------------+--------------------------------+---------+-------+------------------------------------------------------------------------------------------------------------------------------+--------+

뷰 및 구체화된 뷰 오브젝트의 경우 TABLE 을 오브젝트 도메인으로 지정하고 다음과 같이 일정을 확인할 수 있습니다.

SHOW PARAMETERS LIKE 'DATA_METRIC_SCHEDULE' IN TABLE mydb.public.my_view;

Copy

DMF 결과 보기¶

DMF 결과를 보려면 먼저 결과에 대한 액세스 권한을 관리한 다음 결과 보기 방법을 선택해야 합니다.

• DMF 결과에 대한 액세스 관리하기

• 선택 사항

DMF의 속성 보기¶

속성을 보려면 DMF를 설명합니다.

DESC FUNCTION governance.dmfs.count_positive_numbers(
  TABLE(
    NUMBER, NUMBER, NUMBER
  )
);

+-----------+---------------------------------------------------------------------+
| property  | value                                                               |
+-----------+---------------------------------------------------------------------+
| signature | (ARG_T TABLE(ARG_C1 NUMBER, ARG_C2 NUMBER, ARG_C3 NUMBER))          |
| returns   | NUMBER(38,0)                                                        |
| language  | SQL                                                                 |
| body      | SELECT COUNT(*) FROM arg_t WHERE arg_c1>0 AND arg_c2>0 AND arg_c3>0 |
+-----------+---------------------------------------------------------------------+

DMF 보안 설정¶

ALTER FUNCTION 명령을 사용하여 DMF 보안을 설정할 수 있습니다. 함수 보안의 의미에 대한 자세한 내용은 Secure UDF와 저장 프로시저로 민감한 정보 보호하기 섹션을 참조하십시오.

ALTER FUNCTION governance.dmfs.count_positive_numbers(
 TABLE(
   NUMBER,
   NUMBER,
   NUMBER
))
SET SECURE;

DMFs 나열¶

SHOW DATA METRIC FUNCTIONS 또는 SHOW FUNCTIONS 명령을 사용하여 계정, 데이터베이스 또는 스키마에 DMFs를 목록으로 표시합니다.

SHOW DATA METRIC FUNCTIONS IN ACCOUNT;

또는 Information Schema FUNCTIONS 뷰 또는 Account Usage FUNCTIONS 뷰 를 쿼리하여 지정된 데이터베이스 또는 계정의 DMFs 를 목록으로 만들 수 있습니다.

is_data_metric 열은 함수가 DMF인지 여부를 지정합니다.

DMF에 태그 설정¶

ALTER FUNCTION 명령을 사용하여 DMF에 태그를 설정합니다.

ALTER FUNCTION governance.dmfs.count_positive_numbers(
  TABLE(NUMBER, NUMBER, NUMBER))
  SET TAG governance.tags.quality = 'counts';

DMF 참조 추적¶

DATA_METRIC_FUNCTION_REFERENCES Account Usage 뷰를 쿼리하여 계정의 DMF 참조를 볼 수 있습니다. 지정된 테이블 또는 뷰와 연결된 DMFs 또는 지정된 DMF 와 연결된 테이블 또는 뷰를 식별하기 위해 DATA_METRIC_FUNCTION_REFERENCES Information Schema 테이블 함수를 호출할 수도 있습니다.

예:

해당 테이블 또는 뷰에 DMF가 count_positive_numbers 로 설정된 각 오브젝트(테이블 또는 뷰)에 대한 행을 반환합니다.

USE DATABASE governance;
USE SCHEMA INFORMATION_SCHEMA;
SELECT *
  FROM TABLE(
    INFORMATION_SCHEMA.DATA_METRIC_FUNCTION_REFERENCES(
      METRIC_NAME => 'governance.dmfs.count_positive_numbers'
    )
  );

Copy

hr.tables.empl_info 테이블에 할당된 각 DMF에 대한 행을 반환합니다.

USE DATABASE governance;
USE SCHEMA INFORMATION_SCHEMA;
SELECT *
  FROM TABLE(
    INFORMATION_SCHEMA.DATA_METRIC_FUNCTION_REFERENCES(
      REF_ENTITY_NAME => 'hr.tables.empl_info',
      REF_ENTITY_DOMAIN => 'table'
    )
  );

Copy

시스템에서 DMF 삭제¶

시스템에서 DMF를 삭제합니다.

DROP FUNCTION governance.dmfs.count_positive_numbers(
  TABLE(
    NUMBER, NUMBER, NUMBER
  )
);

제한 사항¶

자세한 내용은 데이터 품질 제한 섹션을 참조하십시오.