변칙 검색(Snowflake Cortex ML 기반 함수)¶

제한 사항¶

• 변칙 검색 알고리즘을 선택하거나 조정할 수 없습니다. 특히, 알고리즘은 추세, 계절성 또는 계절적 진폭을 재정의하는 매개 변수를 제공하지 않습니다. 이들은 데이터에서 유추됩니다.

• 주 변칙 검색 알고리즘의 최소 행 수는 시계열당 12개입니다. 2에서 11 사이의 관측값이 있는 시계열의 경우 변칙 검색은 모든 예측 값이 마지막으로 관측된 목표 값과 같은 “나이브한” 결과를 생성합니다. 레이블이 지정된 변칙 검색 사례의 경우 사용된 관측값 수는 레이블 열이 false인 행 수입니다.

• 허용 가능한 최소 데이터 세분성은 1초입니다. (타임스탬프의 간격이 1초 이상이어야 합니다.)

• 계절적 구성 요소의 최소 세분성은 1분입니다. (이 함수는 더 작은 시간 델타에서 주기적 패턴을 감지할 수 없습니다.)

• 데이터의 타임스탬프는 고정된 시간 간격을 나타내야 합니다. 입력 데이터가 불규칙한 경우 모델을 학습시킬 때 타임스탬프 열에서 DATE_TRUNC 또는 TIME_SLICE 를 시도하십시오.

• 자동 회귀 기능의 “계절 길이”는 입력 빈도(시간별 데이터의 경우 24, 일별 데이터의 경우 7 등)에 연결됩니다.

• 일단 학습시킨 변칙 검색 모델은 변경할 수 없습니다. 새 데이터로 기존 모델을 업데이트할 수 없으며 완전히 새 모델을 학습시켜야 합니다. 모델은 버전 관리를 지원하지 않습니다. 일반적으로 모델이 변화하는 추세를 따라잡을 수 있도록 새 데이터를 받는 빈도에 따라 일주일에 한 번 또는 한 달에 한 번과 같이, 정기적으로 모델을 다시 학습시켜야 합니다.

• 이 기능은 학습 데이터와 관련된 테스트 데이터의 변칙만 검색합니다. 학습 데이터에서 변칙을 검색할 수 없습니다. 학습 데이터는 모델의 원본이므로 그 정의상 모델 자체와 관련된 이상값이 없습니다. 학습 데이터가 실제 이상값이 없는 일반적인 기간을 포함하도록 하거나 부울 열에서 알려진 이상값에 레이블을 지정하십시오.

• 모델을 복제하거나 역할 또는 계정 간에 모델을 공유할 수 없습니다. 스키마 또는 데이터베이스를 복제할 때 모델 오브젝트를 건너뜁니다.

• ANOMALY_DETECTION 클래스의 인스턴스를 복제 할 수 없습니다.

가상 웨어하우스 선택하기¶

Snowflake 가상 웨어하우스 가 이 기능에 대한 머신 러닝 모델을 학습시키고 사용하기 위한 컴퓨팅 리소스를 제공합니다. 이 섹션에서는 학습 단계(프로세스에서 가장 시간이 많이 걸리고 메모리 집약적인 부분)에 중점을 두고서 이 목적에 가장 적합한 웨어하우스 크기 및 유형을 선택하는 방법에 대한 일반적인 지침을 제공합니다.

변칙 검색 오브젝트 생성 권한 부여하기¶

변칙 검색 모델을 학습시키면 스키마 수준 오브젝트가 생성됩니다. 따라서 모델 생성에 사용하는 역할은 모델이 생성되는 스키마에 대한 CREATE SNOWFLAKE.ML.ANOMALY_DETECTION 권한이 있어야 스키마에 모델을 저장할 수 있습니다. 이 권한은 CREATE TABLE 또는 CREATE VIEW와 같은 다른 스키마 권한과 유사합니다.

변칙을 검색해야 하는 사람들이 사용할 analyst 라는 역할을 생성하는 것이 좋습니다.

다음 예에서 admin 역할은 스키마 admin_db.admin_schema 의 소유자입니다. analyst 역할은 이 스키마에서 모델을 생성해야 합니다.

USE ROLE admin;
GRANT USAGE ON admin_db TO ROLE analyst;
GRANT USAGE ON admin_schema TO ROLE analyst;
GRANT CREATE SNOWFLAKE.ML.ANOMALY_DETECTION ON SCHEMA admin_db.admin_schema TO ROLE analyst;

이 스키마를 사용하기 위해 사용자는 analyst 역할을 맡습니다.

USE ROLE analyst;
USE SCHEMA admin_db.admin_schema;

analyst 역할이 analyst_db 데이터베이스에서 CREATE SCHEMA 권한을 가질 경우 이 역할은 새 스키마 analyst_db.analyst_schema 를 생성하고 해당 스키마에서 변칙 검색 모델을 생성할 수 있습니다.

USE ROLE analyst;
CREATE SCHEMA analyst_db.analyst_schema;
USE SCHEMA analyst_db.analyst_schema;

스키마에 대한 역할의 모델 생성 권한을 취소하려면 REVOKE <권한> 를 사용하십시오.

REVOKE CREATE SNOWFLAKE.ML.ANOMALY_DETECTION ON SCHEMA admin_db.admin_schema FROM ROLE analyst;

단일 시계열에 대한 변칙 검색하기(비지도 학습)¶

데이터에서 변칙을 검색하려면 다음을 수행하십시오.

1. 과거 데이터를 사용하여 변칙 검색 모델을 학습시킵니다.

2. 학습된 변칙 검색 모델을 사용하여 과거 데이터 또는 예상 데이터에서 변칙을 검색합니다. 테스트 데이터의 타임스탬프는 학습 데이터의 타임스탬프를 연대순으로 따라야 합니다. 모델 학습에 2개 이상의 데이터 요소가 필요한데, 나이브하지 않은 결과를 얻으려면 12개 이상, 비선형 결과를 얻으려면 60개 이상이 필요합니다.

모델 생성 및 사용에 사용되는 매개 변수에 대한 정보는 ANOMALY_DETECTION 섹션을 참조하십시오.

BEGIN
  CALL basic_model!DETECT_ANOMALIES(
     INPUT_DATA => SYSTEM$REFERENCE('VIEW', 'view_with_data_to_analyze'),
     TIMESTAMP_COLNAME =>'date',
     TARGET_COLNAME => 'sales'
  );
  LET x := SQLID;
  CREATE TABLE my_anomalies AS SELECT * FROM TABLE(RESULT_SCAN(:x));
END;

SELECT * FROM my_anomalies;

레이블이 지정된 데이터로 변칙 검색 모델 학습시키기¶

이전 예제에서는 모델의 결과가 부정확하게 나타납니다. 이는 아마도 다음과 같은 이유 때문일 것입니다.

• 변칙 검색 모델은 매우 적은 수의 입력 데이터를 기반으로 학습되었습니다.

• 2020-01-03에 더 많은 수의 재킷(30개)이 판매되었습니다. 이로 인해 예측치가 상방으로 치우쳐 예측 구간의 크기가 증가했습니다.

더 많은 학습 데이터를 포함하거나 학습 데이터에 레이블을 지정하여(지도 학습) 변칙 검색 모델의 정확도를 개선할 수 있습니다. 레이블이 지정된 학습 데이터에는 각 행이 알려진 변칙인지 여부를 나타내는 추가 부울 열이 있습니다. 레이블을 지정하면 변칙 검색 모델이 학습 데이터의 알려진 변칙에 대한 과적합을 방지하는 데 도움이 될 수 있습니다.

학습 데이터에 레이블이 지정된 데이터를 포함하려면 CREATE SNOWFLAKE.ML.ANOMALY_DETECTION 명령의 LABEL_COLNAME 생성자 인자에 레이블이 포함된 열을 지정하십시오. 예:

1. 학습 데이터와 함께 레이블을 반환하는 쿼리를 디자인하거나 뷰를 만듭니다.

   이 예에서는 CREATE VIEW 명령을 실행하여 label 이라는 명령에 레이블이 포함된 view_with_labeled_data 라는 뷰를 만듭니다.

   CREATE OR REPLACE VIEW view_with_labeled_data_for_training
     AS SELECT date, sales, label FROM historical_sales_data
       WHERE store_id=1 and item='jacket';
   

   Copy

2. 변칙 검색 모델에 대한 오브젝트를 만들고 해당 뷰의 데이터를 기반으로 모델을 학습시킵니다.

   이 예에서는 CREATE SNOWFLAKE.ML.ANOMALY_DETECTION 명령을 실행하여 model_trained_with_labeled_data 라는 변칙 검색 오브젝트를 만듭니다. 다음 문으로 변칙 검색 오브젝트를 만듭니다.

   CREATE OR REPLACE SNOWFLAKE.ML.ANOMALY_DETECTION model_trained_with_labeled_data(
     INPUT_DATA => SYSTEM$REFERENCE('VIEW', 'view_with_labeled_data_for_training'),
     TIMESTAMP_COLNAME => 'date',
     TARGET_COLNAME => 'sales',
     LABEL_COLNAME => 'label'
   );
   

   Copy

3. 이 새로운 변칙 검색 모델을 사용하여 단일 시계열에 대한 변칙 검색하기(비지도 학습) 에서 사용한 것과 동일한 인자를 전달하는 <name>!DETECT_ANOMALIES 메서드를 호출합니다.

   CALL model_trained_with_labeled_data!DETECT_ANOMALIES(
     INPUT_DATA => SYSTEM$REFERENCE('VIEW', 'view_with_data_to_analyze'),
     TIMESTAMP_COLNAME =>'date',
     TARGET_COLNAME => 'sales'
   );
   

   Copy

   이 메서드는 검색기의 예측과 함께 현재 뷰 view_with_data_to_analyze 에 있는 데이터의 행을 포함하는 테이블을 반환합니다. 이 테이블의 열에 대한 설명은 출력 섹션을 참조하십시오.

출력

가독성을 위해 결과를 반올림했습니다.

+-------------------------+----+----------+---------------+--------------+------------+--------------+------------+
| TS                      |  Y | FORECAST |   LOWER_BOUND |  UPPER_BOUND | IS_ANOMALY |   PERCENTILE |   DISTANCE |
|-------------------------+----+----------+---------------+--------------+------------+--------------+------------|
| 2020-01-16 00:00:00.000 |  6 |        6 |  0.82         | 11.18        | False      | 0.5          | 0          |
| 2020-01-17 00:00:00.000 | 20 |        6 | -0.39         | 12.33        | True       | 0.99         | 5.70       |
+-------------------------+----+----------+---------------+--------------+------------+--------------+------------+

변칙 검색을 위한 예측 구간 지정하기¶

다양한 수준의 민감도로 변칙을 검색할 수 있습니다. 변칙으로 분류할 관측값의 백분율을 지정하려면 <name>!DETECT_ANOMALIES 에 대한 구성 설정이 포함된 OBJECT 를 만들고 prediction_interval 키를 변칙으로 표시해야 하는 관측값의 백분율로 설정하십시오.

이 오브젝트를 생성하려면 오브젝트 상수 또는 OBJECT_CONSTRUCT 함수 중 하나를 사용할 수 있습니다.

그런 다음 <name>!DETECT_ANOMALIES 메서드 호출 시 이 오브젝트를 CONFIG_OBJECT 인자로 전달합니다.

기본적으로, prediction_interval 키와 연결된 값은 0.99로 설정되는데, 이는 데이터의 약 1%가 변칙으로 표시된다는 뜻입니다. 0과 1 사이의 값을 지정할 수 있습니다.

• 더 적은 관측값을 변칙으로 표시하려면 prediction_interval 에 대해 더 높은 값을 지정하십시오.

• 더 많은 관측값을 변칙으로 표시하려면 prediction_interval 값을 줄이십시오.

다음 예에서는 prediction_interval 을 0.995로 설정하여 변칙 검색을 더 엄격하게 구성합니다. 또한 이 예에서는 (단일 시계열에 대한 변칙 검색하기(비지도 학습) 에서 설정한) 분석할 데이터가 포함된 뷰와 함께 (레이블이 지정된 데이터로 변칙 검색 모델 학습시키기 에서 설정한) 레이블이 지정된 데이터를 기반으로 학습된 모델을 사용합니다.

CALL model_trained_with_labeled_data!DETECT_ANOMALIES(
  INPUT_DATA => SYSTEM$REFERENCE('VIEW', 'view_with_data_to_analyze'),
  TIMESTAMP_COLNAME => 'date',
  TARGET_COLNAME => 'sales',
  CONFIG_OBJECT => {'prediction_interval':0.995}
);

이 문은 현재 뷰 view_with_data_to_analyze 에 있는 데이터의 행을 포함하는 테이블을 생성합니다. 각 행에는 검색기의 예측치가 포함된 열이 포함됩니다. 이 모델의 결과가 레이블이 지정되지 않은 예보다 더 정확함을 알 수 있습니다.

출력

가독성을 위해 결과를 반올림했습니다.

+-------------------------+----+----------+---------------+--------------+------------+--------------+------------+
| TS                      |  Y | FORECAST |   LOWER_BOUND |  UPPER_BOUND | IS_ANOMALY |   PERCENTILE |   DISTANCE |
|-------------------------+----+----------+---------------+--------------+------------+--------------+------------|
| 2020-01-16 00:00:00.000 |  6 |        6 |  0.36         | 11.64        | False      | 0.5          | 0          |
| 2020-01-17 00:00:00.000 | 20 |        6 | -0.90         | 12.90        | True       | 0.99         | 5.70       |
+-------------------------+----+----------+---------------+--------------+------------+--------------+------------+

분석을 위한 추가 열 포함하기¶

추가적인 열이 실제 변칙의 식별 능력 개선에 도움이 될 수 있는 경우 학습과 분석을 위한 데이터에 이러한 열을 포함할 수 있습니다(예: temperature, weather, is_black_friday).

분석을 위해 새 열을 포함하려면 다음을 수행하십시오.

1. 학습 데이터의 경우 새 열을 포함하는 쿼리를 디자인하거나 뷰를 만들고 새 변칙 검색 오브젝트를 만들어 해당 뷰 또는 쿼리에 대한 참조를 전달합니다.

2. 분석할 데이터의 경우 새 열을 포함하는 쿼리를 디자인하거나 뷰를 만들고 해당 뷰 또는 쿼리에 대한 참조를 <name>!DETECT_ANOMALIES 메서드로 전달합니다.

변칙 검색 모델은 추가 열을 자동으로 검색하고 사용합니다.

예를 들어 temperature, humidity 및 holiday 열을 추가하려는 경우를 가정해 보겠습니다.

1. 이러한 추가 열을 포함한 학습 데이터를 반환하는 쿼리를 디자인하거나 뷰를 만듭니다.

   이 예에서는 CREATE VIEW 명령을 실행하여 view_with_training_data_extra_columns 라는 뷰를 만듭니다.

   CREATE OR REPLACE VIEW view_with_training_data_extra_columns
     AS SELECT date, sales, label, temperature, humidity, holiday
       FROM historical_sales_data
       WHERE store_id=1 AND item='jacket';
   

   Copy

2. 변칙 검색 모델에 대한 오브젝트를 만들고 해당 뷰의 데이터를 기반으로 모델을 학습시킵니다.

   이 예에서는 CREATE SNOWFLAKE.ML.ANOMALY_DETECTION 명령을 실행하여 model_with_additional_columns 라는 변칙 검색 오브젝트를 만들어 새 뷰에 대한 참조를 전달합니다.

   CREATE OR REPLACE SNOWFLAKE.ML.ANOMALY_DETECTION model_with_additional_columns(
     INPUT_DATA => SYSTEM$REFERENCE('VIEW', 'view_with_training_data_extra_columns'),
     TIMESTAMP_COLNAME => 'date',
     TARGET_COLNAME => 'sales',
     LABEL_COLNAME => 'label'
   );
   

   Copy

3. 이러한 추가 열을 포함하여 분석할 데이터를 반환하는 쿼리를 디자인하거나 뷰를 만듭니다.

   이 예에서는 CREATE VIEW 명령을 실행하여 view_with_data_for_analysis_extra_columns 라는 뷰를 만듭니다.

   CREATE OR REPLACE VIEW view_with_data_for_analysis_extra_columns
     AS SELECT date, sales, temperature, humidity, holiday
       FROM new_sales_data
       WHERE store_id=1 AND item='jacket';
   

   Copy

4. 이 새로운 변칙 검색 오브젝트를 사용하여 <name>!DETECT_ANOMALIES 메서드를 호출하여 새 뷰를 전달합니다.

   CALL model_with_additional_columns!DETECT_ANOMALIES(
     INPUT_DATA => SYSTEM$REFERENCE('VIEW', 'view_with_data_for_analysis_extra_columns'),
     TIMESTAMP_COLNAME => 'date',
     TARGET_COLNAME => 'sales',
     CONFIG_OBJECT => {'prediction_interval':0.93}
   );
   

   Copy

   이 문은 검색기의 예측과 함께 현재 뷰 view_with_data_for_analysis_extra_columns 에 있는 데이터의 행을 포함하는 테이블을 생성합니다. 출력 형식은 앞서 실행한 명령에 대해 표시된 출력 형식과 동일합니다.

출력

가독성을 위해 결과를 반올림했습니다.

+-------------------------+----+----------+-------------+--------------+------------+--------------+------------+
| TS                      |  Y | FORECAST | LOWER_BOUND |  UPPER_BOUND | IS_ANOMALY |   PERCENTILE |   DISTANCE |
|-------------------------+----+----------+-------------+--------------+------------+--------------+------------|
| 2020-01-16 00:00:00.000 |  6 |        6 | 2.34        |  9.64        | False      | 0.5          | 0          |
| 2020-01-17 00:00:00.000 | 20 |        6 | 1.56        | 10.451       | True       | 0.99         | 5.70       |
+-------------------------+----+----------+-------------+--------------+------------+--------------+------------+

다중 계열에서 변칙 검색하기¶

이전 섹션에서는 단일 계열에 대한 변칙을 검색하는 예를 제시했습니다. 이러한 예에서는 한 매장(매장 ID 1)에서 한 가지 유형의 품목(재킷) 판매에 대한 변칙을 플래그로 지정했습니다. 동시에 여러 시계열의 변칙(예: 여러 가지 품목과 매장의 조합에 대해)을 검색하려면 다음을 수행하십시오.

1. 학습 데이터의 경우 계열을 식별하는 열이 포함된 쿼리를 디자인하거나 뷰를 만들고 새로운 변칙 검색 오브젝트를 만들어 해당 뷰 또는 쿼리에 대한 참조를 전달하고 SERIES_COLNAME 인자에 대한 계열 열의 이름을 지정합니다.

2. 분석할 데이터에 대해 계열을 식별하는 열을 포함하는 쿼리를 디자인하거나 뷰를 만듭니다. <name>!DETECT_ANOMALIES 메서드를 호출하여 해당 뷰 또는 쿼리에 대한 참조를 전달하고 SERIES_COLNAME 인자에 대한 계열 열의 이름을 지정합니다.

예를 들어 store_id 및 item 열의 조합을 사용하여 계열을 식별하려는 경우를 가정해 보겠습니다.

1. 계열에 대한 열이 포함된 학습 데이터를 반환하는 쿼리를 디자인하거나 뷰를 만듭니다.

   이 예에서는 CREATE VIEW 명령을 실행하여 계열을 매장 ID와 품목의 조합으로 식별하는 store_item 이라는 열이 포함된 view_with_training_data_multiple_series 라는 뷰를 만듭니다.

   CREATE OR REPLACE VIEW view_with_training_data_multiple_series
     AS SELECT
       [store_id, item] AS store_item,
       date,
       sales,
       label,
       temperature,
       humidity,
       holiday
     FROM historical_sales_data;
   

   Copy

2. 변칙 검색에 대한 오브젝트를 만들고 해당 뷰의 데이터를 기반으로 모델을 학습시킵니다.

   이 예에서는 CREATE SNOWFLAKE.ML.ANOMALY_DETECTION 명령을 실행하여 model_for_multiple_series 라는 변칙 검색 오브젝트를 만들어 새 뷰에 대한 참조를 전달하고 SERIES_COLNAME 인자에 대해 store_item 을 지정합니다.

   CREATE OR REPLACE SNOWFLAKE.ML.ANOMALY_DETECTION model_for_multiple_series(
     INPUT_DATA => SYSTEM$REFERENCE('VIEW', 'view_with_training_data_multiple_series'),
     SERIES_COLNAME => 'store_item',
     TIMESTAMP_COLNAME => 'date',
     TARGET_COLNAME => 'sales',
     LABEL_COLNAME => 'label'
   );
   

   Copy

3. 계열 열을 포함하여 분석할 데이터를 반환하는 쿼리를 디자인하거나 뷰를 만듭니다.

   이 예에서는 CREATE VIEW 명령을 실행하여 계열에 대해 store_item 이라는 열이 포함된 view_with_data_for_analysis_multiple_series 라는 뷰를 만듭니다.

   CREATE OR REPLACE VIEW view_with_data_for_analysis_multiple_series
     AS SELECT
       [store_id, item] AS store_item,
       date,
       sales,
       temperature,
       humidity,
       holiday
     FROM new_sales_data;
   

   Copy

4. 이 새로운 변칙 검색 오브젝트를 사용하여 <name>!DETECT_ANOMALIES 메서드를 호출하여 새 뷰를 전달하고 SERIES_COLNAME 인자에 대해 store_item 을 설정합니다.

   CALL model_for_multiple_series!DETECT_ANOMALIES(
     INPUT_DATA => SYSTEM$REFERENCE('VIEW', 'view_with_data_for_analysis_multiple_series'),
     SERIES_COLNAME => 'store_item',
     TIMESTAMP_COLNAME => 'date',
     TARGET_COLNAME => 'sales',
     CONFIG_OBJECT => {'prediction_interval':0.995}
   );
   

   Copy

   이 문은 검색기의 예측과 함께 현재 뷰 view_with_data_for_analysis_multiple_series 에 있는 데이터의 행을 포함하는 테이블을 생성합니다. 출력에는 계열을 식별하는 열이 포함됩니다.

출력

가독성을 위해 결과를 반올림했습니다.

+--------------+-------------------------+----+----------+---------------+--------------+------------+---------------+--------------+
| SERIES       | TS                      |  Y | FORECAST |   LOWER_BOUND |  UPPER_BOUND | IS_ANOMALY |    PERCENTILE |     DISTANCE |
|--------------+-------------------------+----+----------+---------------+--------------+------------+---------------+--------------|
| [            | 2020-01-16 00:00:00.000 |  3 |      6.3 |  2.07         | 10.53        | False      | 0.01          | -2.19         |
|   2,         |                         |    |          |               |              |            |               |              |
|   "umbrella" |                         |    |          |               |              |            |               |              |
| ]            |                         |    |          |               |              |            |               |              |
| [            | 2020-01-17 00:00:00.000 | 70 |      2.9 | -1.33         |  7.13        | True       | 1             | 44.54         |
|   2,         |                         |    |          |               |              |            |               |              |
|   "umbrella" |                         |    |          |               |              |            |               |              |
| ]            |                         |    |          |               |              |            |               |              |
| [            | 2020-01-16 00:00:00.000 |  6 |      6   |  0.36         | 11.64        | False      | 0.5           |  0           |
|   1,         |                         |    |          |               |              |            |               |              |
|   "jacket"   |                         |    |          |               |              |            |               |              |
| ]            |                         |    |          |               |              |            |               |              |
| [            | 2020-01-17 00:00:00.000 | 20 |      6   | -0.90         | 12.90        | True       | 0.99          |  5.70         |
|   1,         |                         |    |          |               |              |            |               |              |
|   "jacket"   |                         |    |          |               |              |            |               |              |
| ]            |                         |    |          |               |              |            |               |              |
+--------------+-------------------------+----+----------+---------------+--------------+------------+---------------+--------------+

Snowflake 작업으로 학습 반복하기¶

Snowflake 작업 을 사용하여 최신 데이터를 반영하도록 모델을 업데이트할 수 있습니다.

매시간 변칙 검색 오브젝트를 새로 고치는 작업을 생성하려면 다음 문을 실행하여 your_warehouse_name 을 웨어하우스 이름으로 바꾸십시오.

CREATE OR REPLACE TASK ad_model_retrain_task
WAREHOUSE = <your_warehouse_name>
SCHEDULE = '60 MINUTE'
AS
EXECUTE IMMEDIATE
$$
BEGIN
  CREATE OR REPLACE SNOWFLAKE.ML.ANOMALY_DETECTION model_trained_with_labeled_data(
    INPUT_DATA => SYSTEM$REFERENCE('VIEW', 'view_with_labeled_data_for_training'),
    TIMESTAMP_COLNAME => 'date',
    TARGET_COLNAME => 'sales',
    LABEL_COLNAME => 'label'
  );
END;
$$;

기본적으로, 새로 생성된 작업은 일시 중단됩니다.

작업을 재개하려면 ALTER TASK … RESUME 명령을 실행하십시오.

ALTER TASK ad_model_retrain_task RESUME;

작업을 일시 중지하려면 ALTER TASK … SUSPEND 명령을 실행하십시오.

ALTER TASK ad_model_retrain_task SUSPEND;

Snowflake 작업으로 모니터링하기¶

Snowflake 작업을 사용하여 특정 빈도로 데이터를 모니터링할 수도 있습니다.

먼저, 변칙 검색 결과를 저장할 테이블을 만듭니다.

CREATE OR REPLACE TABLE anomaly_res_table (
  ts TIMESTAMP_NTZ, y FLOAT, forecast FLOAT, lower_bound FLOAT, upper_bound FLOAT,
  is_anomaly BOOLEAN, percentile FLOAT, distance FLOAT);

반복되는 변칙 검색 작업의 결과를 테이블에 저장하는 작업을 생성합니다. 이 예에서는 WAREHOUSE 매개 변수를 snowhouse 로 설정합니다. 이를 자체 웨어하우스로 바꿀 수 있습니다.

CREATE OR REPLACE TASK ad_model_monitoring_task
WAREHOUSE = snowhouse
SCHEDULE = '1 minute'
AS
EXECUTE IMMEDIATE
$$
BEGIN
  CALL model_trained_with_labeled_data!DETECT_ANOMALIES(
    INPUT_DATA => SYSTEM$REFERENCE('VIEW', 'view_with_data_to_analyze'),
    TIMESTAMP_COLNAME => 'date',
    TARGET_COLNAME => 'sales',
    CONFIG_OBJECT => {'prediction_interval':0.99}
  );

  INSERT INTO anomaly_res_table (ts, y, forecast, lower_bound, upper_bound, is_anomaly, percentile, distance)
    SELECT * FROM TABLE(RESULT_SCAN(LAST_QUERY_ID()));
END;
$$;

작업을 재개하려면 ALTER TASK … RESUME 명령을 실행하십시오.

ALTER TASK ad_model_monitoring_task RESUME;

그러면 anomaly_res_table 에 각 작업 실행의 결과가 전부 포함됩니다.

작업을 일시 중지하려면 ALTER TASK … SUSPEND 명령을 실행하십시오.

ALTER TASK ad_model_monitoring_task SUSPEND;

Snowflake 경고로 모니터링하기¶

또한 Snowflake 경고 를 사용하여 특정 빈도로 데이터를 모니터링하고 검색된 변칙이 포함된 이메일을 보낼 수도 있습니다. 다음 문은 매분 변칙을 검색하는 경고를 생성합니다. 먼저, 변칙을 검색하는 저장 프로시저 를 정의한 다음 해당 저장 프로시저를 사용하는 경고를 생성합니다.

CREATE OR REPLACE PROCEDURE extract_anomalies()
  RETURNS TABLE()
  LANGUAGE SQL
  AS
  $$
    BEGIN
      CALL model_trained_with_labeled_data!DETECT_ANOMALIES(
        INPUT_DATA => SYSTEM$REFERENCE('VIEW', 'view_with_data_to_analyze'),
        TIMESTAMP_COLNAME => 'date',
        TARGET_COLNAME => 'sales',
        CONFIG_OBJECT => {'prediction_interval':0.99}
      );

      DECLARE
        res RESULTSET DEFAULT (SELECT * FROM TABLE(RESULT_SCAN(-1)) WHERE is_anomaly = TRUE);
      BEGIN
        RETURN TABLE(res);
      END;
    END;
  $$
  ;

CREATE OR REPLACE ALERT sample_sales_alert
WAREHOUSE = <your_warehouse_name>
SCHEDULE = '1 MINUTE'
IF (EXISTS (CALL extract_anomalies()))
THEN
CALL SYSTEM$SEND_EMAIL(
  'sales_email_alert',
  'your_email@snowflake.com',
  'Anomalous Sales Data Detected in data stream',
  CONCAT(
    'Anomalous Sales Data Detected in data stream \n',
    'Value outside of prediction interval detected in the most recent run at ',
    current_timestamp(1)
  ));

경고를 시작하거나 재개하려면 ALTER ALERT … RESUME 명령을 실행하십시오.

ALTER ALERT sample_sales_alert RESUME;

경고를 일시 중지하려면 ALTER ALERT … SUSPEND 명령을 실행하십시오.

ALTER ALERT sample_sales_alert SUSPEND;

제한 사항¶

• 특징 중요도를 계산하는 데 사용되는 기법을 선택할 수 없습니다.

• 특징 중요도 점수는 모델의 정확성에 중요한 특징에 대한 직관을 얻는 데 도움이 될 수 있지만, 실제 값을 추정치로 간주해야 합니다.

예¶

모델에 대한 특징의 상대적 중요도를 이해하려면 모델을 학습시킨 다음 <name>!EXPLAIN_FEATURE_IMPORTANCE 를 호출하십시오. 이 예에서는 먼저 두 개의 외생 변수로 임의 데이터를 생성하는데, 한 변수는 임의적이므로 모델에 그다지 중요하지 않을 가능성이 있으며 다른 하나는 대상의 복사본이므로 모델에 더 중요할 가능성이 있습니다.

다음 문을 실행하여 데이터를 생성하고 이를 기반으로 모델을 학습시키고 특징의 중요도를 가져옵니다.

CREATE OR REPLACE VIEW v_random_data AS SELECT
  DATEADD('minute', ROW_NUMBER() over (ORDER BY 1), '2023-12-01')::TIMESTAMP_NTZ ts,
  MOD(SEQ1(),10) y,
  UNIFORM(1, 100, RANDOM(0)) exog_a
FROM TABLE(GENERATOR(ROWCOUNT => 500));

CREATE OR REPLACE VIEW v_feature_importance_demo AS SELECT
  ts,
  y,
  exog_a
FROM v_random_data;

SELECT * FROM v_feature_importance_demo;

CREATE OR REPLACE SNOWFLAKE.ML.ANOMALY_DETECTION anomaly_model_feature_importance_demo(
  INPUT_DATA => SYSTEM$REFERENCE('VIEW', 'v_feature_importance_demo'),
  TIMESTAMP_COLNAME => 'ts',
  TARGET_COLNAME => 'y',
  LABEL_COLNAME => ''
);

CALL anomaly_model_feature_importance_demo!EXPLAIN_FEATURE_IMPORTANCE();

출력

이 예제에서는 임의 데이터를 사용하므로 출력 결과가 아래와 정확히 일치할 것이라 여기지 마십시오.

+------+--------------------------------------+-------+-------------------------+
| RANK | FEATURE_NAME                         | SCORE | FEATURE_TYPE            |
+------+--------------------------------------+-------+-------------------------+
|    1 | aggregated_endogenous_trend_features |  0.36 | derived_from_endogenous |
|    2 | exog_a                               |  0.22 | user_provided           |
|    3 | epoch_time                           |  0.15 | derived_from_timestamp  |
|    4 | minute                               |  0.13 | derived_from_timestamp  |
|    5 | lag60                                |  0.07 | derived_from_endogenous |
|    6 | lag120                               |  0.06 | derived_from_endogenous |
|    7 | hour                                 |  0.01 | derived_from_timestamp  |
+------+--------------------------------------+-------+-------------------------+

예¶

CREATE TABLE t_error(date TIMESTAMP_NTZ, sales FLOAT, series VARCHAR);
INSERT INTO t_error VALUES
  (TO_TIMESTAMP_NTZ('2019-12-20'), 1.0, 'A'),
  (TO_TIMESTAMP_NTZ('2019-12-21'), 2.0, 'A'),
  (TO_TIMESTAMP_NTZ('2019-12-22'), 3.0, 'A'),
  (TO_TIMESTAMP_NTZ('2019-12-23'), 2.0, 'A'),
  (TO_TIMESTAMP_NTZ('2019-12-24'), 1.0, 'A'),
  (TO_TIMESTAMP_NTZ('2019-12-25'), 2.0, 'A'),
  (TO_TIMESTAMP_NTZ('2019-12-26'), 3.0, 'A'),
  (TO_TIMESTAMP_NTZ('2019-12-27'), 2.0, 'A'),
  (TO_TIMESTAMP_NTZ('2019-12-28'), 1.0, 'A'),
  (TO_TIMESTAMP_NTZ('2019-12-29'), 2.0, 'A'),
  (TO_TIMESTAMP_NTZ('2019-12-30'), 3.0, 'A'),
  (TO_TIMESTAMP_NTZ('2019-12-31'), 2.0, 'A'),
  (TO_TIMESTAMP_NTZ('2020-01-01'), 2.0, 'A'),
  (TO_TIMESTAMP_NTZ('2020-01-02'), 3.0, 'A'),
  (TO_TIMESTAMP_NTZ('2020-01-03'), 3.0, 'A'),
  (TO_TIMESTAMP_NTZ('2020-01-04'), 7.0, 'A'),
  (TO_TIMESTAMP_NTZ('2020-01-05'), 10.0, 'B'),
  (TO_TIMESTAMP_NTZ('2020-01-06'), 13.0, 'B'),
  (TO_TIMESTAMP_NTZ('2020-01-06'), 12.0, 'B'), -- duplicate timestamp
  (TO_TIMESTAMP_NTZ('2020-01-07'), 15.0, 'B'),
  (TO_TIMESTAMP_NTZ('2020-01-08'), 14.0, 'B'),
  (TO_TIMESTAMP_NTZ('2020-01-09'), 18.0, 'B'),
  (TO_TIMESTAMP_NTZ('2020-01-10'), 12.0, 'B');

CREATE SNOWFLAKE.ML.ANOMALY_DETECTION model(
  INPUT_DATA => SYSTEM$QUERY_REFERENCE('SELECT date, sales, series FROM t_error'),
  SERIES_COLNAME => 'series',
  TIMESTAMP_COLNAME => 'date',
  TARGET_COLNAME => 'sales',
  LABEL_COLNAME => '',
  CONFIG_OBJECT => {'ON_ERROR': 'SKIP'}
);

CALL model!SHOW_TRAINING_LOGS();

출력

+--------+-------------------------------------------------------------------------------------------------+
| SERIES | LOGS                                                                                            |
+--------+-------------------------------------------------------------------------------------------------+
| "B"    | {   "Errors": [     "Frequency cannot be inferred when duplicate timestamps are present."   ] } |
| "A"    | NULL                                                                                            |
+--------+-------------------------------------------------------------------------------------------------+