Snowpark Container Services: 작업 사용하기¶

작업 실행하기¶

애플리케이션을 작업으로 배포하는 데 도움이 되도록 Snowpark Container Services는 EXECUTE SERVICE 명령을 제공합니다. 작업은 동기식으로 실행되며 모든 컨테이너가 종료된 후에 완료됩니다. 다음 정보를 제공해야 합니다.

• 작업 사양: 이 사양 은 작업 실행에 필요한 정보를 Snowflake에 제공합니다. 사양은 Snowflake 스테이지에 업로드하는 YAML 파일입니다.

• 컴퓨팅 풀: Snowflake는 지정된 컴퓨팅 풀 에서 작업을 실행합니다.

예

EXECUTE SERVICE
  IN COMPUTE POOL tutorial_compute_pool
  FROM @tutorial_stage
  SPECIFICATION_FILE='my_job_spec.yaml';

출력에는 작업의 쿼리 ID(Snowflake에서 할당한 UUID)가 포함됩니다.

+------------------------------------------------------------------------------------+
|                      status                                                        |
-------------------------------------------------------------------------------------+
| Job 01af7ee6-0001-cb52-0020-c5870077223a completed successfully with status: DONE. |
+------------------------------------------------------------------------------------+

SYSTEM$GET_JOB_STATUS와 함께 이 쿼리 작업 ID을 사용하여 작업 상태를 가져오며, 작업 컨테이너에서 로그를 가져오려면 SYSTEM$GET_JOB_LOGS를 함께 사용하면 됩니다.

EXECUTE SERVICE 명령을 사용하는 것은 다른 SQL 문을 실행하는 것과 유사합니다. Snowsight 웹 인터페이스 또는 SQL를 사용하여 쿼리 기록에서 작업 목록을 가져올 수 있습니다.

작업 UUID 얻기¶

작업 실행을 디버깅하려면 Snowflake에서 제공하는 시스템 함수를 사용할 수 있습니다. 예를 들어, SYSTEM$GET_JOB_STATUS를 사용하여 작업을 모니터링하고 SYSTEM$GET_JOB_LOGS를 사용하여 작업 컨테이너 로그에 액세스할 수 있습니다. 이 두 시스템 함수는 모두 작업 UUID(작업의 쿼리 ID)가 필요한데, 다음과 같이 얻을 수 있습니다.

• 작업 완료 후: 짧은 작업의 경우 EXECUTE SERVICE가 빠르게 완료되고 출력에 UUID 작업이 표시됩니다. EXECUTE SERVICE 직후에 LAST_QUERY_ID를 호출하여 작업 UUID를 캡처할 수도 있습니다.

  EXECUTE SERVICE
  IN COMPUTE POOL tutorial_compute_pool
  FROM @tutorial_stage
  SPECIFICATION_FILE='my_job_spec.yaml';
  
  SET job_id = LAST_QUERY_ID();
  

  Copy

  LAST_QUERY_ID는 작업이 완료된 후에만 작업 UUID를 제공할 수 있으므로 주로 짧은 작업에 적합합니다.

• 작업 실행 중: 장기 실행 작업의 경우 작업이 계속 실행되는 동안 실시간 작업 상태 정보에 관심이 있는 경우 다음과 같이 작업 UUID를 얻을 수 있습니다.

  • Snowsight 웹 인터페이스에서: EXECUTE SERVICE를 호출하면 Snowsight 웹 인터페이스는 작업이 계속 실행되는 동안 결과 창에 작업 UUID를 즉시 반환합니다.

  • SnowSQL CLI를 사용하여 다음을 수행합니다.

    1. 새 SnowSQL CLI 인스턴스를 실행하는 새 터미널 창을 엽니다.

    2. 테이블 함수의 QUERY HISTORY 패밀리를 사용하여 작업의 쿼리 ID를 얻습니다. 새 세션에서 QUERY_HISTORY_BY_USER 를 호출하여 실행 중인 작업의 쿼리 ID를 가져옵니다.

       SET job_id = (SELECT QUERY_ID FROM TABLE(information_schema. query_history_by_user())
         WHERE QUERY_TYPE='EXECUTE_SERVICE'
         ORDER BY start_time DESC
         LIMIT 1);
       

       Copy

작업 취소하기¶

SYSTEM$CANCEL_JOB 시스템 함수를 사용하여 실행 중인 작업을 취소할 수 있습니다. SYSTEM$CANCEL_QUERY 를 호출하여 작업을 트리거한 쿼리를 취소하면 쿼리와 작업이 모두 취소됩니다.

작업이 취소되면 모든 작업 컨테이너의 실행이 중지되고 종료됩니다.

작업 모니터링하기¶

테이블 함수의 QUERY_HISTORY 패밀리를 사용하여 Snowflake 쿼리 기록을 쿼리할 수 있습니다. 예를 들어, 실행 중인 작업을 찾으려면 QUERY_HISTORY_BY_USER를 사용하십시오. 쿼리에서 EXECUTE_SERVICE 를 쿼리 유형으로 지정합니다.

SELECT QUERY_ID FROM TABLE(information_schema. query_history_by_user())
  WHERE QUERY_TYPE='EXECUTE_SERVICE'
    AND EXECUTION_STATUS='RUNNING'
  ORDER BY start_time DESC

작업의 자세한 런타임 상태를 가져오려면 SYSTEM$GET_JOB_STATUS를 사용하십시오. 작업 상태는 작업이 계속 실행 중인지 또는 시작하지 못했는지 여부, 또는 실패했다면 그 이유를 나타낼 수 있습니다. 작업에는 이름이 없으므로 이 시스템 함수를 호출할 때 Snowflake에서 할당한 쿼리 작업 ID(작업 UUID)를 사용하십시오.

CALL SYSTEM$GET_JOB_STATUS('01ab9c76-0000-3c97-0000-0e9900000000');

다음 샘플 출력은 하나의 컨테이너가 있는 작업의 출력입니다.

• 이 출력은 작업이 성공했음을 보여줍니다.

  [
     {
           "status":"DONE",
           "message":"Completed successfully",
           "containerName":"main",
           "instanceId":"0",
           "serviceName":"01af7ee6-0001-cb52-0020-c5870077223a",
           "image":"orgname-acctname.registry.snowflakecomputing.com/tutorial_db/data_schema/tutorial_repository/my_job_image:tutorial",
           "restartCount":0,
           "startTime":""
     }
  ]
  

  Copy

• 이 출력 조각은 작업이 실패했음을 보여줍니다.

  [
     {
        "status":"FAILED",
        "message":"Encountered fatal error while running, check container logs",
        "containerName":"main",
        "instanceId":"0",
        ...
     }
  ]
  

  Copy

SYSTEM$GET_JOB_LOGS를 사용하여 컨테이너 로그 에 액세스할 수도 있습니다. 코드가 유용한 로그를 표준 출력 또는 표준 오류로 출력하는 경우 로그는 문제를 식별하는 데 도움이 될 수 있습니다.

instanceId 는 항상 0입니다. 서비스의 여러 인스턴스를 실행할 수 있지만, 한 번에 하나의 작업 인스턴스만 실행할 수 있습니다.

SYSTEM$GET_JOB_STATUS는 선택적 timeout_secs 매개 변수를 사용합니다.

• timeout_secs 가 지정되지 않거나 0의 값으로 지정된 경우 함수는 즉시 현재 상태를 반환합니다.

• timeout_secs 가 지정된 경우 Snowflake는 작업 상태를 반환하기 전에 지정된 시간 내에 작업이 종료 상태(DONE 또는 FAILED)에 도달할 때까지 기다립니다. 작업이 지정된 시간 내에 종료 상태에 도달하지 않으면 Snowflake는 지정된 시간 간격이 끝날 때 현재 상태를 반환합니다.

예

CALL SYSTEM$GET_JOB_STATUS('01ab9c76-0000-3c97-0000-0e9900000000', 10);

(작업 사양 파일에 정의된 대로) 작업은 여러 컨테이너에서 실행될 수 있습니다. 따라서 get_job_status 결과에는 오브젝트 목록이 포함되고 각 컨테이너의 상태가 제공됩니다.

컨테이너 로그에 액세스하기¶

Snowflake는 컨테이너의 코드가 표준 출력 또는 표준 오류로 출력하는 모든 것을 수집합니다. 코드가 작업을 디버깅하는 데 유용한 정보를 출력하도록 해야 합니다.

Snowflake는 이러한 컨테이너 로그에 액세스하는 두 가지 방법을 제공합니다.

• SYSTEM$GET_JOB_LOGS 시스템 함수 사용: 이 함수는 특정 컨테이너의 로그에 대한 액세스 권한을 제공합니다. 컨테이너가 종료된 후에도 잠시 동안 시스템 함수를 사용하여 로그에 계속 액세스할 수 있습니다. 시스템 함수는 초기 개발 및 테스트 중에 가장 유용합니다. 자세한 내용은 SYSTEM$GET_JOB_LOGS 사용하기 섹션을 참조하십시오.

• 이벤트 테이블 사용: 이벤트 테이블을 사용하면 모든 서비스에 걸쳐 여러 컨테이너의 로그에 액세스할 수 있습니다. Snowflake는 나중에 액세스할 수 있도록 이벤트 테이블에 로그를 유지합니다. 이벤트 테이블은 서비스와 작업의 회고적 분석에 가장 적합합니다. 자세한 내용은 이벤트 테이블 사용하기 섹션을 참조하십시오.

CALL SYSTEM$GET_JOB_LOGS('01ab9c76-0000-3c97-0000-0e990009102e', 'main', 10);

SELECT TIMESTAMP, RESOURCE_ATTRIBUTES, RECORD_ATTRIBUTES, VALUE
  FROM <current-event-table-for-your-account>
  WHERE timestamp > dateadd(hour, -1, current_timestamp())
    AND RESOURCE_ATTRIBUTES:"snow.executable.type" = 'SnowparkContainers'
  ORDER BY timestamp DESC
  LIMIT 10;

권한¶

작업을 생성한 사용자는 작업의 런타임 상태를 모니터링하고 가져올 수 있습니다. 작업은 다른 사용자나 역할에 대한 권한 부여를 지원하지 않습니다.