작업 소개¶

서버리스 작업¶

이 모델을 사용하면 작업은 Snowflake가 관리하는 컴퓨팅에서 실행됩니다. Snowflake는 각 워크로드에 요구 사항에 따라 리소스 크기를 자동으로 조정합니다. Snowflake는 동일한 작업의 가장 최근 실행에 대한 통계의 동적 분석을 기반으로 주어진 실행에 이상적인 컴퓨팅 리소스 크기를 결정합니다.

이 모델은 다음과 같이 정기적으로 또는 반정기적으로 실행되는 작업에 권장됩니다.

• 항상 같은 시간에 시작되는 작업.

• 새로운 데이터가 도착할 때만 실행되는 작업. (자세한 내용은 트리거된 작업 섹션을 참조하십시오.)

Snowflake가 서버리스 컴퓨팅 리소스를 추정하는 방법¶

Snowflake는 대상 시간 프레임과 이전 작업 실행의 성능을 기반으로 작업을 완료하는 데 필요한 컴퓨팅 리소스를 자동으로 추정합니다.

TARGET_COMPLETION_INTERVAL 을 사용하여 대상 시간 프레임을 설정할 수 있습니다. 이 값을 설정하지 않으면 Snowflake는 다음 예약된 실행 시간 전에 완료되도록 서버리스 컴퓨팅 리소스의 크기를 조정합니다.

작업이 완료된 후 Snowflake는 다음과 같이 필요한 컴퓨팅 리소스를 추정합니다.

• 작업이 너무 빨리 완료되는 경우(목표 시간 프레임보다 짧은 시간 프레임 내에서), Snowflake는 후속 실행에서 리소스를 웨어하우스 크기 를 1개씩 SERVERLESS_TASK_MIN_STATEMENT_SIZE 까지 축소합니다.

• 작업이 너무 느리게 완료되는 경우(대상 시간 프레임보다 많은 시간 프레임 내), Snowflake는 후속 실행에서 리소스를 하나씩 웨어하우스 크기 를 축소합니다. SERVERLESS_TASK_MAX_STATEMENT_SIZE 에 도달하면 작업이 완료되거나 시간 제한에 도달할 때까지 작업이 계속(대상 시간을 초과할 수 있음) 진행됩니다.

CREATE TASK SCHEDULED_T1
  SCHEDULE='60 MINUTES'
  AS SELECT 1;

from datetime import timedelta
from snowflake.core.task import Cron, Task

tasks = root.databases["TEST_DB"].schemas["TEST_SCHEMA"].tasks

task = tasks.create(
    Task(
        name="SCHEDULED_T1",
        definition="SELECT 1",
        schedule=timedelta(minutes=60),),
    ),
)

CREATE TASK SCHEDULED_T2
  SCHEDULE='USING CRON 0 * * * * America/Los_Angeles'
  TARGET_COMPLETION_INTERVAL='120 MINUTE'
  SERVERLESS_TASK_MAX_STATEMENT_SIZE='LARGE'
  AS SELECT 1;

from datetime import timedelta
from snowflake.core.task import Cron, Task

tasks = root.databases["TEST_DB"].schemas["TEST_SCHEMA"].tasks

task = tasks.create(
    Task(
        name="SCHEDULED_T2",
        definition="SELECT 1",
        schedule=Cron("0 * * * *", "America/Los_Angeles"),
        target_completion_interval=timedelta(minutes=120),
        serverless_task_max_statement_size="LARGE",
    ),
)

CREATE TASK SCHEDULED_T3
  SCHEDULE='USING CRON 0 0 * * * UTC'
  TARGET_COMPLETION_INTERVAL='180 M'
  SERVERLESS_TASK_MIN_STATEMENT_SIZE='MEDIUM'
  SERVERLESS_TASK_MAX_STATEMENT_SIZE='LARGE'
  AS SELECT 1;

from datetime import timedelta
from snowflake.core.task import Cron, Task

tasks = root.databases["TEST_DB"].schemas["TEST_SCHEMA"].tasks

task = tasks.create(
    Task(
        name="SCHEDULED_T3",
        definition="SELECT 1",
        schedule=Cron("0 0 * * *", "UTC"),
        target_completion_interval=timedelta(minutes=180),
        serverless_task_min_statement_size="MEDIUM",
        serverless_task_max_statement_size="LARGE",
    ),
)

CREATE TASK SCHEDULED_T4
  SCHEDULE='10 SECONDS'
  SERVERLESS_TASK_MAX_STATEMENT_SIZE='LARGE'
  AS SELECT 1;

from datetime import timedelta
from snowflake.core.task import Cron, Task

tasks = root.databases["TEST_DB"].schemas["TEST_SCHEMA"].tasks

task = tasks.create(
    Task(
        name="SCHEDULED_T4",
        definition="SELECT 1",
        schedule=timedelta(seconds=10),
        serverless_task_max_statement_size="LARGE",
    ),
)

사용자 관리형 가상 웨어하우스 모델¶

이 모델을 사용하면 각 워크로드에 사용되는 컴퓨팅 리소스를 완벽하게 제어할 수 있습니다.

이 모델은 예측할 수 없는 컴퓨팅 리소스 로딩을 수동으로 관리하려는 경우에 권장됩니다. 자동 일시 중단 및 자동 재개 가 활성화된 멀티클러스터 웨어하우스 도 크레딧 사용을 조절하는 데 도움이 될 수 있습니다.

컴퓨팅 모델 선택 권장 사항¶

다음 표에서는 서버리스 작업과 사용자 관리 작업을 사용할 시점을 결정하는 데 도움이 될 수 있는 다양한 요소를 설명합니다.

서버리스 작업 실행의 최대 크기는 XXLARGE 웨어하우스에 해당하는 크기입니다. 작업 워크로드에 더 큰 웨어하우스가 필요한 경우, 필요한 크기의 웨어하우스로 사용자 관리 작업을 만듭니다.

예약된 일정에 따라 작업 실행하기¶

예약된 일정에 따라 작업을 실행하려면 CREATE TASK 또는 ALTER TASK 을 사용하여 작업을 생성하거나 변경할 때 또는 Snowsight 에서 SCHEDULE 매개 변수를 사용해 작업을 편집하여 일정을 정의합니다.

Snowflake는 일정에 따라 한 번에 하나의 작업 인스턴스만 실행되도록 보장합니다. 다음으로 예약된 실행 시간이 발생할 때 작업이 계속 실행 중이면 예약된 시간을 건너뜁니다.

다음 예제에서는 10초마다 실행되는 작업을 생성합니다.

CREATE TASK task_runs_every_10_seconds
  SCHEDULE='10 SECONDS'
  AS SELECT 1;

특정 시간이나 요일을 기준으로 예약을 정의하려면 SCHEDULE =’USING CRON…’ 매개 변수를 사용하십시오.

다음 예제에서는 미주/로스앤젤레스 타임존을 사용하여 매주 일요일 오전 3시에 실행되는 작업을 생성합니다.

CREATE TASK task_sunday_3_am_pacific_time_zone
  SCHEDULE='USING CRON 0 3 * * SUN America/Los_Angeles'
AS SELECT 1;

자세한 내용은 CREATE TASK … SCHEDULE 섹션을 참조하십시오.

스트림에 새로운 데이터가 있을 때마다 작업 실행¶

추출, 로드, 변환(ELT) 워크플로에서와 같이 정의된 스트림 에 새로운 데이터가 있을 때마다 작업을 실행하려면 트리거된 작업 를 사용하십시오. 이렇게 하면 새로운 데이터의 가용성을 예측할 수 없을 때 소스를 자주 폴링할 필요가 없습니다. 또한 데이터가 즉시 처리되므로 지연 시간도 줄어듭니다. 예:

CREATE TASK triggered_task_stream
  WHEN SYSTEM$STREAM_HAS_DATA('orders_stream')
  AS
    INSERT INTO completed_promotions
    SELECT order_id, order_total, order_time, promotion_id
    FROM orders_stream;

자세한 내용은 트리거된 작업 섹션을 참조하십시오.

예약에 따라 실행하되 스트림에 새로운 데이터가 있는 경우에만 실행합니다¶

예약된 작업을 트리거된 작업과 결합할 수 있습니다. 예를 들어, 스트림에 새로운 데이터가 있는 경우에만 매 시간마다 실행되도록 작업을 설정할 수 있습니다. 예:

CREATE TASK triggered_task_stream
  SCHEDULE = '1 HOUR'
  WHEN SYSTEM$STREAM_HAS_DATA('orders_stream')
  AS SELECT 1;

실행 실패 후 작업 자동 일시 중단하기¶

선택적으로, 지정된 횟수의 연속 실행이 실패하거나 시간 초과되면 작업을 자동으로 일시 중단합니다. 이 기능을 사용하면 Snowflake 크레딧을 소비하지만 완료에 실행 완료에 실패하는 작업을 일시 중단함으로써 비용을 절감할 수 있습니다.

작업에 SUSPEND_TASK_AFTER_NUM_FAILURES = num 매개 변수를 설정합니다. 매개 변수를 0 보다 큰 값으로 설정하면 지정된 횟수의 연속 작업 실행이 실패하거나 시간 초과되면 작업이 자동으로 일시 중단됩니다.

매개 변수는 CREATE TASK 를 사용하여 작업을 생성할 때 설정하거나 나중에 ALTER TASK 를 사용하여 설정할 수 있습니다. 이 값은 Snowsight 에서 변경할 수도 있습니다.

SUSPEND_TASK_AFTER_NUM_FAILURES 매개 변수는 계정, 데이터베이스 또는 스키마 수준에서도 설정할 수 있습니다. 이 설정은 수정된 오브젝트에 포함된 모든 작업에 적용됩니다. 매개 변수를 더 낮은 수준에서 명시적으로 설정하면 더 높은 수준에서 설정된 매개 변수 값이 재정의됩니다.

실패한 작업 실행 자동 재시도¶

작업 그래프가 FAILED 상태에서 완료되면 Snowflake는 작업을 자동으로 다시 시도할 수 있습니다. 자동 작업 재시도는 기본적으로 비활성화됩니다. 이 기능을 사용하려면 TASK_AUTO_RETRY_ATTEMPTS 를 0보다 큰 값으로 설정합니다.

오류 알림을 사용하는 작업은 실패한 재시도 시도에 대해 알림을 보냅니다. 자세한 내용은 오류 알림을 보내도록 작업 구성하기 섹션을 참조하십시오.

계정, 데이터베이스 또는 스키마 수준에서 TASK_AUTO_RETRY_ATTEMPTS 매개 변수 값을 설정하면 다음 예약된 실행 중에 수정된 오브젝트에 포함된 작업에 변경 사항이 적용됩니다.

수동으로 작업 실행하기¶

CREATE TASK 또는 ALTER TASK 을 사용하여 새 작업과 해당 매개 변수를 설정한 후 EXECUTE TASK 을 사용하여 작업의 단일 실행을 시작할 수 있습니다. 이 명령은 새 작업이나 수정된 작업을 테스트할 때 유용합니다.

작업 실행의 버전 관리¶

독립 실행형 작업을 처음 재개하거나 수동으로 실행하면 작업의 초기 버전이 설정됩니다. 독립 실행형 작업은 이 버전을 사용하여 실행됩니다. 작업이 일시 중단 및 수정된 후 독립 실행형 작업이 다시 시작되거나 수동으로 실행될 때 새 버전이 설정됩니다.

작업이 일시 중단되면 향후 예정된 모든 작업 실행이 취소되지만, 현재 실행 중인 작업은 현재 버전을 사용하여 계속 실행됩니다.

예를 들어, 작업이 일시 중단되었지만 이 작업의 예약된 실행이 이미 시작되었다고 가정하겠습니다. 작업의 소유자는 작업이 실행 중인 동안 작업에서 호출하는 SQL 코드를 수정합니다. 작업은 작업 실행을 시작할 때 최신 버전의 작업을 사용하여 정의에 있는 SQL 코드를 실행하고 실행합니다. 작업이 다시 시작되거나 수동으로 실행된 후의 새 작업 버전이 설정됩니다. 이 새 버전에는 작업에 대한 수정 사항이 포함됩니다.

작업 버전 기록을 검색하려면 SNOWFLAKE 공유 데이터베이스에서 TASK_VERSIONS Account Usage 뷰 를 쿼리하십시오.

시간 제한¶

작업 실행이 예약된 시간 또는 대상 완료 간격을 초과하는 경우 기본적으로 작업이 완료되거나 시간 초과 또는 실패할 때까지 계속 실행됩니다.

STATEMENT_TIMEOUT_IN_SECONDS 및 label-user_task_timeout_ms 가 모두 설정된 경우 시간 제한은 두 매개 변수 중 0이 아닌 가장 낮은 값 이 됩니다.

STATEMENT_QUEUED_TIMEOUT_IN_SECONDS 및 USER_TASK_TIMEOUT_MS 가 모두 설정된 경우 USER_TASK_TIMEOUT_MS 값이 우선합니다.

작업 그래프를 사용한 시간 제한에 대한 자세한 내용은 작업 그래프 시간 제한 섹션을 참조하십시오.

고려 사항¶

• 서버리스 작업의 경우, Snowflake는 큐 대기 시간을 포함하여 대상 완료 간격 내에 작업이 완료되도록 리소스를 자동으로 확장합니다.

• 사용자 관리 작업의 경우 공유 또는 사용량이 많은 웨어하우스에서 작업이 예약된 경우 큐 대기 기간이 길어지는 것이 일반적입니다.

액세스 제어 권한¶

작업 권한을 관리하기 위한 사용자 지정 역할 만들기¶

사용자 지정 역할을 사용하면 Snowflake에서 각 계정이나 역할에 부여된 권한을 쉽게 관리할 수 있습니다. 사용자 지정 역할을 사용하여 모든 계정 또는 역할에 대한 권한을 변경하려면 사용자 지정 역할을 업데이트합니다. 또는 사용자 지정 역할을 제거하여 권한을 취소합니다.

USE SYSADMIN;

CREATE ROLE warehouse_task_creation
  COMMENT = 'This role can create user-managed tasks.';

from snowflake.core.role import Role

root.session.use_role("SYSADMIN")

my_role = Role(
    name="warehouse_task_creation",
    comment="This role can create user-managed tasks."
)
root.roles.create(my_role)

USE ACCOUNTADMIN;

GRANT CREATE TASK
  ON SCHEMA schema1
  TO ROLE warehouse_task_creation;

from snowflake.core.role import Securable

root.session.use_role("ACCOUNTADMIN")

root.roles['warehouse_task_creation'].grant_privileges(
    privileges=["CREATE TASK"], securable_type="schema", securable=Securable(name='schema1')
)

GRANT USAGE
  ON WAREHOUSE warehouse1
  TO ROLE warehouse_task_creation;

from snowflake.core.role import Securable

root.roles['warehouse_task_creation'].grant_privileges(
    privileges=["USAGE"], securable_type="warehouse", securable=Securable(name='warehouse1')
)

USE SYSADMIN;

CREATE ROLE serverless_task_creation
  COMMENT = 'This role can create serverless tasks.';

from snowflake.core.role import Role

root.session.use_role("SYSADMIN")

my_role = Role(
    name="serverless_task_creation",
    comment="This role can create serverless tasks."
)
root.roles.create(my_role)

USE ACCOUNTADMIN;

GRANT CREATE TASK
  ON SCHEMA schema1
  TO ROLE serverless_task_creation;

from snowflake.core.role import Securable

root.session.use_role("ACCOUNTADMIN")

root.roles['serverless_task_creation'].grant_privileges(
    privileges=["CREATE TASK"], securable_type="schema", securable=Securable(name='schema1')
)

GRANT EXECUTE MANAGED TASK ON ACCOUNT
  TO ROLE serverless_task_creation;

root.roles['serverless_task_creation'].grant_privileges(
    privileges=["EXECUTE MANAGED TASK"], securable_type="account"
)

USE ROLE securityadmin;

CREATE ROLE taskadmin;

from snowflake.core.role import Role

root.session.use_role("securityadmin")

root.roles.create(Role(name="taskadmin"))

USE ROLE accountadmin;

GRANT EXECUTE TASK, EXECUTE MANAGED TASK ON ACCOUNT TO ROLE taskadmin;

root.session.use_role("accountadmin")

root.roles['taskadmin'].grant_privileges(
    privileges=["EXECUTE TASK", "EXECUTE MANAGED TASK"], securable_type="account"
)

USE ROLE securityadmin;

GRANT ROLE taskadmin TO ROLE myrole;

from snowflake.core.role import Securable

root.session.use_role("securityadmin")

root.roles['myrole'].grant_role(role_type="ROLE", role=Securable(name='taskadmin'))

작업 소유자 역할 삭제¶

작업의 소유자 역할을 삭제하면 해당 작업의 소유권은 소유자 역할을 삭제한 역할로 이전됩니다. 작업의 소유권이 이전되면 해당 작업은 자동으로 일시 중지되고 새 소유자가 작업을 재개할 때까지 새로운 실행은 예약되지 않습니다.

작업이 실행되는 중에 역할을 삭제하면 작업 실행은 삭제된 역할에서 처리를 완료합니다.

시스템 서비스 작업 실행¶

Snowflake는 작업 소유자의 권한으로 작업을 실행하지만 작업 실행은 사용자와 연결되지 않습니다. 대신 각 실행은 시스템 서비스에 의해 실행됩니다. 작업은 특정 사용자와 분리되어 사용자가 삭제되거나 인증 문제로 인해 잠기거나 역할이 제거될 때 발생할 수 있는 복잡성을 방지합니다.

작업 실행은 사용자와 분리되기 때문에 작업 실행에 대한 쿼리 기록은 시스템 서비스와 연결됩니다. 따라서 이 서비스에는 사용자 자격 증명이 없으며, 어떤 개인도 이 서비스의 ID를 추정할 수 없습니다. 시스템 서비스에 대한 활동은 사용자의 계정으로 제한됩니다. 다른 작업에 적용되는 것과 동일한 암호화 보호 및 기타 보안 프로토콜이 이 서비스에 내장되어 있습니다.