Snowflake ML 작업¶

Python 함수를 Snowflake ML Job으로 실행하기¶

Function Dispatch를 사용하여 @remote 데코레이터를 통해 Snowflake의 컴퓨팅 리소스에서 개별 Python 함수를 원격으로 실행할 수 있습니다.

@remote 데코레이터를 사용하여 다음을 수행할 수 있습니다.

• 함수와 그 종속성을 직렬화할 수 있습니다.

• 지정된 Snowflake 스테이지에 업로드할 수 있습니다.

• ML 에 대한 Container Runtime 내에서 실행할 수 있습니다.

다음 예제 Python 코드는 @remote 데코레이터를 사용하여 Snowflake ML Job을 제출합니다. Snowpark Session 이 필요하며, 전제 조건 섹션을 참조하십시오.

from snowflake.ml.jobs import remote

@remote("MY_COMPUTE_POOL", stage_name="payload_stage", session=session)
def train_model(data_table: str):
  # Provide your ML code here, including imports and function calls
  ...

job = train_model("my_training_data")

@remote 데코레이터 함수를 호출하면 작업 실행을 관리하고 모니터링하는 데 사용할 수 있는 Snowflake MLJob 오브젝트가 반환됩니다. 자세한 내용은 Snowflake ML Job 관리 섹션을 참조하십시오.

Python 파일을 Snowflake로 ML Job으로 실행하기¶

Python 파일 또는 프로젝트 디렉터리를 Snowflake 컴퓨팅 리소스에서 실행합니다. 이 기능은 다음과 같은 경우에 유용합니다.

• 여러 모듈과 종속성이 있는 복잡한 ML 프로젝트가 있는 경우.

• 로컬 개발 코드와 제품 코드의 분리를 유지하려고 하는 경우.

• 명령줄 인자를 사용하는 스크립트를 실행해야 하는 경우.

• 기존 ML 프로젝트로 작업하고 있는데, 이 프로젝트는 특별히 Snowflake 컴퓨팅에서 실행하도록 설계되지 않았습니다.

Snowflake Job API 에서는 두 가지 주요 방법을 제공합니다.

• submit_file(): 단일 Python 파일 실행용

• submit_directory(): 여러 파일과 리소스가 있는 전체 프로젝트 디렉터리 실행용

두 가지 방법 모두 다음을 지원합니다.

• 명령줄 인자 전달

• 환경 변수 구성

• 사용자 지정 종속성 사양

• Snowflake 스테이지를 통한 프로젝트 자산 관리

File Dispatch는 기존 ML 워크플로를 프로덕션화하고 개발 환경과 실행 환경을 명확하게 분리하는 데 특히 유용합니다.

다음 Python 코드는 파일을 Snowflake ML Job에 제출합니다.

from snowflake.ml.jobs import submit_file

# Run a single file
job1 = submit_file(
  "train.py",
  "MY_COMPUTE_POOL",
  stage_name="payload_stage",
  args=["--data-table", "my_training_data"],
  session=session,
)

다음 Python 코드는 디렉터리를 Snowflake ML Job에 제출합니다.

from snowflake.ml.jobs import submit_directory

# Run from a directory
job2 = submit_directory(
  "./ml_project/",
  "MY_COMPUTE_POOL",
  entrypoint="train.py",
  stage_name="payload_stage",
  session=session,
)

파일 또는 디렉터리를 제출하면 작업 실행을 관리하고 모니터링하는 데 사용할 수 있는 Snowflake MLJob 오브젝트가 반환됩니다. 자세한 내용은 Snowflake ML Job 관리 섹션을 참조하십시오.

비공개 패키지 피드¶

Snowflake ML Jobs는 JFrog Artifactory 및 Sonatype Nexus 리포지토리와 같은 비공개 피드에서 패키지를 로딩하는 것도 지원합니다. 이러한 피드는 일반적으로 내부 및 독점 패키지를 배포하고, 종속성 버전을 제어하며, 보안/규정 준수를 보장하는 데 사용됩니다.

비공개 피드에서 패키지를 설치하려면 다음을 수행해야 합니다.

1. 비공개 피드의 URL 에 대한 액세스를 허용하는 네트워크 규칙을 만듭니다.

   1. 기본 인증을 사용하는 원본의 경우 간단히 네트워크 규칙을 만들면 됩니다.

      CREATE OR REPLACE NETWORK RULE private_feed_nr
      MODE = EGRESS
      TYPE = HOST_PORT
      VALUE_LIST = ('<your-repo>.jfrog.io');
      

      Copy

   2. 비공개 연결(즉, Private Link)을 사용하여 원본에 대한 액세스를 구성하려면 비공개 연결을 사용한 네트워크 송신 의 단계를 따르십시오.

2. 네트워크 규칙을 사용하여 외부 액세스 통합을 만듭니다. 작업을 제출할 역할에 EAI 사용 권한을 부여합니다.

   CREATE OR REPLACE EXTERNAL ACCESS INTEGRATION private_feed_eai
   ALLOWED_NETWORK_RULES = (PRIVATE_FEED_NR)
   ENABLED = true;
   
   GRANT USAGE ON INTEGRATION private_feed_eai TO ROLE <role_name>;
   

   Copy

3. 작업을 제출할 때 비공개 피드 URL, External Access Integration 및 패키지를 지정합니다.

   # Option 1: Specify private feed URL in pip_requirements
   job = submit_file(
     "/path/to/script.py",
     compute_pool="MY_COMPUTE_POOL",
     stage_name="payload_stage",
     pip_requirements=[
       "--index-url=https://your.private.feed.url",
       "internal-package==1.2.3"
     ],
     external_access_integrations=["PRIVATE_FEED_EAI"]
   )
   

   Copy

   # Option 2: Specify private feed URL by environment variable
   job = submit_directory(
     "/path/to/code/",
     compute_pool="MY_COMPUTE_POOL",
     entrypoint="script.py",
     stage_name="payload_stage",
     pip_requirements=["internal-package==1.2.3"],
     external_access_integrations=["PRIVATE_FEED_EAI"],
     env_vars={'PIP_INDEX_URL': 'https://your.private.feed.url'},
   )
   

   Copy

비공개 피드 URL 에 인증 토큰과 같은 민감한 정보가 포함된 경우, URL 에 Snowflake 시크릿을 생성하여 관리하십시오. CREATE SECRET 을 사용하여 시크릿을 생성하십시오. spec_overrides 인자를 사용하여 작업 제출 중에 시크릿을 구성합니다.

# Create secret for private feed URL with embedded auth token
feed_url = "<your-repo>.jfrog.io/artifactory/api/pypi/test-pypi/simple"
user = "<auth_user>"
token = "<auth_token>"
session.sql(f"""
CREATE SECRET IF NOT EXISTS PRIVATE_FEED_URL_SECRET
 TYPE = GENERIC_STRING
 SECRET_STRING = 'https://{auth_user}:{auth_token}@{feed_url}'
""").collect()

# Prepare service spec override for mounting secret into job execution
spec_overrides = {
 "spec": {
  "containers": [
    {
     "name": "main",  # Primary container name is always "main"
     "secrets": [
      {
        "snowflakeSecret": "PRIVATE_FEED_URL_SECRET",
        "envVarName": "PIP_INDEX_URL",
        "secretKeyRef": "secret_string"
      },
     ],
    }
  ]
 }
}

# Load private feed URL from secret (e.g. if URL includes auth token)
job = submit_file(
  "/path/to/script.py",
  compute_pool="MY_COMPUTE_POOL",
  stage_name="payload_stage",
  pip_requirements=[
    "internal-package==1.2.3"
  ],
  external_access_integrations=["PRIVATE_FEED_EAI"],
  spec_overrides=spec_overrides,
)

container.secrets 에 대한 자세한 내용은 containers.secrets 필드 섹션을 참조하십시오.