Snowflake ML Jobs¶

Executar uma função Python como um Snowflake ML Job¶

Use o Function Dispatch para executar funções Python individuais remotamente nos recursos de computação do Snowflake com o decorador @remote.

Usando o decorador @remote, você pode fazer o seguinte:

• Serializar a função e suas dependências.

• Carregá-lo em um estágio específico do Snowflake.

• Executá-lo no Container Runtime para ML.

O exemplo de código Python a seguir usa o decorador @remote para enviar um Snowflake ML Job. Observe que é necessária uma Snowpark Session, consulte Pré-requisitos.

from snowflake.ml.jobs import remote

@remote("MY_COMPUTE_POOL", stage_name="payload_stage", session=session)
def train_model(data_table: str):
  # Provide your ML code here, including imports and function calls
  ...

job = train_model("my_training_data")

Invocar uma função decorada @remote retorna um objeto Snowflake MLJob que pode ser usado para gerenciar e monitorar a execução do trabalho. Para obter mais informações, consulte Gerenciamento do Snowflake ML Job.

Executar um arquivo Python como um Snowflake ML Job¶

Execute arquivos Python ou diretórios de projeto nos recursos de computação do Snowflake. Isso é útil quando:

• Você tem projetos de ML complexos com vários módulos e dependências.

• Você deseja manter a separação entre o desenvolvimento local e o código de produção.

• Você precisa executar scripts que usam argumentos de linha de comando.

• Você está trabalhando com projetos existentes de ML que não foram projetados especificamente para execução na computação do Snowflake.

A Snowflake Job API oferece dois métodos principais:

• submit_file(): para executar arquivos Python individuais

• submit_directory(): para executar diretórios de projetos inteiros com vários arquivos e recursos

Ambos os métodos são compatíveis com:

• Passagem de argumentos na linha de comando

• Configuração de variáveis de ambiente

• Especificação de dependências personalizadas

• Gerenciamento de ativos de projeto por meio dos estágios do Snowflake

O File Dispatch é particularmente útil para a produção de fluxos de trabalho de ML existentes e para manter uma separação clara entre os ambientes de desenvolvimento e de execução.

O código Python a seguir envia um arquivo para um Snowflake ML Job:

from snowflake.ml.jobs import submit_file

# Run a single file
job1 = submit_file(
  "train.py",
  "MY_COMPUTE_POOL",
  stage_name="payload_stage",
  args=["--data-table", "my_training_data"],
  session=session,
)

O código Python a seguir envia um diretório para o Snowflake ML Job:

from snowflake.ml.jobs import submit_directory

# Run from a directory
job2 = submit_directory(
  "./ml_project/",
  "MY_COMPUTE_POOL",
  entrypoint="train.py",
  stage_name="payload_stage",
  session=session,
)

O envio de um arquivo ou diretório retorna um objeto do Snowflake MLJob que pode ser usado para gerenciar e monitorar a execução do trabalho. Para obter mais informações, consulte Gerenciamento do Snowflake ML Job.

Feeds de pacotes privados¶

O Snowflake ML Jobs também oferece suporte ao carregamento de pacotes de feeds privados, como o JFrog Artifactory e o Sonatype Nexus Repository. Esses feeds são normalmente usados para distribuir pacotes internos e proprietários, manter o controle sobre as versões de dependência e garantir a segurança/conformidade.

Para instalar pacotes de um feed privado, você deve fazer o seguinte:

1. Criar uma regra de rede para permitir o acesso ao URL do feed privado.

   1. Para fontes que usam autenticação básica, você pode simplesmente criar uma regra de rede.

      CREATE OR REPLACE NETWORK RULE private_feed_nr
      MODE = EGRESS
      TYPE = HOST_PORT
      VALUE_LIST = ('<your-repo>.jfrog.io');
      

      Copy

   2. Para configurar o acesso a uma fonte usando conectividade privada (ou seja, Private Link), siga as etapas em Saída da rede usando conectividade privada.

2. Criar uma integração de acesso externo usando a regra de rede. Conceder permissão para usar EAI à função que enviará os trabalhos.

   CREATE OR REPLACE EXTERNAL ACCESS INTEGRATION private_feed_eai
   ALLOWED_NETWORK_RULES = (PRIVATE_FEED_NR)
   ENABLED = true;
   
   GRANT USAGE ON INTEGRATION private_feed_eai TO ROLE <role_name>;
   

   Copy

3. Especificar o URL do feed privado, a Integração de acesso externo e o(s) pacote(s) ao enviar o trabalho

   # Option 1: Specify private feed URL in pip_requirements
   job = submit_file(
     "/path/to/script.py",
     compute_pool="MY_COMPUTE_POOL",
     stage_name="payload_stage",
     pip_requirements=[
       "--index-url=https://your.private.feed.url",
       "internal-package==1.2.3"
     ],
     external_access_integrations=["PRIVATE_FEED_EAI"]
   )
   

   Copy

   # Option 2: Specify private feed URL by environment variable
   job = submit_directory(
     "/path/to/code/",
     compute_pool="MY_COMPUTE_POOL",
     entrypoint="script.py",
     stage_name="payload_stage",
     pip_requirements=["internal-package==1.2.3"],
     external_access_integrations=["PRIVATE_FEED_EAI"],
     env_vars={'PIP_INDEX_URL': 'https://your.private.feed.url'},
   )
   

   Copy

Se o seu URL de feed privado contiver informações confidenciais, como tokens de autenticação, gerencie o URL criando um segredo Snowflake. Use CREATE SECRET para criar um segredo. Configure os segredos durante o envio do trabalho com o argumento spec_overrides.

# Create secret for private feed URL with embedded auth token
feed_url = "<your-repo>.jfrog.io/artifactory/api/pypi/test-pypi/simple"
user = "<auth_user>"
token = "<auth_token>"
session.sql(f"""
CREATE SECRET IF NOT EXISTS PRIVATE_FEED_URL_SECRET
 TYPE = GENERIC_STRING
 SECRET_STRING = 'https://{auth_user}:{auth_token}@{feed_url}'
""").collect()

# Prepare service spec override for mounting secret into job execution
spec_overrides = {
 "spec": {
  "containers": [
    {
     "name": "main",  # Primary container name is always "main"
     "secrets": [
      {
        "snowflakeSecret": "PRIVATE_FEED_URL_SECRET",
        "envVarName": "PIP_INDEX_URL",
        "secretKeyRef": "secret_string"
      },
     ],
    }
  ]
 }
}

# Load private feed URL from secret (e.g. if URL includes auth token)
job = submit_file(
  "/path/to/script.py",
  compute_pool="MY_COMPUTE_POOL",
  stage_name="payload_stage",
  pip_requirements=[
    "internal-package==1.2.3"
  ],
  external_access_integrations=["PRIVATE_FEED_EAI"],
  spec_overrides=spec_overrides,
)

Para obter mais informações sobre o container.secrets, consulte Campo containers.secrets.