Tâches Snowflake ML¶

Exécuter une fonction Python en tant que tâche Snowflake ML¶

Utilisez Function Dispatch pour exécuter des fonctions Python individuelles à distance sur les ressources de calcul de Snowflake avec le décorateur @remote.

À l’aide du décorateur @remote, vous pouvez effectuer les opérations suivantes :

• Sérialiser la fonction et ses dépendances.

• La télécharger dans une zone de préparation Snowflake spécifiée.

• L’exécuter dans Container Runtime pour ML.

L’exemple de code Python suivant utilise le décorateur @remote pour soumettre une tâche Snowflake ML. Notez qu’une Session Snowpark est requise, voir Conditions préalables.

from snowflake.ml.jobs import remote

@remote("MY_COMPUTE_POOL", stage_name="payload_stage", session=session)
def train_model(data_table: str):
  # Provide your ML code here, including imports and function calls
  ...

job = train_model("my_training_data")

L’appel d’une fonction décorée @remote renvoie un objet MLJob Snowflake qui peut être utilisé pour gérer et surveiller l’exécution de la tâche. Pour plus d’informations, voir Gestion des tâches Snowflake ML.

Exécuter un fichier Python en tant que tâche Snowflake ML¶

Exécutez des fichiers Python ou des répertoires de projets sur les ressources de calcul Snowflake. Ceci est utile lorsque :

• Vous avez des projets ML complexes avec de multiples modules et dépendances.

• Vous souhaitez maintenir une séparation entre le développement local et le code de production.

• Vous devez exécuter des scripts qui utilisent des arguments de ligne de commande.

• Vous travaillez avec des projets ML existants qui n’ont pas été spécifiquement conçus pour être exécutés sur le pool de calcul Snowflake.

L’API de la tâche Snowflake propose deux méthodes principales :

• submit_file() : Pour l’exécution d’un seul fichier Python

• submit_directory() : Pour l’exécution de répertoires de projets entiers contenant de nombreux fichiers et de nombreuses ressources

Les deux méthodes prennent en charge ce qui suit :

• La transmission de l’argument de ligne de commande

• La configuration de la variable d’environnement

• La spécification de la dépendance personnalisée

• Gestion des actifs du projet à travers les zones de préparation Snowflake

File Dispatch est particulièrement utile pour mettre en production des workflows ML existants et pour maintenir une séparation claire entre les environnements de développement et d’exécution.

Le code Python suivant soumet un fichier à une tâche Snowflake ML :

from snowflake.ml.jobs import submit_file

# Run a single file
job1 = submit_file(
  "train.py",
  "MY_COMPUTE_POOL",
  stage_name="payload_stage",
  args=["--data-table", "my_training_data"],
  session=session,
)

Le code Python suivant soumet un répertoire à une tâche Snowflake ML :

from snowflake.ml.jobs import submit_directory

# Run from a directory
job2 = submit_directory(
  "./ml_project/",
  "MY_COMPUTE_POOL",
  entrypoint="train.py",
  stage_name="payload_stage",
  session=session,
)

La soumission d’un fichier ou d’un répertoire renvoie un objet MLJob Snowflake qui peut être utilisé pour gérer et surveiller l’exécution de la tâche. Pour plus d’informations, voir Gestion des tâches Snowflake ML.

Flux de paquets privés¶

Les tâches Snowflake ML prennent également en charge le chargement de paquets à partir de flux privés tels que JFrog Artifactory et Sonatype Nexus Repository. Ces flux sont généralement utilisés pour distribuer des paquets internes et propriétaires, maintenir le contrôle sur les versions des dépendances et assurer la sécurité/conformité.

Pour installer des paquets à partir d’un flux privé, vous devez procéder comme suit :

1. Créez une règle de réseau pour autoriser l’accès à l’URL du flux privé.

   1. Pour les sources qui utilisent l’authentification de base, vous pouvez simplement créer une règle de réseau.

      CREATE OR REPLACE NETWORK RULE private_feed_nr
      MODE = EGRESS
      TYPE = HOST_PORT
      VALUE_LIST = ('<your-repo>.jfrog.io');
      

      Copy

   2. Pour configurer l’accès à une source à l’aide d’une connectivité privée (c’est-à-dire Private Link), suivez les étapes décrites dans Sortie réseau par connectivité privée.

2. Créez une intégration de l’accès externe à l’aide de la règle de réseau. Accordez l’autorisation d’utiliser l’EAI au rôle qui soumettra les tâches.

   CREATE OR REPLACE EXTERNAL ACCESS INTEGRATION private_feed_eai
   ALLOWED_NETWORK_RULES = (PRIVATE_FEED_NR)
   ENABLED = true;
   
   GRANT USAGE ON INTEGRATION private_feed_eai TO ROLE <role_name>;
   

   Copy

3. Indiquez l’URL du flux privé, l’intégration de l’accès externe et le(s) paquet(s) lors de la soumission de la tâche

   # Option 1: Specify private feed URL in pip_requirements
   job = submit_file(
     "/path/to/script.py",
     compute_pool="MY_COMPUTE_POOL",
     stage_name="payload_stage",
     pip_requirements=[
       "--index-url=https://your.private.feed.url",
       "internal-package==1.2.3"
     ],
     external_access_integrations=["PRIVATE_FEED_EAI"]
   )
   

   Copy

   # Option 2: Specify private feed URL by environment variable
   job = submit_directory(
     "/path/to/code/",
     compute_pool="MY_COMPUTE_POOL",
     entrypoint="script.py",
     stage_name="payload_stage",
     pip_requirements=["internal-package==1.2.3"],
     external_access_integrations=["PRIVATE_FEED_EAI"],
     env_vars={'PIP_INDEX_URL': 'https://your.private.feed.url'},
   )
   

   Copy

Si l’URL de votre flux privé contient des informations sensibles telles que des jetons d’authentification, gérez l’URL en créant un secret Snowflake. Utilisez CREATE SECRET pour créer un secret. Configurez les secrets lors de la soumission d’une tâche avec l’argument spec_overrides.

# Create secret for private feed URL with embedded auth token
feed_url = "<your-repo>.jfrog.io/artifactory/api/pypi/test-pypi/simple"
user = "<auth_user>"
token = "<auth_token>"
session.sql(f"""
CREATE SECRET IF NOT EXISTS PRIVATE_FEED_URL_SECRET
 TYPE = GENERIC_STRING
 SECRET_STRING = 'https://{auth_user}:{auth_token}@{feed_url}'
""").collect()

# Prepare service spec override for mounting secret into job execution
spec_overrides = {
 "spec": {
  "containers": [
    {
     "name": "main",  # Primary container name is always "main"
     "secrets": [
      {
        "snowflakeSecret": "PRIVATE_FEED_URL_SECRET",
        "envVarName": "PIP_INDEX_URL",
        "secretKeyRef": "secret_string"
      },
     ],
    }
  ]
 }
}

# Load private feed URL from secret (e.g. if URL includes auth token)
job = submit_file(
  "/path/to/script.py",
  compute_pool="MY_COMPUTE_POOL",
  stage_name="payload_stage",
  pip_requirements=[
    "internal-package==1.2.3"
  ],
  external_access_integrations=["PRIVATE_FEED_EAI"],
  spec_overrides=spec_overrides,
)

Pour plus d’informations sur container.secrets, voir champ containers.secrets.