Inférence interrégionale

L’inférence est le processus consistant à utiliser un modèle de machine learning pour obtenir un résultat basé sur une entrée utilisateur. Par exemple, lorsque vous appelez la fonction SNOWFLAKE.CORTEX.COMPLETE, vous demandez une inférence à partir de la LLM avec votre invite comme entrée. Dans Snowflake, vous pouvez configurer votre compte pour autoriser le traitement d’inférence interrégionale avec le paramètre CORTEX_ENABLED_CROSS_REGION. Ce paramètre permet de traiter les demandes d’inférence dans une région différente de la région par défaut. Le paramètre d’inférence interrégionale est utilisé pour déterminer le comportement d’inférence pour toute fonctionnalité Snowflake prise en charge par l’inférence interrégionale, y compris les fonctions LLM Cortex.

Lorsque cette option est activée, l’inférence interrégionale se produit si le LLM ou la fonctionnalité n’est pas prise en charge dans votre région par défaut.

Par défaut, le paramètre est défini sur DISABLED. Cela permet de traiter les demandes uniquement dans la région par défaut. Vous pouvez spécifier les régions pour lesquelles vous souhaitez autoriser l’inférence interrégionale à l’aide de la commande ALTER ACCOUNT.

Pour plus de détails sur ce paramètre, consultez CORTEX_ENABLED_CROSS_REGION.

Exigences en matière de contrôle d’accès

Ce paramètre ne peut être défini qu’au niveau du compte, pas aux niveaux de l’utilisateur ou de la session. Seul le rôle ACCOUNTADMIN peut définir le paramètre à l’aide de la commande ALTER ACCOUNT :

ALTER ACCOUNT SET CORTEX_ENABLED_CROSS_REGION = 'AWS_US';
Copy

Ce paramètre ne peut pas être défini par le rôle ORGADMIN.

Comment utiliser le paramètre d’inférence inter-régions

Par défaut, ce paramètre est défini sur DISABLED, ce qui signifie que les demandes d’inférence ne sont traitées que dans la région par défaut. Les exemples suivants montrent comment définir le paramètre inter-région pour différents cas d’utilisation.

N’importe quelle région

Pour autoriser l’une des régions Snowflake prenant en charge les demandes d’inférence interrégionales à traiter vos demandes, définissez le paramètre sur 'ANY_REGION'.

ALTER ACCOUNT SET CORTEX_ENABLED_CROSS_REGION = 'ANY_REGION';
Copy

Région par défaut uniquement

Pour traiter les demandes d’inférence uniquement dans la région par défaut, définissez ce paramètre sur 'DISABLED'.

ALTER ACCOUNT SET CORTEX_ENABLED_CROSS_REGION = 'DISABLED';
Copy

Spécifier les régions

Pour autoriser uniquement les régions spécifiées à traiter vos demandes, définissez ce paramètre sur les régions séparées par des virgules. Pour une liste complète des régions, consultez CORTEX_ENABLED_CROSS_REGION.

L’exemple suivant spécifie les régions AWS_US et AWS_EU pour traiter vos demandes d’inférence :

ALTER ACCOUNT SET CORTEX_ENABLED_CROSS_REGION = 'AWS_US,AWS_EU';
Copy

Considérations relatives aux clients

  • Des crédits vous sont facturés pour l’utilisation de LLM comme indiqué dans la Table de consommation du service Snowflake. Les crédits sont considérés comme consommés dans la région demandeuse. Par exemple, si vous appelez une fonction LLM de la région us-east-2 et la demande est traitée dans la région us-west-2, les crédits sont considérés comme consommés dans la région us-east-2.

  • Vous n’encourez pas de frais de sortie de données pour l’utilisation de l’inférence interrégionale.

Considérations

  • La latence entre les régions dépend de l’infrastructure du fournisseur de Cloud et du statut du réseau. Snowflake vous recommande de tester votre cas d’utilisation spécifique avec l’inférence interrégionale activée.

  • L’inférence interrégionale n’est pas prise en charge dans U.S. SnowGov régions. Cela signifie que vous ne pouvez pas effectuer de demandes d’inférence inter-régionales vers ou depuis les régions SnowGov.

  • Vous pouvez utiliser ce paramètre à partir de GCP ou les régions Azure pour effectuer des demandes d’inférence pour les fonctionnalités qui ne sont pas prises en charge dans ces régions.

  • Les entrées utilisateur, les invites générées par le service et les sorties ne sont pas stockées ni mises en cache pendant l’inférence inter-régions.

  • Les données requises pour la demande d’inférence traversent les régions comme suit :

    • Si les régions source et de destination se trouvent toutes deux dans AWS, les données restent dans le AWS réseau mondial. Toutes les données circulant à travers le réseau mondial AWS qui interconnecte les centres de données et les régions est automatiquement crypté au niveau de la couche physique.

    • Si les régions sont sur des fournisseurs de Cloud différents, les données traversent l’Internet public à l’aide de la sécurité de la couche de transport mutuelle (mTLS).

Prochaines étapes

  • Pour plus de détails sur le paramètre d’inférence inter-régions, consultez la section CORTEX_ENABLED_CROSS_REGION de la référence de paramètre SQL.

Langage: Français