Snowflake Cortex AISQL (y compris les fonctions LLM)¶

Fonctions AISQL¶

Les fonctions spécifiques aux tâches sont spécialement conçues et gérées pour automatiser les tâches de routine, comme les résumés simples et les traductions rapides, qui ne nécessitent aucune exigence de personnalisation.

• AI_COMPLETE : Génère un achèvement pour une chaîne de texte ou une image donnée en utilisant un LLM sélectionné. Utilisez cette fonction pour la plupart des tâches de l’AI générative.

  • Il s’agit de la version actualisée de COMPLETE (SNOWFLAKE.CORTEX).

• AI_CLASSIFY : Classe le texte ou les images dans des catégories définies par l’utilisateur.

  • Il s’agit de la version actualisée de CLASSIFY_TEXT (SNOWFLAKE.CORTEX) qui prend en charge la classification à plusieurs étiquettes et la classification d’images.

• AI_FILTER : Renvoie True ou False pour une entrée de texte ou d’image donnée, ce qui vous permet de filtrer les résultats dans les clauses SELECT, WHERE ou JOIN. .. ON.

• AI_AGG : Agrège une colonne de texte et renvoie des aperçus sur plusieurs lignes en fonction d’un prompt défini par l’utilisateur. Cette fonction n’est pas soumise aux limites des fenêtres contextuelles.

• AI_SUMMARIZE_AGG : Agrège une colonne de texte et renvoie un résumé sur plusieurs lignes. Cette fonction n’est pas soumise aux limites des fenêtres contextuelles.

• AI_SIMILARITY : Calcule la similarité d’intégration entre deux entrées.

• PARSE_DOCUMENT (SNOWFLAKE.CORTEX) : Extrait du texte (en utilisant le mode OCR) ou du texte avec des informations de mise en page (en utilisant le mode LAYOUT) à partir de documents dans une zone de préparation interne ou externe.

• TRANSLATE : Traduit le texte entre les langues prises en charge.

• SENTIMENT (SNOWFLAKE.CORTEX) : Extrait les notes de sentiment d’un texte.

• EXTRACT_ANSWER (SNOWFLAKE.CORTEX) : Extrait la réponse à une question à partir de données non structurées, à condition que les données pertinentes existent.

• SUMMARIZE (SNOWFLAKE.CORTEX) : Renvoie un résumé du texte que vous avez spécifié.

Fonctions d’assistance¶

Les fonctions d’assistance sont des fonctions spécialement conçues et gérées qui réduisent les cas d’échec lors de l’exécution d’autres fonctions AISQL, par exemple en obtenant le nombre de jetons dans une invite de saisie pour garantir que l’appel ne dépasse pas une limite de modèle.

• COUNT_TOKENS (SNOWFLAKE.CORTEX) : Avec un texte d’entrée, renvoie le nombre de jetons en fonction du modèle ou de la fonction Cortex spécifiée.

• TRY_COMPLETE (SNOWFLAKE.CORTEX) : Fonctionne comme la fonction COMPLETE, mais renvoie NULL lorsque la fonction n’a pas pu s’exécuter, au lieu d’un code d’erreur.

Cortex Guard¶

Cortex Guard est une option de la fonction COMPLETE conçue pour filtrer les éventuelles réponses dangereuses et nuisibles d’un modèle de langue. Cortex Guard est actuellement construit avec Llama Guard 3 de Meta. Cortex Guard fonctionne en évaluant les réponses d’un modèle de langage avant que cette sortie ne soit renvoyée à l’application. Une fois que vous avez activé Cortex Guard, les réponses du modèle linguistique qui peuvent être associées à des crimes violents, à la haine, au contenu sexuel, à l’automutilation, etc. sont automatiquement filtrées. Voir arguments COMPLETE pour la syntaxe et les exemples.

Liste d’autorisation des modèles¶

Utilisez le paramètre CORTEX_MODELS_ALLOWLIST dans la commande ALTER ACCOUNT SET pour définir l’accès au modèle pour tous les utilisateurs du compte. Si vous devez accorder à des utilisateurs spécifiques un accès supérieur à celui que vous avez spécifié dans la liste d’autorisation, vous devez utiliser le contrôle d’accès basé sur les rôles. Pour plus d’informations sur le contrôle d’accès basé sur les rôles, voir Contrôle d’accès basé sur les rôles.

Lorsque vos utilisateurs font une requête, Snowflake Cortex évalue le paramètre pour déterminer si l’utilisateur peut accéder au modèle.

Pour le paramètre CORTEX_MODELS_ALLOWLIST, vous pouvez définir les valeurs suivantes :

• CORTEX_MODELS_ALLOWLIST = 'All' Permet l’accès à tous les modèles.

  La commande suivante permet à l’utilisateur d’accéder à tous les modèles :

  ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'All';
  

  Copy

• CORTEX_MODELS_ALLOWLIST = 'model1,model2,...'

  Permet aux utilisateurs d’accéder aux modèles spécifiés dans une liste séparée par des virgules.

  La commande suivante permet aux utilisateurs d’accéder aux modèles mistral-large2 et llama3.1-70b :

  ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'mistral-large2,llama3.1-70b';
  

  Copy

• CORTEX_MODELS_ALLOWLIST = 'None' Empêche les utilisateurs d’accéder à n’importe quel modèle.

  La commande suivante empêche l’accès des utilisateurs à tout modèle :

  ALTER ACCOUNT SET CORTEX_MODELS_ALLOWLIST = 'None';
  

  Copy

Contrôle d’accès basé sur les rôles¶

Chaque modèle dans Snowflake Cortex est un objet unique dans le schéma SNOWFLAKE.MODELS avec un rôle d’application associé. Vous pouvez utiliser les objets de modèle et les rôles d’application pour gérer l’accès à l’objet de modèle.

Utilisez la commande suivante pour accéder aux derniers modèles :

CALL SNOWFLAKE.MODELS.CORTEX_BASE_MODELS_REFRESH();

Ensuite, utilisez la commande suivante pour dresser la liste des modèles disponibles dans votre compte Snowflake :

SHOW MODELS IN SNOWFLAKE.MODELS;

La commande renvoie une liste de modèles, telle que la suivante :

Utilisez la commande suivante pour dresser la liste des rôles d’application pour ces modèles :

SHOW APPLICATION ROLES IN APPLICATION SNOWFLAKE;

La commande renvoie une liste de rôles d’application, telle que la suivante :

Pour accorder l’accès à un modèle spécifique, vous attribuez le rôle d’application du modèle à un rôle d’utilisateur. Par exemple, vous pouvez accorder CORTEX-MODEL-ROLE-LLAMA3.1-70B, le rôle d’application pour SNOWFLAKE.MODELS. "LLAMA3.1-70B", à un rôle d’utilisateur. La commande suivante accorde le rôle d’application CORTEX-MODEL-ROLE-LLAMA3.1-70B au rôle d’utilisateur MY_ROLE :

GRANT APPLICATION ROLE SNOWFLAKE."CORTEX-MODEL-ROLE-LLAMA3.1-70B" TO ROLE MY_ROLE;

Pour effectuer un appel d’inférence, utilisez le nom de modèle entièrement qualifié. Voici un exemple d’appel que les utilisateurs peuvent passer :

SELECT AI_COMPLETE('SNOWFLAKE.MODELS."LLAMA3.1-70B"', 'Hello');

Suivi des coûts des services AI¶

Pour suivre les crédits utilisés pour les services d’AI, y compris les fonctions LLM de votre compte, utilisez l” Vue METERING_HISTORY :

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.METERING_DAILY_HISTORY
  WHERE SERVICE_TYPE='AI_SERVICES';

Suivre la consommation de crédit pour les fonctions AISQL¶

Pour voir la consommation de crédit et de jetons pour chaque appel de fonction AISQL, utilisez le Vue CORTEX_FUNCTIONS_USAGE_HISTORY :

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_USAGE_HISTORY;

Vous pouvez également voir la consommation de crédits et de jetons pour chaque requête dans votre compte Snowflake. La vue de la consommation de crédits et de jetons pour chaque requête vous aide à identifier les requêtes qui consomment le plus de crédits et de jetons.

L’exemple de requête suivant utilise l”Vue CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY pour afficher la consommation de crédits et de jetons pour toutes vos requêtes au sein de votre compte.

SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY;

Vous pouvez également utiliser la même vue pour voir la consommation de crédits et de jetons pour une requête spécifique.

SELECT * FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_QUERY_USAGE_HISTORY
WHERE query_id='<query-id>';

L’historique de l’utilisation des requêtes est groupé en fonction des modèles utilisés dans la requête. Par exemple, si vous avez exécuté :

SELECT AI_COMPLETE('mistral-7b', 'Is a hot dog a sandwich'), AI_COMPLETE('mistral-large', 'Is a hot dog a sandwich');

L’historique de l’utilisation de la requête fait apparaître deux lignes, l’une pour mistral-7b et l’autre pour mistral-large.

Grands modèles¶

Si vous ne savez pas par où commencer, essayez d’abord les modèles les plus performants afin d’établir une base de référence pour évaluer les autres modèles. claude-3-7-sonnet, reka-core et mistral-large2 sont les modèles les plus performants proposés par Snowflake Cortex. Ils vous donneront une bonne idée de ce que peut faire un modèle à la pointe de la technologie.

• Claude 3-7 Sonnet est un leader dans le domaine du raisonnement général et des capacités multimodales. Il surpasse ses prédécesseurs dans les tâches qui requièrent un raisonnement à travers différents domaines et modalités. Vous pouvez utiliser sa large capacité de sortie pour obtenir davantage d’informations à partir de requêtes structurées ou non structurées. Ses capacités de raisonnement et ses grandes fenêtres contextuelles le rendent bien adapté aux flux de travail agentiques.

• deepseek-r1 est un modèle de base formé à l’aide de l’apprentissage par renforcement à grande échelle (RL) sans affinage supervisé (SFT). Il peut offrir des performances élevées dans les tâches de mathématiques, de codage et de raisonnement. Pour accéder au modèle, définissez le paramètre d’inférence inter-régionale sur AWS_US.

• mistral-large2 est le grand modèle de langage le plus avancé de l’AI Mistral avec des capacités de raisonnement de premier plan. Par rapport à mistral-large, il est nettement plus performant en matière de génération de code, de mathématiques, de raisonnement et offre un support multilingue beaucoup plus puissant. C’est idéal pour les tâches complexes qui requièrent de grandes capacités de raisonnement ou qui sont hautement spécialisées, telles que la génération de textes synthétiques, la génération de codes et l’analyse de texte multilingue.

• llama3.1-405b est un modèle open source de la famille de modèles llama3.1 de Meta avec une grande fenêtre de contexte de 128K. Il excelle dans le traitement de documents longs, l’assistance multilingue, la génération de données synthétiques et la distillation de modèles.

• snowflake-llama3.1-405b est un modèle dérivé du modèle open source llama3.1. Il utilise le <SwiftKV optimizations https://www.snowflake.com/en/blog/up-to-75-lower-inference-cost-llama-meta-llm/> qui a été développé par l’équipe de recherche de Snowflake AI pour permettre une réduction des coûts d’inférence pouvant aller jusqu’à 75 %. SwiftKV permet d’obtenir des performances de débit plus élevées avec une perte de précision minimale.

Modèles moyens¶

• llama3.1-70b est un modèle open source qui offre des performances de pointe idéales pour les applications de chat, la création de contenu et les applications d’entreprise. Il s’agit d’un modèle hautement performant et rentable qui permet divers cas d’utilisation avec une fenêtre contextuelle de 128K. llama3-70b est toujours pris en charge et dispose d’une fenêtre contextuelle de 8K.

• snowflake-llama3.3-70b est un modèle dérivé du modèle open source llama3.3. Il utilise le <SwiftKV optimizations https://www.snowflake.com/en/blog/up-to-75-lower-inference-cost-llama-meta-llm/> développé par l’équipe de recherche de Snowflake AI pour permettre une réduction des coûts d’inférence pouvant aller jusqu’à 75 %. SwiftKV permet d’obtenir des performances de débit plus élevées avec une perte de précision minimale.

• snowflake-arctic est la solution de premier plan de Snowflake axée sur l’entreprise LLM. Arctic excelle dans les tâches d’entreprise telles que la génération de SQL, le codage et les benchmarks de suivi des instructions.

• mixtral-8x7b est idéal pour la génération de textes, la classification et la réponse aux questions. Les modèles Mistral sont optimisés pour une faible latence avec de faibles besoins en mémoire, ce qui se traduit par un débit plus élevé pour les cas d’utilisation en entreprise.

• Le modèle jamba-Instruct est construit par AI21 Labs pour répondre efficacement aux exigences des entreprises. Il est optimisé pour offrir une fenêtre de contexte de 256 000 jetons avec un faible coût et une faible latence, ce qui le rend idéal pour des tâches telles que le résumé, les questions-réponses et l’extraction d’entités sur des documents longs et de vastes bases de connaissances.

• La famille de modèles AI21 Jamba 1.5 est à la pointe de la technologie, avec une instruction SSM-Transformer hybride qui suit les modèles fondamentaux. Le jamba-1.5-mini et le jamba-1.5-large avec une longueur de contexte de 256K prennent en charge des cas d’utilisation tels que la sortie structurée (JSON), et une génération ancrée.

Petits modèles¶

• Les modèles llama3.2-1b et llama3.2-3b prennent en charge une longueur de contexte de 128 000 jetons et sont à la pointe de la technologie dans leur catégorie pour les cas d’utilisation tels que les tâches de résumé, de suivi d’instructions et de réécriture. Les modèles Llama 3.2 offrent des capacités multilingues, avec prise en charge de l’anglais, de l’allemand, du français, de l’italien, du portugais, de l’hindi, de l’espagnol et du thaï.

• llama3.1-8b est idéal pour les tâches qui nécessitent un raisonnement faible à modéré. C’est un modèle léger et ultra-rapide avec une fenêtre contextuelle de 128K. llama3-8b et llama2-70b-chat sont des modèles toujours pris en charge qui fournissent une fenêtre de contexte plus petite et une précision relativement faible.

• mistral-7b est idéal pour vos tâches les plus simples de résumé, de structuration et de réponse à des questions qui doivent être effectuées rapidement. Il offre une faible latence et un traitement à haut débit pour plusieurs pages de texte grâce à sa fenêtre contextuelle de 32 Ko.

• gemma-7b est adapté aux tâches simples de complétion de code et de texte. Il dispose d’une fenêtre contextuelle de 8 000 jetons, mais il est étonnamment performant dans cette limite et tout à fait rentable.

Le tableau suivant fournit des informations sur les performances des modèles les plus courants sur différents benchmarks, y compris les modèles proposés par Snowflake Cortex COMPLETE ainsi que quelques autres modèles courants.