Fonctions Large Language Model (LLM) (Cortex de Snowflake)¶

Fonction COMPLETE¶

La fonction COMPLETE est une fonction à usage général qui peut effectuer une large gamme de tâches spécifiées par l’utilisateur, telles que la classification des sentiments basée sur l’aspect, la génération de données synthétiques et les résumés personnalisés. Cortex Guard est un paramètre de sécurité disponible dans la fonction COMPLETE conçue pour filtrer les éventuelles réponses dangereuses et nuisibles d’un modèle linguistique. Vous pouvez également utiliser cette fonction avec vos modèles affinés.

Fonctions spécifiques à la tâche¶

Les fonctions spécifiques aux tâches sont des fonctions spécialement conçues et gérées qui automatisent les tâches de routine, comme les résumés simples et les traductions rapides, qui ne nécessitent aucune personnalisation.

• CLASSIFY_TEXT : Avec une invite, la classe dans l’une des classes que vous définissez.

• EXTRACT_ANSWER : à partir d’une question et de données non structurées, renvoie la réponse à la question si elle peut être trouvée dans les données.

• PARSE_DOCUMENT : Avec une zone de préparation interne ou externe avec des documents, renvoie un objet qui contient une chaîne formatée en JSON avec le contenu de texte extrait à l’aide du mode OCR, ou le texte extrait et les éléments de mise en page à l’aide du mode LAYOUT.

• SENTIMENT : renvoie un score de sentiment, de -1 à 1, représentant le sentiment positif ou négatif détecté dans le texte donné.

• SUMMARIZE : renvoie un résumé du texte donné.

• TRANSLATE : traduit un texte donné de n’importe quelle langue prise en charge vers n’importe quelle autre.

• EMBED_TEXT_768 : étant donné une portion de texte, renvoie une intégration vectorielle de 768 dimensions qui représente ce texte.

• EMBED_TEXT_1024 : étant donné un portion de texte, renvoie une intégration vectorielle de 1 024 dimensions qui représente ce texte.

Fonctions d’assistance¶

Les fonctions d’assistance sont des fonctions spécialement conçues et gérées qui réduisent les cas d’échec lors de l’exécution d’autres fonctions LLM, par exemple en obtenant le nombre de jetons dans une invite de saisie pour garantir que l’appel ne dépasse pas une limite de modèle.

• COUNT_TOKENS : Avec un texte d’entrée, renvoie le nombre de jetons en fonction du modèle ou de la fonction Cortex spécifiée.

• TRY_COMPLETE : Fonctionne comme la fonction COMPLETE, mais renvoie NULL lorsque la fonction n’a pas pu s’exécuter, au lieu d’un code d’erreur.

Suivi des coûts des services AI¶

Pour suivre les crédits utilisés pour les services d’AI, y compris les fonctions LLM de votre compte, utilisez l” Vue METERING_HISTORY :

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.METERING_DAILY_HISTORY
  WHERE SERVICE_TYPE='AI_SERVICES';

Suivre la consommation de crédit pour les fonctions LLM¶

Pour voir la consommation de crédit et de jetons pour chaque appel de fonction LLM, utilisez le Vue CORTEX_FUNCTIONS_USAGE_HISTORY :

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FUNCTIONS_USAGE_HISTORY;

Grands modèles¶

Si vous ne savez pas par où commencer, essayez d’abord les modèles les plus performants afin d’établir une base de référence pour évaluer les autres modèles. reka-core et mistral-large2 sont les modèles les plus performants proposés par Snowflake Cortex. Ils vous donneront une bonne idée de ce que peut faire un modèle à la pointe de la technologie.

• reka-core est le grand modèle de langage le plus avancé de l’AI Reka, avec de fortes capacités de raisonnement, de génération de code et de maîtrise du multilinguisme.

• mistral-large2 est le grand modèle de langage le plus avancé de l’AI Mistral avec des capacités de raisonnement de premier plan. Par rapport à mistral-large, il est nettement plus performant en matière de génération de code, de mathématiques, de raisonnement et offre un support multilingue beaucoup plus puissant. C’est idéal pour les tâches complexes qui requièrent de grandes capacités de raisonnement ou qui sont hautement spécialisées, telles que la génération de textes synthétiques, la génération de codes et l’analyse de texte multilingue.

• llama3.1-405b est un modèle open source de la famille de modèles llama3.1 de Meta avec une grande fenêtre de contexte de 128K. Il excelle dans le traitement de documents longs, l’assistance multilingue, la génération de données synthétiques et la distillation de modèles.

Modèles moyens¶

• llama3.1-70b est un modèle open source qui offre des performances de pointe idéales pour les applications de chat, la création de contenu et les applications d’entreprise. Il s’agit d’un modèle hautement performant et rentable qui permet divers cas d’utilisation avec une fenêtre contextuelle de 128K. llama3-70b est toujours pris en charge et dispose d’une fenêtre contextuelle de 8K.

• snowflake-arctic est la solution de premier plan de Snowflake axée sur l’entreprise LLM. Arctic excelle dans les tâches d’entreprise telles que la génération de SQL, le codage et les benchmarks de suivi des instructions.

• reka-flash est un modèle linguistique multilingue très performant, optimisé pour les charges de travail rapides exigeant une qualité élevée, telles que la rédaction de descriptions de produits ou d’articles de blog, le codage et l’extraction de réponses dans des documents de plusieurs centaines de pages.

• mixtral-8x7b est idéal pour la génération de textes, la classification et la réponse aux questions. Les modèles Mistral sont optimisés pour une faible latence avec de faibles besoins en mémoire, ce qui se traduit par un débit plus élevé pour les cas d’utilisation en entreprise.

• Le modèle jamba-Instruct est construit par AI21 Labs pour répondre efficacement aux exigences des entreprises. Il est optimisé pour offrir une fenêtre de contexte de 256 000 jetons avec un faible coût et une faible latence, ce qui le rend idéal pour des tâches telles que le résumé, les questions-réponses et l’extraction d’entités sur des documents longs et de vastes bases de connaissances.

• La famille de modèles AI21 Jamba 1.5 est à la pointe de la technologie, avec une instruction SSM-Transformer hybride qui suit les modèles fondamentaux. Le jamba-1.5-mini et le jamba-1.5-large avec une longueur de contexte de 256K prennent en charge des cas d’utilisation tels que la sortie structurée (JSON), et une génération ancrée.

Petits modèles¶

• Les modèles llama3.2-1b et llama3.2-3b prennent en charge une longueur de contexte de 128 000 jetons et sont à la pointe de la technologie dans leur catégorie pour les cas d’utilisation tels que les tâches de résumé, de suivi d’instructions et de réécriture. Les modèles Llama 3.2 offrent des capacités multilingues, avec prise en charge de l’anglais, de l’allemand, du français, de l’italien, du portugais, de l’hindi, de l’espagnol et du thaï.

• llama3.1-8b est idéal pour les tâches qui nécessitent un raisonnement faible à modéré. C’est un modèle léger et ultra-rapide avec une fenêtre contextuelle de 128K. llama3-8b et llama2-70b-chat sont des modèles toujours pris en charge qui fournissent une fenêtre de contexte plus petite et une précision relativement faible.

• mistral-7b est idéal pour vos tâches les plus simples de résumé, de structuration et de réponse à des questions qui doivent être effectuées rapidement. Il offre une faible latence et un traitement à haut débit pour plusieurs pages de texte grâce à sa fenêtre contextuelle de 32 Ko.

• gemma-7b est adapté aux tâches simples de complétion de code et de texte. Il dispose d’une fenêtre contextuelle de 8 000 jetons, mais il est étonnamment performant dans cette limite et tout à fait rentable.

Le tableau suivant fournit des informations sur les performances des modèles les plus courants sur différents benchmarks, y compris les modèles proposés par Snowflake Cortex COMPLETE ainsi que quelques autres modèles courants.

^*Fourni à titre de comparaison ; non disponible dans Snowflake Cortex COMPLETE.

COMPLETE¶

À partir d’une invite, la fonction COMPLETE qui suit les instructions génère une réponse en utilisant le modèle linguistique de votre choix. Dans le cas d’utilisation le plus simple, l’invite est une simple chaîne de caractères. Vous pouvez également fournir une conversation comprenant plusieurs invites et réponses pour une utilisation interactive de type chat, et dans cette forme de la fonction, vous pouvez également spécifier des options d’hyperparamètres pour personnaliser le style et la taille de la sortie. Afin de mettre en œuvre des mesures de protection, vous pouvez également activer le paramètre Cortex Guard qui filtre les réponses potentiellement dangereuses et nuisibles d’un LLM.

Pour mettre en œuvre des mesures de protection, vous pouvez activer le paramètre Cortex Guard qui filtre les réponses dangereuses et nuisibles d’un LLM.

La fonction COMPLETE prend en charge les modèles suivants. Différents modèles peuvent avoir des coûts.

• gemma-7b

• jamba-1.5-mini

• jamba-1.5-large

• jamba-instruct

• llama2-70b-chat

• llama3-8b

• llama3-70b

• llama3.1-8b

• llama3.1-70b

• llama3.1-405b

• llama3.2-1b

• llama3.2-3b

• mistral-large

• mistral-large2

• mistral-7b

• mixtral-8x7b

• reka-core

• reka-flash

• snowflake-arctic

Voir COMPLETE (SNOWFLAKE.CORTEX) pour la syntaxe et les exemples.

Fonctions spécifiques à la tâche¶

Avec un texte d’entrée, les fonctions spécifiques à la tâche exécutent la tâche pour laquelle elles ont été conçues sans avoir besoin de spécifier une invite. Les fonctions spécifiques aux tâches exécutent rapidement et de manière rentable des tâches de routine qui ne nécessitent aucune personnalisation.

Fonctions d’assistance¶

Les fonctions d’assistance sont des fonctions gérées qui sont conçues pour aider à réduire les erreurs lors de l’exécution d’autres fonctions Cortex LLM.