Cortex LLM Playground

Cortex LLM Playground vous permet de comparer les générations de texte de plusieurs grands modèles de langue disponibles dans Cortex AI. Vous pouvez tester les réponses du modèle de langue en fonction des prompts et des paramètres du modèle, et effectuer des comparaisons côte à côte des sorties du modèle. En quelques clics, vous pouvez également connecter le modèle à une table Snowflake pour expérimenter directement sur vos données. Cortex LLM Playground est conçu pour vous aider à tester facilement les performances de différents modèles de langue avant de décider du modèle à déployer en production.

Cortex LLM Playground prend en charge tous les modèles disponibles pour la fonction COMPLETE qui sont disponibles dans la région de votre compte. Pour la liste complète des modèles, voir Disponibilité des modèles.

Privilèges requis

Cortex LLM Playground nécessite le rôle de base de données CORTEX_USER qui comprend les privilèges permettant d’appeler les fonctions LLM de Snowflake Cortex. Pour plus d’informations, voir Privilèges requis.

Démarrer avec le Cortex LLM Playground

Cortex LLM Playground est accessible de puis Snowflake AI & ML Studio. Vous pouvez accéder à Studio à partir de l”Snowsight comme suit :

  1. Connectez-vous à Snowsight.

  2. Dans le menu de navigation, sélectionnez AI & ML » Studio. Cortex LLM Playground apparaît parmi les autres fonctions de Studio.

    Zone Cortex Playground.

  3. Pour ouvrir le playground, sélectionnez Try.

Tester votre prompt avec un modèle de langue

Utilisez Cortex LLM Playground pour tester des prompts dans différents modèles de langue.

  1. Sélectionnez un entrepôt. Cet entrepôt est utilisé pour exécuter la commande SQL qui appelle la fonction COMPLETE.

  2. Sélectionnez un modèle dans le menu déroulant situé en haut. Le menu déroulant ne comprend que les modèles disponibles dans la région du compte utilisé.

    Liste des modèles Cortex Playground.

  3. Entrez votre prompte dans la zone réservée et sélectionnez Entrée.

  4. La sortie du modèle apparaît au-dessus de la zone de prompt. Vous pouvez sélectionner View Code pour voir et copier la commande SQL utilisée pour traiter votre prompt.

Pour essayer un prompt ou un modèle différent, choisissez le modèle souhaité et entrez un nouveau prompt dans la zone de prompt, puis sélectionnez :kbd :Entrée.

Comparer les sorties du modèle

Pour comparer la sortie de vos prompts entre deux modèles différents ou deux paramètres différents du même modèle, utilisez la fonction Compare.

Comparer deux modèles

  1. Sélectionnez Compare dans le coin supérieur droit.

  2. Sélectionnez des modèles différents pour les deux panneaux à l’aide du menu déroulant situé de chaque côté.

  3. Ouvrez le panneau des paramètres en sélectionnant Change settings Ouvrez le bouton des paramètres. à côté de Compare.

  4. Sélectionnez l’option Sync pour utiliser les mêmes paramètres pour les deux modèles.

  5. Entrez votre prompt et sélectionnez :kbd :Entrée. La sortie des modèles que vous avez sélectionnés apparaît de chaque côté.

Comparer les paramètres d’un même modèle

  1. Sélectionnez Compare dans le coin supérieur droit.

  2. Sélectionnez le même modèle pour les deux panneaux.

  3. Ouvrez le panneau des paramètres en sélectionnant Change settings Ouvrez le bouton des paramètres. à côté de Compare.

  4. Choisissez différents paramètres pour temperature, top_p ou max_tokens pour chaque onglet afin de comparer comment la réponse du modèle de langue change en fonction des différents paramètres du modèle. Pour plus de détails sur ces paramètres, voir COMPLETE (SNOWFLAKE.CORTEX).

  5. Vous pouvez également consulter Enable Cortex Guard pour mettre en œuvre des mesures de protection qui filtrent les réponses potentiellement inappropriées ou dangereuses des grands modèles de langue (LLM). Pour plus de détails sur Cortex Guard, voir Cortex Guard.

  6. Entrez votre prompt et sélectionnez :kbd :Entrée. La sortie du modèle pour chaque ensemble de paramètres apparaît de chaque côté.

Connexion aux tables de Snowflake

Vous pouvez connecter le modèle à une table Snowflake contenant des données textuelles que vous souhaitez tester avec la génération de texte.

Note

Vous ne pouvez sélectionner qu’une seule colonne. Cortex LLM Playground renvoie au maximum 100 lignes.

  1. Sélectionnez le bouton + Connect your data dans la zone de prompt.

  2. Sélectionnez votre source de données Snowflake dans le menu déroulant.

  3. Sélectionnez la colonne contenant les données textuelles que vous souhaitez tester.

  4. Sélectionnez une colonne à utiliser comme filtre. Vous pouvez utiliser cette colonne pour sélectionner un enregistrement dans votre source de données.

  5. Sélectionnez Done.

  6. Sélectionnez un enregistrement dans votre source de données à l’aide du champ Select <filter column> de la zone de prompt. Vous pouvez sélectionner un enregistrement en le faisant défiler ou en recherchant un terme dans les données textuelles. Pour effectuer une recherche, saisissez un terme dans le champ de recherche. L’exemple suivant présente une colonne de filtre nommée ID. Dans cet exemple, vous pouvez rechercher un numéro d’ID particulier ou saisir une chaîne pour faire correspondre les données du texte.

    Connectez des données à Cortex Playground.

  7. Saisissez un System Prompt et sélectionnez :kbd :Entrée pour voir la réponse du modèle. Un prompt système fournit des instructions au modèle sur la manière de traiter le texte d’entrée. Par exemple, vous pourriez vouloir que le modèle résume le texte sélectionné ou en extraie des mots-clés.

Contrôler les paramètres

Vous pouvez ajuster les paramètres du modèle pour comparer la réponse du modèle de langue lorsqu’il est fourni avec différents paramètres temperature, top_p, et max_tokens. Pour mettre en place des mesures de protection qui filtrent les réponses potentiellement inappropriées ou dangereuses, sélectionnez Enable Cortex Guard dans l’ensemble des paramètres.

Pour en savoir plus sur l’impact potentiel de ces paramètres sur les réponses des modèles de langue, consultez la page Contrôle de la température et des jetons.

  1. Sélectionnez Change settings Ouvrez le bouton des paramètres. pour ouvrir le menu des paramètres dans le coin supérieur droit.

  2. Cochez la case du paramètre pour en ajuster la valeur.

    Paramètres du modèle Cortex Playground.

  3. Essayez les prompts avec différents paramètres.

Exporter une requête SQL

Pour obtenir une requête SQL qui inclut les paramètres, tels que la température, que vous avez définis dans Cortex LLM Playground, sélectionnez View Code après toute réponse du modèle. Le code affiché peut être exécuté à partir d’une feuille de calcul ou d’un notebook, ou automatisé pour une exécution continue à l’aide de flux et de tâches. Vous pouvez également utiliser ce code avec une table dynamique.

Note

Les tables dynamiques ne prennent pas en charge l’actualisation incrémentielle avec COMPLETE.

Les images suivantes montrent des exemples de la boîte de dialogue View SQL.

Exporter du SQL avec des données connectées

Exemple 1 : Exporter du code lorsque vous connectez le modèle à une table Snowflake

Exporter du code sans que les données soient connectées

Exemple 2 : Exporter le code lorsque vous ne connectez pas le modèle à une table Snowflake

Langage: Français