Mise au point (Snowflake Cortex)¶

Vue d’ensemble¶

Cortex Fine-tuning permet aux utilisateurs de tirer parti d’une mise au point efficace des paramètres (PEFT) pour créer des adaptateurs personnalisés à utiliser avec des modèles pré-entraînés pour des tâches plus spécialisées. Si vous ne voulez pas supporter le coût élevé de l’entraînement d’un grand modèle à partir de zéro, mais que vous avez besoin d’une meilleure latence et de meilleurs résultats que ceux que vous obtenez avec les méthodes d’ingénierie rapide ou même de génération augmentée par récupération (RAG), vous pouvez mettre au point un grand modèle existant. La mise au point vous permet d’utiliser des exemples pour ajuster le comportement du modèle et améliorer sa connaissance des tâches spécifiques au domaine.

Cortex Fine-tuning est un service entièrement géré qui vous permet d’affiner les LLMs populaires en utilisant vos données, le tout au sein de Snowflake.

Les fonctionnalités Cortex Fine-tuning sont fournies sous la forme d’une fonction de Snowflake Cortex, FINETUNE, avec les arguments suivants :

• CREATE : crée une tâche de mise au point avec les données d’entraînement données.

• SHOW : Liste toutes les jobs d’affinage dans le compte actuel.

• DESCRIBE : décrit la progression et le statut d’une tâche de mise au point particulière.

• CANCEL : annule une tâche de mise au point donnée.

Considérations relatives aux clients¶

Les fonctions Snowflake Cortex Fine-tuning entraîne des coûts de calcul basés sur le nombre de jetons utilisés lors de l’entraînement. De plus, l’exécution de la fonction AI_COMPLETE sur un modèle affiné entraîne des coûts de calcul basés sur le nombre de jetons traités. Reportez-vous à la table de consommation des services Snowflake pour chaque coût en crédits par million de jetons.

Un jeton est la plus petite unité de texte traitée par la fonction Snowflake Cortex Fine-tuning, correspondant approximativement à quatre caractères de texte. L’équivalence du texte brut d’entrée ou de sortie en jetons peut varier selon le modèle.

• Pour la fonction COMPLETE qui génère un nouveau texte dans la réponse, les jetons d’entrée et de sortie sont comptés.

• Les jetons entraînés pour la mise au point sont calculés comme suit :

  Fine-tuning trained tokens = number of input tokens * number of epochs trained
  

  Copy

  Utilisez le FINETUNE ('DESCRIBE') (SNOWFLAKE.CORTEX) pour voir le nombre de jetons formés pour votre travail de mise au point.

• Outre les frais d’affinage et d’inférence, les coûts standard du stockage et de l”entrepôt s’appliquent pour le stockage des adaptateurs personnalisés et l’exécution des commandes SQL.

SELECT *
  FROM SNOWFLAKE.ACCOUNT_USAGE.CORTEX_FINE_TUNING_USAGE_HISTORY;

Autres considérations¶

• Les tâches de mise au point sont souvent de longue haleine et ne sont pas rattachées à une session de feuille de calcul.

• Le nombre de lignes dans le jeu de données de formation/validation est limité par le modèle de base et le nombre d’époques de formation. Le tableau suivant montre les limites pour 3 époques :

  Effective row count limit = 1 epoch limit for base model / number of epochs trained
  

  Copy

  Modèle	1 époque	3 époques (par défaut)
  llama3-8b	186k	62k
  llama3-70b	21k	7k
  llama3.1-8b	150k	50k
  llama3.1-70b	13,5k	4,5k
  mistral-7b	45k	15k
  mixtral-8x7b	27k	9k

Exigences en matière de contrôle d’accès¶

Pour exécuter une tâche de mise au point, le rôle qui crée la tâche de mise au point doit disposer des privilèges suivants :

Le SQL suivant est un exemple d’octroi du privilège CREATE MODEL à un rôle, my_role, sur my_schema.

GRANT CREATE MODEL ON SCHEMA my_schema TO ROLE my_role;

En outre, pour utiliser la fonction FINETUNE, le rôle ACCOUNTADMIN doit accorder le rôle de base de données SNOWFLAKE.CORTEX_USER à l’utilisateur qui appellera la fonction. Voir la rubrique Privilèges requis pour les fonctions LLM pour plus de détails.

Pour donner à d’autres rôles l’accès à l’utilisation du modèle affiné, vous devez accorder l’utilisation du modèle. Pour plus de détails, voir Privilèges des modèles.

Modèles disponibles pour un réglage précis¶

Vous disposez des modèles de base suivants que vous pouvez régler avec la fonction de réglage fin. Les modèles disponibles pour la mise au point peuvent être ajoutés ou supprimés à l’avenir :

Comment affiner un modèle¶

Le workflow global pour la mise au point d’un modèle est le suivant :

1. Préparez les données d’entraînement.

2. Lancez la tâche de mise au point avec les paramètres requis.

3. Surveillez la tâche d’entraînement.

Une fois l’entraînement terminé, vous pouvez utiliser le nom du modèle fourni par Cortex Fine-tuning pour lancer l’inférence sur votre modèle.

SELECT SNOWFLAKE.CORTEX.FINETUNE(
  'CREATE',
  'my_tuned_model',
  'mistral-7b',
  'SELECT a AS prompt, d AS completion FROM train',
  'SELECT a AS prompt, d AS completion FROM validation'
);

USE DATABASE mydb;
USE SCHEMA myschema;

SELECT SNOWFLAKE.CORTEX.FINETUNE(
  'CREATE',
  'my_tuned_model',
  'mistral-7b',
  'SELECT prompt, completion FROM my_training_data',
  'SELECT prompt, completion FROM my_validation_data'
);

SELECT SNOWFLAKE.CORTEX.FINETUNE(
  'CREATE',
  'mydb.myschema.my_tuned_model',
  'mistral-7b',
  'SELECT prompt, completion FROM mydb2.myschema2.my_training_data',
  'SELECT prompt, completion FROM mydb2.myschema2.my_validation_data'
);

Utiliser votre modèle mis au point pour l’inférence¶

Utilisez la fonction COMPLETE LLM avec le nom de votre modèle mis au point pour faire des inférences.

Cet exemple montre un appel à la fonction COMPLETE avec le nom de votre modèle mis au point.

SELECT SNOWFLAKE.CORTEX.COMPLETE(
  'my_tuned_model',
  'How to fine-tune mistral models'
);

Vous trouverez ci-dessous un extrait de la sortie de l’appel d’exemple :

Mistral models are a type of deep learning model used for image recognition and classification. Fine-tuning a Mistral model involves adjusting the model's parameters to ...

Limites et problèmes connus¶

• Les tâches de mise au point ne peuvent être listées qu’au niveau du compte.

• Les tâches de mise au point renvoyées par FINETUNE ('SHOW') (SNOWFLAKE.CORTEX) ne sont pas permanentes et peuvent faire l’objet d’un ramassage périodique.

• Si un modèle de base est retiré des fonctions LLM Cortex, votre modèle mis au point ne fonctionnera plus.

Partage de modèles¶

Les modèles affinés peuvent être partagés avec d’autres comptes à l’aide du privilège USAGE via Partage de données.

Réplication des modèles¶

Inférence interrégionale ne prend pas en charge les modèles affinés. L’inférence doit avoir lieu dans la même région où se trouve l’objet modèle. Vous pouvez utiliser la réplication de base de données pour répliquer l’objet de modèle affiné dans une région à partir de laquelle vous souhaitez effectuer une inférence si elle est différente de la région dans laquelle le modèle a été formé.

Par exemple, si vous créez un modèle affiné basé sur mistral-7b dans votre compte dans la région Ouest 2 AWS US, vous pouvez utiliser le partage de données pour le partager avec un autre compte dans cette région, ou vous pouvez utiliser la réplication de base de données pour répliquer le modèle sur un autre compte de votre organisation dans une autre région qui prend en charge le modèle mistral-7b, tel que l’Europe de l’Ouest AWS. Pour plus de détails sur la réplication d’objets, consultez Réplication des bases de données et des objets de compte sur plusieurs comptes.

Avis juridiques¶

La classification des données d’entrées et de sorties est présentée dans la table suivante.

Pour plus d’informations, reportez-vous à Snowflake AI et ML.