Notes de version de Snowflake ML Python¶

Corrections de bogues¶

Correction des bogues du registre des modèles :

• Correction de l’échec de model_version.run causé par l’exigence du privilège READ sur le modèle au lieu de USAGE lorsque le rôle de l’utilisateur ne comprenait que le privilège USAGE.

Feature store bug fixes:

• Correction de l’échec de register_feature_view avec overwrite=True lorsque la vue des fonctionnalités existante est externe et que la nouvelle vue des fonctionnalités est gérée, ou inversement.

Nouvelles fonctionnalités¶

Les fonctions du nouveau modèle de registre :

• Les signatures de modèles peuvent désormais inclure des paramètres d’inférence via ParamSpec, ce qui vous permet de définir des paramètres constants à transmettre au moment de l’inférence sans les inclure dans les données d’entrée. Exemple :

  import pandas as pd
  from snowflake.ml.model import custom_model, model_signature
  from snowflake.ml.registry import Registry
  
  # Define a custom model with inference parameters
  class MyModelWithParams(custom_model.CustomModel):
      @custom_model.inference_api
      def predict(
          self,
          input_df: pd.DataFrame,
          *,
          temperature: float = 1.0,  # keyword-only param with default
      ) -> pd.DataFrame:
          return pd.DataFrame({"output": input_df["feature"] * temperature})
  
  # Create sample data
  model = MyModelWithParams(custom_model.ModelContext())
  sample_input = pd.DataFrame({"feature": [1.0, 2.0, 3.0]})
  sample_output = model.predict(sample_input, temperature=1.0)
  
  # Define ParamSpec for the inference parameter
  params = [
      model_signature.ParamSpec(
          name="temperature",
          dtype=model_signature.DataType.FLOAT,
          default_value=1.0,
      ),
  ]
  
  # Infer signature with params
  sig = model_signature.infer_signature(
      input_data=sample_input,
      output_data=sample_output,
      params=params,
  )
  
  # Log model with the signature
  registry = Registry(session)
  mv = registry.log_model(
      model=model,
      model_name="my_model_with_params",
      version_name="v1",
      signatures={"predict": sig},
  )
  
  # Run inference with custom parameter value
  result = mv.run(sample_input, function_name="predict", params={"temperature": 2.0})
  

  Copy

Nouvelles fonctionnalités du Feature Store :

• Nouveau paramètre auto_prefix et nouvelle méthode with_name pour éviter les collisions de noms de colonnes lors de la jointure de plusieurs vues de fonctionnalités dans la génération d’ensembles de données.

• Les tables Iceberg dynamiques peuvent désormais être utilisées comme stockage de sauvegarde pour les vues de fonctionnalités. Utilisez StorageConfig avec StorageFormat.ICEBERG pour stocker des données au format Apache Iceberg sur un stockage Cloud externe. Un nouveau paramètre default_iceberg_external_volume est disponible dans le FeatureStore pour définir un volume externe par défaut pour les vues des fonctionnalités Iceberg.

Nouvelles fonctionnalités¶

New Model Serving features:

• La méthode create_service accepte un nouvel argument autocapture pour indiquer si les données d’inférence doivent être capturées (consultez Journaux d’inférence de capture automatique pour l’inférence en temps réel).

• Les méthodes create_service et log_model_and_create_service acceptent désormais un argument facultatif min_instances pour spécifier le nombre minimum d’instances pour le service. Le service s’adapte automatiquement entre le nombre minimum et maximum d’instances spécifiées en fonction du trafic et de l’utilisation du matériel. Si min_instances correspond à 0, le service est automatiquement suspendu lorsqu’aucun trafic n’est détecté pendant un certain temps. La valeur par défaut pour min_instances correspond à 0.

Nouvelles fonctionnalités¶

Nouvelles fonctionnalités du Feature Store :

• Tile-based aggregation support using a new Feature API for efficient and point-in-time correct time-series feature computation using pre-computed tiles.

Les fonctions du nouveau modèle de registre :

• Les modèles SentenceTransformer prennent désormais en charge l’inférence automatique de la signature. Lors de la journalisation d’un modèle SentenceTransformer, sample_input_data est facultatif. La signature est automatiquement déduite de la dimension d’intégration du modèle lorsqu’aucun échantillon de données d’entrée n’est fourni. Les méthodes encode, encode_query, encode_document, encode_queries, encode_documents sont prises en charge.

  import sentence_transformers
  from snowflake.ml.registry import Registry
  
  # Create model
  model = sentence_transformers.SentenceTransformer("all-MiniLM-L6-v2")
  
  # Log model without sample_input_data - signature is auto-inferred
  registry = Registry(session)
  mv = registry.log_model(
      model=model,
      model_name="my_sentence_transformer",
      version_name="v1",
  )
  
  # Run inference with auto-inferred signature (input: "text", output: "output")
  import pandas as pd
  result = mv.run(pd.DataFrame({"text": ["Hello world"]}))
  

  Copy

Nouvelles fonctionnalités¶

Nouvelles fonctionnalités de ML Jobs :

• Les tâches ML prennent désormais en charge Python 3.11 et Python 3.12. Les tâches sélectionnent automatiquement un environnement d’exécution correspondant à la version Python du client.

Corrections de bogues¶

Correction des bogues du registre des modèles :

• Une sortie vide dans les modèles de classification de jetons (reconnaissance d’entités nommées) HuggingFace ne provoquent plus d’échecs.

Correction des bogues de service de modèle :

• Les statuts des conteneurs sont désormais correctement indiqués et ne doivent pas être vides.

Nouvelles fonctionnalités¶

Les fonctions du nouveau modèle de registre :

• Vous pouvez désormais connecter à distance un modèle de pipeline de transformateur à l’aide d’une tâche Snowpark Container Services (SPCS).

  # create reference to the model
  model = huggingface.TransformersPipeline(
      model="TinyLlama/TinyLlama-1.1B-Chat-v1.0",
      task="text-generation",
  )
  
  # Remotely log the model, a SPCS job will run async and log the model
  mv = registry.log_model(
      model=model,
      model_name="tinyllama_remote_log",
      target_platforms=["SNOWPARK_CONTAINER_SERVICES"],
      signatures=openai_signatures.OPENAI_CHAT_SIGNATURE,
  )
  

  Copy

Changements de comportement¶

Modifications du comportement des tâches ML :

• Le comportement du paramètre additional_payloads change. Utilisez l’argument imports pour déclarer des dépendances supplémentaires, telles que les fichiers ZIP et les modules Python. Les répertoires locaux et les fichiers Python sont automatiquement compressés et leur disposition interne est déterminée par le chemin d’importation spécifié. Le chemin d’importation s’applique uniquement aux répertoires locaux, aux fichiers Python et aux fichiers Python en zone de préparation ; cela n’a aucun effet sur les autres types d’importation. Lors du référencement de fichiers dans une zone de préparation, seuls les fichiers individuels sont pris en charge, et non les répertoires.

Changements du comportement du suivi des expériences :

• ExperimentTracking est maintenant une classe unique.

Corrections de bogues¶

Corrections de bogues de suivi des expériences :

• Lorsque la limite de taille des métadonnées d’exécution est atteinte dans log_metrics ou log_params un avertissement est émis au lieu de lever une exception.

Correction des bogues du registre des modèles :

• ModelVersion.run génère maintenant une ValueError si le modèle est uniquement un modèle SPCS et si service_name n’est pas fourni.

Nouvelles fonctionnalités de prévisualisation¶

• La méthode create_service accepte désormais l’argument booléen autocapture pour indiquer si les données d’inférence sont automatiquement capturées.

Nouvelles fonctionnalités de la version¶

Les fonctions du nouveau modèle de registre :

• La nouvelle classe``snowflake.ml.model.models.huggingface.TransformersPipeline`` est destinée à remplacer snowflake.ml.model.models.huggingface_pipeline.HuggingfacePipelineModel, bien que l’ancienne classe ne soit pas encore obsolète. La nouvelle classe connaît les signatures de modèles pour les tâches courantes, de sorte que vous n’avez pas besoin de les spécifier manuellement. Les tâches prises en charge sont actuellement les suivantes :

  • fill-mask

  • question-answering

  • summarization

  • table-question-answering

  • text2text-generation

  • text-classification (alias sentiment-analysis)

  • text-generation

  • token-classification (alias ner)

  • translation

  • translation_xx_to_yy

  • zero-shot-classification (vous permet d’enregistrer les modèles sans les charger en mémoire)

• L’API list_services montre maintenant un point de terminaison interne qui peut être appelé depuis un autre nœud ou notebook SPCS sans intégration d’application Enterprise. Elle indique également si la capture automatique est activée pour chaque service.

Nouvelles fonctionnalités DataConnector :

• La nouvelle méthode to_huggingface_dataset convertit les données Snowflake en ensembles de données HuggingFace. Prend en charge les modes en mémoire Dataset (streaming=False) et streaming IterableDataset (streaming=True).

Avis d’obsolescence¶

• La classe``snowflake.ml.model.models.huggingface_pipeline.HuggingfacePipelineModel`` est obsolète et sera supprimée dans une prochaine version.