Snowflake ML-Versionshinweise¶

Verhaltensänderungen¶

Verhaltensänderungen an der Modell-Registry:

• Die Unterstützung des veralteten Aufgabentyps conversational Aufgabentyp für Huggingface-Modelle wurde eingestellt. Dieser Aufgabentyp gilt schon seit einiger Zeit bei HuggingFace als veraltet und soll demnächst aus deren API entfernt werden.

Neue Features¶

Neue ML-Job-Features:

• Das additional_payloads-Argument der MLJob.submit_*-Methoden wurde in imports umbenannt, um seinen Zweck besser zum Ausdruck zu bringen. additional_payloads ist veraltet und wird in einem zukünftigen Release entfernt.

Neue Features¶

Neue Features der Modell-Registry:

• Sie können jetzt ein HuggingFace-Modell protokollieren, ohne das Modell mit huggingface_pipeline.HuggingFacePipelineModel in den Speicher laden zu müssen. Erfordert das huggingface_hub-Paket. Um das Herunterladen vom HuggingFace-Repository zu deaktivieren, geben Sie download_snapshot=False bei der Instanziierung von huggingface_pipeline.HuggingFacePipelineModel an.

• Sie können jetzt die enable_categorical=True-Modelle von XGBoost mit pandas DataFrames verwenden.

• Beim Auflisten von Diensten wird der PrivateLink-Ableitungsendpunkt in der Liste ModelVersion angezeigt.

Fehlerkorrekturen¶

Fehlerkorrekturen an der Modell-Registry:

• Ein Problem wurde behoben, bei dem die Zeichenfolgendarstellung von Ausgabespalten vom Typ „dictionary“ während der Deserialisierung strukturierter Ausgaben falsch erstellt wurde und der ursprüngliche Datentyp verloren ging.

• Ein Leistungsproblem des Inferenzservers für umfassende (über 500 Features) und JSON-Eingaben wurde behoben.

Neue Features¶

Neue Features der Modell-Registry:

• Sie können jetzt Textgenerierungsmodelle mit Signaturen protokollieren, die mit der OpenAI-Chat-Vervollständigung kompatiblen Signatur kompatibel sind, wie im folgenden Beispiel gezeigt:

  from snowflake.ml.model import openai_signatures
  import pandas as pd
  
  mv = snowflake_registry.log_model(
      model=generator,
      model_name=...,
      ...,
      signatures=openai_signatures.OPENAI_CHAT_SIGNATURE,
  )
  
  # create a pd.DataFrame with openai.client.chat.completions arguments like below:
  x_df = pd.DataFrame.from_records(
      [
          {
              "messages": [
                  {"role": "system", "content": "Complete the sentence."},
                  {
                      "role": "user",
                      "content": "A descendant of the Lost City of Atlantis, who swam to Earth while saying, ",
                  },
              ],
              "max_completion_tokens": 250,
              "temperature": 0.9,
              "stop": None,
              "n": 3,
              "stream": False,
              "top_p": 1.0,
              "frequency_penalty": 0.1,
              "presence_penalty": 0.2,
          }
      ],
  )
  

  Copy

Neue Features für die Modellüberwachung:

• Modellmonitore unterstützen jetzt Segmentspalten, um eine gefilterte Analyse zu ermöglichen, die im Feld segment_columns in den Quelloptionen des Modellmonitors angegeben ist. Segmentspalten müssen in der Quelltabelle vorhanden sein und vom Typ Zeichenfolge sein. add_segment_column- und drop_segment_column-Methoden werden bereitgestellt, um Segmentspalten in bestehenden Modellmonitoren hinzuzufügen oder zu entfernen.

Neue Features¶

Neue Features der Modell-Registry:

• Das Argument image_repo ist nun als optional in ModelVersion.create_service angegeben. Wenn es nicht angegeben ist, wird ein Standard-Image- Repository verwendet.

Fehlerkorrekturen¶

Fehlerkorrekturen für ML-Jobs:

• Der Fehler TypeError: SnowflakeCursor.execute() got an unexpected keyword argument '_force_qmark_paramstyle' innerhalb der gespeicherten Prozedur wurde behoben.

• Der Fehler Error: Unable to retrieve head IP address wurde behoben, wenn nicht alle Instanzen innerhalb des Timeout-Zeitraums gestartet werden.

Neue Features¶

Neue Features der Modell-Registry:

• Fortschrittsbalken für ModelVersion.create_service und ModelVersion.log_model wurden hinzugefügt.

• Protokolle von ModelVersion.create_service werden nun in eine Datei geschrieben. Der Speicherort der Protokolldatei wird in der Konsole angezeigt.

Fehlerkorrekturen¶

DataConnector-Fehlerkorrekturen:

• Es wurde ein Problem behoben, das Fehler im Zusammenhang mit self._session verursachte.

Fehlerkorrekturen an der Modell-Registry:

• Fehler bei der Übergabe von „None“ an das Array (pd.dtype('O')) in der Modellsignatur und im pandas-Datenhandler wurde behoben.

Fehlerkorrekturen¶

Fehlerkorrekturen an der Modell-Registry:

• Ein Fehler bei der Einstellung des PAD-Token, wenn das HuggingFace-Textgenerierungsmodell mehrere EOS-Token hatte, wurde behoben. Der Handler wählt jetzt das erste EOS-Token als PAD-Token aus.

Neue Features¶

Neue DataConnector-Features:

• DataConnector-Objekte können jetzt hinzugefügt werden.

Neue Datenset-Funktionen:

• Datenset-Objekte können jetzt ausgewählt werden.

Neue Features der Modell-Registry:

• Modelle, die auf Snowpark Container Services gehostet werden, unterstützen jetzt eine breite Eingabe (mehr als 500 Features).

Verhaltensänderungen¶

Das Verhalten der ML-Jobs ändert sich:

• Der scope-Parameter wurde aus der list_jobs-Methode entfernt.

• Die optionalen Parameter database und schema wurden zur Methode list_jobs hinzugefügt.

• Die list_jobs-Methode gibt jetzt einen pandas-DataFrame anstelle eines Snowpark-DataFrame zurück.

• Die Methode list_jobs gibt jetzt die folgenden Spalten zurück: name, status, message, database_name, schema_name, owner, compute_pool, target_instances, created_time und completed_time.

Verhaltensänderungen an der Modell-Registry:

• Legen Sie relax_version auf „False“ fest, wenn pip_requirements im log_model-Aufruf angegeben ist.

• UserWarning wird nur bei angegebenen target_platforms ausgelöst, um falsche Warnungen zu vermeiden

Fehlerkorrekturen¶

Fehlerkorrekturen an der Modell-Registry:

• Fehler behoben, bei dem ein Snowpark-DataFrame in ein pandas-DataFrame konvertiert wurde, wenn der QUOTED_IDENTIFIERS_IGNORE_CASE-Parameter aktiviert ist

• Doppelte UserWarning-Protokolleinträge während der Modell-Paketerstellung wurden korrigiert

Neue Features¶

Neue Features der Modell-Registry:

• Neue APIs zur Darstellung von Zielplattformen (snowflake.ml.model.target_platform.TargetPlatform), Zielplattformkonstanten und Aufgaben (snowflake.ml.model.task.Task).

• Das target_platform-Argument in der log_model-Methode akzeptiert jetzt eine TargetPlatformMode-Konstante, die WAREHOUSE_ONLY, SNOWPARK_CONTAINER_SERVICES_ONLYoder BOTH_WAREHOUSE_AND_SNOWPARK_CONTAINER_SERVICES sein kann.

Neue ML-Job-Features:

• Weniger häufig verwendete Argumente für die Jobübergabe wurden in **kwargs verschoben.

• Plattformmetriken sind standardmäßig aktiviert.

Mit diesem Release sind ML-Job-APIs mit Einzelknoten jetzt stabil und wurden als „Allgemein verfügbar“ eingestuft.

Neue Features¶

Neue Features der Modell-Registry:

• Service-Container-Informationen wurden zu den Protokollen hinzugefügt

Verhaltensänderungen¶

Das Verhalten der ML-Jobs ändert sich:

• Das Argument num_instances wurde in target_instances in Auftragsübermittlungs-APIs umbenannt und ist nun erforderlich.

Fehlerkorrekturen¶

Fehlerkorrekturen an der Modell-Registry:

• Ein Fehler beim Auflisten und Löschen von Container-Diensten wurde behoben.

• Es wurde ein Fehler bei der Protokollierung von scikit-learn-Pipelines behoben, bei dem die Funktion explain nicht erstellt wurde.

• Bei der Protokollierung eines reinen Container-Modells wird nicht mehr geprüft, ob die erforderliche Version von snowflake-ml-python im Snowflake-Conda-Kanal verfügbar ist.

Fehlerbehebungen zur Erklärbarkeit:

• Die Mindestversion von streamlit wurde auf 1.30 gesenkt, um die Kompatibilität zu verbessern.

Fehlerkorrekturen bei der Modellierung:

• xgboost ist jetzt wieder eine erforderliche Abhängigkeit (in v1.8.4 war sie optional).

Neue Features¶

Neue Features von ML-Jobs:

• Der Job Decorator verfügt jetzt über das Argument min_instances, das einen Job warten lässt, bis die angegebene Anzahl von Workern bereit ist, bevor er gestartet wird.

Verhaltensänderungen¶

Das Verhalten der ML-Jobs ändert sich:

• Die Eigenschaft id ist jetzt der vollqualifizierte Name des Jobs. Eine neue Eigenschaft, name, wurde eingeführt, um den ML-Jobnamen darzustellen.

• Die Methode list_jobs gibt jetzt den ML-Jobnamen statt der Job-ID zurück.

Verhaltensänderungen an der Modell-Registry:

• Unter log_model führt die Aktivierung von Erklärbarkeit, wenn das Modell nur für Snowpark Container Services bereitgestellt wird, jetzt zu einem Fehler statt zu einer Warnung und verhindert die Fertigstellung des Protokollvorgangs.

Fehlerkorrekturen¶

Fehlerkorrekturen an der Modell-Registry:

• Es wurde ein Fehler bei der Protokollierung von PyTorch- und TensorFlow-Modellen behoben, der zu UnboundLocalError: local variable 'multiple_inputs' referenced before assignment.

Neue Features¶

Neue Features der Modell-Registry:

• Aktivieren Sie automatisch die Erklärbarkeit für Modelle, die in einem Warehouse eingesetzt werden können.

Neue Erklärbarkeits-Features:

• Neue Visualisierungsfunktionen in snowflake.ml.monitoring Plot-Erklärungen in Notebooks.

• Unterstützung für kategorische Transformationen in Scikit-Learn-Pipelines.

Neue Modeling-Funktionen:

• Unterstützung kategorischer Typen für xgboost.DMatrix-Eingaben in XGBoost-Modellen.

Neue Features¶

Neue Features der Modell-Registry:

• Standardmäßig wird ein CUDA-Container-Image verwendet, falls verfügbar, wenn ein GPU-fähiges Modell für die Bereitstellung auf Container Runtime for ML protokolliert wird.

• Die Modellversionen verfügen über eine run_job-Methode, die Inferenzmethoden als Snowpark Container Services-Job mit einem Knoten ausführt. Diese Methode steht für alle Modelle zur Verfügung, auch für diejenigen, die nicht in der Container Runtime für ML bereitgestellt werden.

• Die Zielplattform ist standardmäßig auf ein Snowflake Warehouse eingestellt, wenn Sie ein partitioniertes Modell protokollieren.

Neue Features¶

Die ML-Jobs--API, mit der Sie Code auf Container Runtime für ML von Ihrer lokalen Workstation aus ausführen können, ist in der Vorschau verfügbar. Dementsprechend ist die Dokumentation für diese API in der Snowflake-ML-API-Referenz verfügbar, und Änderungen der API erscheinen in diesen Versionshinweisen. Neue Features in der ML Jobs-API werden möglicherweise erst nach ihrer öffentlichen Ankündigung hier angezeigt, erscheinen aber in derAPI-Referenz.

Neue Features der Modell-Registry:

• Sie können den Pfad zum Schreiben der Modellversionsdateien, die im Stagingbereich des Modells gespeichert sind, mit der Option save_location in der Methode log_model angeben.

• Bei der Protokollierung von Modellen in Container Runtime für ML werden Modellabhängigkeiten jetzt standardmäßig in pip_requirements aufgenommen.

Fehlerkorrekturen¶

Fehlerkorrekturen an der Modell-Registry:

• Behebung des Fehlers unsupported model type beim Protokollieren eines scikit-learn-Modells mit einer score_samples-Inferenzmethode.

• Behebung eines Fehlers bei der Erstellung eines Inferenzdienstes für einen bestehenden angehaltenen Dienst.

Neue Features¶

Neue Features der Modell-Registry:

• Das Erstellen einer Kopie einer Modellversion mit log_model mit nicht unterstützten Argumenten löst jetzt eine Ausnahme aus.

Verhaltensänderungen¶

Verhaltensänderungen an der Modell-Registry:

• Automatisch abgeleitete Signaturen in transformers.Pipeline wurden geändert, um die Aufgabenklasse FeatureGroupSpec zu verwenden, einschließlich:

  • Unterschrift für „fill-mask“-Aufgaben:

    Before v1.8.0v1.8.0 and later

      ModelSignature(
          inputs=[
              FeatureSpec(name="inputs", dtype=DataType.STRING),
          ],
          outputs=[
              FeatureSpec(name="outputs", dtype=DataType.STRING),
          ],
    )
    

    Copy

  • Signatur für Token-Klassifizierungsaufgaben:

    Before v1.8.0v1.8.0 and later

    ModelSignature(
        inputs=[
            FeatureSpec(name="inputs", dtype=DataType.STRING),
        ],
        outputs=[
            FeatureSpec(name="outputs", dtype=DataType.STRING),
        ],
    )
    

    Copy

  • Unterschrift für Aufgaben zur Beantwortung von Fragen:

    Before v1.8.0v1.8.0 and later

    ModelSignature(
        inputs=[
            FeatureSpec(name="question", dtype=DataType.STRING),
            FeatureSpec(name="context", dtype=DataType.STRING),
        ],
        outputs=[
            FeatureSpec(name="outputs", dtype=DataType.STRING),
        ],
    )
    

    Copy

  • Unterschrift für Aufgaben zur Beantwortung von Fragen, wenn top_k größer als 1 ist:

    Before v1.8.0v1.8.0 and later

    ModelSignature(
        inputs=[
            FeatureSpec(name="question", dtype=DataType.STRING),
            FeatureSpec(name="context", dtype=DataType.STRING),
        ],
        outputs=[
            FeatureSpec(name="outputs", dtype=DataType.STRING),
        ],
    )
    

    Copy

  • Signatur für Textklassifizierungsaufgaben, wenn top_k None ist:

    Before v1.8.0v1.8.0 and later

    ModelSignature(
        inputs=[
            FeatureSpec(name="text", dtype=DataType.STRING),
            FeatureSpec(name="text_pair", dtype=DataType.STRING),
        ],
        outputs=[
            FeatureSpec(name="label", dtype=DataType.STRING),
            FeatureSpec(name="score", dtype=DataType.DOUBLE),
        ],
    )
    

    Copy

  • Signatur für Textklassifizierungsaufgaben, wenn top_k nicht None ist:

    Before v1.8.0v1.8.0 and later

    ModelSignature(
        inputs=[
            FeatureSpec(name="text", dtype=DataType.STRING),
            FeatureSpec(name="text_pair", dtype=DataType.STRING),
        ],
        outputs=[
            FeatureSpec(name="outputs", dtype=DataType.STRING),
        ],
    )
    

    Copy

  • Signatur für Aufgaben zur Texterstellung:

    Before v1.8.0v1.8.0 and later

    ModelSignature(
        inputs=[FeatureSpec(name="inputs", dtype=DataType.STRING)],
        outputs=[
            FeatureSpec(name="outputs", dtype=DataType.STRING),
        ],
    )
    

    Copy

• PyTorch- und TensorFlow-Modelle erwarten nun standardmäßig eine einzelne Tensor-Eingabe und -Ausgabe, wenn sie in der Modellregistrierung angemeldet werden. Um mehrere Tensoren zu verwenden (bisheriges Verhalten), setzen Sie options={"multiple_inputs": True}.

  Beispiel mit einem einzigen Tensor-Eingang:

  import torch
  
  class TorchModel(torch.nn.Module):
      def __init__(self, n_input: int, n_hidden: int, n_out: int, dtype: torch.dtype = torch.float32) -> None:
          super().__init__()
          self.model = torch.nn.Sequential(
              torch.nn.Linear(n_input, n_hidden, dtype=dtype),
              torch.nn.ReLU(),
              torch.nn.Linear(n_hidden, n_out, dtype=dtype),
              torch.nn.Sigmoid(),
          )
  
      def forward(self, tensor: torch.Tensor) -> torch.Tensor:
          return cast(torch.Tensor, self.model(tensor))
  
  # Sample usage:
  data_x = torch.rand(size=(batch_size, n_input))
  
  # Log model with single tensor
  reg.log_model(
      model=model,
      ...,
      sample_input_data=data_x
  )
  
  # Run inference with single tensor
  mv.run(data_x)
  

  Copy

  Für mehrere Tensor-Eingänge oder -Ausgänge verwenden Sie:

  reg.log_model(
      model=model,
      ...,
      sample_input_data=[data_x_1, data_x_2],
      options={"multiple_inputs": True}
  )
  

  Copy

• enable_explainability ist jetzt standardmäßig auf False eingestellt, wenn das Modell in Snowpark Container Services bereitgestellt werden kann.

Fehlerkorrekturen¶

Fehlerkorrekturen bei der Modellierung:

• Behebung eines Fehlers in einigen Metriken, durch den eine nicht unterstützte Version von numpy automatisch in der gespeicherten Prozedur installiert werden konnte, was bei der Ausführung zu einem numpy-Fehler führte.

Fehlerkorrekturen an der Modell-Registry:

• Behebung eines Fehlers, der zu einer falschen Model does not have _is_inference_api-Fehlermeldung führt, wenn ein unterstütztes Modell als Eigenschaft eines CustomModel zugewiesen wird.

• Behebung eines Fehlers, bei dem die Inferenz nicht funktioniert, wenn Modelle mit mehr als 500 Eingabe-Features auf SPCS bereitgestellt werden.

Neue Features¶

Neue Features der Modell-Registry:

• Unterstützung für die Verwendung eines einzelnen torch.Tensor, tensorflow.Tensor und tensorflow.Variable als Eingabe- oder Ausgabedaten.

• Unterstützung für xgboost.DMatrix datatype für XGBoost-Modelle.

Fehlerkorrekturen¶

Fehlerkorrekturen an der Modell-Registry:

• Es wurde ein Kompatibilitätsproblem behoben, bei dem bei Verwendung von snowflake-ml-python 1.7.0 oder höher zum Speichern eines tensorflow.keras-Modells mit keras 2.x das Modell nicht in Snowflake ausgeführt werden konnte. Dieses Problem trat auf, wenn relax_version auf True (oder Standard) eingestellt ist und eine neue Version von snowflake-ml-python verfügbar ist. Wenn Sie ein betroffenes Modell protokolliert haben, können Sie es wiederherstellen, indem Sie es mit ModelVerison.load laden und es mit der neuesten Version von snowflake-ml-python erneut protokollieren.

• Die Validierung, die verhindert, dass Daten, die keine Nicht-Null-Werte haben, an ModelVersion.run übergeben werden, wurde entfernt.

Neue Features¶

Neue Features der Modell-Registry:

• Unterstützung für Hugging Face-Modellkonfigurationen mit automatischer Zuordnung.

• Unterstützung für keras 3.x-Modelle mit Tensorflow- und Pytorch-Backends.

Neue Features zur Erklärbarkeit von Modellen:

• Unterstützung für native und snowflake-ml-python-sklearn-Pipelines.

Fehlerkorrekturen¶

Fehlerkorrekturen in der Registry:

• Es wurde ein Problem behoben, bei dem die Pipelines von Hugging Face mit einem falschen Datentyp geladen wurden.

• Es wurde ein Problem behoben, bei dem beim Ableiten einer Modellsignatur tatsächlich nur eine Zeile verwendet wurde.

Neue Features¶

Neue Cortex-Features:

• Neue Option guardrails in der Funktion Complete.

Abhängigkeits-Upgrades¶

• fsspec und s3fs müssen 2024.6.1 oder höher und geringer als 2026 sein.

• mlflow muss 2.16.0 oder höher und geringer als 3 sein.

Neue Features¶

Neue Cortex-Features:

• Cortex-Funktionen haben jetzt „snake_case“-Namen. Zum Beispiel ist ClassifyText jetzt classify_text. Die alten „CamelCase“-Namen funktionieren noch, werden aber in einem zukünftigen Release entfernt.

Neue Features der Modell-Registry:

• Registry unterstützt jetzt mehr als 500.000 Features.

• Das Argument user_files wurde zu Registry.log_model hinzugefügt, um Bilder oder andere Dateien mit dem Modell zu verbinden.

• Unterstützung für die Handhabung von Konfigurationen des Modells Hugging Face mit automatischer Zuordnung wurde hinzugefügt.

Neue Features für Daten:

• Der DataConnector.from_sql-Konstruktor wurde hinzugefügt.

Fehlerkorrekturen¶

Fehlerkorrekturen in der Registry:

• Es wurde ein Fehler behoben, der auftrat, wenn ein Nicht-Bereichsindex pandas DataFrame als Eingabe an ModelVersion.run übergeben wurde.

• Die Generierung zufälliger Modellregistrierungsnamen wurde verbessert, um Kollisionen zu vermeiden.

• Es wurde ein Problem behoben, das beim Ableiten einer Signatur oder beim Ausführen einer Inferenz mit Snowpark DataFrame auftrat, wenn eine Spalte vom Typ ARRAY ist und einen Wert NULL enthält.

• ModelVersion.run akzeptiert jetzt einen vollqualifizierten Dienstnamen.

• Ein Fehler in log_model für alle scikit-learn-Modelle, die nur Daten vorverarbeiten, einschließlich der Pipeline-Modelle, die nur Daten vorverarbeiten, wurde behoben.

Fehlerbehebungen bei der Überwachung:

• Ein Problem bei der Erstellung von Monitoren mit vollqualifizierten Namen wurde behoben.