Snowflake ML: Umfassendes maschinelles Lernen¶
Snowflake ML ist ein integrierter Satz von Funktionen für durchgängiges maschinelles Lernen auf einer einzigen Plattform auf Basis Ihrer verwalteten Daten. Es handelt sich dabei um eine einheitliche Umgebung für die Entwicklung und Produktion von ML, die für großangelegtes verteiltes Feature-Engineering, Modelltraining und Inferenz auf CPU und GPU compute ohne manuelle Abstimmung oder Konfiguration optimiert ist.
Die Skalierung von ML-End-to-End-Workflows in Snowflake ist nahtlos. Sie können Folgendes tun:
Daten vorbereiten
Erstellen und verwenden Sie Features mit dem Snowflake Feature Store
Train models with CPUs or GPUs using any open-source package from Snowflake Notebooks on Container Runtime
Create experiments to evaluate your trained models against set metrics
Operationalize your pipelines using Snowflake ML Jobs
Stellen Sie Ihr Modell mit der Snowflake Model Registry für Inferenzen im großen Maßstab bereit
Monitor your production models with ML Observability and Explainability
Use ML Lineage to track the source data to features, datasets, and models throughout your ML pipeline
Snowflake ML ist außerdem flexibel und modular. Sie können die Modelle, die Sie in Snowflake entwickelt haben, außerhalb von Snowflake einsetzen, und extern trainierte Modelle können problemlos zur Inferenz in Snowflake verwendet werden.
Funktionen für Datenwissenschaftler und ML-Ingenieure¶
Snowflake Notebooks auf Container Runtime¶
Snowflake Notebooks auf Container Runtime bieten eine Jupyter-ähnliche Umgebung für das Training und die Feinabstimmung umfangreicher Modelle in Snowflake, ohne Infrastrukturmanagement. Beginnen Sie das Training mit vorinstallierten Paketen wie PyTorch, XGBoost oder Scikit-learn, oder installieren Sie ein beliebiges Paket aus Open-Source-Repositories wie HuggingFace oder PyPI. Container Runtime ist für den Betrieb auf der Infrastruktur von Snowflake optimiert und bietet Ihnen hocheffizientes Laden von Daten, verteiltes Modelltraining und Hyperparameter-Tuning.
Snowflake Feature Store¶
Snowflake Feature Store ist eine integrierte Lösung zum Definieren, Verwalten, Speichern und Auffinden von ML Features, die aus Ihren Daten abgeleitet wurden. Der Snowflake Feature Store unterstützt das automatische, inkrementelle Aktualisieren aus Batch- und Streaming-Datenquellen, sodass Feature-Pipelines nur einmal definiert werden müssen, um kontinuierlich mit neuen Daten aktualisiert zu werden.
ML Jobs¶
Verwenden Sie Snowflake ML Jobs zur Entwicklung und Automatisierung von ML-Pipelines. ML-Jobs ermöglichen es auch Teams, die lieber von einer externen IDE (VS-Code, PyCharm, SageMaker-Notebooks) aus arbeiten, Funktionen, Dateien oder Module an die Container Runtime von Snowflake zu verteilen.
Experiments¶
Use experiments to record the results of your model training, and evaluate a collection of models in an organized way. Experiments help you select the best model for your use case to bring live to production. Training can either be logged in an experiment during model training on Snowflake, or you can upload your own metadata and artifacts from prior training. After concluding your training, view all of the results in Snowsight and pick the right model for your needs.
Snowflake Model Registry und Model Serving¶
Die Snowflake Model Registry ermöglicht die Protokollierung und Verwaltung aller Ihrer ML-Modelle, unabhängig davon, ob sie auf Snowflake oder anderen Plattformen trainiert wurden. Sie können die Modelle aus der Modellregistrierung verwenden, um Inferenzen im großen Maßstab durchzuführen. Sie können Model Serving verwenden, um die Modelle zur Inferenz an Snowpark Container Service zu übermitteln.
ML-Beobachtbarkeit¶
ML-Beobachtbarkeit bietet Tools zur Überwachung von Modellleistungsmetriken in Snowflake. Sie können Modelle in der Produktion verfolgen, Performance- und Drift-Metriken überwachen und Warnmeldungen für Performance-Schwellenwerte einstellen. Verwenden Sie außerdem die Funktion ML-Erklärbarkeit, um Shapley-Werte für Modelle in der Snowflake Model Registry zu berechnen, unabhängig davon, wo sie trainiert wurden.
ML-Abfolge¶
ML Lineage ist eine Funktion zum Nachverfolgen der durchgängigen Herkunft von ML-Artefakten von Quelldaten zu Features, Datensätzen und Modellen. Dies ermöglicht Reproduzierbarkeit, Konformität und Fehlersuche über den gesamten Lebenszyklus von ML-Assets.
Snowflake Datasets¶
Snowflake Datasets bietet einen unveränderlichen, versionierten Schnappschuss Ihrer Daten, der sich für die Aufnahme durch Ihre Modelle des maschinellen Lernens eignet.
Funktionen für Business-Analysten¶
Für Business-Analysten verkürzen Sie mit ML-Funktionen die Entwicklungszeit für gängige Szenarien wie Prognosen und die Erkennung von Anomalien in Ihrem Unternehmen mit SQL.
Zusätzliche Ressourcen¶
Sehen Sie sich die folgenden Ressourcen an, um mit Snowflake ML zu beginnen:
Wenden Sie sich an Ihren Snowflake-Vertreter, um frühzeitigen Zugang zu den Dokumentationen der weiteren Features zu erhalten, die sich derzeit in der Entwicklung befinden.