Snowflake ML: Umfassendes maschinelles Lernen¶
Snowflake ML ist ein integrierter Satz von Funktionen für durchgängiges maschinelles Lernen auf einer einzigen Plattform auf Basis Ihrer verwalteten Daten.
Für sofort einsatzbereite ML Workflows in SQL können die gebrauchsfertigen ML Funktionen dazu beitragen, die Entwicklungszeit zu verkürzen und ML in Ihrer Organisation zu demokratisieren. Mit diesen Funktionen können Sie Modelle für geschäftliche Anwendungsfälle wie Prognosen und die Erkennung von Anomalien trainieren, ohne Code schreiben zu müssen.
Für kundenspezifisches ML-Workflows in Python können Data Scientists und ML-Experten einfach und sicher skalierbare Features und Modelle entwickeln und produktiv setzen, ohne dass Datenbewegungen, Silos oder Kompromisse bei der Governance erforderlich sind. Die Bibliothek snowflake-ml-python bietet APIs für die Entwicklung und den Einsatz Ihrer Snowflake-ML-Pipelines.
Um Modelle zu erstellen und zu operationalisieren, können Data Scientists und ML-Experten eine Reihe von Snowflake-ML-Features nutzen. Für die Modellentwicklung bietet Snowflake ML-Modeling-APIs skalierbares Laden von Daten, Feature-Engineering und Modelltraining mit verteilter Verarbeitung unter Verwendung von CPUs oder GPUs. Für ML Operations (ML Ops) enthält Snowflake ML den Feature Store und Model Registry zur zentralen Verwaltung von Features und Modellen in der Produktion.
Sie können Python APIs aus der Snowpark ML Bibliothek in Snowflake Notebooks, Snowsight-Arbeitsblätter. oder Ihr lokales Python IDE verwenden.
Die Komponenten von Snowflake ML helfen dabei, den ML-Lebenszyklus zu optimieren, wie hier gezeigt.
Snowflake Model Registry¶
Die Snowflake Model Registry ermöglicht die sichere Bereitstellung und die Verwaltung von Modellen in Snowflake und unterstützt Modelle, die sowohl innerhalb als auch außerhalb von Snowflake trainiert wurden.
Snowflake Feature Store¶
Der Snowflake Feature Store ist eine integrierte Lösung zum Definieren, Verwalten, Speichern und Auffinden von ML-Features, die aus Ihren Daten abgeleitet wurden. Der Snowflake Feature Store unterstützt das automatische, inkrementelle Aktualisieren aus Batch- und Streaming-Datenquellen, sodass Feature-Pipelines nur einmal definiert werden müssen, um kontinuierlich mit neuen Daten aktualisiert zu werden.
Snowflake Datasets¶
Snowflake Datasets bietet einen unveränderlichen, versionierten Schnappschuss Ihrer Daten, der sich für die Aufnahme durch Ihre Modelle des maschinellen Lernens eignet.
Snowflake Notebooks¶
Snowflake Notebooks bietet eine vertraute Erfahrung, ähnlich wie Jupyter Notebooks, für die Arbeit mit Python in Snowflake. Sie sind ideal für die Erstellung benutzerdefinierter ML-Workflows und Modelle mit Tools, mit denen Sie bereits vertraut sind. Notebooks, die auf Snowpark Container Services (SPCS) laufen, werden auf der Container Runtime for ML ausgeführt, einer speziell für maschinelles Lernen konzipierten Umgebung.
Container Runtime für ML¶
Vorschau-Feature – Offen
Verfügbar bei allen Konten.
Snowflake bietet eine vorkonfigurierte, anpassbare Umgebung, die für eine Vielzahl von ML-Entwicklungsumgebungen entwickelt wurde. Mit einem umfassenden Satz vorinstallierter ML-Pakete und Frameworks, die leicht erweitert werden können, können Data Scientists und ML-Experten das Beste aus Open Source direkt über ihre Snowflake-Daten nutzen.
WIth durch den einfachen Zugang zu GPUs in Form von Snowpark Container Service (SPCS) Computepools, die Flexibilität, jedes beliebige Open-Source-Paket zu verwenden, und das verteilte Laden von Daten und die Modeling-APIs eignet sich Container Runtime for ML hervorragend für die Entwicklung von ML in großem Maßstab. Da diese Notebooks auf Snowpark Container Services laufen, bieten sie eine flexible und skalierbare Compute-Infrastruktur mit optimiertem Preis-Leistungs-Verhältnis.
Weitere Informationen dazu finden Sie unter Notebooks auf Container Runtime für ML und Container Runtime für ML.
Snowflake-ML-Bibliothek¶
Das snowflake-ml-python Python-Paket bietet Python-APIs für die verschiedenen Snowflake-ML-Workflow-Komponenten, einschließlich des Snowflake Feature Store, der Snowflake Model Registry und der versionierten Datenobjekte von Dataset. Außerdem enthält es APIs, das auf gängige Python-ML-Bibliotheken wie scikit-learn basiert, um eigene Modelle in großem Maßstab vollständig in der Snowflake Cloud zu erstellen und zu trainieren. Sie können die Features von Snowflake-ML in Ihrer lokalen Python-Entwicklungsumgebung, in Snowsight Arbeitsblättern oder in Snowflake-Notebooks verwenden.
Tipp
Unter Einführung in das maschinelle Lernen finden Sie ein Beispiel für einen durchgängigen Snowflake-ML-Workflow.
ML-Modeling¶
Das snowflake-ml-python Python-Paket enthält auch die ML Modeling-APIs, die die Datenvorverarbeitung, das Feature-Engineering und das Training von Modellen in Snowflake unter Verwendung beliebter Frameworks für maschinelles Lernen, wie scikit-learn, xgboost, lightgbm und pytorch, unterstützt. Die gesamte Verarbeitung erfolgt, ohne dass eine Konfiguration der Infrastruktur oder Datenbewegungen erforderlich sind.
Wenn sie von einem Notebook auf Container Runtime for ML ausgeführt werden, können diese Modeling-APIs über alle verfügbaren CPU-Kerne oder GPUs verteilt ausgeführt werden, je nachdem, welchen Computepool Sie verwenden. In anderen Fällen wird der Prozess in einem virtuellen Warehouse von Snowflake durchgeführt, in dem die Vorverarbeitung und die Optimierung der Hyperparameter verteilt über mehrere Knoten erfolgen kann.
Bemerkung
Container Runtime für ML befindet sich derzeit in einer privaten Vorschau.
Zusätzliche Ressourcen¶
In den folgenden Ressourcen finden Sie Informationen über die Snowflake-ML-APIs.
Umfassende ML-Workflows
Wenden Sie sich an Ihren Snowflake-Vertreter, um frühzeitigen Zugang zu den Dokumentationen der weiteren Features zu erhalten, die sich derzeit in der Entwicklung befinden.