Snowflake Feature Store¶

Mit dem Snowflake Feature Store können Data Scientists und ML-Ingenieure ML-Features in Data Science und ML-Workloads erstellen, pflegen und verwenden, und zwar innerhalb von Snowflake.

Im Allgemeinen sind Features Datenelemente, die als Eingaben für ein Modell des maschinellen Lernens verwendet werden. Viele Spalten in einem Datensatz, wie z. B. die Temperatur oder die Anwesenheit, können direkt als Features verwendet werden. In anderen Fällen kann eine Spalte durch Vorverarbeitung und Transformation für das Training nützlicher gemacht werden. So können Sie beispielsweise ein Feature für den Wochentag aus einem Zeitstempel ableiten, damit das Modell wöchentliche Muster erkennt. Andere übliche Feature-Transformationen umfassen die Aggregation, Differenzierung oder Zeitverschiebung von Daten. Beim Feature-Engineering wird entschieden, welche Features für Ihre Modelle benötigt werden und wie diese aus den Rohdaten abgeleitet werden sollen.

Mit einem Feature-Speicher können Sie häufig verwendete Feature-Transformationen in einem zentralen Repository standardisieren, was die Wiederverwendung ermöglicht, die Duplizierung von Daten und Aufwand reduziert und die Produktivität verbessert. Dies hilft auch bei der Pflege von Features, indem es sie mit neuen Quelldaten aktualisiert und so stets korrekte, konsistente und aktuelle Features in einer einzigen Quelle der Wahrheit bereitstellt. Indem der Feature-Speicher die Konsistenz bei der Extraktion von Features aus Rohdaten kultiviert, kann er auch dazu beitragen, dass Ihre ML-Produktionspipelines robuster werden.

Der Snowflake Feature Store wurde entwickelt, um das Erstellen, Speichern und Verwalten von Features für Data Science und maschinelles Lernen einfacher und effizienter zu gestalten. Der Snowflake Feature Store wird nativ in Snowflake gehostet und bietet die folgenden Vorteile:

• Ihre Daten bleiben sicher, vollständig unter Ihrer Kontrolle und Verwaltung und verlassen Snowflake nie.

• Mit der Snowsight Feature Store-UI können Sie ganz einfach nach Features suchen und diese entdecken.

• Das Verwalten des Zugriffs erfolgt über eine fein abgestufte rollenbasierte Zugriffssteuerung.

Zu den wichtigsten Vorteilen des Snowflake Feature Store gehört die Unterstützung für:

• Sowohl Batch- als auch Streaming-Daten, mit effizienten automatischen Aktualisierungen beim Eintreffen neuer Daten

• Backfill- und Point-in-Time-Korrektur-Features mit ASOF JOIN

• In Python verfasste Feature-Transformationen oder SQL

• Automatische Aktualisierung und Auffrischung von Feature-Werten aus Quelldaten mit von Snowflake verwalteten Feature-Ansichten

• Möglichkeit, vom Benutzer verwaltete Feature-Pipelines mit externen Tools wie dbt zu verwenden

Der Snowflake Feature Store ist vollständig mit der Snowflake Model Registry und anderen Snowflake-ML-Features für eine durchgängige Produktion-ML integriert.

Die folgende Abbildung zeigt, wie der Snowflake Feature Store in eine Pipeline des maschinellen Lernens passt:

• Rohdaten können im Batch aus Tabellen oder Ansichten oder aus Streaming-Datenquellen bezogen werden.

• Die Rohdaten werden dann durch von Dateningenieuren definierte Features umgewandelt, wodurch eine Feature-Tabelle erstellt wird.

• Die Feature-Tabelle kann verwendet werden, um Trainingsdatensätze zu generieren, die für das Training von Modellen in Snowpark-ML verwendet werden, oder um Testdaten anzureichern, die das Modell für seine Vorhersagen verwendet.