Snowpark Migration Accelerator: Anleitung zur Einrichtung¶

SMA-Anwendung¶

Der Snowpark Migration Accelerator (SMA) hilft Entwicklern bei der Konvertierung ihrer PySpark und Spark Scala-Anwendungen für die Ausführung auf Snowflake. Es erkennt automatisch die Aufrufe von Spark API in Ihrem Python- oder Scala-Code und wandelt sie in entsprechende Snowpark API-Aufrufe um. Dieser Leitfaden demonstriert die grundlegenden Funktionen von SMA, indem er Beispielcode von Spark analysiert und zeigt, wie er bei Migrationsprojekten hilft.

In der ersten Bewertungsphase untersucht Snowpark Migration Accelerator (SMA) Ihren Quellcode und erstellt ein detailliertes Modell, das alle Funktionen in Ihrem Code erfasst. Auf der Grundlage dieser Analyse erstellt SMA mehrere Berichte, einschließlich eines detaillierten Bewertungsberichts, den wir in dieser Anleitung besprechen werden. Diese Berichte helfen Ihnen zu verstehen, wie bereit Ihr Code für die Migration zu Snowpark ist und wie viel Aufwand für den Übergang erforderlich ist. Wir werden uns diese Ergebnisse im weiteren Verlauf dieser praktischen Übungen genauer ansehen.

Beispielcodebasis¶

Dieser Leitfaden verwendet Python-Codebeispiele, um den Migrationsprozess zu demonstrieren. Wir haben zwei öffentlich verfügbare Beispielcodebasen aus Git-Repositorys von Drittanbietern als unverzerrte, praxisnahe Beispiele ausgewählt. Sie können auf diese Codebasen zugreifen unter:

• PySpark Beispiele für Data Engineering: https://github.com/spark-examples/pyspark-examples

• Beispiele für maschinelles Lernen mit Apache Spark: https://github.com/apache/spark/tree/master/examples/src/main/python

Um Codebasen mit dem Snowpark Migration Accelerator (SMA) zu analysieren, gehen Sie wie folgt vor:

1. Laden Sie die Codebasen als Zip-Dateien von GitHub herunter. Eine Anleitung dazu finden Sie in der GitHub-Dokumentation.

2. Legen Sie für jede Codebasis einen eigenen Ordner auf Ihrem Computer an.

3. Entpacken Sie jede Zip-Datei in den entsprechenden Ordner, wie in der Abbildung unten gezeigt:

.png> „Bild“)

Diese Beispielcodebasen zeigen, wie SMA die Spark API-Referenzen auswertet, um die Spark API-Bereitschaftsbewertung zu berechnen. Schauen wir uns zwei Szenarien an:

1. Eine Codebasis, die eine hohe Bewertung erhalten hat, was bedeutet, dass sie in hohem Maße mit Snowpark kompatibel und bereit für die Migration ist

2. Eine Codebasis, die eine niedrige Bewertung erhalten hat, was bedeutet, dass sie vor der Migration zusätzlich überprüft und möglicherweise geändert werden muss

Die Bereitschaftsbewertung bietet zwar wertvolle Einblicke, sollte aber nicht der einzige Faktor sein, der bei der Planung einer Migration berücksichtigt wird. Eine umfassende Beurteilung aller Aspekte ist sowohl hinsiichtlich einer hohen als auch niedrigen Bewertung erforderlich, um eine erfolgreiche Migration zu gewährleisten.

Nach dem Entpacken der Verzeichnisse analysiert SMA nur Dateien, die unterstützte Codeformate und Notebook-Formate verwenden. Diese Dateien werden auf Verweise auf Spark API und andere Drittanbieter-APIs überprüft. Um zu sehen, welche Dateitypen unterstützt werden, lesen Sie bitte die Liste hier.

Im weiteren Verlauf dieser Anleitung werden wir analysieren, wie diese beiden Codebasen ausgeführt werden.