Snowpark Migration Accelerator: Anleitung zur Einrichtung¶

SMA-Anwendung¶

Der Snowpark Migration Accelerator (SMA) hilft Entwicklern bei der Konvertierung ihrer PySpark und Spark Scala-Anwendungen für die Ausführung auf Snowflake. Es erkennt automatisch die Aufrufe von Spark API in Ihrem Python- oder Scala-Code und wandelt sie in entsprechende Snowpark API-Aufrufe um. Dieser Leitfaden demonstriert die grundlegenden Funktionen von SMA, indem er Beispielcode von Spark analysiert und zeigt, wie er bei Migrationsprojekten hilft.

In der ersten Bewertungsphase untersucht Snowpark Migration Accelerator (SMA) Ihren Quellcode und erstellt ein detailliertes Modell, das alle Funktionen in Ihrem Code erfasst. Auf der Grundlage dieser Analyse erstellt SMA mehrere Berichte, einschließlich eines detaillierten Bewertungsberichts, den wir in dieser Anleitung besprechen werden. Diese Berichte helfen Ihnen zu verstehen, wie bereit Ihr Code für die Migration zu Snowpark ist und wie viel Aufwand für den Übergang erforderlich ist. Wir werden uns diese Ergebnisse im weiteren Verlauf dieser praktischen Übungen genauer ansehen.

Beispielcodebasis¶

Dieser Leitfaden verwendet Python-Codebeispiele, um den Migrationsprozess zu demonstrieren. Wir haben zwei öffentlich verfügbare Beispielcodebasen aus Git-Repositorys von Drittanbietern als unverzerrte, praxisnahe Beispiele ausgewählt. Sie können auf diese Codebasen zugreifen unter:

• PySpark Data Engineering Examples: https://github.com/spark-examples/pyspark-examples

• Apache Spark Machine Learning Examples: https://github.com/apache/spark/tree/master/examples/src/main/python

Um Codebasen mit dem Snowpark Migration Accelerator (SMA) zu analysieren, gehen Sie wie folgt vor:

1. Download the codebases as zip files from GitHub. You can find instructions on how to do this in the GitHub documentation.

2. Legen Sie für jede Codebasis einen eigenen Ordner auf Ihrem Computer an.

3. Entpacken Sie jede Zip-Datei in den entsprechenden Ordner, wie in der Abbildung unten gezeigt:

These sample codebases demonstrate how SMA evaluates Spark API references to calculate the Spark API Readiness Score. Let’s look at two scenarios:

1. Eine Codebasis, die eine hohe Bewertung erhalten hat, was bedeutet, dass sie in hohem Maße mit Snowpark kompatibel und bereit für die Migration ist

2. Eine Codebasis, die eine niedrige Bewertung erhalten hat, was bedeutet, dass sie vor der Migration zusätzlich überprüft und möglicherweise geändert werden muss

Die Bereitschaftsbewertung bietet zwar wertvolle Einblicke, sollte aber nicht der einzige Faktor sein, der bei der Planung einer Migration berücksichtigt wird. Eine umfassende Beurteilung aller Aspekte ist sowohl hinsiichtlich einer hohen als auch niedrigen Bewertung erforderlich, um eine erfolgreiche Migration zu gewährleisten.

After unzipping the directories, SMA will analyze only files that use supported code formats and notebook formats. These files are checked for references to Spark API and other Third Party APIs. To see which file types are supported, please check the list here.

Im weiteren Verlauf dieser Anleitung werden wir analysieren, wie diese beiden Codebasen ausgeführt werden.