Snowpark Migration Accelerator : Guide d’installation¶

Application SMA¶

L’outil Snowpark Migration Accelerator (SMA) aide les développeurs à convertir leurs applications PySpark et Spark Scala pour qu’elles fonctionnent sur Snowflake. Il détecte automatiquement les appels Spark API dans votre code Python ou Scala et les transforme en appels Snowpark API équivalents. Ce guide illustrera les fonctionnalités de base de SMA en analysant un exemple de code Spark et en montrant comment il aide les projets de migration.

Au cours de la phase d’évaluation initiale, Snowpark Migration Accelerator (SMA) examine votre code source et construit un modèle détaillé qui capture toutes les fonctionnalités de votre code. Sur la base de cette analyse, SMA crée plusieurs rapports, y compris un rapport d’évaluation détaillé que nous examinerons dans ce guide. Ces rapports vous aident à comprendre dans quelle mesure votre code est prêt pour la migration vers Snowpark et à estimer l’effort nécessaire pour la transition. Nous examinerons ces résultats plus en détail au fur et à mesure que nous avancerons.

Exemple de base de code¶

Ce guide utilise des exemples de code Python pour illustrer le processus de migration. Nous avons sélectionné deux exemples de bases de code disponibles publiquement à partir de référentiels Git tiers en tant qu’exemples impartiaux et réels. Vous pouvez accéder à ces bases de code ici :

• PySpark Data Engineering Examples: https://github.com/spark-examples/pyspark-examples

• Apache Spark Machine Learning Examples: https://github.com/apache/spark/tree/master/examples/src/main/python

Pour analyser les bases de code à l’aide de Snowpark Migration Accelerator (SMA), suivez les étapes suivantes :

1. Download the codebases as zip files from GitHub. You can find instructions on how to do this in the GitHub documentation.

2. Créez des dossiers distincts sur votre ordinateur pour chaque base de code.

3. Extrayez chaque fichier zip dans le dossier qui lui est réservé, comme indiqué dans l’image ci-dessous :

These sample codebases demonstrate how SMA evaluates Spark API references to calculate the Spark API Readiness Score. Let’s look at two scenarios:

1. Une base de code qui a reçu un score élevé, indiquant qu’elle est hautement compatible avec Snowpark et prête pour la migration

2. Une base de code qui a reçu un score faible, indiquant qu’elle nécessite un examen supplémentaire et des modifications potentielles avant la migration

Bien que le score de préparation fournisse des informations précieuses, il ne doit pas être le seul facteur pris en compte lors de la planification d’une migration. Une évaluation complète de tous les aspects est nécessaire, tant pour les évaluations ayant obtenu un score élevé que pour celles ayant obtenu un score faible, afin de garantir une migration réussie.

After unzipping the directories, SMA will analyze only files that use supported code formats and notebook formats. These files are checked for references to Spark API and other Third Party APIs. To see which file types are supported, please check the list here.

Dans la suite de ce guide, nous analyserons l’exécution de ces deux bases de code.