Snowpark Migration Accelerator : Guide d’installation¶

Application SMA¶

L’outil Snowpark Migration Accelerator (SMA) aide les développeurs à convertir leurs applications PySpark et Spark Scala pour qu’elles fonctionnent sur Snowflake. Il détecte automatiquement les appels Spark API dans votre code Python ou Scala et les transforme en appels Snowpark API équivalents. Ce guide illustrera les fonctionnalités de base de SMA en analysant un exemple de code Spark et en montrant comment il aide les projets de migration.

Au cours de la phase d’évaluation initiale, Snowpark Migration Accelerator (SMA) examine votre code source et construit un modèle détaillé qui capture toutes les fonctionnalités de votre code. Sur la base de cette analyse, SMA crée plusieurs rapports, y compris un rapport d’évaluation détaillé que nous examinerons dans ce guide. Ces rapports vous aident à comprendre dans quelle mesure votre code est prêt pour la migration vers Snowpark et à estimer l’effort nécessaire pour la transition. Nous examinerons ces résultats plus en détail au fur et à mesure que nous avancerons.

Exemple de base de code¶

Ce guide utilise des exemples de code Python pour illustrer le processus de migration. Nous avons sélectionné deux exemples de bases de code disponibles publiquement à partir de référentiels Git tiers en tant qu’exemples impartiaux et réels. Vous pouvez accéder à ces bases de code ici :

• PySpark Exemples d’ingénierie des données : https://github.com/spark-examples/pyspark-examples

• Exemples de machine learning Apache Spark : https://github.com/apache/spark/tree/master/examples/src/main/python

Pour analyser les bases de code à l’aide de Snowpark Migration Accelerator (SMA), suivez les étapes suivantes :

1. Téléchargez les bases de code sous forme de fichiers zip à partir de GitHub. Vous trouverez des instructions à ce sujet dans la documentation de GitHub.

2. Créez des dossiers distincts sur votre ordinateur pour chaque base de code.

3. Extrayez chaque fichier zip dans le dossier qui lui est réservé, comme indiqué dans l’image ci-dessous :

Ces exemples de base de code illustrent comment SMA évalue les références Spark API pour calculer le score de préparation Spark API. Examinons deux scénarios :

1. Une base de code qui a reçu un score élevé, indiquant qu’elle est hautement compatible avec Snowpark et prête pour la migration

2. Une base de code qui a reçu un score faible, indiquant qu’elle nécessite un examen supplémentaire et des modifications potentielles avant la migration

Bien que le score de préparation fournisse des informations précieuses, il ne doit pas être le seul facteur pris en compte lors de la planification d’une migration. Une évaluation complète de tous les aspects est nécessaire, tant pour les évaluations ayant obtenu un score élevé que pour celles ayant obtenu un score faible, afin de garantir une migration réussie.

Après avoir décompressé les répertoires, SMA n’analysera que les fichiers qui utilisent les formats de code et de notebooks pris en charge. Ces fichiers sont vérifiés pour les références à Spark API et à d’autres APIs tierces. Pour savoir quels types de fichiers sont pris en charge, veuillez consulter la liste ici.

Dans la suite de ce guide, nous analyserons l’exécution de ces deux bases de code.