Snowpark Migration Accelerator : Types de fichiers pris en charge

The Snowpark Migration Accelerator (SMA) scans files in your selected source directory during project creation. While some files are excluded based on their type, SMA generates a summary report showing the count of files by extension.

The SMA tool searches for specific file extensions when analyzing references to the Spark API, SQL Statements, and other elements that contribute to the Readiness Scores. The tool can analyze both code files and notebooks located in any directory or subdirectory of your project.

Fichiers de code

L’outil Snowpark Migration Accelerator analyse les types de fichiers suivants pour identifier les références aux API Spark et à d’autres APIs tierces :

  • Fichiers avec l’extension .scala

  • Fichiers avec l’extension .py

  • Fichiers avec l’extension .python

Les instructions SQL écrites dans Spark SQL ou HiveQL peuvent être détectées dans les types de fichiers suivants :

  • Fichiers SQL portant l’extension .sql

  • Fichiers de langage de requête Hive portant l’extension .hql

Carnets

Les analyseurs Spark Scala et PySpark de l’outil Snowpark Migration Accelerator (SMA) analysent et traitent automatiquement les fichiers Jupyter Notebook et les fichiers Databricks exportés lorsqu’ils sont présents dans le répertoire du code source.

  • Jupyter Notebook files (*.ipynb)

  • Databricks Notebook files (*.dbc)

L’outil SMA analysera les fichiers notebook afin d’identifier les éléments suivants :

  • Références aux API Spark

  • Références à des APIs tierces

  • Instructions SQL

The analysis is performed based on the cell type within each notebook. Notebooks can contain a mix of SQL, Python, and Scala cells. The SMA will create an inventory of all cell types in its output report.

Fichiers et dossiers exclus

Par défaut, certains fichiers et dossiers sont exclus de l’analyse. Ces exclusions concernent principalement les fichiers de configuration du projet et leurs répertoires associés.

Type de dossier exclu de l’analyse :

  • Programme d’installation de pack Python (pip) - Outil pour l’installation de paquets Python

  • Packs de distribution (dist) - Répertoire contenant les paquets Python prêts à être distribués

  • Environnement virtuel (venv) - Environnement Python isolé pour la gestion des dépendances du projet

  • Site-packages - Répertoire dans lequel sont installés les paquets Python à utiliser dans le système

Type de fichier exclu de l’analyse :

  • input.wsp - Fichier d’entrée de l’espace de travail

  • .DS_Store - Fichier système macOS qui stocke les attributs des dossiers personnalisés

  • build.gradle - Fichier de configuration de construction Gradle

  • build.sbt - Fichier de configuration de l’outil de construction Scala

  • pom.xml - Fichier de configuration du modèle d’objet du projet Maven

  • storage.lck - Fichier de verrouillage du stockage