Snowpark Migration Accelerator: Tipos de arquivos suportados

The Snowpark Migration Accelerator (SMA) scans files in your selected source directory during project creation. While some files are excluded based on their type, SMA generates a summary report showing the count of files by extension.

The SMA tool searches for specific file extensions when analyzing references to the Spark API, SQL Statements, and other elements that contribute to the Readiness Scores. The tool can analyze both code files and notebooks located in any directory or subdirectory of your project.

Arquivos de código

O Snowpark Migration Accelerator examina os seguintes tipos de arquivos para identificar referências ao Spark API e a APIs de terceiros:

  • Arquivos com a extensão .scala

  • Arquivos com a extensão .py

  • Arquivos com a extensão .python

Instruções SQL escritas em Spark SQL ou HiveQL podem ser detectadas nos seguintes tipos de arquivo:

  • Arquivos SQL com a extensão .sql

  • Arquivos Hive Query Language com a extensão .hql

Notebooks

Os analisadores Spark Scala e PySpark no Snowpark Migration Accelerator (SMA) verificam e processam automaticamente os arquivos do Jupyter Notebook e os arquivos exportados do Databricks quando eles estão presentes no diretório do código-fonte.

  • Jupyter Notebook files (*.ipynb)

  • Databricks Notebook files (*.dbc)

O SMA analisará os arquivos do notebook para identificar:

  • Referências ao Spark API

  • Referências a APIs de terceiros

  • Instruções SQL

The analysis is performed based on the cell type within each notebook. Notebooks can contain a mix of SQL, Python, and Scala cells. The SMA will create an inventory of all cell types in its output report.

Arquivos e pastas excluídos

Por padrão, determinados arquivos e pastas são excluídos da varredura. Essas exclusões consistem principalmente em arquivos de configuração do projeto e seus diretórios associados.

Tipo de pastas excluídas da verificação:

  • Instalador de pacotes Python (pip) - Uma ferramenta para instalar pacotes Python

  • Pacotes de distribuição (dist) - Um diretório que contém pacotes Python prontos para distribuição

  • Ambiente virtual (venv) - Um ambiente Python isolado para gerenciar as dependências do projeto

  • Site-packages - Um diretório no qual os pacotes Python são instalados para uso em todo o sistema

Tipo de arquivo excluído da varredura:

  • input.wsp - Arquivo de entrada do espaço de trabalho

  • .DS_Store - arquivo de sistema macOS que armazena atributos de pasta personalizados

  • build.gradle - Arquivo de configuração de compilação do Gradle

  • build.sbt - Arquivo de configuração da ferramenta de compilação Scala

  • pom.xml - Arquivo de configuração do Modelo de Objeto do Projeto Maven

  • storage.lck - Arquivo de bloqueio de armazenamento