Snowpark Migration Accelerator: Configuração passo a passo¶

Aplicativo SMA¶

O Snowpark Migration Accelerator (SMA) ajuda os desenvolvedores a converter seus aplicativos PySpark e Spark Scala para serem executados no Snowflake. Ele detecta automaticamente as chamadas do Spark API em seu código Python ou Scala e as transforma em chamadas equivalentes do Snowpark API. Este guia demonstrará a funcionalidade básica do SMA, analisando exemplos de código do Spark e mostrando como ele ajuda nos projetos de migração.

Durante a fase de avaliação inicial, o Snowpark Migration Accelerator (SMA) examina seu código-fonte e cria um modelo detalhado que captura toda a funcionalidade do seu código. Com base nessa análise, o SMA cria vários relatórios, inclusive um relatório de avaliação detalhado que analisaremos neste passo a passo. Esses relatórios ajudam a entender o quanto o seu código está pronto para a migração para o Snowpark e a estimar o esforço necessário para a transição. Analisaremos essas descobertas com mais detalhes à medida que prosseguirmos com este laboratório.

Exemplo de base de código¶

Este guia usa exemplos de código Python para demonstrar o processo de migração. Selecionamos duas bases de código de amostra disponíveis publicamente em repositórios Git de terceiros como exemplos imparciais do mundo real. Você pode acessar essas bases de código em:

• PySpark Data Engineering Examples: https://github.com/spark-examples/pyspark-examples

• Apache Spark Machine Learning Examples: https://github.com/apache/spark/tree/master/examples/src/main/python

Para analisar bases de código usando o Snowpark Migration Accelerator (SMA), siga estas etapas:

1. Download the codebases as zip files from GitHub. You can find instructions on how to do this in the GitHub documentation.

2. Crie pastas separadas em seu computador para cada base de código.

3. Extraia cada arquivo zip em sua pasta designada, conforme mostrado na imagem abaixo:

These sample codebases demonstrate how SMA evaluates Spark API references to calculate the Spark API Readiness Score. Let’s look at two scenarios:

1. Uma base de código que recebeu uma pontuação alta, indicando que é altamente compatível com o Snowpark e está pronta para a migração

2. Uma base de código que recebeu uma pontuação baixa, indicando que requer revisão adicional e possíveis modificações antes da migração

Embora a pontuação de preparação forneça informações valiosas, ela não deve ser o único fator considerado ao planejar uma migração. Para garantir uma migração bem-sucedida, é necessária uma avaliação abrangente de todos os aspectos, tanto para as avaliações com pontuação alta quanto para as com pontuação baixa.

After unzipping the directories, SMA will analyze only files that use supported code formats and notebook formats. These files are checked for references to Spark API and other Third Party APIs. To see which file types are supported, please check the list here.

Durante o restante deste passo a passo, analisaremos como essas duas bases de código são executadas.