Snowpark Migration Accelerator: Configuração passo a passo¶

Aplicativo SMA¶

O Snowpark Migration Accelerator (SMA) ajuda os desenvolvedores a converter seus aplicativos PySpark e Spark Scala para serem executados no Snowflake. Ele detecta automaticamente as chamadas do Spark API em seu código Python ou Scala e as transforma em chamadas equivalentes do Snowpark API. Este guia demonstrará a funcionalidade básica do SMA, analisando exemplos de código do Spark e mostrando como ele ajuda nos projetos de migração.

Durante a fase de avaliação inicial, o Snowpark Migration Accelerator (SMA) examina seu código-fonte e cria um modelo detalhado que captura toda a funcionalidade do seu código. Com base nessa análise, o SMA cria vários relatórios, inclusive um relatório de avaliação detalhado que analisaremos neste passo a passo. Esses relatórios ajudam a entender o quanto o seu código está pronto para a migração para o Snowpark e a estimar o esforço necessário para a transição. Analisaremos essas descobertas com mais detalhes à medida que prosseguirmos com este laboratório.

Exemplo de base de código¶

Este guia usa exemplos de código Python para demonstrar o processo de migração. Selecionamos duas bases de código de amostra disponíveis publicamente em repositórios Git de terceiros como exemplos imparciais do mundo real. Você pode acessar essas bases de código em:

• Exemplos de engenharia de dados PySpark: https://github.com/spark-examples/pyspark-examples

• Exemplos de aprendizado de máquina do Apache Spark: https://github.com/apache/spark/tree/master/examples/src/main/python

Para analisar bases de código usando o Snowpark Migration Accelerator (SMA), siga estas etapas:

1. Faça o download das bases de código como arquivos zip em GitHub. Você pode encontrar instruções sobre como fazer isso na documentação do GitHub.

2. Crie pastas separadas em seu computador para cada base de código.

3. Extraia cada arquivo zip em sua pasta designada, conforme mostrado na imagem abaixo:

Esses exemplos de bases de código demonstram como o SMA avalia as referências do Spark API para calcular a Pontuação de preparação do Spark API. Vamos analisar dois cenários:

1. Uma base de código que recebeu uma pontuação alta, indicando que é altamente compatível com o Snowpark e está pronta para a migração

2. Uma base de código que recebeu uma pontuação baixa, indicando que requer revisão adicional e possíveis modificações antes da migração

Embora a pontuação de preparação forneça informações valiosas, ela não deve ser o único fator considerado ao planejar uma migração. Para garantir uma migração bem-sucedida, é necessária uma avaliação abrangente de todos os aspectos, tanto para as avaliações com pontuação alta quanto para as com pontuação baixa.

Após descompactar os diretórios, o SMA analisará apenas os arquivos que usam formatos de código e de notebook compatíveis. Esses arquivos são verificados quanto a referências ao Spark API e a outras APIs de terceiros. Para ver quais tipos de arquivos são compatíveis, consulte a lista aqui.

Durante o restante deste passo a passo, analisaremos como essas duas bases de código são executadas.