Snowpark Migration Accelerator: Introdução

Overview of the Snowpark Migration Accelerator

The Snowpark Migration Accelerator (SMA), formerly SnowConvert for Spark, helps developers convert code from various platforms to Snowflake. It uses a proven migration framework with 30 years of development to analyze code that contains Spark API calls. The tool creates an Abstract Syntax Tree (AST) and Symbol Table to build a detailed model of how the code works. This model helps convert the original code into equivalent Snowflake code automatically, maintaining the same functionality as the source code.

Diagrama de alto nível do SMA

O Snowpark Migration Accelerator (SMA) analisa seu código-fonte criando um modelo detalhado que captura seu significado e finalidade. Isso permite que o SMA entenda como seu código funciona em um nível mais profundo do que as ferramentas básicas que apenas pesquisam e substituem texto ou comparam padrões.

O SMA examina seu código-fonte e os arquivos do notebook para encontrar todas as chamadas da API do Spark. Em seguida, ele converte essas chamadas da API do Spark em suas funções correspondentes da API do Snowpark quando possível.

Assessment and Conversion

O Snowpark Migration Accelerator (SMA) tem dois modos de operação:

  1. Assessment (or Qualification) - A free analysis tool that evaluates your code before conversion

  2. Conversion - Transforms your code to Snowpark

É altamente recomendável executar o modo de avaliação antes de iniciar qualquer conversão de código.

Modo de avaliação

Assessment mode helps users find and analyze Spark API usage in their code. SMA scans the source code and builds a semantic model using our specialized framework. This model helps SMA understand how the code works and what it does. As a result, SMA can generate detailed and accurate reports about the code’s components.

O SMA analisa seu código para ajudar a planejar o processo de migração. Ele identifica as dependências da API do Spark e avalia se o código está pronto para a migração. Depois que a avaliação for concluída, você poderá prosseguir com a conversão do seu código.

For more information about how SMA assesses your code, please see the Assessment section of the SMA User Guide.

Modo de conversão

Durante a fase de conversão, o SMA usa o modelo semântico criado na fase de avaliação para gerar automaticamente um código compatível com o Snowflake. A ferramenta substitui as chamadas de API do Spark por chamadas equivalentes da API do Snowpark sempre que possível. Quando a conversão direta não é possível, o SMA adiciona comentários detalhados ao código de saída, explicando por que determinados elementos não puderam ser convertidos e fornecendo um contexto útil para a conversão manual.

Esboço

Esta seção fornece orientações abrangentes sobre o Snowpark Migration Accelerator (SMA), cobrindo as seguintes áreas principais:

For assistance or questions, please Contact Us.

Convidamos você a começar a explorar os recursos e as funcionalidades do Snowpark Migration Accelerator (SMA).