Snowpark Migration Accelerator: Glossário¶

Snowpark Migration Accelerator (SMA)¶

Esta documentação de software explica como converter automaticamente o código da API do Spark escrito em Scala ou Python para o código equivalente do Snowflake Snowpark. O processo de conversão é seguro e mantém a funcionalidade de seu código original.

O Snowpark Migration Accelerator (SMA) era conhecido anteriormente como SnowConvert e SnowConvert para Spark. Observe que o SnowConvert (SC) continua disponível como uma ferramenta para conversões de SQL.

Pontuação de preparação¶

A pontuação de preparação ajuda a entender o quanto o seu código está pronto para a migração para o Snowpark. Ela calcula a porcentagem de referências da API do Spark que podem ser convertidas para a API do Snowpark. Por exemplo, se 3413 das 3748 referências da API do Spark puderem ser convertidas, a pontuação será de 91%.

No entanto, é importante observar que essa pontuação:

• Considera apenas referências da API do Spark

• Não avalia bibliotecas de terceiros

• Deve ser usada como uma avaliação inicial, não como o fator de decisão final

Embora uma pontuação mais alta indique melhor compatibilidade com o Snowpark, você também deve avaliar outros fatores, como dependências de bibliotecas de terceiros, antes de prosseguir com a migração.

Categorias de referência do Spark¶

O Snowpark Migration Accelerator (SMA) classifica os componentes do Spark de acordo com o modo como eles são mapeados para a funcionalidade do Snowpark. Para cada referência do Spark, o SMA fornece:

• Uma categorização de como isso se traduz em Snowpark

• Uma descrição detalhada

• Exemplo de código

• Informações sobre o recurso de conversão automática

• Detalhes sobre o suporte do Snowpark

Você pode encontrar o guia de referência completo nesta página.

Ferramenta de qualificação do SnowConvert¶

O modo de avaliação do SnowConvert para Spark analisa sua base de código para detectar e identificar automaticamente todas as instâncias do código Python do Apache Spark.

Inventário de arquivos¶

Uma lista completa de todos os arquivos encontrados no diretório de entrada da ferramenta, independentemente do tipo de arquivo. O inventário fornece um detalhamento organizado por tipo de arquivo, incluindo:

• A tecnologia ou plataforma original

• Número de linhas de código

• Número de linhas de comentários

• Tamanho dos arquivos de origem

Contagens de palavras-chave¶

Um resumo das ocorrências de palavras-chave organizadas por tipo de tecnologia. Por exemplo, ao analisar um arquivo .py que contém código PySpark, o sistema rastreia e conta cada palavra-chave PySpark. O relatório mostra o número total de palavras-chave encontradas para cada extensão de arquivo.

Inventário de referência do Spark¶

Depois de analisar seu código, você receberá uma lista abrangente de todas as referências da API do Spark encontradas no seu código Python.

Pontuação de preparação¶

As referências de código do Spark ajudarão a determinar quanto de sua base de código pode ser convertida automaticamente.

Pontuação de conversão¶

A pontuação de conversão é calculada dividindo-se o número de operações Spark convertidas automaticamente pelo número total de referências Spark detectadas no código.

Regra de conversão/transformação¶

Regras que definem como o SnowConvert transforma o código-fonte no formato de código de destino desejado.

Analisar¶

A fase de análise é a primeira etapa em que o SnowConvert analisa o código-fonte e cria uma estrutura de dados interna. Essa estrutura é então usada para aplicar regras de conversão durante o processo de migração.