Snowpark Migration Accelerator: Glossário¶

Snowpark Migration Accelerator (SMA)¶

Esta documentação de software explica como converter automaticamente o código da API do Spark escrito em Scala ou Python para o código equivalente do Snowflake Snowpark. O processo de conversão é seguro e mantém a funcionalidade de seu código original.

The Snowpark Migration Accelerator (SMA) was previously known as SnowConvert and SnowConvert for Spark. SnowConvert (SC) continues to be available as a tool for SQL conversions.

Pontuação de preparação¶

A pontuação de preparação ajuda a entender o quanto o seu código está pronto para a migração para o Snowpark. Ela calcula a porcentagem de referências da API do Spark que podem ser convertidas para a API do Snowpark. Por exemplo, se 3413 das 3748 referências da API do Spark puderem ser convertidas, a pontuação será de 91%.

No entanto, é importante observar que essa pontuação:

• Considera apenas referências da API do Spark

• Não avalia bibliotecas de terceiros

• Deve ser usada como uma avaliação inicial, não como o fator de decisão final

Embora uma pontuação mais alta indique melhor compatibilidade com o Snowpark, você também deve avaliar outros fatores, como dependências de bibliotecas de terceiros, antes de prosseguir com a migração.

Categorias de referência do Spark¶

O Snowpark Migration Accelerator (SMA) classifica os componentes do Spark de acordo com o modo como eles são mapeados para a funcionalidade do Snowpark. Para cada referência do Spark, o SMA fornece:

• Uma categorização de como isso se traduz em Snowpark

• Uma descrição detalhada

• Exemplo de código

• Informações sobre o recurso de conversão automática

• Detalhes sobre o suporte do Snowpark

You can find the complete reference guide on this page.

Ferramenta de qualificação do SnowConvert¶

O modo de avaliação do SnowConvert para Spark analisa sua base de código para detectar e identificar automaticamente todas as instâncias do código Python do Apache Spark.

Inventário de arquivos¶

Uma lista completa de todos os arquivos encontrados no diretório de entrada da ferramenta, independentemente do tipo de arquivo. O inventário fornece um detalhamento organizado por tipo de arquivo, incluindo:

• A tecnologia ou plataforma original

• Número de linhas de código

• Número de linhas de comentários

• Tamanho dos arquivos de origem

Contagens de palavras-chave¶

Um resumo das ocorrências de palavras-chave organizadas por tipo de tecnologia. Por exemplo, ao analisar um arquivo .py que contém código PySpark, o sistema rastreia e conta cada palavra-chave PySpark. O relatório mostra o número total de palavras-chave encontradas para cada extensão de arquivo.

Inventário de referência do Spark¶

Depois de analisar seu código, você receberá uma lista abrangente de todas as referências da API do Spark encontradas no seu código Python.

Pontuação de preparação¶

As referências de código do Spark ajudarão a determinar quanto de sua base de código pode ser convertida automaticamente.

Pontuação de conversão¶

A pontuação de conversão é calculada dividindo-se o número de operações Spark convertidas automaticamente pelo número total de referências Spark detectadas no código.

Regra de conversão/transformação¶

Regras que definem como o SnowConvert transforma o código-fonte no formato de código de destino desejado.

Analisar¶

A fase de análise é a primeira etapa em que o SnowConvert analisa o código-fonte e cria uma estrutura de dados interna. Essa estrutura é então usada para aplicar regras de conversão durante o processo de migração.