Snowpark Migration Accelerator: Passo a passo da SMA CLI¶
O Snowpark Migration Accelerator (SMA) ajuda os desenvolvedores a migrar seu código Python ou Scala Spark para o Snowpark. Ele analisa seu código e:
Avalia a compatibilidade com o Snowpark
Converte automaticamente as chamadas compatíveis do Spark API para o Snowpark API
Identifica o código que não pode ser convertido automaticamente
Cria um inventário de importações de bibliotecas de terceiros a partir de scripts e notebooks
Gera um relatório de compatibilidade editável comparando o código do Spark e do Snowpark
A Snowflake lançou uma interface de linha de comando (CLI) para o Snowpark Migration Accelerator (SMA). Este guia demonstrará como usar a CLI como uma ferramenta autônoma e dentro de um script.
Uso do CLI¶
É possível fazer o download da interface de linha de comando (CLI) na seção Download e acesso. Selecione a versão que corresponde ao seu sistema operacional. Você pode armazenar a CLI em qualquer local acessível da sua máquina ou contêiner.
Nota
NOTE: Embora este passo a passo use capturas de tela de um computador Mac, o processo é semelhante para usuários de Windows e Linux.
Depois de fazer o download do arquivo do pacote (formato .zip ou .tar), extraia seu conteúdo. A ferramenta Command Line Interface (CLI) está localizada na pasta «orchestrator» dentro dos arquivos extraídos.
Abra um terminal ou prompt de comando na pasta de instalação e verifique a instalação da CLI executando o seguinte comando para verificar sua versão:
./sma –version
Você verá resultados parecidos com os seguintes:
A interface de linha de comando do SMA (CLI) é um aplicativo local que é executado no seu computador, semelhante ao aplicativo de desktop SMA. Para analisar seus arquivos de código usando a SMA CLI, esses arquivos devem ser armazenados em seu computador local, onde a CLI possa acessá-los. A CLI suporta os mesmos tipos de arquivos que o aplicativo SMA normal. Para obter uma lista completa dos tipos de arquivos compatíveis, consulte os tipos de arquivo suportados na documentação do SMA.
Nota
NOTE: Para testar a funcionalidade do CLI, você pode usar a base de código de amostra fornecida na seção de Avaliação ou consultar os guias de conversão na documentação do SMA.
A documentação do SMA contém uma lista completa dos argumentos da CLI. Vamos explorar os mais importantes nesta seção.
O SMA CLI é executado no modo de conversão por padrão, em vez do modo de Avaliação. Para executar a CLI no modo de avaliação, use o argumento -a. Para operações de conversão, você precisará de um código de acesso válido. Para verificar se tem um código de acesso válido, use o seguinte comando:
./sma show-ac
Se precisar de um código de acesso, poderá solicitá-lo seguindo as instruções na documentação do SMA. Depois de receber o código por e-mail, use o parâmetro do código de acesso de instalação na CLI para concluir a instalação.
Para executar uma conversão, você precisa fornecer:
Diretório de entrada (obrigatório)
Diretório de saída (obrigatório)
Se não tiver criado um arquivo de projeto antes, também precisará fornecer:
E-mail do usuário
Nome da organização
Nome do projeto
Depois de configurar esses parâmetros pela primeira vez, você só precisa especificar os diretórios de entrada e saída para futuras conversões.
./sma -i '/your/INput/directory/path/here' -o '/your/OUTput/directory/path/here' -e your@email.com -c Your-Organization -p Your-Project-Name
Essa tela exibe um resumo das configurações de execução e solicita que confirme se deseja continuar.
Para ignorar o prompt de confirmação, adicione o parâmetro –yes ou -y. Isso é particularmente importante ao executar a CLI a partir de scripts automatizados.
A ferramenta fornece informações detalhadas sobre o progresso durante sua execução.
Enquanto a ferramenta estiver em execução, ela imprimirá continuamente a saída na tela. Quando o processo for concluído, você verá o prompt novamente. A ferramenta gera resultados detalhados que incluem todos os processos, problemas e etapas concluídas ou com falha. Não é necessário ler todas essas informações durante a execução, pois você pode analisá-las posteriormente na pasta de saída de Logs.
Visualização da saída¶
A SMA CLI produz o mesmo resultado que o aplicativo SMA. Quando você executa a ferramenta, ela cria três pastas no diretório de saída especificado:
Saída (contém o código convertido)
Para obter orientações detalhadas sobre como trabalhar com o código que foi convertido pelo Snowpark Migration Accelerator (SMA), consulte o passo a passo da conversão.
Executando a CLI programaticamente¶
Em breve! A equipe do SMA fornecerá um script que permite executar a interface de linha de comando do SMA (CLI) automaticamente em vários diretórios.
Experimente a Command Line Interface (CLI) hoje mesmo. Se precisar de ajuda ou tiver dúvidas, entre em contato com a equipe do Snowpark Migration Accelerator pelo e-mail sma-support@snowflake.com.