Snowpark Migration Accelerator: Notas de versão do SC Spark Scala¶

2.14.0¶

2023-10-24 \ \ Adicionado\ \ Adicionado ID condensado para nomes de arquivo e é usado no log.

Alterado

Refatorar a hierarquia de pastas de saída do TrialMode.

Gerar relatórios localmente no modo de avaliação quando a pontuação atingir 90 ou mais.

Gerar relatórios localmente no modo de avaliação quando se trata de um usuário Snowflake.

Criar inventários como arquivos .csv.

Mover os inventários para a pasta de Relatórios.

2.13.0¶

2023-10-19\

Adicionado\

• Adicionar um sinalizador para ativar mais mensagens de registro.

• Adicionar um sinalizador para desativar a execução da conversão.

• Adicionar um mecanismo de tempo limite para a resolução da tabela de símbolos Scala.

• Adicionar um mecanismo de tempo limite para a fase de análise do Scala.

• Adicionar mensagens de registro de progresso na fase de análise para Scala.

Alterado\

• Ajustes nos relatórios (HTML e docx): renomeação da pontuação de preparação e atualização do apêndice e da tabela de chamadas de importações.

• Aumentar AssessmentMode de 8.1.6 para 9.0.4

• Aumentar Common.AssessmentModel de 3.1.12 para 3.1.14

• Adicionar bloqueio para evitar condições de corrida

Corrigido\

• Corrigir um número inconsistente de SparkReferences entre os modos de avaliação e conversão.

• Corrigir o problema que fazia com que os arquivos .sql não fossem reconhecidos como arquivos compatíveis.

• Corrigir o erro de análise quando uma barra invertida estiver entre AtomElement e BracedSlices.

• Corrigir o problema quando a análise de código com uma grande quantidade de expressões aninhadas levava muito tempo.

2.12.0¶

2023-10-13

Adicionado

• Adicionar suporte ao modo de teste.

Alterado

• Aumentar Snowflake.SnowConvert. Python de 1.1.79 para 1.1.80

• Adicionar uma variante de ResolveType para evitar o estouro de pilha em alguns cenários.

Corrigido

• Correção do cenário em que a resolução de um FullName causa estouro de pilha.

2.11.0¶

Adicionado

• Adicionar suporte para API do Snowpark versão 1.7.0 no Python.

• Adicionar suporte para API do Snowpark versão 1.6.1 no Python.

• Uma nova solução alternativa foi adicionada

• Quatro (4) novos mapeamentos adicionados

Alterado

• Atualizar as validações dos testes de integração do Scala.

• Reduzir o tempo dos testes de integração do Scala.

• Atualizar as referências de nome de montagem restantes no código interno.

• Atualizar os cabeçalhos dos arquivos de origem para que correspondam às diretrizes da empresa.

Corrigido

• Corrigir várias execuções com o mesmo ExecutionId, adicionando SessionId e ExecutionId aos inventários e relatórios.

• Corrigir falha na tarefa CopyOtherFiles com o arquivo storage.lck.

• Corrigir problema de geração de relatórios .HTML quando alguns valores são nulos.

2.09.0¶

2023-10-03

Adicionado

• Adicionar FilesInventory.pam

• Quatro (4) novos mapeamentos adicionados

Alterado

• Alterar os nomes dos conjuntos.

• Aumentar Snowflake.SnowConvert.Python de 1.1.70 para 1.1.79

• Adicionar uma barra invertida em três regras diferentes para solucionar erros de análise.

• Adicionar um novo símbolo de referência do spark.

• Suporte para duas (2) novas resoluções.

• Suporte para comandos vazios em notebooks .sql DBX.

• Melhorar a robustez da função StopIfDedent.

Corrigido

• Corrigir um erro de análise em um cenário de barra invertida com param e vírgulas.

• Corrigir o problema de resolução do símbolo de expressão entre parênteses.

• Corrigir erro de análise com comando vazio em notebooks .sql DBX.

• Corrigir problema de resolução do símbolo de colchetes vazios.

• Corrigir erro de tempo limite do Regex ao coletar o inventário de instruções SQL.

• Corrigir erro de análise relacionado à indentação mista.

• Corrigir falsa mensagem de falha quando um erro de análise é encontrado.

• Corrigir um número inconsistente de SparkReferences entre os modos de avaliação e conversão.

2.8.0¶

2023-09-27

Adicionado

• Adicionar suporte para API do Snowpark versão 1.5.1 no Python.

• Adicionar suporte à sintaxe do Python 3.10.10.

• Adicionar a coluna CellId nos inventários (para ambos os notebooks, Databricks e Jupyter).

• Adicionar quatro (4) novos mapeamentos

Alterado

• Aumentar Mobilize.Python de 1.1.64 para 1.1.70

• Adicionar suporte à sintaxe do Python 3.10.10.

• Adicionar três (3) novos cenários de barra invertida para solucionar um erro de análise.

• Adicionar um tipo de retorno explícito a alguns símbolos do Pandas para evitar um erro de carregamento.

Corrigido

• Corrigir um erro de análise com uma barra invertida em um colchete, dois pontos e cenários param.

• Corrigir erro ao carregar símbolos do Pandas.

2.7.0¶

2023-09-20\

Adicionado\

• Adicionar suporte para API Snowpark versão 1.5.0 no Python.

• 3 novos mapeamentos adicionados

Alterado\

• Evitar o processamento de arquivos ocultos

• Aumentar `Mobilize.SparkCommon.Utils` de 1.3.188 para 1.3.189

• Aumentar `Mobilize.Common.Utils` de 3.2.0 para 3.2.2

Corrigido\

• Corrigir a fase de coleta de PackageVersionInventory que fica travada.

• Corrigir porcentagem incorreta na tabela Spark Usage Summary no relatório detalhado ao usar arquivos DBC.

• Corrigir da tabela de dimensionamento de arquivos no relatório detalhado, que aparece vazia ou não aparece.

2.6.0¶

2023-09-12\

Adicionado\

• Adicionar suporte de células %SQL (de notebooks) ao inventário de instruções SQL.

Alterado\

• Aumentar `Mobilize.Python` de 1.1.62 para 1.1.64

• Adiciona suporte ao magic sql.

• Evite atualizar o tipo de parâmetro de função quando o tipo inferido for `None`.

Corrigido\

• Corrigir problema que causa o carregamento infinito de símbolos para arquivos específicos.

• Corrigir o problema dos arquivos GenericScanner que não estão sendo gerados.

Segurança\

• Senhas de teste seguras em testes de transformação Python.

2.5.0¶

2023-09-05

Adicionado

• Adicionar inventário de dimensionamento de notebooks. (SCT-3876)

• Adicionar o projeto Snowflake.SparkCommon.MappingLoader (usa o novo Snowflake.SnowMapGrammar). (SCT-4281)

Alterado

• Aumentar o Mobilize.Python de 1.1.59 para 1.1.62

  • Adicionar um mecanismo de tempo limite na resolução de símbolos do Python para os métodos GetSymbol.

• Aumentar o Mobilize.SparkCommon. Utils de 1.3.186 para 1.3.187

  • Atualizar o método Mobilize.SparkCommon. Utils.FilesHelper.CopyFilesRecursively para lidar com arquivos ocultos.

Corrigido

• Corrigir o problema de não receber o e-mail após uma execução (diminuindo o tamanho do arquivo de registro ao evitar o registro de mensagens de depuração por padrão). (SCT-5320)

Removida

• Remover o projeto Mobilize.SparkCommon.TransformationCore (usava o antigo Mobilize.MapGrammar).

2.4.0¶

2023-08-28

Adicionado

• Adicionar o inventário NotebookCells.

• Coletar os valores dos argumentos de DataFrameReader.option e DataFrameWriter.option para Scala e Python.

• Adicionar 2 novos mapeamentos e uma melhor coleção de informações sobre o tipo de alias

• Criptografar os arquivos de saída quando são fornecidos parâmetros adicionais.

• Reativar o inventário SQLStatements.

• Reativar a paralelização para coletores.

Alterado

• Atualize a seção Resumo do tipo de arquivo do relatório detalhado (docx e html). (SCT-3867)

• Atualização para 2 mapeamentos

• Aumentar Mobilize.SparkCommon.Utils de 1.3.181 para 1.3.186.

• Melhorar o suporte à classificação de arquivos CSV.

• Aumentar o Mobilize.Common.Utils de 3.1.6 para 3.2.0.

  • Melhorar o suporte à classificação de arquivos CSV.

  • Aumentar o Mobilize.Common.Utils de 3.1.6 para 3.2.0.

  • Atualizar as versões do pacote NuGet.

• Refatoração da tarefa de carregamento de mapeamentos.

• Refatoração em referências de projetos de SparkCommon Utils.

• Agrupar projetos de solução.

• Mesclar os testes de integração do Scala JupyterTest, InventoryTests e TransformationTest.

Corrigido

• Corrigir o problema que fazia com que a ferramenta de conversão Python travasse ao coletar os itens de inventário das instruções SQL.

• Corrigir a falta de arquivos GenericScanner na saída.

• Corrigir o problema dos arquivos DBC migrados que não estavam sendo carregados no Databricks.

• Corrigir erro no final do processo da ferramenta.

Removida

• Remover InventoryStorageTemp.

• Remover as referências redundantes do projeto StyleCop.Analyzers.

2.2.001¶

2023-07-19

Adicionado

• Adição de seis (6) novos mapeamentos

Alterado

• Atualização do modelo de avaliação de 3.1.10 para 3.1.11

Corrigido

• Corrigir o processamento do Databricks que não funciona no modo de avaliação

Segurança

• Foi adicionada a integridade do sub-recurso aos links HTML

2.1.161¶

2023-07-06

Corrigido

• Correção e ativação de testes funcionais do Scala Spark

2.1.160¶

2023-07-05

Alterado

• Atualização do modelo de avaliação de 3.1.9 para 3.1.10

2.1.159¶

2023-07-05

Alterado

• Atualização do modelo de avaliação de 3.1.7 para 3.1.9

2.1.158¶

2023-07-05

Adicionado

• Adicionada estabilidade à ferramenta, melhorando o tratamento das exceções nas tarefas

2.1.157¶

2023-07-05

\ Alterado

• Atualização do Spark Common de 1.3.178 para 1.3.181

2.1.155¶

2023-07-05

Alterado

• Atualização do Common Build de 2.0.2 para 3.0.4

• Melhorias na criação da solução em MacOs

2.1.148¶

2023-07-04

Alterado

• Atualização do Spark Common de 1.3.177 para 1.3.178

• Atualização do Common Utils de 4.0.0-alpha.DevOps.9 para 3.1.6

2.1.147¶

2023-07-03

Segurança

• Remover referências de pacotes não licenciados nos projetos `Spark Common`.

2.1.146¶

2023-07-03

Alterado

• Aumentar `coverlet.collector` de 3.2.0 para 6.0.0

• Aumentar `FluentAssertions` de 6.9.0 para 6.11.0

• Aumentar `Scriban.Signed` de 5.5.2 para 5.7.0

• Aumentar `DocumentFormat.OpenXml` de 2.19.0 para 2.20.0

\ Segurança

• Remover referências de pacotes não licenciados em projetos `SparkCommon`.

2.1.145¶

2023-06-28

Alterado

• Atualização de `Mobilize.Python` de 1.1.49 para 1.1.50

• Corrigir o problema de análise de arquivos inteiros do notebook do Databricks quando não se analisa uma única célula

2.1.144¶

2023-06-27

Corrigido

• Corrigir a extração de arquivos .dbc em MacOS

2.1.143¶

2023-06-26

Corrigido

• Corrigir erros de testes devido a diferentes formatos de dados.

2.1.142¶

2023-06-26

Alterado

• Refatorar o armazenamento de inventário.

2.1.141¶

2023-06-23

Alterado

• Atualização de `Mobilize.Python` de 1.1.46 para 1.1.49

• Detectar e interromper ciclos recursivos durante a resolução de um símbolo

• Corrigir a exceção StackOverflow envolvendo os arquivos \_\_init\_\_.py

• Corrigir o nó PyArgExpr com barra invertida

2.1.140¶

2023-06-22

Alterado

• Atualização de `Mobilize.Python` de 1.1.44 para 1.1.46

• Corrigir o nó PyTerm com barra invertida

2.1.138¶

2023-06-22

Alterado

• Atualização do Spark Common de 1.3.176 para 1.3.177

Corrigido

• Correção do processador de código Scala.

2.1.137¶

2023-06-22

Segurança

• Credenciais seguras em testes funcionais.

• Remover referências de pacotes não licenciados.

2.1.136¶

2023-06-21

Alterado

• Atualização de `Snowflake.Data` de 2.0.15 para 2.0.25

• Atualização do Spark Common de 1.3.175 para 1.3.176

Segurança

Atualizar referências nos testes funcionais.

2.1.135¶

2023-06-21

Adicionado

• Adicione a extensão .dbc conforme suportado pelas ferramentas de processamento de código Python e Scala.

• Adicionar testes para o projeto Contracts.

Segurança

• Remover referências de pacotes não licenciados em `SparkCommon.Contracts.Test`.

2.1.132¶

2023-06-21

Removida

• Remover a coluna `Supported` do inventário IOFiles no modo de avaliação.

2.1.131¶

2023-06-20

Corrigido

• Corrigir testes no Mac.

2.1.130¶

2023-06-19

Alterado

• Mesclar o repositório SparkCommon com este repositório.

2.1.126¶

2023-06-16

Corrigido

• Corrigir a criação do repositório.

2.1.124¶

2023-06-15

Corrigido

• Corrigir a criação do repositório.

2.1.123¶

2023-06-15

Alterado

• Atualização de `Mobilize.Scala` de 0.2.34 para 0.2.37

• Correção de erro de análise envolvendo tipo genérico com sublinhado e restrição

• Correção de erro de análise envolvendo expressões com aspas e interpolação

Segurança

• Remoção de referências de pacotes inseguros.

2.1.121¶

2023-06-15

Segurança

• Remover arquivos de credenciais.

2.1.120¶

2023-06-15

Alterado

• Pequena alteração na configuração da versão para Scala e Python.

1.0.306¶

14 de fevereiro de 2023

Scala 0.2.13

SparkSnowConvert Core 1.1.27

\

Novos recursos

• Processamento de notebooks Jupyter (.ipynb)

• Geração de EWI quando uma dependência não pode ser adicionada ao arquivo de configuração do projeto

Melhorias

• Abertura e fechamento de escopos lambda

\ Correções de bugs

• Bug 680497: O retorno à qualificação completa para funções não está funcionando bem

• Bug 681704: Não é possível gerar o relatório final

\

1.0.273¶

2 de fevereiro de 2023

Scala 0.2.4

SparkSnowConvert Core 1.1.8.0

Hotfix

• Atualização de pontos de extremidade de API

1.0.263¶

31 de janeiro de 2023

Scala 0.2.4

SparkSnowConvert Core 1.1.8.0

\ Adicionado

• Atualização do .NET Core 6

• Coluna ElementPackage adicionada ao inventário de importações

• Tabela de dimensionamento adicionada aos relatórios de avaliação

• Adicionar porcentagem de conversão nos relatórios sincronizados com o BDS

• Adicionar o arquivo issues.csv na saída

• Gerar SummaryReport.html e DetailedReport.html (espelho docx html) localmente na pasta Reports

• Adicionar palavras-chave ConversionStatus ao GenericScanner

• Suporte à conversão de nome completo

Melhorias

• Mapeamentos org.apache.spark.mllib adicionados à tabela de referência do núcleo

• [UI] Corrigir o texto ao cancelar a execução

• [UI] Alterar os títulos das fases de UI

• Agrupar problemas por código EWI

• Atualizar o formato do valor da coluna TOOL_VERSION na tabela de informações Execution

• Simplificada a tabela de resumo de problemas para que ela não seja muito grande

Correções de bugs

• Problema resolvido com a barra invertida

• Problema de BreakLine resolvido

• Caso de canto de blocos Lambda resolvido

• Remover a geração de AssessmentReport.html (relatório html local)

1.0.191¶

27 de dezembro de 2022

Scala 0.1.493

SparkSnowConvert Core 1.0.117.0

Adicionado

• Carregamento do inventário de pacotes para a telemetria na nuvem

Melhorias

• Relatório detalhado

  • Pequenas melhorias visuais

  • Classificação da tabela de problemas por:

    • Instâncias

    • Código

    • Descrição

1.0.166¶

21 de dezembro de 2022

Scala 0.1.492

SparkSnowConvert Core 1.0.105.0

Adicionado

• Foi adicionada uma descrição da margem de erro no relatório detalhado

Melhorias

• Melhoria na classificação da tabela de problemas no relatório detalhado

• Exibição aprimorada de porcentagens no relatório detalhado

Correções de bugs

• Caractere <#> está apresentando problemas

• Compose não é reconhecido como uma palavra-chave

• O analisador não está funcionando com o argumento “join”

• O processador de código Scala gera um erro crítico

1.0.132¶

13 de dezembro de 2022

Scala 0.1.487

SparkSnowConvert Core 1.0.88

Melhorias

• Informações sobre o cliente adicionadas ao relatório de avaliação detalhada

• Mensagens de registro de transformação

Correções de bugs

• Um problema com expressões como (a, b) =>val c

• compose não é reconhecido como uma palavra-chave

1.0.107¶

7 de dezembro de 2022

Scala 0.1.484

SparkSnowConvert Core 1.0.77

Adicionado

• Atualização dos mapeamentos do Snowpark para a versão 1.6.2

• Melhorias na coleta de funções sem parênteses na avaliação

• Processamento do arquivo de projeto Maven (pom.xml)

• Coluna ClassName renomeada para “alias” em SparkUsagesInventory.pam e ImportUsagesInventory.pam

• Margem de erro adicionada à pontuação de preparação

Corrigido

• Atualização da versão postada do Snowpark Python e Scala

• Problema com uma nova linha após o nome das funções

1.0.59¶

29 de novembro de 2022

Scala 0.1.478

SparkSnowConvert Core 1.0.60

Adicionado

• Suporte básico a objetos complementares

• Atualização dos mapeamentos de org.apache.spark.sql.Column

• Atualização dos mapeamentos de org.apache.spark.sql.Expression

• Atualização dos mapeamentos de org.apache.spark.sql.functions

• Dependência de extensões de referência do arquivo de configuração do projeto (SBT)

• Dependência de extensões de referência do arquivo de configuração do projeto (Gradle)

Corrigido

• O código «Script» não é compatível

1.0.17¶

23 de novembro de 2022

Scala 0.1.472

SparkSnowConvert Core 1.0.44

Adicionado

• Atualização dos mapeamentos do Spark

• Aparar o valor da coluna «FileId» em todos os arquivos .pam

• ConversionStatus e a unificação scala_spark\_mappings\_core.csv

1.0.1¶

17 de novembro de 2022

Scala 0.1.472

SparkSnowConvert Core 1.0.37

Adicionado

• Atualização dos mapeamentos SparkSession, DataFrameReader e DataFrameWriter

• Geração de EWI para expressões unárias e binárias

Corrigido

• O substituto do gravador oferece suporte a csv, parquet, json e opções

• O substituto do leitor não está suportando funções sem parênteses

• O substituto do gravador não está suportando funções sem parênteses

• Atualmente, a transformação de InsertInto não é um código válido.

• O substituto do gravador não está incluindo todas as funções.

0.1.873¶

11 de novembro de 2022

Scala 0.1.468

SparkSnowConvert Core 1.0.23

Adicionado:

• Resolução de símbolos para chamadas de função sem parênteses

• Tratamento de exceções de abertura/fechamento de escopos (em Replacers)

• Geração de EWI para importações não suportadas (casos complexos)

• Geração de EWI para importações não definidas

• Melhorias na transformação de SparkSession

• Melhorias na transformação do leitor/gravador DataFrame

• Seções «Spark Usages by Support Category» e «Scala Import Call Summary» adicionadas ao relatório detalhado

• Atualização dos mapeamentos RDD

Corrigido:

• Estouro de pilha, os arquivos de saída não foram gerados

• Expressão sem parênteses na transformação do substituto do Spark Session

0.1.770¶

21 de outubro de 2022

Scala 0.1.458

SparkSnowConvert Core 0.1.530

Adicionado:

• Atualização do auxiliar/extensão .jar para a versão mais recente

• Atualização do modelo de relatório .docx de avaliação

• Importação da geração de inventário de usos

• Geração de EWIs para importações não suportadas (caso simples)

Corrigido:

• Questão do indeterminismo em SymblTable

• Erro ao classificar arquivos de inventário de usos do spark

• SclSingleExprPath não deve conter membros nulos

• A coleção foi modificada; a operação de enumeração pode não ser executada

• A análise não é concluída quando há vários fechamentos de várias linhas em uma linha

• Problema com expressão

• Erro FileNotGenerated

0.1.705¶

04 de outubro de 2022

Scala 0.1.442

SparkSnowConvert Core 0.1.499

Corrigido:

• O botão de configuração não é atualizado quando a licença é alterada.

0.1.702¶

28 de setembro de 2022

Scala 0.1.442

SparkSnowConvert Core 0.1.498

Adicionado:

• Melhorias no carregamento de tabelas de símbolos incorporadas

• Adicionar robustez aos carregadores de tabelas de símbolos

Corrigido:

• Erro no total de arquivos Scala no AssessmentReport

• Resolução de símbolos para funções genéricas usando um asterisco

• Comentários dentro de comentários e prefixo de id e erro de análise de interpolação

• A vírgula após o erro de análise do identificador

• Erro de análise da expressão quando a primeira instrução está assumindo o padrão da segunda instrução

• Erros de análise dos operadores «and», «::», «++» e «or»

0.1.687¶

20 de setembro de 2022

Scala 0.1.430

SparkSnowConvert Core 0.1.491.0

Adicionado

• Carregamento/resolução de símbolos - Adicionar suporte para métodos genéricos com asterisco params .

• Carregamento/resolução de símbolos - Adicionar inferência de tipo para defs de tipo.

• Melhorias gerais no carregamento/resolução de símbolos

Corrigido

Problema relacionado ao fato de os usos de importação não serem armazenados se não houver referências Spark.

0.1.677¶

15 de setembro de 2022

Scala 0.1.427

SparkSnowConvert Core 0.1.486.0

Adicionado

• A telemetria na nuvem e o mecanismo de envio de e-mail agora estão disponíveis no modo de conversão

• Atualize as informações de contato no modelo de e-mail

0.1.653¶

06 de setembro de 2022

Scala 0.1.426

SparkSnowConvert Core 0.1.476.0

Adicionado

• Colunas “SnowConvert Version” e “Snowpark version” ao SparkUsagesInventory

• Aprimoramentos na análise de velocidade

0.1.624¶

31 de agosto de 2022

Scala 0.1.422

SparkSnowConvert Core 0.1.454.0

Adicionado

• Colunas Automated e Status adicionadas a SparkReferenceInventory.csv

• Carregamento de relatórios html resumidos e detalhados no Snowflake

• Atualização de mapeamentos

Corrigido:

• Correções de redação de relatórios resumidos e detalhados

• Correções no texto do modelo de e-mail.

0.1.579¶

23 de agosto de 2022

Scala 0.1.421 Spark

SnowConvert Core 0.1.414

Adicionado

• Atualização do modelo de e-mail

• Adição da seção «Version information» ao Relatório de resumo

• Adição da seção «Resources» ao relatório detalhado

• Alterações na UI da tela final

Corrigido

• Relato de funções spark ausentes em sparkUsagesInventory.pam

• Atualização dos logotipos do relatório detalhado

• Precisão dos valores percentuais nos relatórios de avaliação resumidos e detalhados

0.1.595¶

17 de agosto de 2022

Scala 0.1.421

SparkSnowConvert Core 0.1.396

Adicionado

• Aprimoramento das transformações de leitura e gravação do Spark

• Coluna de id de sessão para inventário de usos do spark

0.1.479¶

30 de junho de 2022

Scala 0.1.411

SparkSnowConvert Core 0.1.279

Adicionado

• Transformações de leitura e gravação do Spark

• Transformações das funções Spark trim, rtrim e ltrim

• Análise de interpolação de cadeias de caracteres

• Aumentar os padrões de correspondência da extração sql

0.1.447¶

14 de junho de 2022

Scala 0.1.402

SparkSnowConvert Core 0.1.274

Adicionado

• Robustez das operações de arquivo

• Reorganização das pastas de saída

• Transformação do construtor SparkSession

• Adição da contagem de «Scala files with embedded sql» nos relatórios de avaliação

Corrigido

• Problema de dependências cíclicas na tabela de símbolos

• Análise de cláusula de caso vazio

• Várias instruções sobre a análise de blocos lambda

• Análise de padrão de cláusula de caso

0.1.380¶

1º de junho de 2022

Scala 0.1.391

SparkSnowConvert Core 0.1.229

Adicionado

• Robustez da análise

• Processamento de arquivos de configuração .sbt

• Seção de detalhamento de problemas adicionada ao relatório html de avaliação

• Melhorias na aparência do relatório html de avaliação

• Uso dos inventários RapidScanner para calcular a avaliação do uso do spark

• Suporte para CLI e UI do macOS

• Aprimoramentos nos mapeamentos de instruções de importação

0.1.7¶

17 de maio de 2022

Scala 0.1.380

Adicionado

• Analisador Scala

  • Suporte a ponto de exclamação duplo

• Ferramenta de conversão

  • Extração de sql

  • Transformação da função object_struct

  • Transformação da função avg

  • Atualização das extensões Snowpark .jar

  • Relatório de linhas de código

  • Importar mapeamentos

  • Relatórios de avaliação em docx e html

  • Integração de RapidScan

  • Suporte ao Linux OS

Corrigido

• Análise de casos especiais de expressões binárias

0.1.3¶

18 de março de 2022

Scala 0.1.358

Adicionado

• Analisador Scala

  • Suporte a sublinhado seguido de nova linha ao analisar expressões

  • Melhorar o tratamento de erros de análise

• Símbolos

  • Melhorar o suporte a símbolos não resolvidos

  • Aprimorar a criação de símbolos genéricos para reutilizar os existentes

  • Suporte ao carregamento e à resolução de expressões Lambda

• Mapeamentos:

  • Suporte a mapeamentos personalizados para funções e tipos por meio de arquivos .map

  • Adicionado o parâmetro de diretório de mapa personalizado

Corrigido

• Preencher colunas ausentes no arquivo .pam da notificação.

• Gerar arquivos de dados de métricas (.pam) para a pasta de relatórios especificada

0.1.2¶

4 de março de 2022

Scala 0.1.351

Adicionado

• Logotipos e textos atualizados em UI e Documentação

• Símbolos

  • Suporte a identificadores genéricos em parâmetros de tipo para símbolo genérico

  • Exclusão de dependências não necessárias

• ScalaParser:

  • Identificações de backticks

  • Expressões ArgAssign

Corrigido

• ScalaParser:

  • ExprLambda com ColonType ao lado de ident

  • Expressão try quando try não está se referindo a uma palavra-chave

  • Expr lambda vazia com args

  • Underscore («_») em TypeArgs

  • Arquivos com todos os códigos-fonte comentados

  • Novas linhas nos nós SimpleExpr, SingleExpr, TailExpr

• ConversionTool:

  • Correção de falha na conversão devido a erros de análise de javap (relacionados a dependências de jar)

0.1.1¶

14 de fevereiro de 2022

Scala 0.1.333

Recursos

• Interface da linha de comando.

• Recurso de avaliação de código Scala.

• Consumir vários arquivos ou arquivos únicos com vários objetos.

• Conversão de programas Scala básicos, conforme definido por funções e sintaxe a serem mutuamente acordadas durante os três primeiros sprints de desenvolvimento.

• Os comentários no código Scala são reinseridos em linha.

• Insira comentários em linha com quaisquer erros/avisos/revisões.

• Relatórios básicos, incluindo

  • Número de elementos spark processados

  • Resumo dos elementos transformados, arquivos e locais de

  • Resumo dos erros/avisos/revisões encontrados.

  • Resumo de APIs do Spark sem suporte

• Inclusão comprovada dos seguintes cenários definidos:

  • Mapeamentos de API

  • Recriar o projeto como projects SnowPark

    • Configurar a estrutura adequada do projeto

    • Atualização para a versão do Scala compatível com SnowPark

  • Criação de auxiliar para reduzir a incompatibilidade de impedância

  • Definir alguma reescrita de padrão

  • Documentar diretrizes para conceitos não automatizáveis (por exemplo: padrões de uso de arquivos, configuração de fontes de dados ou bibliotecas spark sem um equivalente direto, como a leitura de fluxo do Kafka)

• Taxa de conversão bem-sucedida superior a 90% para as duas bases iniciais de código de cliente (código base para os cenários acima) a serem fornecidas ao Mobilize pela Snowflake na Data de Vigência.

  • Medido com base no número de objetos compiláveis no Snowflake

  • Objetos com funções não suportadas/não traduzíveis não são contados

  • A taxa de conversão do código será baseada em uma base de código completa contendo todos os objetos dependentes.

  • O Snowflake fornecerá acesso a todos os recursos de visualização privada disponíveis para o benefício de desenvolvimento do Mobilize