Snowpark Migration Accelerator: Notas de versão¶

Aplicativo para desktop desktop-app¶

• Foi corrigido um problema durante a conversão na opção de projeto de amostra.

Incluídas versões de núcleo do SMA included-sma-core-versions¶

• Snowpark Conversion Core 5.3.0

Aplicativo para desktop desktop-app¶

• Adicionado um novo modal quando o usuário não tem permissão de gravação.

• Atualizado o acordo de licenciamento, a aceitação é necessária.

CLI cli¶

• Foi corrigido o ano na tela CLI ao mostrar «–version» ou «-v»

Incluídas versões de núcleo do SMA included-sma-core-versions¶

• Snowpark Conversion Core 5.3.0

Adicionado¶

Alterado¶

• Atualizada a versão do .NET para v9.0.0.

• Aprimorado EWI SPRKPY1068.

• Aumentada a versão da API do Snowpark Python suportada pelo SMA de 1.24.0 para 1.25.0.

• Atualizamos o modelo de relatório detalhado, agora com a versão Snowpark para Pandas.

• As seguintes bibliotecas foram alteradas de ThirdPartyLib para BuiltIn.

  • configparser

  • dataclasses

  • pathlib

  • readline

  • statistics

  • zlib

Problema conhecido¶

• Esta versão inclui um problema quando a conversão do projeto de amostra não funciona nesta versão, que será corrigido na próxima versão

Aplicativo para desktop desktop-app¶

• Foi adicionado um link para o guia de solução de problemas no modal de relatório de falhas.

Incluídas versões de núcleo do SMA included-sma-core-versions¶

• Snowpark Conversion Core 4.15.0

Adicionado¶

• Você adicionou os seguintes elementos PySpark ao arquivo ConversionStatusPySpark. csv como NotSupported:

  • pyspark.sql.streaming.readwriter.DataStreamReader.table

  • pyspark.sql.streaming.readwriter.DataStreamReader.schema

  • pyspark.sql.streaming.readwriter.DataStreamReader.options

  • pyspark.sql.streaming.readwriter.DataStreamReader.option

  • pyspark.sql.streaming.readwriter.DataStreamReader.load

  • pyspark.sql.streaming.readwriter.DataStreamReader.format

  • pyspark.sql.streaming.query.StreamingQuery.awaitTermination

  • pyspark.sql.streaming.readwriter.DataStreamWriter.partitionBy

  • pyspark.sql.streaming.readwriter.DataStreamWriter.toTable

  • pyspark.sql.streaming.readwriter.DataStreamWriter.trigger

  • pyspark.sql.streaming.readwriter.DataStreamWriter.queryName

  • pyspark.sql.streaming.readwriter.DataStreamWriter.outputMode

  • pyspark.sql.streaming.readwriter.DataStreamWriter.format

  • pyspark.sql.streaming.readwriter.DataStreamWriter.option

  • pyspark.sql.streaming.readwriter.DataStreamWriter.foreachBatch

  • pyspark.sql.streaming.readwriter.DataStreamWriter.start

Alterado¶

• Formato atualizado do Hive SQL EWIs.

  • SPRKHVSQL1001

  • SPRKHVSQL1002

  • SPRKHVSQL1003

  • SPRKHVSQL1004

  • SPRKHVSQL1005

  • SPRKHVSQL1006

• Formato atualizado do Spark SQL EWIs.

  • SPRKSPSQL1001

  • SPRKSPSQL1002

  • SPRKSPSQL1003

  • SPRKSPSQL1004

  • SPRKSPSQL1005

  • SPRKSPSQL1006

Corrigido¶

• Foi corrigido um bug que fazia com que alguns elementos do PySpark não fossem identificados pela ferramenta.

• Foi corrigida a incompatibilidade entre as chamadas identificadas em ThirdParty e o número de chamadas de importação em ThirdParty.

Incluídas versões de núcleo do SMA included-sma-core-versions¶

• Snowpark Conversion Core 4.14.0

Adicionado added¶

• Foram adicionados os seguintes elementos do Spark a ConversionStatusPySpark.csv:

  • pyspark.broadcast.Broadcast.value

  • pyspark.conf.SparkConf.getAll

  • pyspark.conf.SparkConf.setAll

  • pyspark.conf.SparkConf.setMaster

  • pyspark.context.SparkContext.addFile

  • pyspark.context.SparkContext.addPyFile

  • pyspark.context.SparkContext.binaryFiles

  • pyspark.context.SparkContext.setSystemProperty

  • pyspark.context.SparkContext.version

  • pyspark.files.SparkFiles

  • pyspark.files.SparkFiles.get

  • pyspark.rdd.RDD.count

  • pyspark.rdd.RDD.distinct

  • pyspark.rdd.RDD.reduceByKey

  • pyspark.rdd.RDD.saveAsTextFile

  • pyspark.rdd.RDD.take

  • pyspark.rdd.RDD.zipWithIndex

  • pyspark.sql.context.SQLContext.udf

  • pyspark.sql.types.StructType.simpleString

Alterado changed.6¶

• Atualizada a documentação dos Pandas EWIs, PNDSPY1001, PNDSPY1002 e PNDSPY1003 SPRKSCL1137 para alinhar com um formato padronizado, garantindo consistência e clareza em todos os EWIs.

• Atualizada a documentação dos seguintes Scala EWIs: SPRKSCL1106 e SPRKSCL1107. Para estar alinhado com um formato padronizado, garantindo consistência e clareza em todos os EWIs.

Fixo fixed.2¶

• Foi corrigido o erro que estava causando a exibição dos símbolos UserDefined no inventário de usos de terceiros.

Incluídas versões de núcleo do SMA included-sma-core-versions¶

• Snowpark Conversion Core 4.13.1

Interface de linha de comando command-line-interface¶

Alterado

• Adicionado o registro de data e hora à pasta de saída.

Adicionado added¶

• Adicionada a coluna “Source Language” à tabela de mapeamentos de bibliotecas

• Adicionado Others como uma nova categoria na tabela Pandas API Summary do DetailedReport.docx

Alterado changed.6¶

• Atualização da documentação do Python EWI SPRKPY1058.

• Atualizada a mensagem para o Pandas EWI PNDSPY1002 para mostrar o elemento pandas relacionado.

• Atualizamos a forma como criamos os relatórios .csv, que agora são sobrescritos após uma segunda execução.

Fixo fixed.2¶

• Foi corrigido um erro que fazia com que os arquivos do Notebook não fossem gerados na saída.

• Corrigido o substituto dos métodos get e set do pyspark.sql.conf.RuntimeConfig, o substituto agora corresponde aos nomes completos corretos.

• Correção da versão incorreta da tag de consulta.

• Correção dos pacotes UserDefined relatados como ThirdPartyLib.

\

Incluídas versões de núcleo do SMA included-sma-core-versions¶

• Snowpark Conversion Core 4.12.0

Aplicativo para desktop desktop-app¶

Corrigido

• Correção de problemas de distinção entre maiúsculas e minúsculas nas opções –sql.

Removido

• Removido o nome da plataforma da mensagem show-ac.

Adicionado added¶

• Adicionado suporte ao Snowpark Python 1.23.0 e 1.24.0.

• Adicionado novo EWI para a função pyspark.sql.dataframe.DataFrame.writeTo. Todos os usos dessa função agora terão o EWI SPRKPY1087.

Alterado changed.5¶

• Atualizada a documentação dos Scala EWIs de SPRKSCL1137 para SPRKSCL1156 para alinhar-se a um formato padronizado, garantindo consistência e clareza em todos os EWIs.

• Atualizada a documentação dos Scala EWIs de SPRKSCL1117 para SPRKSCL1136 para alinhar-se a um formato padronizado, garantindo consistência e clareza em todos os EWIs.

• Atualizada a mensagem que é exibida nos seguintes EWIs:

  • SPRKPY1082

  • SPRKPY1083

• Atualização da documentação dos Scala EWIs de SPRKSCL1100 para SPRKSCL1105, de SPRKSCL1108 para SPRKSCL1116; de SPRKSCL1157 para SPRKSCL1175; para alinhar-se a um formato padronizado, garantindo consistência e clareza em todos os EWIs.

• Atualizado o status de mapeamento dos seguintes elementos PySpark de NotSupported para . Direto com EWI:

  • pyspark.sql.readwriter.DataFrameWriter.option => snowflake.snowpark.DataFrameWriter.option: Todos os usos dessa função agora têm o EWI SPRKPY1088

  • pyspark.sql.readwriter.DataFrameWriter.options => snowflake.snowpark.DataFrameWriter.options: Todos os usos dessa função agora têm o EWI SPRKPY1089

• Atualizado o status de mapeamento dos seguintes elementos PySpark de Solução alternativa para Renomear:

  • pyspark.sql.readwriter.DataFrameWriter.partitionBy => snowflake.snowpark.DataFrameWriter.partition_by

• Documentação EWI atualizada: SPRKSCL1000, SPRKSCL1001, SPRKSCL1002, SPRKSCL1100, SPRKSCL1101, SPRKSCL1102, SPRKSCL1103, SPRKSCL1104, SPRKSCL1105.

Removido removed.1¶

• Removido o elemento pyspark.sql.dataframe.DataFrameStatFunctions.writeTo do status de conversão, pois esse elemento não existe.

Depreciado deprecated¶

• Depreciados os seguintes códigos EWI:

  • SPRKPY1081

  • SPRKPY1084

Adicionado added¶

• Foi adicionada uma nova coluna chamada Url ao arquivo Issues.csv, que redireciona para a documentação correspondente do EWI.

• Adicionados novos EWIs para os seguintes elementos do Spark:

  • [SPRKPY1082] pyspark.sql.readwriter.DataFrameReader.load

  • [SPRKPY1083] pyspark.sql.readwriter.DataFrameWriter.save

  • [SPRKPY1084] pyspark.sql.readwriter.DataFrameWriter.option

  • [SPRKPY1085] pyspark.ml.feature.VectorAssembler

  • [SPRKPY1086] pyspark.ml.linalg.VectorUDT

• Foram adicionados 38 novos elementos Pandas:

  • pandas.core.frame.DataFrame.select

  • andas.core.frame.DataFrame.str

  • pandas.core.frame.DataFrame.str.replace

  • pandas.core.frame.DataFrame.str.upper

  • pandas.core.frame.DataFrame.to_list

  • pandas.core.frame.DataFrame.tolist

  • pandas.core.frame.DataFrame.unique

  • pandas.core.frame.DataFrame.values.tolist

  • pandas.core.frame.DataFrame.withColumn

  • pandas.core.groupby.generic._SeriesGroupByScalar

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].agg

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].aggregate

  • pandas.core.indexes.datetimes.DatetimeIndex.year

  • pandas.core.series.Series.columns

  • pandas.core.tools.datetimes.to_datetime.date

  • pandas.core.tools.datetimes.to_datetime.dt.strftime

  • pandas.core.tools.datetimes.to_datetime.strftime

  • pandas.io.parsers.readers.TextFileReader.apply

  • pandas.io.parsers.readers.TextFileReader.astype

  • pandas.io.parsers.readers.TextFileReader.columns

  • pandas.io.parsers.readers.TextFileReader.copy

  • pandas.io.parsers.readers.TextFileReader.drop

  • pandas.io.parsers.readers.TextFileReader.drop_duplicates

  • pandas.io.parsers.readers.TextFileReader.fillna

  • pandas.io.parsers.readers.TextFileReader.groupby

  • pandas.io.parsers.readers.TextFileReader.head

  • pandas.io.parsers.readers.TextFileReader.iloc

  • pandas.io.parsers.readers.TextFileReader.isin

  • pandas.io.parsers.readers.TextFileReader.iterrows

  • pandas.io.parsers.readers.TextFileReader.loc

  • pandas.io.parsers.readers.TextFileReader.merge

  • pandas.io.parsers.readers.TextFileReader.rename

  • pandas.io.parsers.readers.TextFileReader.shape

  • pandas.io.parsers.readers.TextFileReader.to_csv

  • pandas.io.parsers.readers.TextFileReader.to_excel

  • pandas.io.parsers.readers.TextFileReader.unique

  • pandas.io.parsers.readers.TextFileReader.values

  • pandas.tseries.offsets

Incluídas versões de núcleo do SMA included-sma-core-versions¶

• Snowpark Conversion Core 4.10.0

Aplicativo para desktop desktop-app¶

Corrigido

• Foi corrigido um erro que fazia com que o SMA mostrasse o rótulo SnowConvert em vez de Snowpark Migration Accelerator na barra de menus da versão Windows.

• Foi corrigido um bug que fazia com que o SMA travasse quando não tinha permissões de leitura e gravação no diretório .config no macOS e no diretório AppData no Windows.

Interface de linha de comando command-line-interface¶

Alterado

• O nome do executável da CLI foi renomeado de snowct para sma.

• Removido o argumento da linguagem de origem para que o usuário não precise mais especificar se está executando uma avaliação/conversão de Python ou Scala.

• Expandidos os argumentos de linha de comando suportados pela CLI, adicionando os seguintes novos argumentos:

  • --enableJupyter | -j: Sinalizador para indicar se a conversão de notebooks do Databricks para o Jupyter está ativada ou não.

  • --sql | -f: Sintaxe do mecanismo de banco de dados a ser usada quando um comando SQL for detectado.

  • --customerEmail | -e: Configurar o e-mail do cliente.

  • --customerCompany | -c: Configurar a empresa do cliente.

  • --projectName | -p: Configure o projeto do cliente.

• Atualização de alguns textos para refletir o nome correto do aplicativo, garantindo consistência e clareza em todas as mensagens.

• Atualizados os termos de uso do aplicativo.

• Atualizada e ampliada a documentação da CLI para refletir os recursos, aprimoramentos e alterações mais recentes.

• Atualizado o texto que é mostrado antes de prosseguir com a execução do SMA para melhorar

• Atualizado a CLI para aceitar «Yes» como um argumento válido ao solicitar a confirmação do usuário.

• Permitimos que a CLI continue a execução sem esperar pela interação do usuário, especificando o argumento -y ou --yes.

• Atualizadas as informações de ajuda do argumento --sql para mostrar os valores que esse argumento espera.

Adicionado added¶

• Adicionado um novo EWI para a função pyspark.sql.readwriter.DataFrameWriter.partitionBy. Todos os usos dessa função agora terão o EWI SPRKPY1081.

• Adicionada uma nova coluna chamada Technology ao arquivo ImportUsagesInventory. csv.

Alterado changed.5¶

• Atualizada a pontuação de preparação das bibliotecas de terceiros para levar em conta também as bibliotecas Unknown.

• Atualizado o arquivo AssessmentFiles.zip para incluir os arquivos .json em vez dos arquivos .pam.

• Aprimorado o mecanismo de conversão de CSV para JSON para tornar o processamento de inventários mais eficiente.

• Aprimorada a documentação dos seguintes EWIs:

  • SPRKPY1029

  • SPRKPY1054

  • SPRKPY1055

  • SPRKPY1063

  • SPRKPY1075

  • SPRKPY1076

• Atualização do status de mapeamento dos seguintes elementos Spark Scala de Direto para Renomear.

  • org.apache.spark.sql.functions.shiftLeft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftRight => com.snowflake.snowpark.functions.shiftright

• Atualizado o status de mapeamento dos seguintes elementos do Spark Scala foi atualizado de Não suportado para Direto.

  • org.apache.spark.sql.functions.shiftleft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright => com.snowflake.snowpark.functions.shiftright

Fixo fixed.2¶

• Foi corrigido um erro que fazia com que o SMA preenchesse incorretamente a coluna Origin do arquivo ImportUsagesInventory.csv.

• Foi corrigido um bug que fazia com que o SMA não classificasse as importações das bibliotecas io, json, logging e unittest como importações incorporadas do Python no arquivo ImportUsagesInventory.csv e no arquivo DetailedReport.docx.

Adicionado added¶

• Adicionados os arquivos EwiCatalog.csv e .md para reorganizar a documentação

• Adicionado o status de mapeamento de Diretopyspark.sql.functions.ln.

• Adicionada uma transformação para pyspark.context.SparkContext.getOrCreate

  • Consulte o EWI SPRKPY1080 para obter mais detalhes.

• Adicionado um aprimoramento para SymbolTable, inferir o tipo de parâmetros em funções.

• SymbolTable adicionada suporta métodos estáticos e não assume que o primeiro parâmetro será self para eles.

• Foi adicionada documentação sobre a falta de EWIs

  • SPRKHVSQL1005

  • SPRKHVSQL1006

  • SPRKSPSQL1005

  • SPRKSPSQL1006

  • SPRKSCL1002

  • SPRKSCL1170

  • SPRKSCL1171

  • SPRKPY1057

  • SPRKPY1058

  • SPRKPY1059

  • SPRKPY1060

  • SPRKPY1061

  • SPRKPY1064

  • SPRKPY1065

  • SPRKPY1066

  • SPRKPY1067

  • SPRKPY1069

  • SPRKPY1070

  • SPRKPY1077

  • SPRKPY1078

  • SPRKPY1079

  • SPRKPY1101

Alterado changed.3¶

• Atualizado o status de mapeamento de:

  • pyspark.sql.functions.array_remove de NotSupported para Direto.

Corrigido fixed¶

• Corrigida a tabela de dimensionamento de arquivos de código no relatório de detalhes para excluir arquivos .sql e .hql e adicionada a linha Extra Large na tabela.

• Foi corrigida a falta da tag update_query_tag quando SparkSession é definido em várias linhas em Python.

• Foi corrigida a falta da tag update_query_tag quando SparkSession é definido em várias linhas em Scala.

• Foi corrigida a falta do EWI SPRKHVSQL1001 em algumas instruções SQL com erros de análise.

• Correção da manutenção de valores de novas linhas dentro de literais de cadeia de caracteres

• Corrigido o total de linhas de código mostrado na tabela de resumo do tipo de arquivo

• Corrigido o Parsing Score mostrado como 0 quando os arquivos eram reconhecidos com sucesso

• Corrigida a contagem de LOC no inventário de células para Databricks Magic SQL Cells

Adicionado added¶

• Adicionada transformação para pyspark.sql.readwriter.DataFrameReader.parquet.

• Adicionada transformação para pyspark.sql.readwriter.DataFrameReader.option quando for um método Parquet.

Alterado changed.3¶

• Atualizado o status de mapeamento de:

  • pyspark.sql.types.StructType. fields de NotSupported para Direto.

  • pyspark.sql.types.StructType. names de NotSupported para Direto.

  • pyspark.context.SparkContext.setLogLevel de Solução alternativa para Transformação.

    • Mais detalhes podem ser encontrados nos EWIs SPRKPY1078 e SPRKPY1079

  • org.apache.spark.sql.functions.round de WorkAround para Direto.

  • org.apache.spark.sql.functions.udf de NotDefined para Transformação.

    • Mais detalhes podem ser encontrados nos EWIs SPRKSCL1174 e SPRKSCL1175

• Atualização do status de mapeamento dos seguintes elementos Spark de DirectHelper para Direto:

  • org.apache.spark.sql.functions.hex

  • org.apache.spark.sql.functions.unhex

  • org.apache.spark.sql.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright

  • org.apache.spark.sql.functions.reverse

  • org.apache.spark.sql.functions.isnull

  • org.apache.spark.sql.functions.unix_timestamp

  • org.apache.spark.sql.functions.randn

  • org.apache.spark.sql.functions.signum

  • org.apache.spark.sql.functions.sign

  • org.apache.spark.sql.functions.collect_list

  • org.apache.spark.sql.functions.log10

  • org.apache.spark.sql.functions.log1p

  • org.apache.spark.sql.functions.base64

  • org.apache.spark.sql.functions.unbase64

  • org.apache.spark.sql.functions.regexp_extract

  • org.apache.spark.sql.functions.expr

  • org.apache.spark.sql.functions.date_format

  • org.apache.spark.sql.functions.desc

  • org.apache.spark.sql.functions.asc

  • org.apache.spark.sql.functions.size

  • org.apache.spark.sql.functions.locate

  • org.apache.spark.sql.functions.ntile

Corrigido fixed¶

• Corrigido valor mostrado na Porcentagem do total da Api do Pandas

• Corrigido percentual total na tabela ImportCalls no DetailReport

Depreciado deprecated¶

• Desativado o seguinte código EWI:

  • SPRKSCL1115

Hotfixed fixed¶

• Corrigida linha Total adicionada nos resumos de usos do Spark quando não há usos

• Aumento do Python Assembly para Version=1.3.111

  • Analisar vírgula de trilha em argumentos de várias linhas

Adicionado added¶

• Adicionada transformação para pyspark.sql.readwriter.DataFrameReader.option:

  • Quando a cadeia é de uma chamada de método CSV.

  • Quando a cadeia é de uma chamada de método JSON.

• Adicionada transformação para pyspark.sql.readwriter.DataFrameReader.json.

Alterado changed.3¶

• Executado SMA em cadeias de caracteres SQL passadas para funções Python/Scala

  • Criar AST em Scala/Python para emitir a unidade temporária SQL

  • Criar inventário em SqlEmbeddedUsages.csv

  • Desativar SqlStatementsInventroy.csv e SqlExtractionInventory.csv

  • Integrar EWI quando o literal SQL não puder ser processado

  • Criar nova tarefa para processar código SQL incorporado

  • Coletar informações para o inventário SqlEmbeddedUsages.csv em Python

  • Substituir código transformado SQL para Literal em Python

  • Atualizar os casos de teste após a implementação

  • Criar tabela e exibições para telemetria no inventário SqlEmbeddedUsages

  • Coletar informações para o relatório SqlEmbeddedUsages.csv em Scala

  • Substituir código transformado SQL para Literal em Scala

  • Verificar a ordem do número da linha para o relatório SQL incorporado

• Preenchido o arquivo SqlFunctionsInfo.csv com as funções SQL documentadas para SparkSQL e HiveSQL

• Atualizado o status do mapeamento para:

  • org.apache.spark.sql.SparkSession.sparkContext de NotSupported para Transformação.

  • org.apache.spark.sql.Builder.config de NotSupported para Transformação. Com esse novo status de mapeamento, o SMA removerá todos os usos dessa função do código-fonte.

Adicionado¶

• Foi adicionado o mecanismo (via decoração) para obter a linha e a coluna dos elementos identificados nas células dos notebooks

• Adicionado um EWI para pyspark.sql.functions.from_json.

• Adicionada uma transformação para pyspark.sql.readwriter.DataFrameReader.csv.

• Ativado o mecanismo de tag de consulta para arquivos Scala.

• Adicionada a pontuação da análise de código e links adicionais para o relatório detalhado.

• Foi adicionada uma coluna chamada OriginFilePath ao arquivo InputFilesInventory.csv

Alterado¶

• Atualizamos o status do mapeamento de pyspark.sql.functions.from_json de Não suportado para Transformação.

• Atualizamos o status de mapeamento dos seguintes elementos Spark de Solução alternativa para Direto:

  • org.apache.spark.sql.functions.countDistinct

  • org.apache.spark.sql.functions.max

  • org.apache.spark.sql.functions.min

  • org.apache.spark.sql.functions.mean

Obsoleto¶

• Depreciados os seguintes códigos EWI:

  • SPRKSCL1135

  • SPRKSCL1136

  • SPRKSCL1153

  • SPRKSCL1155

Corrigido¶

• Foi corrigido um bug que causava um cálculo incorreto da pontuação da API do Spark.

• Foi corrigido um erro que evitava a cópia de SQL arquivos vazios ou comentados na pasta de saída.

• Corrigido um bug no DetailedReport, o LOC das estatísticas do notebook e a contagem de células não são precisas.

Adicionado added¶

• Adicionar coluna de tecnologia ao SparkUsagesInventory

• Foi adicionado um EWI para elementos SQL não definidos.

• Adicionado inventário de SqlFunctions

• Coletar informações para inventário de SqlFunctions

Alterado changed.3¶

• O mecanismo agora processa e imprime arquivos Python parcialmente analisados em vez de deixar o arquivo original sem modificações.

• As células do notebook Python que apresentarem erros de análise também serão processadas e impressas.

Corrigido fixed¶

• Corrigido pandas.core.indexes.datetimes.DatetimeIndex.strftime estava sendo relatado erroneamente.

• Corrigir a incompatibilidade entre a pontuação de preparação de SQL e usos de SQL por status de suporte.

• Foi corrigido um bug que fazia com que o SMA informasse pandas.core.series.Series.empty com um status de mapeamento incorreto.

• Corrigir a incompatibilidade entre o Spark API Usages Ready for Conversion em DetailedReport.docx; é diferente da linha UsagesReadyForConversion em Assessment.json.

Adicionado add.1¶

• Foram adicionadas as seguintes informações ao arquivo AssessmentReport.json

  • A pontuação de preparação das bibliotecas de terceiros.

  • O número de chamadas de bibliotecas de terceiros que foram identificadas.

  • O número de chamadas de bibliotecas de terceiros que são compatíveis com o Snowpark.

  • O código de cores associado à pontuação de preparação de terceiros, à pontuação de preparação da API do Spark e à pontuação de preparação de SQL.

• Transformado SqlSimpleDataType no Spark para criar tabelas.

• Adicionado o mapeamento de pyspark.sql.functions.get como direto.

• Adicionado o mapeamento de pyspark.sql.functions.to_varchar como direto.

• Como parte das alterações após a unificação, a ferramenta agora gera um arquivo de informações de execução no Engine.

• Adicionado um substituto para pyspark.sql.SparkSession.builder.appName.

Alterado changed.4¶

• Atualização do status de mapeamento dos seguintes elementos Spark

  • De Não suportado para mapeamento Direto:

    • pyspark.sql.functions.sign

    • pyspark.sql.functions.signum

• Alterado o relatório Notebook Cells Inventory para indicar o tipo de conteúdo de cada célula na coluna Element

• Foi adicionada uma coluna SCALA_READINESS_SCORE que informa a pontuação de preparação relacionada apenas a referências à API do Spark em arquivos Scala.

• Suporte parcial para transformar as propriedades da tabela em ALTER TABLE e ALTER VIEW

• Atualização do status de conversão do nó SqlSimpleDataType de Pending para Transformation nas tabelas de criação do Spark

• Atualizada a versão da API do Snowpark Scala suportada pelo SMA de 1.7.0 para 1.12.1:

  • Atualizado o status de mapeamento de:

    • org.apache.spark.sql.SparkSession.getOrCreate de Renomear para Direto

    • org.apache.spark.sql.functions.sum de Solução alternativa para Direto

• Atualizada a versão da API do Snowpark Python suportada pelo SMA de 1.15.0 para 1.20.0:

  • Atualizado o status de mapeamento de:

    • pyspark.sql.functions.arrays_zip de Não suportado para Direto

• Atualização do status de mapeamento dos seguintes elementos do Pandas:

  • Mapeamentos diretos:

    • pandas.core.frame.DataFrame.any

    • pandas.core.frame.DataFrame.applymap

• Atualização do status de mapeamento dos seguintes elementos do Pandas:

  • De Não suportado para mapeamento Direto:

    • pandas.core.frame.DataFrame.groupby

    • pandas.core.frame.DataFrame.index

    • pandas.core.frame.DataFrame.T

    • pandas.core.frame.DataFrame.to_dict

  • De Não suportado para Renomear mapeamento:

    • pandas.core.frame.DataFrame.map

• Atualização do status de mapeamento dos seguintes elementos do Pandas:

  • Mapeamentos diretos:

    • pandas.core.frame.DataFrame.where

    • pandas.core.groupby.generic.SeriesGroupBy.agg

    • pandas.core.groupby.generic.SeriesGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.agg

    • pandas.core.groupby.generic.DataFrameGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.apply

  • Mapeamentos não suportados:

    • pandas.core.frame.DataFrame.to_parquet

    • pandas.core.generic.NDFrame.to_csv

    • pandas.core.generic.NDFrame.to_excel

    • pandas.core.generic.NDFrame.to_sql

• Atualização do status de mapeamento dos seguintes elementos do Pandas:

  • Mapeamentos diretos:

    • pandas.core.series.Series.empty

    • pandas.core.series.Series.apply

    • pandas.core.reshape.tile.qcut

  • Direct mappings with EWI:

    • pandas.core.series.Series.fillna

    • pandas.core.series.Series.astype

    • pandas.core.reshape.melt.melt

    • pandas.core.reshape.tile.cut

    • pandas.core.reshape.pivot.pivot_table

• Atualização do status de mapeamento dos seguintes elementos do Pandas:

  • Mapeamentos diretos:

    • pandas.core.series.Series.dt

    • pandas.core.series.Series.groupby

    • pandas.core.series.Series.loc

    • pandas.core.series.Series.shape

    • pandas.core.tools.datetimes.to_datetime

    • pandas.io.excel._base.ExcelFile

  • Mapeamentos não suportados:

    • pandas.core.series.Series.dt.strftime

• Atualização do status de mapeamento dos seguintes elementos do Pandas:

  • De Não suportado para mapeamento Direto:

    • pandas.io.parquet.read_parquet

    • pandas.io.parsers.readers.read_csv

• Atualização do status de mapeamento dos seguintes elementos do Pandas:

  • De Não suportado para mapeamento Direto:

    • pandas.io.pickle.read_pickle

    • pandas.io.sql.read_sql

    • pandas.io.sql.read_sql_query

• Atualizada a descrição como entender a pontuação de preparação de SQL.

• Atualizado o PyProgramCollector para coletar os pacotes e preencher o inventário de pacotes atual com dados do código-fonte do Python.

• Atualizado o status de mapeamento de pyspark.sql.SparkSession.builder.appName de Renomear para Transformação.

• Removidos os seguintes testes de integração do Scala:

  • AssesmentReportTest_AssessmentMode.ValidateReports_AssessmentMode

  • AssessmentReportTest_PythonAndScala_Files.ValidateReports_PythonAndScala

  • AssessmentReportTestWithoutSparkUsages.ValidateReports_WithoutSparkUsages

• Atualização do status de mapeamento de pandas.core.generic.NDFrame.shape de Não suportado para Direto.

• Atualizado o status de mapeamento de pandas.core.series de Não suportado para Direto.

Depreciado deprecated¶

• O código EWI SPRKSCL1160 foi descontinuado, pois org.apache.spark.sql.functions.sum agora é um mapeamento direto.

Corrigido fixed.1¶

• Foi corrigido um erro que impedia o suporte a Custom Magics sem argumentos nas células do Jupyter Notebook.

• Foi corrigida a geração incorreta de EWIs no relatório issues.csv quando ocorriam erros de análise.

• Foi corrigido um erro que fazia com que o SMA não processasse o notebook exportado do Databricks como Databricks Notebooks.

• Foi corrigido um erro de estouro de pilha ao processar nomes de tipos conflitantes de instruções criadas dentro de objetos de pacotes.

• Corrigido o processamento de nomes de tipos lambda complexos envolvendo genéricos, por exemplo, def func[X,Y](f: (Map[Option[X], Y] => Map[Y, X]))...

• Foi corrigido um bug que fazia com que o SMA adicionasse um código PySpark EWI em vez de um código Pandas EWI aos elementos Pandas que ainda não eram reconhecidos.

• Corrigido um erro de digitação no modelo de relatório detalhado: renomeando uma coluna de «Percentage of all Python Files» para «Percentage of all files».

• Foi corrigido um bug em que pandas.core.series.Series.shape era relatado erroneamente.