Snowpark Migration Accelerator: Notas de versão¶

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.62

Adicionado¶

• Added functionality to migrate SQL embedded with Python format interpolation.

• Added support for DataFrame.select and DataFrame.sort transformations for greater data processing flexibility.

Alterado¶

• Bumped the supported versions of Snowpark Python API and Snowpark Pandas API to 1.36.0.

• Updated the mapping status of pandas.core.frame.DataFrame.boxplot from Not Supported to Direct.

• Updated the mapping status of DataFrame.select, Dataset.select, DataFrame.sort and Dataset.sort from Direct to Transformation.

• Snowpark Scala allows a sequence of columns to be passed directly to the select and sort functions, so this transformation changes all the usages such as df.select(cols: _*) to df.select(cols) and df.sort(cols: _*) to df.sort(cols).

• Bumped Python AST and Parser version to 149.1.9.

• Updated the status to Direct for pandas functions:

  • pandas.core.frame.DataFrame.to_excel

  • pandas.core.series.Series.to_excel

  • pandas.io.feather_format.read_feather

  • pandas.io.orc.read_orc

  • pandas.io.stata.read_stata

• Updated the status for pyspark.sql.pandas.map_ops.PandasMapOpsMixin.mapInPandas to workaround using the EWI SPRKPY1102.

Corrigido¶

• Fixed issue that affected SqlEmbedded transformations when using chained method calls.

• Fixed transformations involving PySqlExpr using the new PyLiteralSql to avoid losing Tails.

• Resolved internal stability issues to improve tool robustness and reliability.

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.46

Adicionado¶

• Added new Pandas EWI documentation PNDSPY1011.

• Added support to the following Pandas functions:

  • pandas.core.algorithms.unique

  • pandas.core.dtypes.missing.isna

  • pandas.core.dtypes.missing.isnull

  • pandas.core.dtypes.missing.notna

  • pandas.core.dtypes.missing.notnull

  • pandas.core.resample.Resampler.count

  • pandas.core.resample.Resampler.max

  • pandas.core.resample.Resampler.mean

  • pandas.core.resample.Resampler.median

  • pandas.core.resample.Resampler.min

  • pandas.core.resample.Resampler.size

  • pandas.core.resample.Resampler.sum

  • pandas.core.arrays.timedeltas.TimedeltaArray.total_seconds

  • pandas.core.series.Series.get

  • pandas.core.series.Series.to_frame

  • pandas.core.frame.DataFrame.assign

  • pandas.core.frame.DataFrame.get

  • pandas.core.frame.DataFrame.to_numpy

  • pandas.core.indexes.base.Index.is_unique

  • pandas.core.indexes.base.Index.has_duplicates

  • pandas.core.indexes.base.Index.shape

  • pandas.core.indexes.base.Index.array

  • pandas.core.indexes.base.Index.str

  • pandas.core.indexes.base.Index.equals

  • pandas.core.indexes.base.Index.identical

  • pandas.core.indexes.base.Index.unique

Added support to the following Spark Scala functions:

• org.apache.spark.sql.functions.format_number

• org.apache.spark.sql.functions.from_unixtime

• org.apache.spark.sql.functions.instr

• org.apache.spark.sql.functions.months_between

• org.apache.spark.sql.functions.pow

• org.apache.spark.sql.functions.to_unix_timestamp

• org.apache.spark.sql.Row.getAs

Alterado¶

• Bumped the version of Snowpark Pandas API supported by the SMA to 1.33.0.

• Bumped the version of Snowpark Scala API supported by the SMA to 1.16.0.

• Updated the mapping status of pyspark.sql.group.GroupedData.pivot from Transformation to Direct.

• Updated the mapping status of org.apache.spark.sql.Builder.master from NotSupported to Transformation. This transformation removes all the identified usages of this element during code conversion.

• Updated the mapping status of org.apache.spark.sql.types.StructType.fieldIndex from NotSupported to Direct.

• Updated the mapping status of org.apache.spark.sql.Row.fieldIndex from NotSupported to Direct.

• Updated the mapping status of org.apache.spark.sql.SparkSession.stop from NotSupported to Rename. All the identified usages of this element are renamed to com.snowflake.snowpark.Session.close during code conversion.

• Updated the mapping status of org.apache.spark.sql.DataFrame.unpersist and org.apache.spark.sql.Dataset.unpersist from NotSupported to Transformation. This transformation removes all the identified usages of this element during code conversion.

Corrigido¶

• Fixed continuation backslash on removed tailed functions.

• Fix the LIBRARY_PREFIX column in the ConversionStatusLibraries.csv file to use the right identifier for scikit-learn library family (scikit-*).

• Fixed bug not parsing multiline grouped operations.

Adicionado¶

• The following mappings are now performed for org.apache.spark.sql.Dataset[T]:

  • org.apache.spark.sql.Dataset.union is now com.snowflake.snowpark.DataFrame.unionAll

  • org.apache.spark.sql.Dataset.unionByName is now com.snowflake.snowpark.DataFrame.unionAllByName

• Added support for org.apache.spark.sql.functions.broadcast as a transformation.

Alterado¶

• Increased the supported Snowpark Python API version for SMA from 1.27.0 to 1.33.0.

• The status for the pyspark.sql.function.randn function has been updated to Direct.

Corrigido¶

• Resolved an issue where org.apache.spark.SparkContext.parallelize was not resolving and now supports it as a transformation.

• Fixed the Dataset.persist transformation to work with any type of Dataset, not just Dataset[Row].

Adicionado¶

• Adjusted mappings for spark.DataReader methods.

• DataFrame.union is now DataFrame.unionAll.

• DataFrame.unionByName is now DataFrame.unionAllByName.

• Added multi-level artifact dependency columns in artifact inventory

• Added new Pandas EWIs documentation, from PNDSPY1005 to PNDSPY1010.

• Added a specific EWI for pandas.core.series.Series.apply.

Alterado¶

• Bumped the version of Snowpark Pandas API supported by the SMA from 1.27.0 to 1.30.0.

Corrigido¶

• Fixed an issue with missing values in the formula to get the SQL readiness score.

• Fixed a bug that was causing some Pandas elements to have the default EWI message from PySpark.

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.19

Alterado¶

• Refactored Pandas Imports: Pandas imports now use `modin.pandas` instead of snowflake.snowpark.modin.pandas.

• Improved `dbutils` and Magic Commands Transformation:

  • A new sfutils.py file is now generated, and all dbutils prefixes are replaced with sfutils.

  • For Databricks (DBX) notebooks, an implicit import for sfutils is automatically added.

  • The sfutils module simulates various dbutils methods, including file system operations (dbutils.fs) via a defined Snowflake FileSystem (SFFS) stage, and handles notebook execution (dbutils.notebook.run) by transforming it to EXECUTE NOTEBOOK SQL functions.

  • dbutils.notebook.exit is removed as it is not required in Snowflake.

Corrigido¶

• Updates in SnowConvert Reports: SnowConvert reports now include the CellId column when instances originate from SMA, and the FileName column displays the full path.

• Updated Artifacts Dependency for SnowConvert Reports: The SMA’s artifact inventory report, which was previously impacted by the integration of SnowConvert, has been restored. This update enables the SMA tool to accurately capture and analyze Object References and Missing Object References directly from SnowConvert reports, thereby ensuring the correct retrieval of SQL dependencies for the inventory.

Adicionado¶

• Added telemetry improvements.

Corrigido¶

• Fix documentation links in conversion settings pop-up and Pandas EWIs.

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.16

Adicionado¶

• Transforming Spark XML to Snowpark

• Databricks SQL option in the SQL source language

• Transform JDBC read connections.

Alterado¶

• All the SnowConvert reports are copied to the backup Zip file.

• The folder is renamed from SqlReports to SnowConvertReports.

• SqlFunctionsInventory is moved to the folder Reports.

• All the SnowConvert Reports are sent to Telemetry.

Corrigido¶

• Non-deterministic issue with SQL Readiness Score.

• Fixed a false-positive critical result that made the desktop crash.

• Fixed issue causing the Artifacts dependency report not to show the SQL objects.

Corrigido¶

• Addressed an issue with SMA execution on the latest Windows OS, as previously reported. This fix resolves the issues encountered in version 2.7.1.

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.1

Adicionado¶

The Snowpark Migration Accelerator (SMA) now orchestrates SnowConvert to process SQL found in user workloads, including embedded SQL in Python / Scala code, Notebook SQL cells, .sql files, and .hql files.

The SnowConvert now enhances the previous SMA capabilities:

• Spark SQL

A new folder in the Reports called SQL Reports contains the reports generated by SnowConvert.

Known Issues¶

The previous SMA version for SQL reports will appear empty for the following:

• For Reports/SqlElementsInventory.csv, partially covered by the Reports/SqlReports/Elements.yyyymmdd.hhmmss.csv.

• For Reports/SqlFunctionsInventory.csv refer to the new location with the same name at Reports/SqlReports/SqlFunctionsInventory.csv

The artifact dependency inventory:

• In the ArtifactDependencyInventory the column for the SQL Object will appear empty

Included SMA Core Versions¶

• Snowpark Conversion Core 7.4.0

Corrigido¶

• Fixed wrong values in the “checkpoints.json” file.

  • The “sample” value was without decimals (for integer values) and quotes.

  • The “entryPoint” value had dots instead of slashes and was missing the file extension.

• Updated the default value to TRUE for the setting “Convert DBX notebooks to Snowflake notebooks”

Desktop App¶

• Added checkpoints execution settings mechanism recognition.

• Added a mechanism to collect DBX magic commands into DbxElementsInventory.csv

• Added “checkpoints.json” generation into the input directory.

• Added a new EWI for all not supported magic command.

• Added the collection of dbutils into DbxElementsInventory.csv from scala source notebooks

Included SMA Core Versions¶

• Snowpark Conversion Core 7.2.53

Alterado¶

• Updates made to handle transformations from DBX Scala elements to Jupyter Python elements, and to comment the entire code from the cell.

• Updates made to handle transformations from dbutils.notebook.run and “r» commands, for the last one, also comment out the entire code from the cell.

• Updated the name and the letter of the key to make the conversion of the notebook files.

Corrigido¶

• Fixed the bug that was causing the transformation of DBX notebooks into .ipynb files to have the wrong format.

• Fixed the bug that was causing .py DBX notebooks to not be transformable into .ipynb files.

• Fixed a bug that was causing comments to be missing in the output code of DBX notebooks.

• Fixed a bug that was causing raw Scala files to be converted into ipynb files.

Included SMA Core Versions¶

• Snowpark Conversion Core 7.2.42

Alterado¶

Updated DataFramesInventory to fill EntryPoints column

Desktop App¶

Adicionado¶

• Update DBx EWI link in the UI results page

Included SMA Core Versions¶

• Snowpark Conversion Core 7.2.39

Adicionado¶

• Added Execution Flow inventory generation.

• Added implicit session setup in every DBx notebook transformation

Alterado¶

• Renamed the DbUtilsUsagesInventory.csv to DbxElementsInventory.csv

Corrigido¶

• Fixed a bug that caused a Parsing error when a backslash came after a type hint.

• Fixed relative imports that do not start with a dot and relative imports with a star.

Desktop App¶

Adicionado¶

• Added a new conversion setting toggle to enable or disable Sma-Checkpoints feature.

• Fix report issue to not crash when post api returns 500

Included SMA Core Versions¶

• Snowpark Conversion Core 7.2.26

Adicionado¶

• Added generation of the checkpoints.json file into the output folder based on the DataFramesInventory.csv.

• Added «disableCheckpoints» flag into the CLI commands and additional parameters of the code processor.

• Added a new replacer for Python to transform the dbutils.notebook.run node.

• Added new replacers to transform the magic %run command.

• Added new replacers (Python and Scala) to remove the dbutils.notebook.exit node.

• Added Location column to artifacts inventory.

Alterado¶

• Refactored the normalized directory separator used in some parts of the solution.

• Centralized the DBC extraction working folder name handling.

• Updated Snowpark and Pandas version to v1.27.0

• Updated the artifacts inventory columns to:

  • Name -> Dependency

  • File -> FileId

  • Status -> Status_detail

• Added new column to the artifacts inventory:

  • Success

Corrigido¶

• Dataframes inventory was not being uploaded to the stage correctly.

Included SMA Core Versions ¶

• Snowpark Conversion Core 7.2.0

Added ¶

• An Artifact Dependency Inventory

• A replacer and EWI for pyspark.sql.types.StructType.fieldNames method to snowflake.snowpark.types.StructType.fieldNames attribute.

• The following PySpark functions with the status:

NotSupported

• pyspark.sql.functions.map_contains_key

• pyspark.sql.functions.position

• pyspark.sql.functions.regr_r2

• pyspark.sql.functions.try_to_binary

The following Pandas functions with status

• pandas.core.series.Series.str.ljust

• pandas.core.series.Series.str.center

• pandas.core.series.Series.str.pad

• pandas.core.series.Series.str.rjust

Update the following Pyspark functions with the status

From WorkAround to Direct

• pyspark.sql.functions.acosh

• pyspark.sql.functions.asinh

• pyspark.sql.functions.atanh

• pyspark.sql.functions.instr

• pyspark.sql.functions.log10

• pyspark.sql.functions.log1p

• pyspark.sql.functions.log2

From NotSupported to Direct

• pyspark.sql.functions.bit_length

• pyspark.sql.functions.cbrt

• pyspark.sql.functions.nth_value

• pyspark.sql.functions.octet_length

• pyspark.sql.functions.base64

• pyspark.sql.functions.unbase64

Updated the folloing Pandas functions with the status

From NotSupported to Direct

• pandas.core.frame.DataFrame.pop

• pandas.core.series.Series.between

• pandas.core.series.Series.pop

Included SMA Core Versions ¶

• Snowpark Conversion Core 7.1.13

Added ¶

• Added csv generator class for new inventory creation.

• Added «full_name» column to import usages inventory.

• Added transformation from pyspark.sql.functions.concat_ws to snowflake.snowpark.functions._concat_ws_ignore_nulls.

• Added logic for generation of checkpoints.json.

• Added the inventories:

  • DataFramesInventory.csv.

  • CheckpointsInventory.csv

Desktop App ¶

• Updated the licensing agreement, acceptance is required.

Included SMA Core Versions¶

• Snowpark Conversion Core 7.1.2

Adicionado

Updated the mapping status for the following Pandas elements, from NotSupported to Direct

• pandas.io.html.read_html

• pandas.io.json._normalize.json_normalize

• pandas.core.groupby.generic.DataFrameGroupBy.pct_change

• pandas.core.groupby.generic.SeriesGroupBy.pct_change

Updated the mapping status for the following PySpark elements, from Rename to Direct

• pyspark.sql.functions.collect_list

• pyspark.sql.functions.size

Fixed ¶

• Standardized the format of the version number in the inventories.

Adicionado¶

Alterado¶

• Atualizada a versão do .NET para v9.0.0.

• Aprimorado EWI SPRKPY1068.

• Aumentada a versão da API do Snowpark Python suportada pelo SMA de 1.24.0 para 1.25.0.

• Atualizamos o modelo de relatório detalhado, agora com a versão Snowpark para Pandas.

• As seguintes bibliotecas foram alteradas de ThirdPartyLib para BuiltIn.

  • configparser

  • dataclasses

  • pathlib

  • readline

  • statistics

  • zlib

Problema conhecido¶

• Esta versão inclui um problema quando a conversão do projeto de amostra não funciona nesta versão, que será corrigido na próxima versão

Desktop App¶

• Foi adicionado um link para o guia de solução de problemas no modal de relatório de falhas.

Included SMA Core Versions¶

• Snowpark Conversion Core 4.15.0

Adicionado¶

• Você adicionou os seguintes elementos PySpark ao arquivo ConversionStatusPySpark. csv como NotSupported:

  • pyspark.sql.streaming.readwriter.DataStreamReader.table

  • pyspark.sql.streaming.readwriter.DataStreamReader.schema

  • pyspark.sql.streaming.readwriter.DataStreamReader.options

  • pyspark.sql.streaming.readwriter.DataStreamReader.option

  • pyspark.sql.streaming.readwriter.DataStreamReader.load

  • pyspark.sql.streaming.readwriter.DataStreamReader.format

  • pyspark.sql.streaming.query.StreamingQuery.awaitTermination

  • pyspark.sql.streaming.readwriter.DataStreamWriter.partitionBy

  • pyspark.sql.streaming.readwriter.DataStreamWriter.toTable

  • pyspark.sql.streaming.readwriter.DataStreamWriter.trigger

  • pyspark.sql.streaming.readwriter.DataStreamWriter.queryName

  • pyspark.sql.streaming.readwriter.DataStreamWriter.outputMode

  • pyspark.sql.streaming.readwriter.DataStreamWriter.format

  • pyspark.sql.streaming.readwriter.DataStreamWriter.option

  • pyspark.sql.streaming.readwriter.DataStreamWriter.foreachBatch

  • pyspark.sql.streaming.readwriter.DataStreamWriter.start

Alterado¶

• Formato atualizado do Hive SQL EWIs.

  • SPRKHVSQL1001

  • SPRKHVSQL1002

  • SPRKHVSQL1003

  • SPRKHVSQL1004

  • SPRKHVSQL1005

  • SPRKHVSQL1006

• Formato atualizado do Spark SQL EWIs.

  • SPRKSPSQL1001

  • SPRKSPSQL1002

  • SPRKSPSQL1003

  • SPRKSPSQL1004

  • SPRKSPSQL1005

  • SPRKSPSQL1006

Corrigido¶

• Foi corrigido um bug que fazia com que alguns elementos do PySpark não fossem identificados pela ferramenta.

• Foi corrigida a incompatibilidade entre as chamadas identificadas em ThirdParty e o número de chamadas de importação em ThirdParty.

Included SMA Core Versions¶

• Snowpark Conversion Core 4.14.0

Adicionado added¶

• Foram adicionados os seguintes elementos do Spark a ConversionStatusPySpark.csv:

  • pyspark.broadcast.Broadcast.value

  • pyspark.conf.SparkConf.getAll

  • pyspark.conf.SparkConf.setAll

  • pyspark.conf.SparkConf.setMaster

  • pyspark.context.SparkContext.addFile

  • pyspark.context.SparkContext.addPyFile

  • pyspark.context.SparkContext.binaryFiles

  • pyspark.context.SparkContext.setSystemProperty

  • pyspark.context.SparkContext.version

  • pyspark.files.SparkFiles

  • pyspark.files.SparkFiles.get

  • pyspark.rdd.RDD.count

  • pyspark.rdd.RDD.distinct

  • pyspark.rdd.RDD.reduceByKey

  • pyspark.rdd.RDD.saveAsTextFile

  • pyspark.rdd.RDD.take

  • pyspark.rdd.RDD.zipWithIndex

  • pyspark.sql.context.SQLContext.udf

  • pyspark.sql.types.StructType.simpleString

Alterado¶

• Atualizada a documentação dos Pandas EWIs, PNDSPY1001, PNDSPY1002 e PNDSPY1003 SPRKSCL1137 para alinhar com um formato padronizado, garantindo consistência e clareza em todos os EWIs.

• Atualizada a documentação dos seguintes Scala EWIs: SPRKSCL1106 e SPRKSCL1107. Para estar alinhado com um formato padronizado, garantindo consistência e clareza em todos os EWIs.

Corrigido¶

• Foi corrigido o erro que estava causando a exibição dos símbolos UserDefined no inventário de usos de terceiros.

Included SMA Core Versions¶

• Snowpark Conversion Core 4.13.1

Command Line Interface¶

Alterado

• Adicionado o registro de data e hora à pasta de saída.

Adicionado¶

• Adicionada a coluna “Source Language” à tabela de mapeamentos de bibliotecas

• Adicionado Others como uma nova categoria na tabela Pandas API Summary do DetailedReport.docx

Alterado¶

• Atualização da documentação do Python EWI SPRKPY1058.

• Atualizada a mensagem para o Pandas EWI PNDSPY1002 para mostrar o elemento pandas relacionado.

• Atualizamos a forma como criamos os relatórios .csv, que agora são sobrescritos após uma segunda execução.

Corrigido¶

• Foi corrigido um erro que fazia com que os arquivos do Notebook não fossem gerados na saída.

• Corrigido o substituto dos métodos get e set do pyspark.sql.conf.RuntimeConfig, o substituto agora corresponde aos nomes completos corretos.

• Correção da versão incorreta da tag de consulta.

• Correção dos pacotes UserDefined relatados como ThirdPartyLib.

\

Included SMA Core Versions¶

• Snowpark Conversion Core 4.12.0

Desktop App¶

Corrigido

• Correção de problemas de distinção entre maiúsculas e minúsculas nas opções –sql.

Removido

• Removido o nome da plataforma da mensagem show-ac.

Adicionado¶

• Adicionado suporte ao Snowpark Python 1.23.0 e 1.24.0.

• Adicionado novo EWI para a função pyspark.sql.dataframe.DataFrame.writeTo. Todos os usos dessa função agora terão o EWI SPRKPY1087.

Alterado¶

• Atualizada a documentação dos Scala EWIs de SPRKSCL1137 para SPRKSCL1156 para alinhar-se a um formato padronizado, garantindo consistência e clareza em todos os EWIs.

• Atualizada a documentação dos Scala EWIs de SPRKSCL1117 para SPRKSCL1136 para alinhar-se a um formato padronizado, garantindo consistência e clareza em todos os EWIs.

• Atualizada a mensagem que é exibida nos seguintes EWIs:

  • SPRKPY1082

  • SPRKPY1083

• Atualização da documentação dos Scala EWIs de SPRKSCL1100 para SPRKSCL1105, de SPRKSCL1108 para SPRKSCL1116; de SPRKSCL1157 para SPRKSCL1175; para alinhar-se a um formato padronizado, garantindo consistência e clareza em todos os EWIs.

• Atualizado o status de mapeamento dos seguintes elementos PySpark de NotSupported para . Direto com EWI:

  • pyspark.sql.readwriter.DataFrameWriter.option => snowflake.snowpark.DataFrameWriter.option: Todos os usos dessa função agora têm o EWI SPRKPY1088

  • pyspark.sql.readwriter.DataFrameWriter.options => snowflake.snowpark.DataFrameWriter.options: Todos os usos dessa função agora têm o EWI SPRKPY1089

• Atualizado o status de mapeamento dos seguintes elementos PySpark de Solução alternativa para Renomear:

  • pyspark.sql.readwriter.DataFrameWriter.partitionBy => snowflake.snowpark.DataFrameWriter.partition_by

• Documentação EWI atualizada: SPRKSCL1000, SPRKSCL1001, SPRKSCL1002, SPRKSCL1100, SPRKSCL1101, SPRKSCL1102, SPRKSCL1103, SPRKSCL1104, SPRKSCL1105.

Removed¶

• Removido o elemento pyspark.sql.dataframe.DataFrameStatFunctions.writeTo do status de conversão, pois esse elemento não existe.

Obsoleto¶

• Depreciados os seguintes códigos EWI:

  • SPRKPY1081

  • SPRKPY1084

Adicionado¶

• Foi adicionada uma nova coluna chamada Url ao arquivo Issues.csv, que redireciona para a documentação correspondente do EWI.

• Adicionados novos EWIs para os seguintes elementos do Spark:

  • [SPRKPY1082] pyspark.sql.readwriter.DataFrameReader.load

  • [SPRKPY1083] pyspark.sql.readwriter.DataFrameWriter.save

  • [SPRKPY1084] pyspark.sql.readwriter.DataFrameWriter.option

  • [SPRKPY1085] pyspark.ml.feature.VectorAssembler

  • [SPRKPY1086] pyspark.ml.linalg.VectorUDT

• Foram adicionados 38 novos elementos Pandas:

  • pandas.core.frame.DataFrame.select

  • andas.core.frame.DataFrame.str

  • pandas.core.frame.DataFrame.str.replace

  • pandas.core.frame.DataFrame.str.upper

  • pandas.core.frame.DataFrame.to_list

  • pandas.core.frame.DataFrame.tolist

  • pandas.core.frame.DataFrame.unique

  • pandas.core.frame.DataFrame.values.tolist

  • pandas.core.frame.DataFrame.withColumn

  • pandas.core.groupby.generic._SeriesGroupByScalar

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].agg

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].aggregate

  • pandas.core.indexes.datetimes.DatetimeIndex.year

  • pandas.core.series.Series.columns

  • pandas.core.tools.datetimes.to_datetime.date

  • pandas.core.tools.datetimes.to_datetime.dt.strftime

  • pandas.core.tools.datetimes.to_datetime.strftime

  • pandas.io.parsers.readers.TextFileReader.apply

  • pandas.io.parsers.readers.TextFileReader.astype

  • pandas.io.parsers.readers.TextFileReader.columns

  • pandas.io.parsers.readers.TextFileReader.copy

  • pandas.io.parsers.readers.TextFileReader.drop

  • pandas.io.parsers.readers.TextFileReader.drop_duplicates

  • pandas.io.parsers.readers.TextFileReader.fillna

  • pandas.io.parsers.readers.TextFileReader.groupby

  • pandas.io.parsers.readers.TextFileReader.head

  • pandas.io.parsers.readers.TextFileReader.iloc

  • pandas.io.parsers.readers.TextFileReader.isin

  • pandas.io.parsers.readers.TextFileReader.iterrows

  • pandas.io.parsers.readers.TextFileReader.loc

  • pandas.io.parsers.readers.TextFileReader.merge

  • pandas.io.parsers.readers.TextFileReader.rename

  • pandas.io.parsers.readers.TextFileReader.shape

  • pandas.io.parsers.readers.TextFileReader.to_csv

  • pandas.io.parsers.readers.TextFileReader.to_excel

  • pandas.io.parsers.readers.TextFileReader.unique

  • pandas.io.parsers.readers.TextFileReader.values

  • pandas.tseries.offsets

Included SMA Core Versions¶

• Snowpark Conversion Core 4.10.0

Desktop App¶

Corrigido¶

• Foi corrigido um erro que fazia com que o SMA mostrasse o rótulo SnowConvert em vez de Snowpark Migration Accelerator na barra de menus da versão Windows.

• Foi corrigido um bug que fazia com que o SMA travasse quando não tinha permissões de leitura e gravação no diretório .config no macOS e no diretório AppData no Windows.

Command Line Interface¶

Alterado

• O nome do executável da CLI foi renomeado de snowct para sma.

• Removido o argumento da linguagem de origem para que o usuário não precise mais especificar se está executando uma avaliação/conversão de Python ou Scala.

• Expandidos os argumentos de linha de comando suportados pela CLI, adicionando os seguintes novos argumentos:

  • --enableJupyter | -j: Sinalizador para indicar se a conversão de notebooks do Databricks para o Jupyter está ativada ou não.

  • --sql | -f: Sintaxe do mecanismo de banco de dados a ser usada quando um comando SQL for detectado.

  • --customerEmail | -e: Configurar o e-mail do cliente.

  • --customerCompany | -c: Configurar a empresa do cliente.

  • --projectName | -p: Configure o projeto do cliente.

• Atualização de alguns textos para refletir o nome correto do aplicativo, garantindo consistência e clareza em todas as mensagens.

• Atualizados os termos de uso do aplicativo.

• Atualizada e ampliada a documentação da CLI para refletir os recursos, aprimoramentos e alterações mais recentes.

• Atualizado o texto que é mostrado antes de prosseguir com a execução do SMA para melhorar

• Atualizado a CLI para aceitar «Yes» como um argumento válido ao solicitar a confirmação do usuário.

• Permitimos que a CLI continue a execução sem esperar pela interação do usuário, especificando o argumento -y ou --yes.

• Atualizadas as informações de ajuda do argumento --sql para mostrar os valores que esse argumento espera.

Adicionado¶

• Adicionado um novo EWI para a função pyspark.sql.readwriter.DataFrameWriter.partitionBy. Todos os usos dessa função agora terão o EWI SPRKPY1081.

• Adicionada uma nova coluna chamada Technology ao arquivo ImportUsagesInventory. csv.

Alterado¶

• Atualizada a pontuação de preparação das bibliotecas de terceiros para levar em conta também as bibliotecas Unknown.

• Atualizado o arquivo AssessmentFiles.zip para incluir os arquivos .json em vez dos arquivos .pam.

• Aprimorado o mecanismo de conversão de CSV para JSON para tornar o processamento de inventários mais eficiente.

• Aprimorada a documentação dos seguintes EWIs:

  • SPRKPY1029

  • SPRKPY1054

  • SPRKPY1055

  • SPRKPY1063

  • SPRKPY1075

  • SPRKPY1076

• Atualização do status de mapeamento dos seguintes elementos Spark Scala de Direto para Renomear.

  • org.apache.spark.sql.functions.shiftLeft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftRight => com.snowflake.snowpark.functions.shiftright

• Atualizado o status de mapeamento dos seguintes elementos do Spark Scala foi atualizado de Não suportado para Direto.

  • org.apache.spark.sql.functions.shiftleft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright => com.snowflake.snowpark.functions.shiftright

Corrigido¶

• Foi corrigido um erro que fazia com que o SMA preenchesse incorretamente a coluna Origin do arquivo ImportUsagesInventory.csv.

• Foi corrigido um bug que fazia com que o SMA não classificasse as importações das bibliotecas io, json, logging e unittest como importações incorporadas do Python no arquivo ImportUsagesInventory.csv e no arquivo DetailedReport.docx.

Adicionado¶

• Adicionados os arquivos EwiCatalog.csv e .md para reorganizar a documentação

• Adicionado o status de mapeamento de Diretopyspark.sql.functions.ln.

• Adicionada uma transformação para pyspark.context.SparkContext.getOrCreate

  • Consulte o EWI SPRKPY1080 para obter mais detalhes.

• Adicionado um aprimoramento para SymbolTable, inferir o tipo de parâmetros em funções.

• SymbolTable adicionada suporta métodos estáticos e não assume que o primeiro parâmetro será self para eles.

• Foi adicionada documentação sobre a falta de EWIs

  • SPRKHVSQL1005

  • SPRKHVSQL1006

  • SPRKSPSQL1005

  • SPRKSPSQL1006

  • SPRKSCL1002

  • SPRKSCL1170

  • SPRKSCL1171

  • SPRKPY1057

  • SPRKPY1058

  • SPRKPY1059

  • SPRKPY1060

  • SPRKPY1061

  • SPRKPY1064

  • SPRKPY1065

  • SPRKPY1066

  • SPRKPY1067

  • SPRKPY1069

  • SPRKPY1070

  • SPRKPY1077

  • SPRKPY1078

  • SPRKPY1079

  • SPRKPY1101

Alterado¶

• Atualizado o status de mapeamento de:

  • pyspark.sql.functions.array_remove de NotSupported para Direto.

Corrigido¶

• Corrigida a tabela de dimensionamento de arquivos de código no relatório de detalhes para excluir arquivos .sql e .hql e adicionada a linha Extra Large na tabela.

• Foi corrigida a falta da tag update_query_tag quando SparkSession é definido em várias linhas em Python.

• Foi corrigida a falta da tag update_query_tag quando SparkSession é definido em várias linhas em Scala.

• Foi corrigida a falta do EWI SPRKHVSQL1001 em algumas instruções SQL com erros de análise.

• Correção da manutenção de valores de novas linhas dentro de literais de cadeia de caracteres

• Corrigido o total de linhas de código mostrado na tabela de resumo do tipo de arquivo

• Corrigido o Parsing Score mostrado como 0 quando os arquivos eram reconhecidos com sucesso

• Corrigida a contagem de LOC no inventário de células para Databricks Magic SQL Cells

Adicionado¶

• Adicionada transformação para pyspark.sql.readwriter.DataFrameReader.parquet.

• Adicionada transformação para pyspark.sql.readwriter.DataFrameReader.option quando for um método Parquet.

Alterado¶

• Atualizado o status de mapeamento de:

  • pyspark.sql.types.StructType. fields de NotSupported para Direto.

  • pyspark.sql.types.StructType. names de NotSupported para Direto.

  • pyspark.context.SparkContext.setLogLevel de Solução alternativa para Transformação.

    • Mais detalhes podem ser encontrados nos EWIs SPRKPY1078 e SPRKPY1079

  • org.apache.spark.sql.functions.round de WorkAround para Direto.

  • org.apache.spark.sql.functions.udf de NotDefined para Transformação.

    • Mais detalhes podem ser encontrados nos EWIs SPRKSCL1174 e SPRKSCL1175

• Atualização do status de mapeamento dos seguintes elementos Spark de DirectHelper para Direto:

  • org.apache.spark.sql.functions.hex

  • org.apache.spark.sql.functions.unhex

  • org.apache.spark.sql.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright

  • org.apache.spark.sql.functions.reverse

  • org.apache.spark.sql.functions.isnull

  • org.apache.spark.sql.functions.unix_timestamp

  • org.apache.spark.sql.functions.randn

  • org.apache.spark.sql.functions.signum

  • org.apache.spark.sql.functions.sign

  • org.apache.spark.sql.functions.collect_list

  • org.apache.spark.sql.functions.log10

  • org.apache.spark.sql.functions.log1p

  • org.apache.spark.sql.functions.base64

  • org.apache.spark.sql.functions.unbase64

  • org.apache.spark.sql.functions.regexp_extract

  • org.apache.spark.sql.functions.expr

  • org.apache.spark.sql.functions.date_format

  • org.apache.spark.sql.functions.desc

  • org.apache.spark.sql.functions.asc

  • org.apache.spark.sql.functions.size

  • org.apache.spark.sql.functions.locate

  • org.apache.spark.sql.functions.ntile

Corrigido¶

• Corrigido valor mostrado na Porcentagem do total da Api do Pandas

• Corrigido percentual total na tabela ImportCalls no DetailReport

Hotfixed¶

• Corrigida linha Total adicionada nos resumos de usos do Spark quando não há usos

• Aumento do Python Assembly para Version=1.3.111

  • Analisar vírgula de trilha em argumentos de várias linhas

Adicionado¶

• Adicionada transformação para pyspark.sql.readwriter.DataFrameReader.option:

  • Quando a cadeia é de uma chamada de método CSV.

  • Quando a cadeia é de uma chamada de método JSON.

• Adicionada transformação para pyspark.sql.readwriter.DataFrameReader.json.

Alterado¶

• Executado SMA em cadeias de caracteres SQL passadas para funções Python/Scala

  • Criar AST em Scala/Python para emitir a unidade temporária SQL

  • Criar inventário em SqlEmbeddedUsages.csv

  • Desativar SqlStatementsInventroy.csv e SqlExtractionInventory.csv

  • Integrar EWI quando o literal SQL não puder ser processado

  • Criar nova tarefa para processar código SQL incorporado

  • Coletar informações para o inventário SqlEmbeddedUsages.csv em Python

  • Substituir código transformado SQL para Literal em Python

  • Atualizar os casos de teste após a implementação

  • Criar tabela e exibições para telemetria no inventário SqlEmbeddedUsages

  • Coletar informações para o relatório SqlEmbeddedUsages.csv em Scala

  • Substituir código transformado SQL para Literal em Scala

  • Verificar a ordem do número da linha para o relatório SQL incorporado

• Preenchido o arquivo SqlFunctionsInfo.csv com as funções SQL documentadas para SparkSQL e HiveSQL

• Atualizado o status do mapeamento para:

  • org.apache.spark.sql.SparkSession.sparkContext de NotSupported para Transformação.

  • org.apache.spark.sql.Builder.config de NotSupported para Transformação. Com esse novo status de mapeamento, o SMA removerá todos os usos dessa função do código-fonte.

Adicionado¶

• Foi adicionado o mecanismo (via decoração) para obter a linha e a coluna dos elementos identificados nas células dos notebooks

• Adicionado um EWI para pyspark.sql.functions.from_json.

• Adicionada uma transformação para pyspark.sql.readwriter.DataFrameReader.csv.

• Ativado o mecanismo de tag de consulta para arquivos Scala.

• Adicionada a pontuação da análise de código e links adicionais para o relatório detalhado.

• Foi adicionada uma coluna chamada OriginFilePath ao arquivo InputFilesInventory.csv

Alterado¶

• Atualizamos o status do mapeamento de pyspark.sql.functions.from_json de Não suportado para Transformação.

• Atualizamos o status de mapeamento dos seguintes elementos Spark de Solução alternativa para Direto:

  • org.apache.spark.sql.functions.countDistinct

  • org.apache.spark.sql.functions.max

  • org.apache.spark.sql.functions.min

  • org.apache.spark.sql.functions.mean

Obsoleto¶

• Depreciados os seguintes códigos EWI:

  • SPRKSCL1135

  • SPRKSCL1136

  • SPRKSCL1153

  • SPRKSCL1155

Corrigido¶

• Foi corrigido um bug que causava um cálculo incorreto da pontuação da API do Spark.

• Foi corrigido um erro que evitava a cópia de SQL arquivos vazios ou comentados na pasta de saída.

• Corrigido um bug no DetailedReport, o LOC das estatísticas do notebook e a contagem de células não são precisas.

Adicionado¶

• Adicionar coluna de tecnologia ao SparkUsagesInventory

• Foi adicionado um EWI para elementos SQL não definidos.

• Adicionado inventário de SqlFunctions

• Coletar informações para inventário de SqlFunctions

Alterado¶

• O mecanismo agora processa e imprime arquivos Python parcialmente analisados em vez de deixar o arquivo original sem modificações.

• As células do notebook Python que apresentarem erros de análise também serão processadas e impressas.

Corrigido¶

• Corrigido pandas.core.indexes.datetimes.DatetimeIndex.strftime estava sendo relatado erroneamente.

• Corrigir a incompatibilidade entre a pontuação de preparação de SQL e usos de SQL por status de suporte.

• Foi corrigido um bug que fazia com que o SMA informasse pandas.core.series.Series.empty com um status de mapeamento incorreto.

• Corrigir a incompatibilidade entre o Spark API Usages Ready for Conversion em DetailedReport.docx; é diferente da linha UsagesReadyForConversion em Assessment.json.

Adicionado¶

• Foram adicionadas as seguintes informações ao arquivo AssessmentReport.json

  • A pontuação de preparação das bibliotecas de terceiros.

  • O número de chamadas de bibliotecas de terceiros que foram identificadas.

  • O número de chamadas de bibliotecas de terceiros que são compatíveis com o Snowpark.

  • O código de cores associado à pontuação de preparação de terceiros, à pontuação de preparação da API do Spark e à pontuação de preparação de SQL.

• Transformado SqlSimpleDataType no Spark para criar tabelas.

• Adicionado o mapeamento de pyspark.sql.functions.get como direto.

• Adicionado o mapeamento de pyspark.sql.functions.to_varchar como direto.

• Como parte das alterações após a unificação, a ferramenta agora gera um arquivo de informações de execução no Engine.

• Adicionado um substituto para pyspark.sql.SparkSession.builder.appName.

Alterado¶

• Atualização do status de mapeamento dos seguintes elementos Spark

  • De Não suportado para mapeamento Direto:

    • pyspark.sql.functions.sign

    • pyspark.sql.functions.signum

• Alterado o relatório Notebook Cells Inventory para indicar o tipo de conteúdo de cada célula na coluna Element

• Foi adicionada uma coluna SCALA_READINESS_SCORE que informa a pontuação de preparação relacionada apenas a referências à API do Spark em arquivos Scala.

• Suporte parcial para transformar as propriedades da tabela em ALTER TABLE e ALTER VIEW

• Atualização do status de conversão do nó SqlSimpleDataType de Pending para Transformation nas tabelas de criação do Spark

• Atualizada a versão da API do Snowpark Scala suportada pelo SMA de 1.7.0 para 1.12.1:

  • Atualizado o status de mapeamento de:

    • org.apache.spark.sql.SparkSession.getOrCreate de Renomear para Direto

    • org.apache.spark.sql.functions.sum de Solução alternativa para Direto

• Atualizada a versão da API do Snowpark Python suportada pelo SMA de 1.15.0 para 1.20.0:

  • Atualizado o status de mapeamento de:

    • pyspark.sql.functions.arrays_zip de Não suportado para Direto

• Atualização do status de mapeamento dos seguintes elementos do Pandas:

  • Mapeamentos diretos:

    • pandas.core.frame.DataFrame.any

    • pandas.core.frame.DataFrame.applymap

• Atualização do status de mapeamento dos seguintes elementos do Pandas:

  • De Não suportado para mapeamento Direto:

    • pandas.core.frame.DataFrame.groupby

    • pandas.core.frame.DataFrame.index

    • pandas.core.frame.DataFrame.T

    • pandas.core.frame.DataFrame.to_dict

  • De Não suportado para Renomear mapeamento:

    • pandas.core.frame.DataFrame.map

• Atualização do status de mapeamento dos seguintes elementos do Pandas:

  • Mapeamentos diretos:

    • pandas.core.frame.DataFrame.where

    • pandas.core.groupby.generic.SeriesGroupBy.agg

    • pandas.core.groupby.generic.SeriesGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.agg

    • pandas.core.groupby.generic.DataFrameGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.apply

  • Mapeamentos não suportados:

    • pandas.core.frame.DataFrame.to_parquet

    • pandas.core.generic.NDFrame.to_csv

    • pandas.core.generic.NDFrame.to_excel

    • pandas.core.generic.NDFrame.to_sql

• Atualização do status de mapeamento dos seguintes elementos do Pandas:

  • Mapeamentos diretos:

    • pandas.core.series.Series.empty

    • pandas.core.series.Series.apply

    • pandas.core.reshape.tile.qcut

  • Direct mappings with EWI:

    • pandas.core.series.Series.fillna

    • pandas.core.series.Series.astype

    • pandas.core.reshape.melt.melt

    • pandas.core.reshape.tile.cut

    • pandas.core.reshape.pivot.pivot_table

• Atualização do status de mapeamento dos seguintes elementos do Pandas:

  • Mapeamentos diretos:

    • pandas.core.series.Series.dt

    • pandas.core.series.Series.groupby

    • pandas.core.series.Series.loc

    • pandas.core.series.Series.shape

    • pandas.core.tools.datetimes.to_datetime

    • pandas.io.excel._base.ExcelFile

  • Mapeamentos não suportados:

    • pandas.core.series.Series.dt.strftime

• Atualização do status de mapeamento dos seguintes elementos do Pandas:

  • De Não suportado para mapeamento Direto:

    • pandas.io.parquet.read_parquet

    • pandas.io.parsers.readers.read_csv

• Atualização do status de mapeamento dos seguintes elementos do Pandas:

  • De Não suportado para mapeamento Direto:

    • pandas.io.pickle.read_pickle

    • pandas.io.sql.read_sql

    • pandas.io.sql.read_sql_query

• Atualizada a descrição como entender a pontuação de preparação de SQL.

• Atualizado o PyProgramCollector para coletar os pacotes e preencher o inventário de pacotes atual com dados do código-fonte do Python.

• Atualizado o status de mapeamento de pyspark.sql.SparkSession.builder.appName de Renomear para Transformação.

• Removidos os seguintes testes de integração do Scala:

  • AssesmentReportTest_AssessmentMode.ValidateReports_AssessmentMode

  • AssessmentReportTest_PythonAndScala_Files.ValidateReports_PythonAndScala

  • AssessmentReportTestWithoutSparkUsages.ValidateReports_WithoutSparkUsages

• Atualização do status de mapeamento de pandas.core.generic.NDFrame.shape de Não suportado para Direto.

• Atualizado o status de mapeamento de pandas.core.series de Não suportado para Direto.

Obsoleto¶

• O código EWI SPRKSCL1160 foi descontinuado, pois org.apache.spark.sql.functions.sum agora é um mapeamento direto.

Corrigido¶

• Foi corrigido um erro que impedia o suporte a Custom Magics sem argumentos nas células do Jupyter Notebook.

• Foi corrigida a geração incorreta de EWIs no relatório issues.csv quando ocorriam erros de análise.

• Foi corrigido um erro que fazia com que o SMA não processasse o notebook exportado do Databricks como Databricks Notebooks.

• Foi corrigido um erro de estouro de pilha ao processar nomes de tipos conflitantes de instruções criadas dentro de objetos de pacotes.

• Corrigido o processamento de nomes de tipos lambda complexos envolvendo genéricos, por exemplo, def func[X,Y](f: (Map[Option[X], Y] => Map[Y, X]))...

• Foi corrigido um bug que fazia com que o SMA adicionasse um código PySpark EWI em vez de um código Pandas EWI aos elementos Pandas que ainda não eram reconhecidos.

• Corrigido um erro de digitação no modelo de relatório detalhado: renomeando uma coluna de «Percentage of all Python Files» para «Percentage of all files».

• Foi corrigido um bug em que pandas.core.series.Series.shape era relatado erroneamente.