Snowpark Migration Accelerator : Notes de version¶

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.62

Ajouté¶

• Added functionality to migrate SQL embedded with Python format interpolation.

• Added support for DataFrame.select and DataFrame.sort transformations for greater data processing flexibility.

Modifications¶

• Bumped the supported versions of Snowpark Python API and Snowpark Pandas API to 1.36.0.

• Updated the mapping status of pandas.core.frame.DataFrame.boxplot from Not Supported to Direct.

• Updated the mapping status of DataFrame.select, Dataset.select, DataFrame.sort and Dataset.sort from Direct to Transformation.

• Snowpark Scala allows a sequence of columns to be passed directly to the select and sort functions, so this transformation changes all the usages such as df.select(cols: _*) to df.select(cols) and df.sort(cols: _*) to df.sort(cols).

• Bumped Python AST and Parser version to 149.1.9.

• Updated the status to Direct for pandas functions:

  • pandas.core.frame.DataFrame.to_excel

  • pandas.core.series.Series.to_excel

  • pandas.io.feather_format.read_feather

  • pandas.io.orc.read_orc

  • pandas.io.stata.read_stata

• Updated the status for pyspark.sql.pandas.map_ops.PandasMapOpsMixin.mapInPandas to workaround using the EWI SPRKPY1102.

Correction¶

• Fixed issue that affected SqlEmbedded transformations when using chained method calls.

• Fixed transformations involving PySqlExpr using the new PyLiteralSql to avoid losing Tails.

• Resolved internal stability issues to improve tool robustness and reliability.

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.46

Ajouté¶

• Added new Pandas EWI documentation PNDSPY1011.

• Added support to the following Pandas functions:

  • pandas.core.algorithms.unique

  • pandas.core.dtypes.missing.isna

  • pandas.core.dtypes.missing.isnull

  • pandas.core.dtypes.missing.notna

  • pandas.core.dtypes.missing.notnull

  • pandas.core.resample.Resampler.count

  • pandas.core.resample.Resampler.max

  • pandas.core.resample.Resampler.mean

  • pandas.core.resample.Resampler.median

  • pandas.core.resample.Resampler.min

  • pandas.core.resample.Resampler.size

  • pandas.core.resample.Resampler.sum

  • pandas.core.arrays.timedeltas.TimedeltaArray.total_seconds

  • pandas.core.series.Series.get

  • pandas.core.series.Series.to_frame

  • pandas.core.frame.DataFrame.assign

  • pandas.core.frame.DataFrame.get

  • pandas.core.frame.DataFrame.to_numpy

  • pandas.core.indexes.base.Index.is_unique

  • pandas.core.indexes.base.Index.has_duplicates

  • pandas.core.indexes.base.Index.shape

  • pandas.core.indexes.base.Index.array

  • pandas.core.indexes.base.Index.str

  • pandas.core.indexes.base.Index.equals

  • pandas.core.indexes.base.Index.identical

  • pandas.core.indexes.base.Index.unique

Added support to the following Spark Scala functions:

• org.apache.spark.sql.functions.format_number

• org.apache.spark.sql.functions.from_unixtime

• org.apache.spark.sql.functions.instr

• org.apache.spark.sql.functions.months_between

• org.apache.spark.sql.functions.pow

• org.apache.spark.sql.functions.to_unix_timestamp

• org.apache.spark.sql.Row.getAs

Modifications¶

• Bumped the version of Snowpark Pandas API supported by the SMA to 1.33.0.

• Bumped the version of Snowpark Scala API supported by the SMA to 1.16.0.

• Updated the mapping status of pyspark.sql.group.GroupedData.pivot from Transformation to Direct.

• Updated the mapping status of org.apache.spark.sql.Builder.master from NotSupported to Transformation. This transformation removes all the identified usages of this element during code conversion.

• Updated the mapping status of org.apache.spark.sql.types.StructType.fieldIndex from NotSupported to Direct.

• Updated the mapping status of org.apache.spark.sql.Row.fieldIndex from NotSupported to Direct.

• Updated the mapping status of org.apache.spark.sql.SparkSession.stop from NotSupported to Rename. All the identified usages of this element are renamed to com.snowflake.snowpark.Session.close during code conversion.

• Updated the mapping status of org.apache.spark.sql.DataFrame.unpersist and org.apache.spark.sql.Dataset.unpersist from NotSupported to Transformation. This transformation removes all the identified usages of this element during code conversion.

Correction¶

• Fixed continuation backslash on removed tailed functions.

• Fix the LIBRARY_PREFIX column in the ConversionStatusLibraries.csv file to use the right identifier for scikit-learn library family (scikit-*).

• Fixed bug not parsing multiline grouped operations.

Ajouté¶

• The following mappings are now performed for org.apache.spark.sql.Dataset[T]:

  • org.apache.spark.sql.Dataset.union is now com.snowflake.snowpark.DataFrame.unionAll

  • org.apache.spark.sql.Dataset.unionByName is now com.snowflake.snowpark.DataFrame.unionAllByName

• Added support for org.apache.spark.sql.functions.broadcast as a transformation.

Modifications¶

• Increased the supported Snowpark Python API version for SMA from 1.27.0 to 1.33.0.

• The status for the pyspark.sql.function.randn function has been updated to Direct.

Correction¶

• Resolved an issue where org.apache.spark.SparkContext.parallelize was not resolving and now supports it as a transformation.

• Fixed the Dataset.persist transformation to work with any type of Dataset, not just Dataset[Row].

Ajouté¶

• Adjusted mappings for spark.DataReader methods.

• DataFrame.union is now DataFrame.unionAll.

• DataFrame.unionByName is now DataFrame.unionAllByName.

• Added multi-level artifact dependency columns in artifact inventory

• Added new Pandas EWIs documentation, from PNDSPY1005 to PNDSPY1010.

• Added a specific EWI for pandas.core.series.Series.apply.

Modifications¶

• Bumped the version of Snowpark Pandas API supported by the SMA from 1.27.0 to 1.30.0.

Correction¶

• Fixed an issue with missing values in the formula to get the SQL readiness score.

• Fixed a bug that was causing some Pandas elements to have the default EWI message from PySpark.

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.19

Modifications¶

• Refactored Pandas Imports: Pandas imports now use `modin.pandas` instead of snowflake.snowpark.modin.pandas.

• Improved `dbutils` and Magic Commands Transformation:

  • A new sfutils.py file is now generated, and all dbutils prefixes are replaced with sfutils.

  • For Databricks (DBX) notebooks, an implicit import for sfutils is automatically added.

  • The sfutils module simulates various dbutils methods, including file system operations (dbutils.fs) via a defined Snowflake FileSystem (SFFS) stage, and handles notebook execution (dbutils.notebook.run) by transforming it to EXECUTE NOTEBOOK SQL functions.

  • dbutils.notebook.exit is removed as it is not required in Snowflake.

Correction¶

• Updates in SnowConvert Reports: SnowConvert reports now include the CellId column when instances originate from SMA, and the FileName column displays the full path.

• Updated Artifacts Dependency for SnowConvert Reports: The SMA’s artifact inventory report, which was previously impacted by the integration of SnowConvert, has been restored. This update enables the SMA tool to accurately capture and analyze Object References and Missing Object References directly from SnowConvert reports, thereby ensuring the correct retrieval of SQL dependencies for the inventory.

Ajouté¶

• Added telemetry improvements.

Correction¶

• Fix documentation links in conversion settings pop-up and Pandas EWIs.

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.16

Ajouté¶

• Transforming Spark XML to Snowpark

• Databricks SQL option in the SQL source language

• Transform JDBC read connections.

Modifications¶

• All the SnowConvert reports are copied to the backup Zip file.

• The folder is renamed from SqlReports to SnowConvertReports.

• SqlFunctionsInventory is moved to the folder Reports.

• All the SnowConvert Reports are sent to Telemetry.

Correction¶

• Non-deterministic issue with SQL Readiness Score.

• Fixed a false-positive critical result that made the desktop crash.

• Fixed issue causing the Artifacts dependency report not to show the SQL objects.

Correction¶

• Addressed an issue with SMA execution on the latest Windows OS, as previously reported. This fix resolves the issues encountered in version 2.7.1.

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.1

Ajouté¶

The Snowpark Migration Accelerator (SMA) now orchestrates SnowConvert to process SQL found in user workloads, including embedded SQL in Python / Scala code, Notebook SQL cells, .sql files, and .hql files.

The SnowConvert now enhances the previous SMA capabilities:

• Spark SQL

A new folder in the Reports called SQL Reports contains the reports generated by SnowConvert.

Known Issues¶

The previous SMA version for SQL reports will appear empty for the following:

• For Reports/SqlElementsInventory.csv, partially covered by the Reports/SqlReports/Elements.yyyymmdd.hhmmss.csv.

• For Reports/SqlFunctionsInventory.csv refer to the new location with the same name at Reports/SqlReports/SqlFunctionsInventory.csv

The artifact dependency inventory:

• In the ArtifactDependencyInventory the column for the SQL Object will appear empty

Included SMA Core Versions¶

• Snowpark Conversion Core 7.4.0

Correction¶

• Fixed wrong values in the “checkpoints.json” file.

  • The “sample” value was without decimals (for integer values) and quotes.

  • The “entryPoint” value had dots instead of slashes and was missing the file extension.

• Updated the default value to TRUE for the setting “Convert DBX notebooks to Snowflake notebooks”

Desktop App¶

• Added checkpoints execution settings mechanism recognition.

• Added a mechanism to collect DBX magic commands into DbxElementsInventory.csv

• Added “checkpoints.json” generation into the input directory.

• Added a new EWI for all not supported magic command.

• Added the collection of dbutils into DbxElementsInventory.csv from scala source notebooks

Included SMA Core Versions¶

• Snowpark Conversion Core 7.2.53

Modifications¶

• Updates made to handle transformations from DBX Scala elements to Jupyter Python elements, and to comment the entire code from the cell.

• Updates made to handle transformations from dbutils.notebook.run and “r » commands, for the last one, also comment out the entire code from the cell.

• Updated the name and the letter of the key to make the conversion of the notebook files.

Correction¶

• Fixed the bug that was causing the transformation of DBX notebooks into .ipynb files to have the wrong format.

• Fixed the bug that was causing .py DBX notebooks to not be transformable into .ipynb files.

• Fixed a bug that was causing comments to be missing in the output code of DBX notebooks.

• Fixed a bug that was causing raw Scala files to be converted into ipynb files.

Included SMA Core Versions¶

• Snowpark Conversion Core 7.2.42

Modifications¶

Updated DataFramesInventory to fill EntryPoints column

Desktop App¶

Ajouté¶

• Update DBx EWI link in the UI results page

Included SMA Core Versions¶

• Snowpark Conversion Core 7.2.39

Ajouté¶

• Added Execution Flow inventory generation.

• Added implicit session setup in every DBx notebook transformation

Modifications¶

• Renamed the DbUtilsUsagesInventory.csv to DbxElementsInventory.csv

Correction¶

• Fixed a bug that caused a Parsing error when a backslash came after a type hint.

• Fixed relative imports that do not start with a dot and relative imports with a star.

Desktop App¶

Ajouté¶

• Added a new conversion setting toggle to enable or disable Sma-Checkpoints feature.

• Fix report issue to not crash when post api returns 500

Included SMA Core Versions¶

• Snowpark Conversion Core 7.2.26

Ajouté¶

• Added generation of the checkpoints.json file into the output folder based on the DataFramesInventory.csv.

• Added « disableCheckpoints » flag into the CLI commands and additional parameters of the code processor.

• Added a new replacer for Python to transform the dbutils.notebook.run node.

• Added new replacers to transform the magic %run command.

• Added new replacers (Python and Scala) to remove the dbutils.notebook.exit node.

• Added Location column to artifacts inventory.

Modifications¶

• Refactored the normalized directory separator used in some parts of the solution.

• Centralized the DBC extraction working folder name handling.

• Updated Snowpark and Pandas version to v1.27.0

• Updated the artifacts inventory columns to:

  • Name -> Dependency

  • File -> FileId

  • Status -> Status_detail

• Added new column to the artifacts inventory:

  • Success

Correction¶

• Dataframes inventory was not being uploaded to the stage correctly.

Included SMA Core Versions ¶

• Snowpark Conversion Core 7.2.0

Added ¶

• An Artifact Dependency Inventory

• A replacer and EWI for pyspark.sql.types.StructType.fieldNames method to snowflake.snowpark.types.StructType.fieldNames attribute.

• The following PySpark functions with the status:

NotSupported

• pyspark.sql.functions.map_contains_key

• pyspark.sql.functions.position

• pyspark.sql.functions.regr_r2

• pyspark.sql.functions.try_to_binary

The following Pandas functions with status

• pandas.core.series.Series.str.ljust

• pandas.core.series.Series.str.center

• pandas.core.series.Series.str.pad

• pandas.core.series.Series.str.rjust

Update the following Pyspark functions with the status

From WorkAround to Direct

• pyspark.sql.functions.acosh

• pyspark.sql.functions.asinh

• pyspark.sql.functions.atanh

• pyspark.sql.functions.instr

• pyspark.sql.functions.log10

• pyspark.sql.functions.log1p

• pyspark.sql.functions.log2

From NotSupported to Direct

• pyspark.sql.functions.bit_length

• pyspark.sql.functions.cbrt

• pyspark.sql.functions.nth_value

• pyspark.sql.functions.octet_length

• pyspark.sql.functions.base64

• pyspark.sql.functions.unbase64

Updated the folloing Pandas functions with the status

From NotSupported to Direct

• pandas.core.frame.DataFrame.pop

• pandas.core.series.Series.between

• pandas.core.series.Series.pop

Included SMA Core Versions ¶

• Snowpark Conversion Core 7.1.13

Added ¶

• Added csv generator class for new inventory creation.

• Added « full_name » column to import usages inventory.

• Added transformation from pyspark.sql.functions.concat_ws to snowflake.snowpark.functions._concat_ws_ignore_nulls.

• Added logic for generation of checkpoints.json.

• Added the inventories:

  • DataFramesInventory.csv.

  • CheckpointsInventory.csv

Desktop App ¶

• Updated the licensing agreement, acceptance is required.

Included SMA Core Versions¶

• Snowpark Conversion Core 7.1.2

Ajouté

Updated the mapping status for the following Pandas elements, from NotSupported to Direct

• pandas.io.html.read_html

• pandas.io.json._normalize.json_normalize

• pandas.core.groupby.generic.DataFrameGroupBy.pct_change

• pandas.core.groupby.generic.SeriesGroupBy.pct_change

Updated the mapping status for the following PySpark elements, from Rename to Direct

• pyspark.sql.functions.collect_list

• pyspark.sql.functions.size

Fixed ¶

• Standardized the format of the version number in the inventories.

Ajouté¶

Modifications¶

• Mise à jour de .NET version sur v9.0.0.

• Amélioration de l’EWI SPRKPY1068.

• Mise à jour de la version de l’API Snowpark Python prise en charge par l’outil SMA de 1.24.0 à 1.25.0.

• Mise à jour du modèle de rapport détaillé, avec désormais la version Snowpark pour Pandas.

• Modification des bibliothèques suivantes de BuiltIn en ThirdPartyLib.

  • configparser

  • dataclasses

  • pathlib

  • readline

  • statistics

  • zlib

Problème connu¶

• Cette version inclut un problème lors de la conversion de l’exemple de projet qui ne fonctionnera pas sur cette version. Il sera corrigé dans la prochaine version.

Desktop App¶

• Ajout d’un lien vers le guide de dépannage dans la fenêtre modale du rapport de panne.

Included SMA Core Versions¶

• Snowpark Conversion Core 4.15.0

Ajouté¶

• Ajout des éléments PySpark suivants au fichier .csv ConversionStatusPySpark en tant que NotSupported :

  • pyspark.sql.streaming.readwriter.DataStreamReader.table

  • pyspark.sql.streaming.readwriter.DataStreamReader.schema

  • pyspark.sql.streaming.readwriter.DataStreamReader.options

  • pyspark.sql.streaming.readwriter.DataStreamReader.option

  • pyspark.sql.streaming.readwriter.DataStreamReader.load

  • pyspark.sql.streaming.readwriter.DataStreamReader.format

  • pyspark.sql.streaming.query.StreamingQuery.awaitTermination

  • pyspark.sql.streaming.readwriter.DataStreamWriter.partitionBy

  • pyspark.sql.streaming.readwriter.DataStreamWriter.toTable

  • pyspark.sql.streaming.readwriter.DataStreamWriter.trigger

  • pyspark.sql.streaming.readwriter.DataStreamWriter.queryName

  • pyspark.sql.streaming.readwriter.DataStreamWriter.outputMode

  • pyspark.sql.streaming.readwriter.DataStreamWriter.format

  • pyspark.sql.streaming.readwriter.DataStreamWriter.option

  • pyspark.sql.streaming.readwriter.DataStreamWriter.foreachBatch

  • pyspark.sql.streaming.readwriter.DataStreamWriter.start

Modifications¶

• Mise à jour du format des EWIs Hive SQL.

  • SPRKHVSQL1001

  • SPRKHVSQL1002

  • SPRKHVSQL1003

  • SPRKHVSQL1004

  • SPRKHVSQL1005

  • SPRKHVSQL1006

• Mise à jour du format des EWIs Spark SQL .

  • SPRKSPSQL1001

  • SPRKSPSQL1002

  • SPRKSPSQL1003

  • SPRKSPSQL1004

  • SPRKSPSQL1005

  • SPRKSPSQL1006

Correction¶

• Correction d’un bogue qui faisait que certains éléments PySpark n’étaient pas identifiés par l’outil.

• Correction de l’erreur de correspondance entre le nombre d’appels ThirdParty identifiés et le nombre d’appels ThirdParty importés.

Included SMA Core Versions¶

• Snowpark Conversion Core 4.14.0

Ajout¶

• Ajout des éléments Spark suivants à ConversionStatusPySpark. csv :

  • pyspark.broadcast.Broadcast.value

  • pyspark.conf.SparkConf.getAll

  • pyspark.conf.SparkConf.setAll

  • pyspark.conf.SparkConf.setMaster

  • pyspark.context.SparkContext.addFile

  • pyspark.context.SparkContext.addPyFile

  • pyspark.context.SparkContext.binaryFiles

  • pyspark.context.SparkContext.setSystemProperty

  • pyspark.context.SparkContext.version

  • pyspark.files.SparkFiles

  • pyspark.files.SparkFiles.get

  • pyspark.rdd.RDD.count

  • pyspark.rdd.RDD.distinct

  • pyspark.rdd.RDD.reduceByKey

  • pyspark.rdd.RDD.saveAsTextFile

  • pyspark.rdd.RDD.take

  • pyspark.rdd.RDD.zipWithIndex

  • pyspark.sql.context.SQLContext.udf

  • pyspark.sql.types.StructType.simpleString

Modifications¶

• Mise à jour de la documentation des EWIs Pandas, PNDSPY1001, PNDSPY1002 et PNDSPY1003 SPRKSCL1137 pour s’aligner sur un format standardisé, garantissant la cohérence et la clarté de l’ensemble des EWIs.

• Mise à jour de la documentation des EWIs Scala suivants : SPRKSCL1106 et SPRKSCL1107. S’aligner sur un format standardisé, garantissant la cohérence et la clarté sur l’ensemble des EWIs.

Correction¶

• Correction du bogue qui provoquait l’affichage des symboles UserDefined dans l’inventaire des utilisations tierces.

Included SMA Core Versions¶

• Snowpark Conversion Core 4.13.1

Command Line Interface¶

Modifications

• Ajout d’un horodatage au dossier de sortie.

Ajouté¶

• Ajout d’une colonne « Langue source » dans la table de mappages de la bibliothèque

• Ajout de la catégorie Autres comme nouvelle catégorie dans la table Résumé de l’API Pandas de DetailedReport. docx

Modifications¶

• Mise à jour de la documentation pour Python EWI SPRKPY1058.

• Mise à jour du message des EWI Pandas PNDSPY1002 afin d’afficher l’élément pandas associé.

• Mise à jour de la façon dont nous créons les rapports .csv, qui sont maintenant écrasés après une deuxième exécution.

Correction¶

• Correction d’un bogue qui faisait que les fichiers notebooks n’étaient pas générés dans la sortie.

• Correction du remplacement des méthodes get et set à partir de pyspark.sql.conf.RuntimeConfig, le remplacement correspond maintenant aux noms complets corrects.

• Correction de la version incorrecte de la balise de requête.

• Correction des paquets UserDefined signalés comme ThirdPartyLib.

\

Included SMA Core Versions¶

• Snowpark Conversion Core 4.12.0

Desktop App¶

Correction

• Correction des problèmes de casse dans les options –sql.

Supprimé

• Supprimez le nom de la plateforme dans le message show-ac.

Ajouté¶

• Ajout de la prise en charge de Snowpark Python 1.23.0 et 1.24.0.

• Ajout d’un nouveau EWI pour la fonction pyspark.sql.dataframe.DataFrame.writeTo. Toutes les utilisations de cette fonction ont maintenant l’élément EWI SPRKPY1087.

Modifications¶

• Mise à jour de la documentation des EWIs Scala de SPRKSCL1137 à SPRKSCL1156 pour s’aligner sur un format standardisé, garantissant la cohérence et la clarté de l’ensemble des EWIs.

• Mise à jour de la documentation des EWIs Scala de SPRKSCL1117 à SPRKSCL1136 pour s’aligner sur un format standardisé, garantissant la cohérence et la clarté de l’ensemble des EWIs.

• Mise à jour du message qui s’affiche pour les EWIs suivants :

  • SPRKPY1082

  • SPRKPY1083

• Mise à jour de la documentation des EWIs Scala de SPRKSCL1100 à SPRKSCL1105, de SPRKSCL1108 à SPRKSCL1116, de SPRKSCL1157 à SPRKSCL1175, pour s’aligner sur un format standardisé, assurant la cohérence et la clarté de l’ensemble des EWIs.

• Mise à jour du statut de mappage des éléments PySpark suivants de NotSupported à Direct avec EWI :

  • pyspark.sql.readwriter.DataFrameWriter.option => snowflake.snowpark.DataFrameWriter.option : Toutes les utilisations de cette fonction ont maintenant l’élément EWI SPRKPY1088

  • pyspark.sql.readwriter.DataFrameWriter.options => snowflake.snowpark.DataFrameWriter.options :Toutes les utilisations de cette fonction ont maintenant l’élément EWI SPRKPY1089

• Mise à jour du statut de mappage des éléments PySpark suivants de Contournement en Renommer :

  • pyspark.sql.readwriter.DataFrameWriter.partitionBy => snowflake.snowpark.DataFrameWriter.partition_by

• Mise à jour de la documentation de l’EWI : SPRKSCL1000, SPRKSCL1001, SPRKSCL1002, SPRKSCL1100, SPRKSCL1101, SPRKSCL1102, SPRKSCL1103, SPRKSCL1104, SPRKSCL1105.

Removed¶

• Suppression de l’élément pyspark.sql.dataframe.DataFrameStatFunctions.writeTo du statut de conversion, cet élément n’existe pas.

Obsolète¶

• Les codes EWI suivants sont obsolètes :

  • SPRKPY1081

  • SPRKPY1084

Ajouté¶

• Ajout d’une nouvelle colonne appelée Url au fichier Issues.csv, qui redirige vers la documentation EWI correspondante.

• Ajout d’EWIs pour les éléments Spark suivants :

  • [SPRKPY1082] pyspark.sql.readwriter.DataFrameReader.load

  • [SPRKPY1083] pyspark.sql.readwriter.DataFrameWriter.save

  • [SPRKPY1084] pyspark.sql.readwriter.DataFrameWriter.option

  • [SPRKPY1085] pyspark.ml.feature.VectorAssembler

  • [SPRKPY1086] pyspark.ml.linalg.VectorUDT

• Ajout de 38 nouveaux éléments Pandas :

  • pandas.core.frame.DataFrame.select

  • andas.core.frame.DataFrame.str

  • pandas.core.frame.DataFrame.str.replace

  • pandas.core.frame.DataFrame.str.upper

  • pandas.core.frame.DataFrame.to_list

  • pandas.core.frame.DataFrame.tolist

  • pandas.core.frame.DataFrame.unique

  • pandas.core.frame.DataFrame.values.tolist

  • pandas.core.frame.DataFrame.withColumn

  • pandas.core.groupby.generic._SeriesGroupByScalar

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].agg

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].aggregate

  • pandas.core.indexes.datetimes.DatetimeIndex.year

  • pandas.core.series.Series.columns

  • pandas.core.tools.datetimes.to_datetime.date

  • pandas.core.tools.datetimes.to_datetime.dt.strftime

  • pandas.core.tools.datetimes.to_datetime.strftime

  • pandas.io.parsers.readers.TextFileReader.apply

  • pandas.io.parsers.readers.TextFileReader.astype

  • pandas.io.parsers.readers.TextFileReader.columns

  • pandas.io.parsers.readers.TextFileReader.copy

  • pandas.io.parsers.readers.TextFileReader.drop

  • pandas.io.parsers.readers.TextFileReader.drop_duplicates

  • pandas.io.parsers.readers.TextFileReader.fillna

  • pandas.io.parsers.readers.TextFileReader.groupby

  • pandas.io.parsers.readers.TextFileReader.head

  • pandas.io.parsers.readers.TextFileReader.iloc

  • pandas.io.parsers.readers.TextFileReader.isin

  • pandas.io.parsers.readers.TextFileReader.iterrows

  • pandas.io.parsers.readers.TextFileReader.loc

  • pandas.io.parsers.readers.TextFileReader.merge

  • pandas.io.parsers.readers.TextFileReader.rename

  • pandas.io.parsers.readers.TextFileReader.shape

  • pandas.io.parsers.readers.TextFileReader.to_csv

  • pandas.io.parsers.readers.TextFileReader.to_excel

  • pandas.io.parsers.readers.TextFileReader.unique

  • pandas.io.parsers.readers.TextFileReader.values

  • pandas.tseries.offsets

Included SMA Core Versions¶

• Snowpark Conversion Core 4.10.0

Desktop App¶

Correction¶

• Correction d’un bogue qui entraînait l’affichage par SMA de l’étiquette SnowConvert au lieu de Snowpark Migration Accelerator dans la barre de menu de la version Windows.

• Correction d’un bogue qui entraînait le plantage de SMA lorsqu’il ne disposait pas des autorisations de lecture et d’écriture sur le répertoire .config dans macOS et sur le répertoire AppData dans Windows.

Command Line Interface¶

Modifications

• Attribution d’un nouveau nom à l’exécutable CLI de snowct à sma.

• Suppression de l’argument de la langue source, de sorte que vous n’avez plus besoin de spécifier si vous exécutez une évaluation / conversion Python ou Scala.

• Les arguments de ligne de commande pris en charge par CLI ont été élargis par l’ajout des nouveaux arguments suivants :

  • --enableJupyter | -j : Indicateur signalant si la conversion des notebooks Databricks vers Jupyter est activée ou non.

  • --sql | -f : Syntaxe du moteur de base de données à utiliser lorsqu’une commande SQL est détectée.

  • --customerEmail | -e : Configurez l’e-mail du client.

  • --customerCompany | -c : Configurez la société cliente.

  • --projectName | -p : Configurez le projet client.

• Mise à jour de certains textes pour refléter le nom correct de l’application, afin d’assurer la cohérence et la clarté de tous les messages.

• Mise à jour des conditions d’utilisation de l’application.

• Mise à jour et développement de la documentation de CLI afin de refléter les dernières fonctions, améliorations et modifications.

• Mise à jour du texte qui s’affiche avant de procéder à l’exécution de l’outil SMA afin d’améliorer la qualité de l’information

• Mise à jour de CLI pour accepter « Oui » comme argument valide lors de la demande de confirmation de l’utilisateur.

• Permet à CLI de poursuivre l’exécution sans attendre l’interaction de l’utilisateur en spécifiant l’argument -y ou --yes.

• Mise à jour des informations d’aide de l’argument --sql pour indiquer les valeurs attendues par cet argument.

Ajouté¶

• Ajout d’un nouveau EWI pour la fonction pyspark.sql.readwriter.DataFrameWriter.partitionBy. Toutes les utilisations de cette fonction ont maintenant l’élément EWI SPRKPY1081.

• Ajout d’une nouvelle colonne appelée Technologie au fichier ImportUsagesInventory.csv.

Modifications¶

• Mise à jour du score de préparation des bibliothèques tierces afin de prendre également en compte les bibliothèques inconnues.

• Mise à jour du fichier AssessmentFiles.zip pour inclure les fichiers .json au lieu des fichiers .pam.

• Amélioration du mécanisme de conversion de CSV en JSON pour rendre le traitement des inventaires plus performant.

• Amélioration de la documentation des EWIs suivants :

  • SPRKPY1029

  • SPRKPY1054

  • SPRKPY1055

  • SPRKPY1063

  • SPRKPY1075

  • SPRKPY1076

• Mise à jour du statut de mappage des éléments Spark Scala suivants de Direct en Renommer.

  • org.apache.spark.sql.functions.shiftLeft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftRight => com.snowflake.snowpark.functions.shiftright

• Mise à jour du statut de mappage des éléments Spark Scala suivants de Non pris en charge en Direct.

  • org.apache.spark.sql.functions.shiftleft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright => com.snowflake.snowpark.functions.shiftright

Correction¶

• Correction d’un bogue ayant entraîné SMA à remplir incorrectement la colonne Origine du fichier ImportUsagesInventory.csv.

• Correction d’un bogue ayant entraîné SMA à classer les importations des bibliothèques io, json, logging et unittest comme importations Python intégrées dans le fichier ImportUsagesInventory.csv et dans le fichier DetailedReport.docx.

Ajouté¶

• Ajout de fichiers EwiCatalog.csv et .md pour réorganiser la documentation

• Ajout du statut de mappage de pyspark.sql.functions.ln Direct.

• Ajout d’une transformation pour pyspark.context.SparkContext.getOrCreate

  • Veuillez vérifier l’EWI SPRKPY1080 pour plus de détails.

• Une amélioration a été apportée à SymbolTable, qui permet de déterminer le type des paramètres dans les fonctions.

• La SymbolTable ajoutée prend en charge les méthodes statiques et ne part pas du principe que le premier paramètre sera automatique pour celles-ci.

• Ajout d’une documentation pour les EWIs manquants

  • SPRKHVSQL1005

  • SPRKHVSQL1006

  • SPRKSPSQL1005

  • SPRKSPSQL1006

  • SPRKSCL1002

  • SPRKSCL1170

  • SPRKSCL1171

  • SPRKPY1057

  • SPRKPY1058

  • SPRKPY1059

  • SPRKPY1060

  • SPRKPY1061

  • SPRKPY1064

  • SPRKPY1065

  • SPRKPY1066

  • SPRKPY1067

  • SPRKPY1069

  • SPRKPY1070

  • SPRKPY1077

  • SPRKPY1078

  • SPRKPY1079

  • SPRKPY1101

Modifications¶

• Mise à jour du statut de mappage de :

  • pyspark.sql.functions.array_remove de NotSupported à Direct.

Correction¶

• Correction de la table de dimensionnement des fichiers de code dans le rapport détaillé afin d’exclure les fichiers .sql et .hql et ajout de la ligne Extra Large dans la table.

• Correction de l’absence de update_query_tag lorsque SparkSession est défini en plusieurs lignes sur Python.

• Correction de l’absence de update_query_tag lorsque SparkSession est défini en plusieurs lignes sur Scala.

• Correction de l’absence de l’EWI SPRKHVSQL1001 dans certaines instructions SQL présentant des erreurs d’analyse.

• Correction de la conservation des valeurs de lignes nouvelles à l’intérieur des littéraux de chaînes

• Correction de l’affichage du nombre total de lignes de code dans la table de résumé des types de fichiers

• Correction de l’affichage sur 0 du score d’analyse alors que les fichiers sont reconnus avec succès

• Correction du nombre de LOC dans l’inventaire des cellules pour les cellules Databricks Magic SQL

Ajouté¶

• Ajout d’une transformation pour pyspark.sql.readwriter.DataFrameReader.parquet.

• Ajout d’une transformation pour pyspark.sql.readwriter.DataFrameReader.option lorsqu’il s’agit d’une méthode Parquet.

Modifications¶

• Mise à jour du statut de mappage de :

  • pyspark.sql.types.StructType.fields de NotSupported en Direct.

  • pyspark.sql.types.StructType.names de NotSupported en Direct.

  • pyspark.context.SparkContext.setLogLevel de Contournement en Transformation.

    • Pour plus de détails, consultez les EWIs SPRKPY1078 et SPRKPY1079

  • org.apache.spark.sql.functions.round de WorkAround en Direct.

  • org.apache.spark.sql.functions.udf de NotDefined en Transformation.

    • Pour plus de détails, consultez les EWIs SPRKSCL1174 et SPRKSCL1175

• Mise à jour du statut de mappage des éléments Spark suivants de DirectHelper en Direct :

  • org.apache.spark.sql.functions.hex

  • org.apache.spark.sql.functions.unhex

  • org.apache.spark.sql.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright

  • org.apache.spark.sql.functions.reverse

  • org.apache.spark.sql.functions.isnull

  • org.apache.spark.sql.functions.unix_timestamp

  • org.apache.spark.sql.functions.randn

  • org.apache.spark.sql.functions.signum

  • org.apache.spark.sql.functions.sign

  • org.apache.spark.sql.functions.collect_list

  • org.apache.spark.sql.functions.log10

  • org.apache.spark.sql.functions.log1p

  • org.apache.spark.sql.functions.base64

  • org.apache.spark.sql.functions.unbase64

  • org.apache.spark.sql.functions.regexp_extract

  • org.apache.spark.sql.functions.expr

  • org.apache.spark.sql.functions.date_format

  • org.apache.spark.sql.functions.desc

  • org.apache.spark.sql.functions.asc

  • org.apache.spark.sql.functions.size

  • org.apache.spark.sql.functions.locate

  • org.apache.spark.sql.functions.ntile

Correction¶

• Correction de la valeur affichée dans le pourcentage du nombre total d’API Pandas

• Correction du pourcentage total dans la table ImportCalls du DetailReport

Hotfixed¶

• Correction de l’ajout du nombre total de lignes dans les résumés d’utilisations Spark alors qu’il n’y a pas d’utilisation

• Mise à jour de l’assemblage Python sur la version1.3.111

  • Analyse de la virgule de fin dans les arguments multilignes

Ajouté¶

• Ajout d’une transformation pour pyspark.sql.readwriter.DataFrameReader.option :

  • Lorsque la chaîne provient d’un appel de méthode CSV.

  • Lorsque la chaîne provient d’un appel de méthode JSON.

• Ajout d’une transformation pour pyspark.sql.readwriter.DataFrameReader.json.

Modifications¶

• Exécution de SMA sur les chaînes SQL transmises aux fonctions Python/Scala

  • Création de l’AST dans Scala/Python pour émettre une unité temporaire SQL

  • Création de l’inventaire SqlEmbeddedUsages.csv

  • Obsolescence des fichiers SqlStatementsInventroy.csv et SqlExtractionInventory.csv

  • Intégration de l’EWI lorsque le littéral SQL n’a pas pu être traité

  • Création d’une nouvelle tâche pour traiter me code SQL intégré

  • Collecte d’informations pour l’inventaire SqlEmbeddedUsages.csv dans Python

  • Remplacement du code transformé SQL par du code littéral dans Python

  • Mise à jour des cas de test après la mise en œuvre

  • Création de tables et de vues pour la télémétrie dans l’inventaire SqlEmbeddedUsages

  • Collecte d’informations pour le rapport SqlEmbeddedUsages.csv dans Scala

  • Remplacement du code transformé SQL par du code littéral dans Scala

  • Vérification de l’ordre des numéros de ligne pour le rapport SQL intégré

• Renseignement du fichier SqlFunctionsInfo.csv avec les fonctions SQL documentées pour SparkSQL et HiveSQL

• Mise à jour du statut du mappage pour :

  • org.apache.spark.sql.SparkSession.sparkContext de NotSupported en Transformation.

  • org.apache.spark.sql.Builder.config de NotSupported en Transformation. Avec ce nouveau statut de mappage, l’outil SMA supprime toutes les utilisations de cette fonction du code source.

Ajouté¶

• Ajout du mécanisme (via la décoration) permettant d’obtenir la ligne et la colonne des éléments identifiés dans les cellules des notebooks

• Ajout d’une page EWI pour pyspark.sql.functions.from_json.

• Ajout d’une transformation pour pyspark.sql.readwriter.DataFrameReader.csv.

• Activation du mécanisme de balise de requête pour les fichiers Scala.

• Ajout du score de l’analyse du code et de liens supplémentaires vers le rapport détaillé.

• Ajout d’une colonne appelée OriginFilePath dans le fichier InputFilesInventory.csv

Modifications¶

• Mise à jour du statut du mappage de pyspark.sql.functions.from_json de Non pris en charge à Transformation.

• Mise à jour du statut de mappage des éléments Spark suivants de Contournement à Direct :

  • org.apache.spark.sql.functions.countDistinct

  • org.apache.spark.sql.functions.max

  • org.apache.spark.sql.functions.min

  • org.apache.spark.sql.functions.mean

Obsolète¶

• Les codes EWI suivants sont obsolètes :

  • SPRKSCL1135

  • SPRKSCL1136

  • SPRKSCL1153

  • SPRKSCL1155

Correction¶

• Correction d’un bogue ayant entraîné un calcul incorrect du score Spark API.

• Correction d’une erreur pour éviter de copier les fichiers vides ou commentés SQL dans le dossier de sortie.

• Correction d’un bogue dans le DetailedReport, le nombre de statistiques notebook LOC et de cellules n’est pas exact.

Ajouté¶

• Ajout d’une colonne Technologie dans SparkUsagesInventory

• Ajout d’un EWI pour les éléments SQL non définis.

• Ajout de l’inventaire SqlFunctions

• Collecte d’informations pour l’inventaire SqlFunctions

Modifications¶

• Le moteur traite et imprime désormais les fichiers Python partiellement analysés au lieu de laisser le fichier original sans modifications.

• Les cellules du notebook Python qui présentent des erreurs d’analyse seront également traitées et imprimées.

Correction¶

• Correction de l’erreur dans pandas.core.indexes.datetimes.DatetimeIndex.strftime.

• Correction de la non-concordance entre le score de préparation SQL et les utilisations SQL par statut de prise en charge.

• Correction d’un bogue ayant entraîné SMA à signaler pandas.core.series.Series.empty avec un statut de mappage incorrect.

• La correction d’une incohérence entre les utilisations prêtes pour la conversion Spark API dans DetailedReport.docx est différente de la ligne UsagesReadyForConversion dans Assessment.json.

Ajouté¶

• Ajout des informations suivantes au fichier AssessmentReport.json

  • Score de préparation des bibliothèques tierces.

  • Nombre d’appels de bibliothèques tierces qui ont été identifiés.

  • Nombre d’appels de bibliothèques tierces pris en charge par Snowpark.

  • Le code couleur associé au score de préparation tiers, le score de préparation Spark API et le score de préparation SQL.

• Transformation de SqlSimpleDataType dans les tables de création Spark.

• Ajout du mappage de pyspark.sql.functions.get comme direct.

• Ajout du mappage de pyspark.sql.functions.to_varchar comme direct.

• Dans le cadre des modifications apportées après l’unification, l’outil génère désormais un fichier d’informations sur l’exécution dans le moteur.

• Ajout d’un remplaçant pour pyspark.sql.SparkSession.builder.appName.

Modifications¶

• Mise à jour du statut du mappage pour les éléments Spark suivants

  • De Non pris en charge à Mappage direct :

    • pyspark.sql.functions.sign

    • pyspark.sql.functions.signum

• Modification du rapport Inventaire des cellules de notebook pour indiquer le type de contenu de chaque cellule dans l’élément de colonne

• Ajout d’une colonne SCALA_READINESS_SCORE qui indique le score de préparation comme étant lié uniquement aux références de Spark API dans les fichiers Scala.

• Prise en charge partielle de la transformation des propriétés des tables dans ALTER TABLE et ALTER VIEW

• Mise à jour du statut de conversion du nœud SqlSimpleDataType de En attente à Transformation dans les tables de création Spark

• Mise à jour de la version de Snowpark Scala API prise en charge par l’outil SMA de 1.7.0 à 1.12.1 :

  • Mise à jour du statut de mappage de :

    • org.apache.spark.sql.SparkSession.getOrCreate de Renommer à Direct

    • org.apache.spark.sql.functions.sum de Contournement à Direct

• Mise à jour de la version de Python Snowpark API prise en charge par l’outil SMA de 1.15.0 à 1.20.0 :

  • Mise à jour du statut de mappage de :

    • pyspark.sql.functions.arrays_zip de Non pris en charge à Pris en charge

• Mise à jour du statut du mappage pour les éléments Pandas suivants :

  • Mappages directs :

    • pandas.core.frame.DataFrame.any

    • pandas.core.frame.DataFrame.applymap

• Mise à jour du statut du mappage pour les éléments Pandas suivants :

  • De Non pris en charge à Mappage direct :

    • pandas.core.frame.DataFrame.groupby

    • pandas.core.frame.DataFrame.index

    • pandas.core.frame.DataFrame.T

    • pandas.core.frame.DataFrame.to_dict

  • De Non pris en charge à Renommer :

    • pandas.core.frame.DataFrame.map

• Mise à jour du statut du mappage pour les éléments Pandas suivants :

  • Mappages directs :

    • pandas.core.frame.DataFrame.where

    • pandas.core.groupby.generic.SeriesGroupBy.agg

    • pandas.core.groupby.generic.SeriesGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.agg

    • pandas.core.groupby.generic.DataFrameGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.apply

  • Mappages non pris en charge :

    • pandas.core.frame.DataFrame.to_parquet

    • pandas.core.generic.NDFrame.to_csv

    • pandas.core.generic.NDFrame.to_excel

    • pandas.core.generic.NDFrame.to_sql

• Mise à jour du statut du mappage pour les éléments Pandas suivants :

  • Mappages directs :

    • pandas.core.series.Series.empty

    • pandas.core.series.Series.apply

    • pandas.core.reshape.tile.qcut

  • Mappages directs avec l’EWI :

    • pandas.core.series.Series.fillna

    • pandas.core.series.Series.astype

    • pandas.core.reshape.melt.melt

    • pandas.core.reshape.tile.cut

    • pandas.core.reshape.pivot.pivot_table

• Mise à jour du statut du mappage pour les éléments Pandas suivants :

  • Mappages directs :

    • pandas.core.series.Series.dt

    • pandas.core.series.Series.groupby

    • pandas.core.series.Series.loc

    • pandas.core.series.Series.shape

    • pandas.core.tools.datetimes.to_datetime

    • pandas.io.excel._base.ExcelFile

  • Mappages non pris en charge :

    • pandas.core.series.Series.dt.strftime

• Mise à jour du statut du mappage pour les éléments Pandas suivants :

  • De Non pris en charge à Mappage direct :

    • pandas.io.parquet.read_parquet

    • pandas.io.parsers.readers.read_csv

• Mise à jour du statut du mappage pour les éléments Pandas suivants :

  • De Non pris en charge à Mappage direct :

    • pandas.io.pickle.read_pickle

    • pandas.io.sql.read_sql

    • pandas.io.sql.read_sql_query

• Mise à jour de la description de Compréhension du score de préparation SQL.

• Mise à jour de PyProgramCollector pour collecter les paquets et renseigner l’inventaire actuel des paquets avec les données du code source Python.

• Mise à jour du statut de mappage de pyspark.sql.SparkSession.builder.appName de Renommer à Transformation.

• Suppression des tests d’intégration Scala suivants :

  • AssesmentReportTest_AssessmentMode.ValidateReports_AssessmentMode

  • AssessmentReportTest_PythonAndScala_Files.ValidateReports_PythonAndScala

  • AssessmentReportTestWithoutSparkUsages.ValidateReports_WithoutSparkUsages

• Mise à jour du statut de mappage de pandas.core.generic.NDFrame.shape de Non pris en charge à Direct.

• Mise à jour du statut de mappage de pandas.core.series de Non pris en charge à Direct.

Obsolète¶

• Obsolescence du code EWI SPRKSCL1160 car org.apache.spark.sql.functions.sum est désormais un mappage direct.

Correction¶

• Correction d’un bogue relatif à la non prise en charge de Custom Magics sans arguments dans les cellules de Jupyter Notebook.

• Correction de la génération incorrecte des EWIs dans le rapport issues.csv en cas d’erreurs d’analyse.

• Correction d’un bogue ayant entraîné SMA à ne pas traiter les notebooks exportés Databricks comme des notebooks Databricks.

• Correction d’une erreur de débordement de pile lors du traitement des noms de types de conflit des déclarations créées à l’intérieur des objets du paquet.

• Correction du traitement des noms de types lambda complexes impliquant des génériques, par exemple, def func[X,Y](f: (Map[Option[X], Y] => Map[Y, X]))...

• Correction d’un bogue ayant entraîné SMA à ajouter un code EWI PySpark au lieu d’un code EWI Pandas aux éléments Pandas qui ne sont pas encore reconnus.

• Correction d’une coquille dans le modèle de rapport détaillé : Modification de Pourcentage de tous les fichiers Python en Pourcentage de tous les fichiers.

• Correction d’un bogue où pandas.core.series.Series.shape a été mal rapporté.