Snowpark Migration Accelerator: リリースノート¶

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.62

追加済み¶

• Added functionality to migrate SQL embedded with Python format interpolation.

• Added support for DataFrame.select and DataFrame.sort transformations for greater data processing flexibility.

変更済み¶

• Bumped the supported versions of Snowpark Python API and Snowpark Pandas API to 1.36.0.

• Updated the mapping status of pandas.core.frame.DataFrame.boxplot from Not Supported to Direct.

• Updated the mapping status of DataFrame.select, Dataset.select, DataFrame.sort and Dataset.sort from Direct to Transformation.

• Snowpark Scala allows a sequence of columns to be passed directly to the select and sort functions, so this transformation changes all the usages such as df.select(cols: _*) to df.select(cols) and df.sort(cols: _*) to df.sort(cols).

• Bumped Python AST and Parser version to 149.1.9.

• Updated the status to Direct for pandas functions:

  • pandas.core.frame.DataFrame.to_excel

  • pandas.core.series.Series.to_excel

  • pandas.io.feather_format.read_feather

  • pandas.io.orc.read_orc

  • pandas.io.stata.read_stata

• Updated the status for pyspark.sql.pandas.map_ops.PandasMapOpsMixin.mapInPandas to workaround using the EWI SPRKPY1102.

修正済み¶

• Fixed issue that affected SqlEmbedded transformations when using chained method calls.

• Fixed transformations involving PySqlExpr using the new PyLiteralSql to avoid losing Tails.

• Resolved internal stability issues to improve tool robustness and reliability.

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.46

追加済み¶

• Added new Pandas EWI documentation PNDSPY1011.

• Added support to the following Pandas functions:

  • pandas.core.algorithms.unique

  • pandas.core.dtypes.missing.isna

  • pandas.core.dtypes.missing.isnull

  • pandas.core.dtypes.missing.notna

  • pandas.core.dtypes.missing.notnull

  • pandas.core.resample.Resampler.count

  • pandas.core.resample.Resampler.max

  • pandas.core.resample.Resampler.mean

  • pandas.core.resample.Resampler.median

  • pandas.core.resample.Resampler.min

  • pandas.core.resample.Resampler.size

  • pandas.core.resample.Resampler.sum

  • pandas.core.arrays.timedeltas.TimedeltaArray.total_seconds

  • pandas.core.series.Series.get

  • pandas.core.series.Series.to_frame

  • pandas.core.frame.DataFrame.assign

  • pandas.core.frame.DataFrame.get

  • pandas.core.frame.DataFrame.to_numpy

  • pandas.core.indexes.base.Index.is_unique

  • pandas.core.indexes.base.Index.has_duplicates

  • pandas.core.indexes.base.Index.shape

  • pandas.core.indexes.base.Index.array

  • pandas.core.indexes.base.Index.str

  • pandas.core.indexes.base.Index.equals

  • pandas.core.indexes.base.Index.identical

  • pandas.core.indexes.base.Index.unique

Added support to the following Spark Scala functions:

• org.apache.spark.sql.functions.format_number

• org.apache.spark.sql.functions.from_unixtime

• org.apache.spark.sql.functions.instr

• org.apache.spark.sql.functions.months_between

• org.apache.spark.sql.functions.pow

• org.apache.spark.sql.functions.to_unix_timestamp

• org.apache.spark.sql.Row.getAs

変更済み¶

• Bumped the version of Snowpark Pandas API supported by the SMA to 1.33.0.

• Bumped the version of Snowpark Scala API supported by the SMA to 1.16.0.

• Updated the mapping status of pyspark.sql.group.GroupedData.pivot from Transformation to Direct.

• Updated the mapping status of org.apache.spark.sql.Builder.master from NotSupported to Transformation. This transformation removes all the identified usages of this element during code conversion.

• Updated the mapping status of org.apache.spark.sql.types.StructType.fieldIndex from NotSupported to Direct.

• Updated the mapping status of org.apache.spark.sql.Row.fieldIndex from NotSupported to Direct.

• Updated the mapping status of org.apache.spark.sql.SparkSession.stop from NotSupported to Rename. All the identified usages of this element are renamed to com.snowflake.snowpark.Session.close during code conversion.

• Updated the mapping status of org.apache.spark.sql.DataFrame.unpersist and org.apache.spark.sql.Dataset.unpersist from NotSupported to Transformation. This transformation removes all the identified usages of this element during code conversion.

修正済み¶

• Fixed continuation backslash on removed tailed functions.

• Fix the LIBRARY_PREFIX column in the ConversionStatusLibraries.csv file to use the right identifier for scikit-learn library family (scikit-*).

• Fixed bug not parsing multiline grouped operations.

追加済み¶

• The following mappings are now performed for org.apache.spark.sql.Dataset[T]:

  • org.apache.spark.sql.Dataset.union is now com.snowflake.snowpark.DataFrame.unionAll

  • org.apache.spark.sql.Dataset.unionByName is now com.snowflake.snowpark.DataFrame.unionAllByName

• Added support for org.apache.spark.sql.functions.broadcast as a transformation.

変更済み¶

• Increased the supported Snowpark Python API version for SMA from 1.27.0 to 1.33.0.

• The status for the pyspark.sql.function.randn function has been updated to Direct.

修正済み¶

• Resolved an issue where org.apache.spark.SparkContext.parallelize was not resolving and now supports it as a transformation.

• Fixed the Dataset.persist transformation to work with any type of Dataset, not just Dataset[Row].

追加済み¶

• Adjusted mappings for spark.DataReader methods.

• DataFrame.union is now DataFrame.unionAll.

• DataFrame.unionByName is now DataFrame.unionAllByName.

• Added multi-level artifact dependency columns in artifact inventory

• Added new Pandas EWIs documentation, from PNDSPY1005 to PNDSPY1010.

• Added a specific EWI for pandas.core.series.Series.apply.

変更済み¶

• Bumped the version of Snowpark Pandas API supported by the SMA from 1.27.0 to 1.30.0.

修正済み¶

• Fixed an issue with missing values in the formula to get the SQL readiness score.

• Fixed a bug that was causing some Pandas elements to have the default EWI message from PySpark.

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.19

変更済み¶

• Refactored Pandas Imports: Pandas imports now use `modin.pandas` instead of snowflake.snowpark.modin.pandas.

• Improved `dbutils` and Magic Commands Transformation:

  • A new sfutils.py file is now generated, and all dbutils prefixes are replaced with sfutils.

  • For Databricks (DBX) notebooks, an implicit import for sfutils is automatically added.

  • The sfutils module simulates various dbutils methods, including file system operations (dbutils.fs) via a defined Snowflake FileSystem (SFFS) stage, and handles notebook execution (dbutils.notebook.run) by transforming it to EXECUTE NOTEBOOK SQL functions.

  • dbutils.notebook.exit is removed as it is not required in Snowflake.

修正済み¶

• Updates in SnowConvert Reports: SnowConvert reports now include the CellId column when instances originate from SMA, and the FileName column displays the full path.

• Updated Artifacts Dependency for SnowConvert Reports: The SMA's artifact inventory report, which was previously impacted by the integration of SnowConvert, has been restored. This update enables the SMA tool to accurately capture and analyze Object References and Missing Object References directly from SnowConvert reports, thereby ensuring the correct retrieval of SQL dependencies for the inventory.

追加済み¶

• Added telemetry improvements.

修正済み¶

• Fix documentation links in conversion settings pop-up and Pandas EWIs.

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.16

追加済み¶

• Transforming Spark XML to Snowpark

• Databricks SQL option in the SQL source language

• Transform JDBC read connections.

変更済み¶

• All the SnowConvert reports are copied to the backup Zip file.

• The folder is renamed from SqlReports to SnowConvertReports.

• SqlFunctionsInventory is moved to the folder Reports.

• All the SnowConvert Reports are sent to Telemetry.

修正済み¶

• Non-deterministic issue with SQL Readiness Score.

• Fixed a false-positive critical result that made the desktop crash.

• Fixed issue causing the Artifacts dependency report not to show the SQL objects.

修正済み¶

• Addressed an issue with SMA execution on the latest Windows OS, as previously reported. This fix resolves the issues encountered in version 2.7.1.

Included SMA Core Versions¶

• Snowpark Conversion Core 8.0.1

追加済み¶

The Snowpark Migration Accelerator (SMA) now orchestrates SnowConvert to process SQL found in user workloads, including embedded SQL in Python / Scala code, Notebook SQL cells, .sql files, and .hql files.

The SnowConvert now enhances the previous SMA capabilities:

• Spark SQL

A new folder in the Reports called SQL Reports contains the reports generated by SnowConvert.

Known Issues¶

The previous SMA version for SQL reports will appear empty for the following:

• For Reports/SqlElementsInventory.csv, partially covered by the Reports/SqlReports/Elements.yyyymmdd.hhmmss.csv.

• For Reports/SqlFunctionsInventory.csv refer to the new location with the same name at Reports/SqlReports/SqlFunctionsInventory.csv

The artifact dependency inventory:

• In the ArtifactDependencyInventory the column for the SQL Object will appear empty

Included SMA Core Versions¶

• Snowpark Conversion Core 7.4.0

修正済み¶

• Fixed wrong values in the 'checkpoints.json' file.

  • The 'sample' value was without decimals (for integer values) and quotes.

  • The 'entryPoint' value had dots instead of slashes and was missing the file extension.

• Updated the default value to TRUE for the setting 'Convert DBX notebooks to Snowflake notebooks'

Desktop App¶

• Added checkpoints execution settings mechanism recognition.

• Added a mechanism to collect DBX magic commands into DbxElementsInventory.csv

• Added 'checkpoints.json' generation into the input directory.

• Added a new EWI for all not supported magic command.

• Added the collection of dbutils into DbxElementsInventory.csv from scala source notebooks

Included SMA Core Versions¶

• Snowpark Conversion Core 7.2.53

変更済み¶

• Updates made to handle transformations from DBX Scala elements to Jupyter Python elements, and to comment the entire code from the cell.

• Updates made to handle transformations from dbutils.notebook.run and “r" commands, for the last one, also comment out the entire code from the cell.

• Updated the name and the letter of the key to make the conversion of the notebook files.

修正済み¶

• Fixed the bug that was causing the transformation of DBX notebooks into .ipynb files to have the wrong format.

• Fixed the bug that was causing .py DBX notebooks to not be transformable into .ipynb files.

• Fixed a bug that was causing comments to be missing in the output code of DBX notebooks.

• Fixed a bug that was causing raw Scala files to be converted into ipynb files.

Included SMA Core Versions¶

• Snowpark Conversion Core 7.2.42

変更済み¶

Updated DataFramesInventory to fill EntryPoints column

Desktop App¶

追加済み¶

• Update DBx EWI link in the UI results page

Included SMA Core Versions¶

• Snowpark Conversion Core 7.2.39

追加済み¶

• Added Execution Flow inventory generation.

• Added implicit session setup in every DBx notebook transformation

変更済み¶

• Renamed the DbUtilsUsagesInventory.csv to DbxElementsInventory.csv

修正済み¶

• Fixed a bug that caused a Parsing error when a backslash came after a type hint.

• Fixed relative imports that do not start with a dot and relative imports with a star.

Desktop App¶

追加済み¶

• Added a new conversion setting toggle to enable or disable Sma-Checkpoints feature.

• Fix report issue to not crash when post api returns 500

Included SMA Core Versions¶

• Snowpark Conversion Core 7.2.26

追加済み¶

• Added generation of the checkpoints.json file into the output folder based on the DataFramesInventory.csv.

• Added "disableCheckpoints" flag into the CLI commands and additional parameters of the code processor.

• Added a new replacer for Python to transform the dbutils.notebook.run node.

• Added new replacers to transform the magic %run command.

• Added new replacers (Python and Scala) to remove the dbutils.notebook.exit node.

• Added Location column to artifacts inventory.

変更済み¶

• Refactored the normalized directory separator used in some parts of the solution.

• Centralized the DBC extraction working folder name handling.

• Updated Snowpark and Pandas version to v1.27.0

• Updated the artifacts inventory columns to:

  • Name -> Dependency

  • File -> FileId

  • Status -> Status_detail

• Added new column to the artifacts inventory:

  • Success

修正済み¶

• Dataframes inventory was not being uploaded to the stage correctly.

Included SMA Core Versions ¶

• Snowpark Conversion Core 7.2.0

Added ¶

• An Artifact Dependency Inventory

• A replacer and EWI for pyspark.sql.types.StructType.fieldNames method to snowflake.snowpark.types.StructType.fieldNames attribute.

• The following PySpark functions with the status:

NotSupported

• pyspark.sql.functions.map_contains_key

• pyspark.sql.functions.position

• pyspark.sql.functions.regr_r2

• pyspark.sql.functions.try_to_binary

The following Pandas functions with status

• pandas.core.series.Series.str.ljust

• pandas.core.series.Series.str.center

• pandas.core.series.Series.str.pad

• pandas.core.series.Series.str.rjust

Update the following Pyspark functions with the status

From WorkAround to Direct

• pyspark.sql.functions.acosh

• pyspark.sql.functions.asinh

• pyspark.sql.functions.atanh

• pyspark.sql.functions.instr

• pyspark.sql.functions.log10

• pyspark.sql.functions.log1p

• pyspark.sql.functions.log2

From NotSupported to Direct

• pyspark.sql.functions.bit_length

• pyspark.sql.functions.cbrt

• pyspark.sql.functions.nth_value

• pyspark.sql.functions.octet_length

• pyspark.sql.functions.base64

• pyspark.sql.functions.unbase64

Updated the folloing Pandas functions with the status

From NotSupported to Direct

• pandas.core.frame.DataFrame.pop

• pandas.core.series.Series.between

• pandas.core.series.Series.pop

Included SMA Core Versions ¶

• Snowpark Conversion Core 7.1.13

Added ¶

• Added csv generator class for new inventory creation.

• Added "full_name" column to import usages inventory.

• Added transformation from pyspark.sql.functions.concat_ws to snowflake.snowpark.functions._concat_ws_ignore_nulls.

• Added logic for generation of checkpoints.json.

• Added the inventories:

  • DataFramesInventory.csv.

  • CheckpointsInventory.csv

Desktop App ¶

• Updated the licensing agreement, acceptance is required.

Included SMA Core Versions¶

• Snowpark Conversion Core 7.1.2

追加済み

Updated the mapping status for the following Pandas elements, from NotSupported to Direct

• pandas.io.html.read_html

• pandas.io.json._normalize.json_normalize

• pandas.core.groupby.generic.DataFrameGroupBy.pct_change

• pandas.core.groupby.generic.SeriesGroupBy.pct_change

Updated the mapping status for the following PySpark elements, from Rename to Direct

• pyspark.sql.functions.collect_list

• pyspark.sql.functions.size

Fixed ¶

• Standardized the format of the version number in the inventories.

追加済み¶

変更済み¶

• .NET バージョンをv9.0.0に更新。

• EWI SPRKPY1068 を改善。

• SMA でサポートされるSnowpark Python API のバージョンを1.24.0 から 1.25.0に引き上げました。

• パンダのSnowparkバージョンを追加しました。

• 以下のライブラリを ThirdPartyLib から BuiltIn に変更。

  • configparser

  • dataclasses

  • pathlib

  • readline

  • statistics

  • zlib

既知の問題¶

• このバージョンでは、サンプルプロジェクトを変換する際に動作しない問題が含まれています。 次のリリースで修正される予定です

Desktop App¶

• クラッシュレポートモーダル内にトラブルシューティングガイドへのリンクを追加しました。

Included SMA Core Versions¶

• Snowpark Conversion Core 4.15.0

追加済み¶

• ConversionStatusPySpark.csvファイルに NotSupported として以下の PySpark 要素を追加しました

  • pyspark.sql.streaming.readwriter.DataStreamReader.table

  • pyspark.sql.streaming.readwriter.DataStreamReader.schema

  • pyspark.sql.streaming.readwriter.DataStreamReader.options

  • pyspark.sql.streaming.readwriter.DataStreamReader.option

  • pyspark.sql.streaming.readwriter.DataStreamReader.load

  • pyspark.sql.streaming.readwriter.DataStreamReader.format

  • pyspark.sql.streaming.query.StreamingQuery.awaitTermination

  • pyspark.sql.streaming.readwriter.DataStreamWriter.partitionBy

  • pyspark.sql.streaming.readwriter.DataStreamWriter.toTable

  • pyspark.sql.streaming.readwriter.DataStreamWriter.trigger

  • pyspark.sql.streaming.readwriter.DataStreamWriter.queryName

  • pyspark.sql.streaming.readwriter.DataStreamWriter.outputMode

  • pyspark.sql.streaming.readwriter.DataStreamWriter.format

  • pyspark.sql.streaming.readwriter.DataStreamWriter.option

  • pyspark.sql.streaming.readwriter.DataStreamWriter.foreachBatch

  • pyspark.sql.streaming.readwriter.DataStreamWriter.start

変更済み¶

• Hive SQL EWIs 形式を更新しました。

  • SPRKHVSQL1001

  • SPRKHVSQL1002

  • SPRKHVSQL1003

  • SPRKHVSQL1004

  • SPRKHVSQL1005

  • SPRKHVSQL1006

• Spark SQL EWIs 形式を更新しました。

  • SPRKSPSQL1001

  • SPRKSPSQL1002

  • SPRKSPSQL1003

  • SPRKSPSQL1004

  • SPRKSPSQL1005

  • SPRKSPSQL1006

修正済み¶

• ツールによって識別されない PySpark 要素があったバグを修正しました。

• ThirdParty が識別した呼び出しと ThirdParty のインポート呼び出し番号との不一致を修正しました。

Included SMA Core Versions¶

• Snowpark Conversion Core 4.14.0

追加済み¶

• ConversionStatusPySpark.csvに以下のSpark要素を追加しました。

  • pyspark.broadcast.Broadcast.value

  • pyspark.conf.SparkConf.getAll

  • pyspark.conf.SparkConf.setAll

  • pyspark.conf.SparkConf.setMaster

  • pyspark.context.SparkContext.addFile

  • pyspark.context.SparkContext.addPyFile

  • pyspark.context.SparkContext.binaryFiles

  • pyspark.context.SparkContext.setSystemProperty

  • pyspark.context.SparkContext.version

  • pyspark.files.SparkFiles

  • pyspark.files.SparkFiles.get

  • pyspark.rdd.RDD.count

  • pyspark.rdd.RDD.distinct

  • pyspark.rdd.RDD.reduceByKey

  • pyspark.rdd.RDD.saveAsTextFile

  • pyspark.rdd.RDD.take

  • pyspark.rdd.RDD.zipWithIndex

  • pyspark.sql.context.SQLContext.udf

  • pyspark.sql.types.StructType.simpleString

変更済み¶

• Pandas EWIs、 PNDSPY1001、 PNDSPY1002、 PNDSPY1003、および SPRKSCL1137 のドキュメントを更新し、標準化された形式に合わせることで、すべての EWIs の一貫性と明瞭性を確保しました。

• 以下のScala EWIs のドキュメントを更新しました: SPRKSCL1106 と SPRKSCL1107。標準形式に合わせることで、すべての EWIs で一貫性と明瞭性を確保。

修正済み¶

• UserDefined シンボルがサードパーティの使用インベントリに表示されるバグを修正しました。

Included SMA Core Versions¶

• Snowpark Conversion Core 4.13.1

Command Line Interface¶

変更済み

• 出力フォルダーにタイムスタンプを追加しました。

追加済み¶

• ライブラリマッピングテーブルに「Source Language」列を追加しました

• DetailedReport.docxのPandas API 概要テーブルに新しいカテゴリとして Others を追加しました。

変更済み¶

• Python EWI SPRKPY1058 のドキュメントを更新しました。

• pandas EWI PNDSPY1002 のメッセージを更新し、関連するpandas要素を表示するようにしました。

• .csvレポートの作成方法が更新され、2回目の実行で上書きされるようになりました。

修正済み¶

• Notebooksファイルが出力されない原因となっていたバグを修正しました。

• pyspark.sql.conf.RuntimeConfig から get、 set メソッドのリプレイサーを修正しました。リプレイサーが正しいフルネームと一致するようになりました。

• クエリタグのバージョンが間違っていたのを修正しました。

• ThirdPartyLib として報告された UserDefined パッケージを修正。

\

Included SMA Core Versions¶

• Snowpark Conversion Core 4.12.0

Desktop App¶

修正済み

• --sqlオプションの大文字と小文字を区別する問題を修正。

削除済み

• show-acメッセージからプラットフォーム名を削除。

追加済み¶

• Snowpark Python 1.23.0と1.24.0のサポートを追加しました。

• pyspark.sql.dataframe.DataFrame.writeTo 関数の新しい EWI を追加しました。この関数の使用すべてに EWI SPRKPY1087 が指定されるようになりました。

変更済み¶

• Scala EWIs のドキュメントを SPRKSCL1137 から SPRKSCL1156 に更新して標準化された形式に合わせることで、すべての EWIs で一貫性と明瞭性を確保しました。

• Scala EWIs のドキュメントを SPRKSCL1117 から SPRKSCL1136 に更新して標準化された形式に合わせることで、すべての EWIs で一貫性と明瞭性を確保しました。

• 以下の EWIs に表示されるメッセージを更新しました。

  • SPRKPY1082

  • SPRKPY1083

• Scala EWIs のドキュメントを SPRKSCL1100 から SPRKSCL1105 に、 SPRKSCL1108 から SPRKSCL1116 に、 SPRKSCL1157 から SPRKSCL1175 に更新して標準化された形式に合わせることで、すべての EWIs で一貫性と明瞭性を確保しました。

• 以下の PySpark 要素のマッピングステータスを、 EWI を使用して NotSupported から Direct に更新しました。

  • pyspark.sql.readwriter.DataFrameWriter.option => snowflake.snowpark.DataFrameWriter.option: この関数の使用はすべて EWI SPRKPY1088 を使用するようになりました

  • pyspark.sql.readwriter.DataFrameWriter.options => snowflake.snowpark.DataFrameWriter.options: この関数の使用は全て EWI SPRKPY1089 を使用するようになりました

• 以下の PySpark 要素のマッピングステータスを Workaround から Rename に更新しました。

  • pyspark.sql.readwriter.DataFrameWriter.partitionBy => snowflake.snowpark.DataFrameWriter.partition_by

• EWI ドキュメントを更新しました: SPRKSCL1000、 SPRKSCL1001、 SPRKSCL1002、 SPRKSCL1100、 SPRKSCL1101、 SPRKSCL1102、 SPRKSCL1103、 SPRKSCL1104、 SPRKSCL1105。

Removed¶

• pyspark.sql.dataframe.DataFrameStatFunctions.writeTo 要素を変換ステータスから削除しました。この要素は存在しません。

非推奨¶

• 以下の EWI コードを非推奨としました:

  • SPRKPY1081

  • SPRKPY1084

追加済み¶

• Issues.csv ファイルに、対応する EWI ドキュメントにリダイレクトする Url という新しい列を追加しました。

• 以下のSpark要素に新しい EWIs を追加しました:

  • [SPRKPY1082] pyspark.sql.readwriter.DataFrameReader.load

  • [SPRKPY1083] pyspark.sql.readwriter.DataFrameWriter.save

  • [SPRKPY1084] pyspark.sql.readwriter.DataFrameWriter.option

  • [SPRKPY1085] pyspark.ml.feature.VectorAssembler

  • [SPRKPY1086] pyspark.ml.linalg.VectorUDT

• 38の新しいPandas要素を追加しました:

  • pandas.core.frame.DataFrame.select

  • andas.core.frame.DataFrame.str

  • pandas.core.frame.DataFrame.str.replace

  • pandas.core.frame.DataFrame.str.upper

  • pandas.core.frame.DataFrame.to_list

  • pandas.core.frame.DataFrame.tolist

  • pandas.core.frame.DataFrame.unique

  • pandas.core.frame.DataFrame.values.tolist

  • pandas.core.frame.DataFrame.withColumn

  • pandas.core.groupby.generic._SeriesGroupByScalar

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].agg

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].aggregate

  • pandas.core.indexes.datetimes.DatetimeIndex.year

  • pandas.core.series.Series.columns

  • pandas.core.tools.datetimes.to_datetime.date

  • pandas.core.tools.datetimes.to_datetime.dt.strftime

  • pandas.core.tools.datetimes.to_datetime.strftime

  • pandas.io.parsers.readers.TextFileReader.apply

  • pandas.io.parsers.readers.TextFileReader.astype

  • pandas.io.parsers.readers.TextFileReader.columns

  • pandas.io.parsers.readers.TextFileReader.copy

  • pandas.io.parsers.readers.TextFileReader.drop

  • pandas.io.parsers.readers.TextFileReader.drop_duplicates

  • pandas.io.parsers.readers.TextFileReader.fillna

  • pandas.io.parsers.readers.TextFileReader.groupby

  • pandas.io.parsers.readers.TextFileReader.head

  • pandas.io.parsers.readers.TextFileReader.iloc

  • pandas.io.parsers.readers.TextFileReader.isin

  • pandas.io.parsers.readers.TextFileReader.iterrows

  • pandas.io.parsers.readers.TextFileReader.loc

  • pandas.io.parsers.readers.TextFileReader.merge

  • pandas.io.parsers.readers.TextFileReader.rename

  • pandas.io.parsers.readers.TextFileReader.shape

  • pandas.io.parsers.readers.TextFileReader.to_csv

  • pandas.io.parsers.readers.TextFileReader.to_excel

  • pandas.io.parsers.readers.TextFileReader.unique

  • pandas.io.parsers.readers.TextFileReader.values

  • pandas.tseries.offsets

Included SMA Core Versions¶

• Snowpark Conversion Core 4.10.0

Desktop App¶

修正済み¶

• Windowsバージョンのメニューバーで、 SMA に Snowpark Migration Accelerator ではなく SnowConvert というラベルが表示される原因となっていたバグを修正しました。

• macOS の .config ディレクトリ、およびWindowsの AppData ディレクトリに対する読み取り権限と書き込み権限がない場合に、 SMA がクラッシュする原因となっていたバグを修正しました。

Command Line Interface¶

変更済み

• CLI の実行ファイル名を snowct から sma に変更しました。

• ソース言語の引数が削除され、PythonかScalaの評価/変換を実行するかどうかを指定する必要がなくなりました。

• 以下の新しい引数を追加することにより、 CLI がサポートするコマンドライン引数を拡張しました:

  • --enableJupyter | -j: DatabricksノートブックのJupyterへの変換を有効にするかどうかを示すフラグ。

  • --sql | -f: SQL コマンドが検出されたときに使用されるデータベースエンジンの構文。

  • --customerEmail | -e: 顧客メールを構成します。

  • --customerCompany | -c: 顧客企業を構成します。

  • --projectName | -p: 顧客プロジェクトを構成します。

• アプリケーションの正しい名称を反映し、すべてのメッセージの一貫性と明瞭性を確保するために、一部のテキストを更新しました。

• アプリケーションの利用規約を更新しました。

• CLI のドキュメントを更新および拡充し、最新の機能、拡張、変更を反映させました。

• SMA の実行に移る前に表示されるテキストを更新しました。

• CLI を更新し、 「Yes」 を有効な引数として受け付けるようにしました。

• 引数 -y または --yes を指定することで、ユーザーの操作を待たずに CLI の実行を継続できるようにしました。

• --sql 引数のヘルプ情報を更新し、この引数が期待する値を表示するようにしました。

追加済み¶

• pyspark.sql.readwriter.DataFrameWriter.partitionBy 関数の新しい EWI を追加しました。この関数の使用すべてに EWI SPRKPY1081 が指定されるようになりました。

• ImportUsagesInventory.csv ファイルに、 Technology という新しい列を追加しました。

変更済み¶

• サードパーティライブラリのレディネススコアが更新され、 Unknown ライブラリも考慮されるようになりました。

• AssessmentFiles.zip ファイルを更新し、 .pam ファイルの代わりに .json ファイルを含めるようにしました。

• CSV から JSON への変換メカニズムを改善し、在庫処理のパフォーマンスを向上しました。

• 以下の EWIs のドキュメントを改善しました:

  • SPRKPY1029

  • SPRKPY1054

  • SPRKPY1055

  • SPRKPY1063

  • SPRKPY1075

  • SPRKPY1076

• 以下のSpark Scala要素のマッピングステータスを Direct から Rename に更新しました。

  • org.apache.spark.sql.functions.shiftLeft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftRight => com.snowflake.snowpark.functions.shiftright

• 以下のSpark Scala要素のマッピングステータスを Not Supported から Direct に更新しました。

  • org.apache.spark.sql.functions.shiftleft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright => com.snowflake.snowpark.functions.shiftright

修正済み¶

• ImportUsagesInventory.csv ファイルの Origin 列に SMA が正しく入力されない原因となっていたバグを修正しました。

• SMA が io、 json、 logging、および unittest のライブラリのインポートをPython組み込みインポートとして ImportUsagesInventory.csv ファイルと DetailedReport.docx ファイルで分類しない原因となっていたバグを修正しました

追加済み¶

• EwiCatalog.csv と.mdファイルを追加し、ドキュメントを再編成しました。

• pyspark.sql.functions.ln Directのマッピングステータスを追加しました。

• pyspark.context.SparkContext.getOrCreate 用の変換を追加しました。

  • 詳細は EWI SPRKPY1080 をご確認ください。

• 関数内のパラメーターの型推論、 SymbolTable を改善しました。

• 静的メソッドの SymbolTable サポートを追加し、最初のパラメーターが自身であると仮定しないように動作を更新しました。

• 不足していた EWIs のドキュメントを追加しました。

  • SPRKHVSQL1005

  • SPRKHVSQL1006

  • SPRKSPSQL1005

  • SPRKSPSQL1006

  • SPRKSCL1002

  • SPRKSCL1170

  • SPRKSCL1171

  • SPRKPY1057

  • SPRKPY1058

  • SPRKPY1059

  • SPRKPY1060

  • SPRKPY1061

  • SPRKPY1064

  • SPRKPY1065

  • SPRKPY1066

  • SPRKPY1067

  • SPRKPY1069

  • SPRKPY1070

  • SPRKPY1077

  • SPRKPY1078

  • SPRKPY1079

  • SPRKPY1101

変更済み¶

• 以下のマッピングステータスを更新しました:

  • pyspark.sql.functions.array_remove を NotSupported から Direct へ。

修正済み¶

• 詳細レポートのCode File Sizingテーブルを修正し、.sqlと.hqlファイルを除外し、テーブルにExtra Large行を追加しました。

• SparkSession が Python で複数行に定義されている場合に update_query_tag が欠落していたのを修正しました。

• SparkSession が Scala で複数行に定義されている場合に update_query_tag が欠落していたのを修正しました。

• いくつかの SQL ステートメントで解析エラーが発生した場合に、 EWI SPRKHVSQL1001 が欠落していたのを修正しました。

• 文字列リテラル内の改行値を保持するように修正しました

• File Type Summaryテーブルに表示されるコード行数を修正しました

• ファイル認識に成功した場合、解析スコアが0と表示されていた問題を修正しました

• Databricks Magic SQL セルのセルインベントリで LOC のカウントを修正しました。

追加済み¶

• pyspark.sql.readwriter.DataFrameReader.parquet の変換を追加。

• pyspark.sql.readwriter.DataFrameReader.option がParquetメソッドである場合の変換を追加しました。

変更済み¶

• 以下のマッピングステータスを更新しました:

  • pyspark.sql.types.StructType.fields を NotSupported から Direct へ。

  • pyspark.sql.types.StructType.names を NotSupported から Direct へ。

  • pyspark.context.SparkContext.setLogLevel を Workaround から Transformation へ。

    • 詳細は EWIs SPRKPY1078 および SPRKPY1079 をご覧ください

  • org.apache.spark.sql.functions.round を WorkAround から Direct へ。

  • org.apache.spark.sql.functions.udf を NotDefined から Transformation へ。

    • 詳細は EWIs SPRKSCL1174 および SPRKSCL1175 をご覧ください

• 以下のSpark要素のマッピングステータスを DirectHelper から Direct に更新しました:

  • org.apache.spark.sql.functions.hex

  • org.apache.spark.sql.functions.unhex

  • org.apache.spark.sql.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright

  • org.apache.spark.sql.functions.reverse

  • org.apache.spark.sql.functions.isnull

  • org.apache.spark.sql.functions.unix_timestamp

  • org.apache.spark.sql.functions.randn

  • org.apache.spark.sql.functions.signum

  • org.apache.spark.sql.functions.sign

  • org.apache.spark.sql.functions.collect_list

  • org.apache.spark.sql.functions.log10

  • org.apache.spark.sql.functions.log1p

  • org.apache.spark.sql.functions.base64

  • org.apache.spark.sql.functions.unbase64

  • org.apache.spark.sql.functions.regexp_extract

  • org.apache.spark.sql.functions.expr

  • org.apache.spark.sql.functions.date_format

  • org.apache.spark.sql.functions.desc

  • org.apache.spark.sql.functions.asc

  • org.apache.spark.sql.functions.size

  • org.apache.spark.sql.functions.locate

  • org.apache.spark.sql.functions.ntile

修正済み¶

• Pandas Api全体のパーセンテージに表示される値を修正しました

• DetailReport の ImportCalls テーブルの合計パーセンテージを修正しました

Hotfixed¶

• Spark Usages Summariesにおいて、使用数がない場合に合計行が追加される問題を修正しました。

• Pythonアセンブリのバージョンを 1.3.111 にバンプしました

  • 複数行引数の後続カンマの解析

追加済み¶

• pyspark.sql.readwriter.DataFrameReader.option 用の変換を追加しました:

  • チェーンが CSV メソッド呼び出しからの場合。

  • チェーンが JSON メソッド呼び出しからの場合。

• pyspark.sql.readwriter.DataFrameReader.json 用の変換を追加しました。

変更済み¶

• Python/Scala関数に渡された SQL 文字列に対して SMA を実行しました

  • Scala/Pythonで AST を作成し、仮の SQL ユニットを生成

  • SqlEmbeddedUsages.csvインベントリを作成

  • SqlStatementsInventroy.csvおよび SqlExtractionInventory.csvを廃止

  • SQL リテラルが処理できなかった場合に EWI を統合

  • SQL が埋め込まれたコードを処理する新しいタスクを作成

  • Pythonで SqlEmbeddedUsages.csvインベントリの情報を収集

  • Pythonで SQL 変換コードをリテラルに置換

  • 実装後のテストケースを更新

  • SqlEmbeddedUsages インベントリにテレメトリー用のテーブルと表示を作成

  • Scalaで SqlEmbeddedUsages.csvレポートの情報を収集

  • Scalaで SQL 変換コードをリテラルに置換

  • 埋め込み SQL レポートの行番号順を確認

• SqlFunctionsInfo.csv に、 SparkSQL と HiveSQL に対して文書化された SQL 関数を追加

• 次のマッピングステータスを更新しました:

  • org.apache.spark.sql.SparkSession.sparkContext を NotSupported からTransformationへ。

  • org.apache.spark.sql.Builder.config を NotSupported から Transformation へ。この新しいマッピングステータスにより、 SMA はソースコードからこの関数の使用をすべて除します。

追加済み¶

• ノートブックセルで識別された要素の行と列を取得する（装飾による）メカニズムを追加しました。

• pyspark.sql.functions.from_jsonの EWI を追加しました。

• pyspark.sql.readwriter.DataFrameReader.csvの変換を追加しました。

• Scalaファイルのクエリタグメカニズムを有効にしました。

• コード分析スコアと詳細レポートへのリンクを追加しました。

• InputFilesInventory.csvに OriginFilePath 列を追加しました。

変更済み¶

• pyspark.sql.functions.from_jsonのマッピングステータスをNot SupportedからTransformationに更新しました。

• 以下のSpark要素のマッピングステータスをWorkaroundからDirectに更新しました:

  • org.apache.spark.sql.functions.countDistinct

  • org.apache.spark.sql.functions.max

  • org.apache.spark.sql.functions.min

  • org.apache.spark.sql.functions.mean

非推奨¶

• 以下の EWI コードを非推奨としました:

  • SPRKSCL1135

  • SPRKSCL1136

  • SPRKSCL1153

  • SPRKSCL1155

修正済み¶

• Spark API スコアの計算に誤りがあったバグを修正しました。

• 出力フォルダー内の SQL の空のファイルやコメント付きファイルのコピーを回避するエラーを修正しました。

• ノートブックの統計 LOC とセル数が正確でなかった DetailedReport のバグを修正しました。

追加済み¶

• 技術列を SparkUsagesInventory に追加

• 定義されていない SQL 要素に対して EWI を追加しました。

• SqlFunctions インベントリを追加しました

• SqlFunctions インベントリの情報を収集

変更済み¶

• このエンジンは、元のファイルを修正せずに残す代わりに、部分的に解析されたPythonファイルを処理して表示するようになりました。

• Pythonノートブックのセルの解析エラーも処理され、表示されます。

修正済み¶

• pandas.core.indexes.datetimes.DatetimeIndex.strftime が誤って報告されていたのを修正しました。

• サポートステータス別の SQL レディネススコアと SQL 使用状況の不一致を修正。

• SMA が pandas.core.series.Series.empty を不正なマッピングステータスで報告する原因となっていたバグを修正しました。

• DetailedReport.docxのSpark API Usages Ready for ConversionとAssessment.jsonの UsagesReadyForConversion 行の不一致を修正しました。

追加済み¶

• AssessmentReport.json ファイルに以下の情報を追加しました。

  • サードパーティライブラリのレディネススコア。

  • 識別されたサードパーティライブラリ呼び出しの数。

  • Snowparkでサポートされているサードパーティライブラリの呼び出しの数。

  • サードパーティレディネススコア、Spark API レディネススコア、 SQL レディネススコアに関連付けられた色コード。

• Sparkで SqlSimpleDataType を変換するとテーブルが作成されます。

• pyspark.sql.functions.get のマッピングをDirectとして追加しました。

• pyspark.sql.functions.to_varchar のマッピングをDirectとして追加しました。

• 統一後の変更の一部として、ツールはエンジンに実行情報ファイルを生成するようになりました。

• pyspark.sql.SparkSession.builder.appName のリプレイサーを追加しました。

変更済み¶

• 以下のSpark要素のマッピングステータスを更新しました。

  • Not SupportedからDirectマッピングへ:

    • pyspark.sql.functions.sign

    • pyspark.sql.functions.signum

• Notebooks Cells Inventory（ノートブックセルインベントリ）レポートを変更し、Element（要素）列内のすべてのセルのコンテンツの種類を示すようにしました。

• Scalaファイル内のSpark API への参照のみに関連するレディネススコアを報告する SCALA_READINESS_SCORE 列を追加しました。

• ALTER TABLE および ALTER VIEW でテーブルプロパティを変換する部分サポート

• Sparkt create tablesでノード SqlSimpleDataType の変換ステータスを保留中から変換に更新しました

• SMA のSnowpark Scala API 対応バージョンを 1.7.0 から 1.12.1 に更新しました

  • 以下のマッピングステータスを更新しました:

    • org.apache.spark.sql.SparkSession.getOrCreate をRenameからDirectへ

    • org.apache.spark.sql.functions.sum をWorkaroundからDirectへ

• SMA のSnowpark Python API 対応バージョンを 1.15.0 から 1.20.0 に更新しました

  • 以下のマッピングステータスを更新しました:

    • pyspark.sql.functions.arrays_zip をNot SupportedからDirectへ

• 以下のPandas要素のマッピングステータスを更新しました:

  • Directマッピング:

    • pandas.core.frame.DataFrame.any

    • pandas.core.frame.DataFrame.applymap

• 以下のPandas要素のマッピングステータスを更新しました:

  • Not SupportedからDirectマッピングへ:

    • pandas.core.frame.DataFrame.groupby

    • pandas.core.frame.DataFrame.index

    • pandas.core.frame.DataFrame.T

    • pandas.core.frame.DataFrame.to_dict

  • Not SupportedからRenameマッピングへ

    • pandas.core.frame.DataFrame.map

• 以下のPandas要素のマッピングステータスを更新しました:

  • Directマッピング:

    • pandas.core.frame.DataFrame.where

    • pandas.core.groupby.generic.SeriesGroupBy.agg

    • pandas.core.groupby.generic.SeriesGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.agg

    • pandas.core.groupby.generic.DataFrameGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.apply

  • Not Supportedマッピング:

    • pandas.core.frame.DataFrame.to_parquet

    • pandas.core.generic.NDFrame.to_csv

    • pandas.core.generic.NDFrame.to_excel

    • pandas.core.generic.NDFrame.to_sql

• 以下のPandas要素のマッピングステータスを更新しました:

  • Directマッピング:

    • pandas.core.series.Series.empty

    • pandas.core.series.Series.apply

    • pandas.core.reshape.tile.qcut

  • EWI を使ったDirectマッピング:

    • pandas.core.series.Series.fillna

    • pandas.core.series.Series.astype

    • pandas.core.reshape.melt.melt

    • pandas.core.reshape.tile.cut

    • pandas.core.reshape.pivot.pivot_table

• 以下のPandas要素のマッピングステータスを更新しました:

  • Directマッピング:

    • pandas.core.series.Series.dt

    • pandas.core.series.Series.groupby

    • pandas.core.series.Series.loc

    • pandas.core.series.Series.shape

    • pandas.core.tools.datetimes.to_datetime

    • pandas.io.excel._base.ExcelFile

  • Not Supportedマッピング:

    • pandas.core.series.Series.dt.strftime

• 以下のPandas要素のマッピングステータスを更新しました:

  • Not SupportedからDirectマッピングへ:

    • pandas.io.parquet.read_parquet

    • pandas.io.parsers.readers.read_csv

• 以下のPandas要素のマッピングステータスを更新しました:

  • Not SupportedからDirectマッピングへ:

    • pandas.io.pickle.read_pickle

    • pandas.io.sql.read_sql

    • pandas.io.sql.read_sql_query

• 「SQL レディネススコアの理解」の説明を更新しました。

• PyProgramCollector を更新し、Pythonソースコードからパッケージを収集し、現在のパッケージインベントリにデータを入力するようにしました。

• pyspark.sql.SparkSession.builder.appName のマッピングステータスをRenameからTransformationに更新しました。

• 以下のScala統合テストを削除しました。

  • AssesmentReportTest_AssessmentMode.ValidateReports_AssessmentMode

  • AssessmentReportTest_PythonAndScala_Files.ValidateReports_PythonAndScala

  • AssessmentReportTestWithoutSparkUsages.ValidateReports_WithoutSparkUsages

• pandas.core.generic.NDFrame.shape のマッピングステータスをNot SupportedからDirectに更新しました。

• pandas.core.series のマッピングステータスをNot SupportedからDirectに更新しました。

非推奨¶

• org.apache.spark.sql.functions.sum がDirectマッピングになったため、 EWI コード SPRKSCL1160 を非推奨としました。

修正済み¶

• Jupyter Notebookのセルで引数のないカスタムマジックをサポートしないバグを修正しました。

• 解析エラーが発生した場合に、issues.csvレポートの EWIs が正しく生成されない問題を修正しました。

• SMA がDatabricksノートブックとしてDatabricksがエクスポートしたノートブックを処理しない原因となっていたバグを修正しました

• パッケージオブジェクトの内部で作成された宣言のタイプ名が衝突する処理中のスタックオーバーフローエラーを修正しました。

• 例えば def func[X,Y](f: (Map[Option[X], Y] => Map[Y, X]))... など、ジェネリックを含む複雑なラムダ型名の処理を修正しました

• まだ認識されていないPandas要素に SMA がPandas EWI コードではなく PySpark EWI コードを追加してしまうバグを修正しました。

• 詳細レポートのテンプレートのタイプミスを修正しました。列の名前を「Percentage of all Python Files」から「Percentage of all files」に変更しました。

• pandas.core.series.Series.shape が誤って報告されるバグを修正しました。