Snowpark Migration Accelerator: リリースノート¶

含まれているSMAコアバージョン¶

• Snowpark Conversion Core: 8.1.8

修正済み¶

• Fixed an issue where the SMA generated corrupted Databricks notebook files in the output directory during Assessment mode execution.

• Fixed an issue where the SMA would crash if the input directory contained folders named “SMA_ConvertedNotebooks”.

含まれているSMAコアバージョン¶

• Snowpark Conversion Core: 8.1.7

追加済み¶

• Added the Snowpark Connect readiness score. This new score measures the percentage of Spark API references in your codebase that are supported by Snowpark Connect for Spark.

  • This will now be the only score shown in assessment mode. To generate the Snowpark API Readiness Score, run the SMA in conversion mode.

• Added support for SQL embedded migration for literal string concatenations assigned to a local variable in the same scope of execution.

  • Included scenarios now include:

    sqlStat = "SELECT colName " + "FROM myTable" 
    session.sql(sqlStat)
    

    Copy

変更済み¶

• Updated the EWI URLs in the Issues.csv inventory to point to the main Snowflake documentation site.

修正済み¶

• Fixed a code issue that caused inner project configuration files (e.g., pom.xml, build.sbt, build.gradle) to be incorrectly placed in the root of the output directory instead of the correct inner directories after migration.

追加済み¶

• Added the Snowpark Connect readiness score and updated the assessment execution flow.

  • When running the application in assessment mode, only the Snowpark Connect readiness score is now displayed.

  • When running the application in conversion mode, the Snowpark API readiness score is displayed (the Snowpark Connect Readiness will not be shown).

変更済み¶

Updated all in-application documentation links to point to the official Snowflake documentation, replacing the legacy SnowConvert site.

含まれているSMAコアバージョン¶

• Snowpark Conversion Core 8.0.73

修正済み¶

• Fixed an issue where the Snowpark Migration Accelerator failed converting DBC files into Jupyter Notebooks properly.

含まれているSMAコアバージョン¶

• Snowpark変換コア8.0.72

追加済み¶

• Snowpark Scala v1.17.0のサポートを追加しました。

Not SupporetedからDirect：

データセット：

• org.apache.spark.sql.Dataset.isEmpty → com.snowflake.snowpark.DataFrame.isEmpty

行：

• org.apache.spark.sql.Row.mkString → com.snowflake.snowpark.Row.mkString

StructType：

• org.apache.spark.sql.types.StructType.fieldNames → com.snowflake.snowpark.types.StructType.fieldNames

Not SupporetedからRename：

関数：

• org.apache.spark.functions.flatten → com.snowflake.snowpark.functions.array_flatten

DirectからRename：

関数：

• org.apache.spark.functions.to_date → com.snowflake.snowpark.functions.try_to_date

• org.apache.spark.functions.to_timestamp → com.snowflake.snowpark.functions.try_to_timestamp

Direct HelperからRename：

関数：

• org.apache.spark.sql.functions.concat_ws → com.snowflake.snowpark.functions.concat_ws_ignore_nulls

Not DefinedからDirect：

関数：

• org.apache.spark.functions.try_to_timestamp → com.snowflake.snowpark.functions.try_to_timestamp

• 埋め込み済みSQLは、SQLステートメントリテラルがローカル変数に割り当てられているときに移行されるようになりました

例： sqlStat = “SELECT colName FROM myTable" session.sql(sqlStat)

• 埋め込み済みSQLで、リテラル文字列の連結がサポートされるようになりました

例： session.sql(“SELECT colName " + "FROM myTable")

変更済み¶

• Snowpark Python APIおよびSnowpark Pandas APIのサポートされているバージョンを1.36.0から1.39.0に更新しました

• EWISPRKPY1103で次のPySpark xpath関数のマッピングステータスをNotSupportedからDirectに更新しました

  • pyspark.sql.functions.xpath

  • pyspark.sql.functions.xpath_boolean

  • pyspark.sql.functions.xpath_double

  • pyspark.sql.functions.xpath_float

  • pyspark.sql.functions.xpath_int

  • pyspark.sql.functions.xpath_long

  • pyspark.sql.functions.xpath_number

  • pyspark.sql.functions.xpath_short

  • pyspark.sql.functions.xpath_string

• 次のPySpark要素のマッピングステータスをNotDefinedからDirectに更新しました。

  • pyspark.sql.functions.bit_and → snowflake.snowpark.functions.bitand_agg

  • pyspark.sql.functions.bit_or → snowflake.snowpark.functions.bitor_agg

  • pyspark.sql.functions.bit_xor → snowflake.snowpark.functions.bitxor_agg

  • pyspark.sql.functions.getbit → snowflake.snowpark.functions.getbit

• 次のPandas要素のマッピングステータスをNotSupportedからDirectに更新しました。

  • pandas.core.indexes.base.Index → modin.pandas.Index

  • pandas.core.indexes.base.Index.get_level_values → modin.pandas.Index.get_level_values

• 次のPySpark関数のマッピングステータスをNotSupportedからRenameに更新しました。

  • pyspark.sql.functions.now → snowflake.snowpark.functions.current_timestamp

修正済み¶

• 名前が変更された場合、Scalaがインポートを移行しない問題を修正しました

  例：

  ソースコード:

  .. code-block:: scala

  package com.example.functions
  import org.apache.spark.sql.functions.{to_timestamp, lit}
  object ToTimeStampTest extends App { to_timestamp(lit("sample")) to_timestamp(lit("sample"), "yyyy-MM-dd") }

  出力コード:

  .. code-block:: scala

  package com.example.functions
  import com.snowflake.snowpark.functions.{try_to_timestamp, lit} import com.snowflake.snowpark_extensions.Extensions._ import com.snowflake.snowpark_extensions.Extensions.functions._
  object ToTimeStampTest extends App { try_to_timestamp(lit("sample")) try_to_timestamp(lit("sample"), "yyyy-MM-dd") }

含まれているSMAコアバージョン¶

• Snowpark変換コア8.0.62

追加済み¶

• Python形式の補間で埋め込まれたSQLを移行する機能が追加されました

• データ処理の柔軟性を高めるために DataFrame.select および DataFrame.sort 変換のサポートを追加しました

変更済み¶

• Snowpark Python APIおよびSnowpark Pandas APIのサポートされているバージョンを1.36.0に更新しました

• pandas.core.frame.DataFrame.boxplot のマッピングステータスをNot SupportedからDirectに更新しました

• DataFrame.select 、 Dataset.select 、 DataFrame.sort 、 Dataset.sort のマッピングステータスをDirectからTransformationに更新しました

• Snowpark Scalaでは、列のシーケンスをselect関数とsort関数に直接渡すことができるため、この変換は、 df.select(cols: _*) から df.select(cols) および df.sort(cols: _*) から df.sort(cols) など、使用法をすべて変更します

• Bumped Python ASTおよびParserバージョンを149.1.9に更新しました

• pandas関数のステータスをDirectに更新しました

  • pandas.core.frame.DataFrame.to_excel

  • pandas.core.series.Series.to_excel

  • pandas.io.feather_format.read_feather

  • pandas.io.orc.read_orc

  • pandas.io.stata.read_stata

• pyspark.sql.pandas.map_ops.PandasMapOpsMixin.mapInPandas のステータスをEWI SPRKPY1102を使用して回避策に更新しました

修正済み¶

• チェーンされたメソッド呼び出しを使用する際にSqlEmbedded変換に影響を与える問題を修正しました

• PySqlExprに関する変換を新しいPyLiteralSqlを使用して修正し、テールを失うことを回避しました

• 内部の安定性の問題を解決して、ツールの堅牢性と信頼性を向上させました

含まれているSMAコアバージョン¶

• Snowpark変換コア8.0.46

追加済み¶

• 新しいPandas EWIドキュメントPNDSPY1011を追加しました

• 次のPandas関数にサポートを追加しました

  • pandas.core.algorithms.unique

  • pandas.core.dtypes.missing.isna

  • pandas.core.dtypes.missing.isnull

  • pandas.core.dtypes.missing.notna

  • pandas.core.dtypes.missing.notnull

  • pandas.core.resample.Resampler.count

  • pandas.core.resample.Resampler.max

  • pandas.core.resample.Resampler.mean

  • pandas.core.resample.Resampler.median

  • pandas.core.resample.Resampler.min

  • pandas.core.resample.Resampler.size

  • pandas.core.resample.Resampler.sum

  • pandas.core.arrays.timedeltas.TimedeltaArray.total_seconds

  • pandas.core.series.Series.get

  • pandas.core.series.Series.to_frame

  • pandas.core.frame.DataFrame.assign

  • pandas.core.frame.DataFrame.get

  • pandas.core.frame.DataFrame.to_numpy

  • pandas.core.indexes.base.Index.is_unique

  • pandas.core.indexes.base.Index.has_duplicates

  • pandas.core.indexes.base.Index.shape

  • pandas.core.indexes.base.Index.array

  • pandas.core.indexes.base.Index.str

  • pandas.core.indexes.base.Index.equals

  • pandas.core.indexes.base.Index.identical

  • pandas.core.indexes.base.Index.unique

次のSpark Scala関数にサポートを追加しました

• org.apache.spark.sql.functions.format_number

• org.apache.spark.sql.functions.from_unixtime

• org.apache.spark.sql.functions.instr

• org.apache.spark.sql.functions.months_between

• org.apache.spark.sql.functions.pow

• org.apache.spark.sql.functions.to_unix_timestamp

• org.apache.spark.sql.Row.getAs

変更済み¶

• SMAでサポートされるSnowpark Pandas APIのバージョンを1.33.0に更新しました

• SMAでサポートされるSnowpark Scala APIのバージョンを1.16.0に更新しました

• pyspark.sql.group.GroupedData.pivotのマッピングステータスをTransformationからDirectに更新しました

• org.apache.spark.sql.Builder.masterのマッピングステータスをNotSupportedからTransformationに更新しましたこの変換は、コード変換中に、この要素の特定の使用法をすべて削除します

• org.apache.spark.sql.types.StructType.fieldIndexのマッピングステータスをNotSupportedからDirectに更新しました

• org.apache.spark.sql.Row.fieldIndexのマッピングステータスをNotSupportedからDirectに更新しました

• org.apache.spark.sql.SparkSession.stopのマッピングステータスをNotSupportedからRenameに更新しましたこの要素の特定の使用法はすべて、コード変換時にcom.snowflake.snowpark.Session.closeに名前が変更されます

• org.apache.spark.sql.DataFrame.unpersist and org.apache.spark.sql.Dataset.unpersistのマッピングステータスをNotSupportedからTransformationに更新しましたこの変換は、コード変換中に、この要素の特定の使用法をすべて削除します

修正済み¶

• 削除された末尾の関数の継続バックスラッシュを修正しました

• ConversionStatusLibraries.csvファイルのLIBRARY_PREFIX列を修正し、scikit-learnライブラリファミリー（scikit-*）の適切な識別子を使用するようにしました

• 複数行のグループ化された操作が解析されないバグを修正しました

追加済み¶

• org.apache.spark.sql.Dataset[T] に対して以下のマッピングが実行されました

  • org.apache.spark.sql.Dataset.union から com.snowflake.snowpark.DataFrame.unionAll

  • org.apache.spark.sql.Dataset.unionByName から com.snowflake.snowpark.DataFrame.unionAllByName

• 変換としての org.apache.spark.sql.functions.broadcast のサポートを追加しました

変更済み¶

• SMAのサポートされるSnowpark Python APIのバージョンを 1.27.0 から 1.33.0 に増やしました

• pyspark.sql.function.randn 関数のステータスがDirectに更新されました

修正済み¶

• org.apache.spark.SparkContext.parallelize が解決しない問題を解決し、変換としてサポートするようになりました

• Dataset.persist 変換を Dataset[Row] だけでなく、すべてのタイプのデータセットに対応するように修正しました

追加済み¶

• spark.DataReaderメソッドのマッピングを調整しました

• DataFrame.union から DataFrame.unionAll になりました

• DataFrame.unionByName から DataFrame.unionAllByName になりました

• アーティファクトインベントリに複数レベルのアーティファクト依存関係列を追加しました

• 新しいEWIsドキュメントを追加しました。PNDSPY1005 から PNDSPY1010 へ

• pandas.core.series.Series.apply 用に特定のEWIを追加しました

変更済み¶

• SMAでサポートされるSnowpark Pandas APIのバージョンを 1.27.0 から 1.30.0 に更新しました

修正済み¶

• SQLレディネススコアを取得する式で値が欠落している問題を修正しました

• 一部のPandas要素でPySparkのデフォルトのEWIメッセージを持つバグを修正しました

含まれているSMAコアバージョン¶

• Snowpark変換コア8.0.19

変更済み¶

• Pandasインポートのリファクタリング： Pandasインポートは snowflake.snowpark.modin.pandas の代わりに `modin.pandas` を使用するようになりました

• `dbutils` およびマジックコマンド変換の改善：

  • 新しい sfutils.py ファイルが生成され、すべての dbutils プレフィックスは sfutils に置き換えられます

  • Databricks（DBX）ノートブックの場合、 sfutils 向けの暗黙的なインポートが自動的に追加されます

  • sfutils モジュールはさまざまな dbutils メソッドをシミュレートします。例えばファイルシステム操作（ dbutils.fs ）を定義されたSnowflake FileSystem（SFFS）ステージを介して、また、ノートブックの実行（ dbutils.notebook.run ）を EXECUTENOTEBOOK SQL関数に変換して対応します

  • dbutils.notebook.exit はSnowflakeでは必要ないため削除されます

修正済み¶

• SnowConvertレポートの更新： インスタンスがSMAから発信された場合はSnowConvertレポートに CellId 列が含まれるようになりました。また、 FileName 列には完全なパスが表示されます

• SnowConvertレポートのアーティファクト依存関係の更新： SnowConvertの統合により以前は影響を受けていたSMAのアーティファクトインベントリレポートが復元されましたこの更新により、SnowConvertレポートから直接オブジェクト参照と欠落オブジェクト参照を正確にキャプチャし、分析するSMAツールが有効になり、インベントリのSQL依存関係の正しい取得が保証されます

追加済み¶

• テレメトリーの改善を追加しました

修正済み¶

• 変換設定ポップアップとPandas EWIsのドキュメントリンクを修正しました

含まれているSMAコアバージョン¶

• Snowpark変換コア8.0.16

追加済み¶

• Spark XMLからSnowparkへの変換

• SQLソース言語のDatabricks SQLオプション

• JDBC読み取り接続の変換

変更済み¶

• すべてのSnowConvertレポートはZipバックアップファイルにコピーされます

• フォルダーの名前が SqlReports から SnowConvertReports に変更されます

• SqlFunctionsInventory は Reports フォルダーに移動されます

• すべてのSnowConvertレポートがテレメトリーに送信されます

修正済み¶

• SQLレディネススコアのの非決定的問題

• デスクトップをクラッシュさせる偽陽性の重大な結果を修正しました

• アーティファクトの依存関係レポートでSQLオブジェクトが表示されない問題を修正しました

修正済み¶

• 以前報告したように、最新のWindows OSでのSMAの実行の問題に対応しましたこの修正は、バージョン2.7.1で発生した問題を解決します

含まれているSMAコアバージョン¶

• Snowpark変換コア8.0.1

追加済み¶

Snowpark Migration Accelerator（SMA）が SnowConvert をオーケストレーションして、ユーザーワークロードで見つかったSQLを処理するようになりました。Python/Scalaコードの埋め込みSQL、ノートブックのSQLセル、 .sql ファイル、 .hql ファイルを含みます。

SnowConvert は以前のSMAの機能を強化するようになりました。

• Spark SQL

SQL ReportsというReportsの新しいフォルダーには、SnowConvertによって生成されたレポートが含まれます。

既知の問題¶

SQLレポートの以前のSMAバージョンは、以下の場合は空で表示されます。

• 部分的に Reports/SqlReports/Elements.yyyymmdd.hhmmss.csv. でカバーされる Reports/SqlElementsInventory.csv

• Reports/SqlFunctionsInventory.csv については、 Reports/SqlReports/SqlFunctionsInventory.csv の新しい場所と同じ名前で参照してください

アーティファクト依存関係インベントリ：

• ArtifactDependencyInventory 内では、SQLオブジェクトの列は空で表示されます

含まれているSMAコアバージョン¶

• Snowpark変換コア7.4.0

修正済み¶

• 「checkpoints.json」ファイルの誤った値を修正しました

  • 「sample」の値には、小数点（整数値の場合）と引用符がありませんでした

  • 「entryPoint」の値には、スラッシュの代わりにドットがあり、ファイル拡張子がありませんでした

• 'Convert DBX notebooks to Snowflake notebooks' の設定でデフォルト値をTRUEに更新しました

デスクトップアプリ¶

• チェックポイント実行設定のメカニズム認識を追加しました

• DbxElementsInventory.csvへのDBXマジックコマンドを収集するメカニズムを追加しました

• 'checkpoints.json' 生成を入力ディレクトリに追加しました

• サポートされていないすべてのマジックコマンドに新しいEWIを追加しました

• ScalaソースノートブックからのdbutilsのコレクションをDbxElementsInventory.csvに追加しました

含まれているSMAコアバージョン¶

• Snowpark変換コア7.2.53

変更済み¶

• DBX Scala要素からJupyter Python要素への変換に対応し、セルからコード全体にコメントするよう更新しました

• dbutils.notebook.runと「r」コマンドからの変換を処理するように更新が行われました。最後のものついては、セルからコード全体をコメントアウトします

• ノートブックファイルの変換を行うために、キーの名前と文字を更新しました

修正済み¶

• DBXノートブックを.ipynbファイルに変換する際に、間違った形式になるバグを修正しました

• .py DBXノートブックを.ipynbファイルに変換できないようにしていたバグを修正しました

• DBXノートブックの出力コードでコメントが欠落するバグを修正しました

• 生のScalaファイルがipynbファイルに変換されるバグを修正しました

含まれているSMAコアバージョン¶

• Snowpark変換コア7.2.42

変更済み¶

EntryPoints列に入力するようDataFramesInventoryを更新

デスクトップアプリ¶

追加済み¶

• UI結果ページのDBx EWIリンクを更新

含まれているSMAコアバージョン¶

• Snowpark変換コア7.2.39

追加済み¶

• 実行フローのインベントリ生成を追加しました

• すべてのDBxノートブック変換で暗黙的セッション設定を追加

変更済み¶

• DbUtilsUsagesInventory.csvをDbxElementsInventory.csvに名前変更

修正済み¶

• 型ヒントの後にバックスラッシュが来ると解析エラーが発生するバグを修正しました

• ドットで始まらない相対インポートと、スターで始まる相対インポートを修正しました

デスクトップアプリ¶

追加済み¶

• Sma-Checkpoints機能を有効または無効にするための新しい変換設定トグルを追加しました

• Post apiが500を返す場合にクラッシュしないようにレポートの問題を修正しました

含まれているSMAコアバージョン¶

• Snowpark変換コア7.2.26

追加済み¶

• DataFramesInventory.csvに基づく、checkpoints.jsonファイルの出力フォルダーへの生成を追加しました

• CLIコマンドに「disableCheckpoints」フラグを追加し、コードプロセッサーの追加パラメーターを追加しました

• dbutils.notebook.runノードを変換するための、Python用の新しいリマインダーを追加しました

• マジック%runコマンドを変換するための新しいリプレーサーを追加しました

• 新しいリプレーサー（PythonおよびScala）を追加して、dbutils.notebook.exitノードを削除しました

• アーティファクトインベントリにLocation列を追加しました

変更済み¶

• ソリューションの一部で使用されている正規化されたディレクトリ区切り文字を修正しました

• DBC抽出作業のフォルダー名処理を一元化しました

• SnowparkとPandasのバージョンをv1.27.0に更新しました

• アーティファクトのインベントリ列を更新しました

  • Name -> Dependency

  • File -> FileId

  • Status -> Status_detail

• アーティファクトインベントリに新しい列を追加しました

  • Success

修正済み¶

• データフレームのインベントリがステージに正しくアップロードされていませんでした

含まれているSMA コアバージョン ¶

• Snowpark変換コア7.2.0

追加 ¶

• アーティファクト依存関係インベントリ

• pyspark.sql.types.StructType.fieldNamesメソッドからsnowflake.snowpark.types.StructType.fieldNames属性のリプレーサーとEWI

• 次のステータスを持つ PySpark 関数：

NotSupported

• pyspark.sql.functions.map_contains_key

• pyspark.sql.functions.position

• pyspark.sql.functions.regr_r2

• pyspark.sql.functions.try_to_binary

次のステータスを持つ次の Pandas 関数

• pandas.core.series.Series.str.ljust

• pandas.core.series.Series.str.center

• pandas.core.series.Series.str.pad

• pandas.core.series.Series.str.rjust

次のステータスを持つ Pyspark関数を更新

WorkAroundからDirect

• pyspark.sql.functions.acosh

• pyspark.sql.functions.asinh

• pyspark.sql.functions.atanh

• pyspark.sql.functions.instr

• pyspark.sql.functions.log10

• pyspark.sql.functions.log1p

• pyspark.sql.functions.log2

NotSupportedからDirect

• pyspark.sql.functions.bit_length

• pyspark.sql.functions.cbrt

• pyspark.sql.functions.nth_value

• pyspark.sql.functions.octet_length

• pyspark.sql.functions.base64

• pyspark.sql.functions.unbase64

次のステータスを持つ Pandas関数を更新しました

NotSupportedからDirect

• pandas.core.frame.DataFrame.pop

• pandas.core.series.Series.between

• pandas.core.series.Series.pop

含まれているSMA コアバージョン ¶

• Snowpark変換コア7.1.13

追加 ¶

• 新しいインベントリ作成用のcsvジェネレータークラスを追加しました

• 使用状況インベントリをインポートするために「\full_name」列を追加しました

• pyspark.sql.functions.concat_wsからsnowflake.snowpark.functions._concat_ws_ignore_nullsへの変換を追加しました

• checkpoint.jsonの生成ロジックを追加しました

• インベントリを追加しました：

  • DataFramesInventory.csv

  • CheckpointsInventory.csv

デスクトップアプリ ¶

• ライセンス契約を更新しました、同意が必要です

含まれているSMAコアバージョン¶

• Snowpark変換コア7.1.2

追加済み

次のPandas要素のマッピングステータスを NotSupported から Direct に更新しました

• pandas.io.html.read_html

• pandas.io.json._normalize.json_normalize

• pandas.core.groupby.generic.DataFrameGroupBy.pct_change

• pandas.core.groupby.generic.SeriesGroupBy.pct_change

次のPySpark要素のマッピングステータスを Rename から Direct に更新しました

• pyspark.sql.functions.collect_list

• pyspark.sql.functions.size

修正 ¶

• インベントリのバージョン番号の形式を標準化しました

追加済み¶

変更済み¶

• .NET バージョンをv9.0.0に更新。

• EWI SPRKPY1068 を改善。

• SMA でサポートされるSnowpark Python API のバージョンを1.24.0 から 1.25.0に引き上げました。

• パンダのSnowparkバージョンを追加しました。

• 以下のライブラリを ThirdPartyLib から BuiltIn に変更。

  • configparser

  • dataclasses

  • pathlib

  • readline

  • statistics

  • zlib

既知の問題¶

• このバージョンでは、サンプルプロジェクトを変換する際に動作しない問題が含まれています。 次のリリースで修正される予定です

デスクトップアプリ¶

• クラッシュレポートモーダル内にトラブルシューティングガイドへのリンクを追加しました。

含まれているSMAコアバージョン¶

• Snowpark Conversion Core 4.15.0

追加済み¶

• ConversionStatusPySpark.csvファイルに NotSupported として以下の PySpark 要素を追加しました

  • pyspark.sql.streaming.readwriter.DataStreamReader.table

  • pyspark.sql.streaming.readwriter.DataStreamReader.schema

  • pyspark.sql.streaming.readwriter.DataStreamReader.options

  • pyspark.sql.streaming.readwriter.DataStreamReader.option

  • pyspark.sql.streaming.readwriter.DataStreamReader.load

  • pyspark.sql.streaming.readwriter.DataStreamReader.format

  • pyspark.sql.streaming.query.StreamingQuery.awaitTermination

  • pyspark.sql.streaming.readwriter.DataStreamWriter.partitionBy

  • pyspark.sql.streaming.readwriter.DataStreamWriter.toTable

  • pyspark.sql.streaming.readwriter.DataStreamWriter.trigger

  • pyspark.sql.streaming.readwriter.DataStreamWriter.queryName

  • pyspark.sql.streaming.readwriter.DataStreamWriter.outputMode

  • pyspark.sql.streaming.readwriter.DataStreamWriter.format

  • pyspark.sql.streaming.readwriter.DataStreamWriter.option

  • pyspark.sql.streaming.readwriter.DataStreamWriter.foreachBatch

  • pyspark.sql.streaming.readwriter.DataStreamWriter.start

変更済み¶

• Hive SQL EWIs 形式を更新しました。

  • SPRKHVSQL1001

  • SPRKHVSQL1002

  • SPRKHVSQL1003

  • SPRKHVSQL1004

  • SPRKHVSQL1005

  • SPRKHVSQL1006

• Spark SQL EWIs 形式を更新しました。

  • SPRKSPSQL1001

  • SPRKSPSQL1002

  • SPRKSPSQL1003

  • SPRKSPSQL1004

  • SPRKSPSQL1005

  • SPRKSPSQL1006

修正済み¶

• ツールによって識別されない PySpark 要素があったバグを修正しました。

• ThirdParty が識別した呼び出しと ThirdParty のインポート呼び出し番号との不一致を修正しました。

含まれているSMAコアバージョン¶

• Snowpark Conversion Core 4.14.0

追加済み¶

• ConversionStatusPySpark.csvに以下のSpark要素を追加しました。

  • pyspark.broadcast.Broadcast.value

  • pyspark.conf.SparkConf.getAll

  • pyspark.conf.SparkConf.setAll

  • pyspark.conf.SparkConf.setMaster

  • pyspark.context.SparkContext.addFile

  • pyspark.context.SparkContext.addPyFile

  • pyspark.context.SparkContext.binaryFiles

  • pyspark.context.SparkContext.setSystemProperty

  • pyspark.context.SparkContext.version

  • pyspark.files.SparkFiles

  • pyspark.files.SparkFiles.get

  • pyspark.rdd.RDD.count

  • pyspark.rdd.RDD.distinct

  • pyspark.rdd.RDD.reduceByKey

  • pyspark.rdd.RDD.saveAsTextFile

  • pyspark.rdd.RDD.take

  • pyspark.rdd.RDD.zipWithIndex

  • pyspark.sql.context.SQLContext.udf

  • pyspark.sql.types.StructType.simpleString

変更済み¶

• Pandas EWIs、 PNDSPY1001、 PNDSPY1002、 PNDSPY1003、および SPRKSCL1137 のドキュメントを更新し、標準化された形式に合わせることで、すべての EWIs の一貫性と明瞭性を確保しました。

• 以下のScala EWIs のドキュメントを更新しました: SPRKSCL1106 と SPRKSCL1107。標準形式に合わせることで、すべての EWIs で一貫性と明瞭性を確保。

修正済み¶

• UserDefined シンボルがサードパーティの使用インベントリに表示されるバグを修正しました。

含まれているSMAコアバージョン¶

• Snowpark Conversion Core 4.13.1

コマンドラインインターフェース¶

変更済み

• 出力フォルダーにタイムスタンプを追加しました。

追加済み¶

• ライブラリマッピングテーブルに「Source Language」列を追加しました

• DetailedReport.docxのPandas API 概要テーブルに新しいカテゴリとして Others を追加しました。

変更済み¶

• Python EWI SPRKPY1058 のドキュメントを更新しました。

• pandas EWI PNDSPY1002 のメッセージを更新し、関連するpandas要素を表示するようにしました。

• .csvレポートの作成方法が更新され、2回目の実行で上書きされるようになりました。

修正済み¶

• Notebooksファイルが出力されない原因となっていたバグを修正しました。

• pyspark.sql.conf.RuntimeConfig から get、 set メソッドのリプレイサーを修正しました。リプレイサーが正しいフルネームと一致するようになりました。

• クエリタグのバージョンが間違っていたのを修正しました。

• ThirdPartyLib として報告された UserDefined パッケージを修正。

\

含まれているSMAコアバージョン¶

• Snowpark Conversion Core 4.12.0

デスクトップアプリ¶

修正済み

• --sqlオプションの大文字と小文字を区別する問題を修正。

削除済み

• show-acメッセージからプラットフォーム名を削除。

追加済み¶

• Snowpark Python 1.23.0と1.24.0のサポートを追加しました。

• pyspark.sql.dataframe.DataFrame.writeTo 関数の新しい EWI を追加しました。この関数の使用すべてに EWI SPRKPY1087 が指定されるようになりました。

変更済み¶

• Scala EWIs のドキュメントを SPRKSCL1137 から SPRKSCL1156 に更新して標準化された形式に合わせることで、すべての EWIs で一貫性と明瞭性を確保しました。

• Scala EWIs のドキュメントを SPRKSCL1117 から SPRKSCL1136 に更新して標準化された形式に合わせることで、すべての EWIs で一貫性と明瞭性を確保しました。

• 以下の EWIs に表示されるメッセージを更新しました。

  • SPRKPY1082

  • SPRKPY1083

• Scala EWIs のドキュメントを SPRKSCL1100 から SPRKSCL1105 に、 SPRKSCL1108 から SPRKSCL1116 に、 SPRKSCL1157 から SPRKSCL1175 に更新して標準化された形式に合わせることで、すべての EWIs で一貫性と明瞭性を確保しました。

• 以下の PySpark 要素のマッピングステータスを、 EWI を使用して NotSupported から Direct に更新しました。

  • pyspark.sql.readwriter.DataFrameWriter.option => snowflake.snowpark.DataFrameWriter.option: この関数の使用はすべて EWI SPRKPY1088 を使用するようになりました

  • pyspark.sql.readwriter.DataFrameWriter.options => snowflake.snowpark.DataFrameWriter.options: この関数の使用は全て EWI SPRKPY1089 を使用するようになりました

• 以下の PySpark 要素のマッピングステータスを Workaround から Rename に更新しました。

  • pyspark.sql.readwriter.DataFrameWriter.partitionBy => snowflake.snowpark.DataFrameWriter.partition_by

• EWI ドキュメントを更新しました: SPRKSCL1000、 SPRKSCL1001、 SPRKSCL1002、 SPRKSCL1100、 SPRKSCL1101、 SPRKSCL1102、 SPRKSCL1103、 SPRKSCL1104、 SPRKSCL1105。

削除済み¶

• pyspark.sql.dataframe.DataFrameStatFunctions.writeTo 要素を変換ステータスから削除しました。この要素は存在しません。

非推奨¶

• 以下の EWI コードを非推奨としました:

  • SPRKPY1081

  • SPRKPY1084

追加済み¶

• Issues.csv ファイルに、対応する EWI ドキュメントにリダイレクトする Url という新しい列を追加しました。

• 以下のSpark要素に新しい EWIs を追加しました:

  • [SPRKPY1082] pyspark.sql.readwriter.DataFrameReader.load

  • [SPRKPY1083] pyspark.sql.readwriter.DataFrameWriter.save

  • [SPRKPY1084] pyspark.sql.readwriter.DataFrameWriter.option

  • [SPRKPY1085] pyspark.ml.feature.VectorAssembler

  • [SPRKPY1086] pyspark.ml.linalg.VectorUDT

• 38の新しいPandas要素を追加しました:

  • pandas.core.frame.DataFrame.select

  • andas.core.frame.DataFrame.str

  • pandas.core.frame.DataFrame.str.replace

  • pandas.core.frame.DataFrame.str.upper

  • pandas.core.frame.DataFrame.to_list

  • pandas.core.frame.DataFrame.tolist

  • pandas.core.frame.DataFrame.unique

  • pandas.core.frame.DataFrame.values.tolist

  • pandas.core.frame.DataFrame.withColumn

  • pandas.core.groupby.generic._SeriesGroupByScalar

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].agg

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].aggregate

  • pandas.core.indexes.datetimes.DatetimeIndex.year

  • pandas.core.series.Series.columns

  • pandas.core.tools.datetimes.to_datetime.date

  • pandas.core.tools.datetimes.to_datetime.dt.strftime

  • pandas.core.tools.datetimes.to_datetime.strftime

  • pandas.io.parsers.readers.TextFileReader.apply

  • pandas.io.parsers.readers.TextFileReader.astype

  • pandas.io.parsers.readers.TextFileReader.columns

  • pandas.io.parsers.readers.TextFileReader.copy

  • pandas.io.parsers.readers.TextFileReader.drop

  • pandas.io.parsers.readers.TextFileReader.drop_duplicates

  • pandas.io.parsers.readers.TextFileReader.fillna

  • pandas.io.parsers.readers.TextFileReader.groupby

  • pandas.io.parsers.readers.TextFileReader.head

  • pandas.io.parsers.readers.TextFileReader.iloc

  • pandas.io.parsers.readers.TextFileReader.isin

  • pandas.io.parsers.readers.TextFileReader.iterrows

  • pandas.io.parsers.readers.TextFileReader.loc

  • pandas.io.parsers.readers.TextFileReader.merge

  • pandas.io.parsers.readers.TextFileReader.rename

  • pandas.io.parsers.readers.TextFileReader.shape

  • pandas.io.parsers.readers.TextFileReader.to_csv

  • pandas.io.parsers.readers.TextFileReader.to_excel

  • pandas.io.parsers.readers.TextFileReader.unique

  • pandas.io.parsers.readers.TextFileReader.values

  • pandas.tseries.offsets

含まれているSMAコアバージョン¶

• Snowpark Conversion Core 4.10.0

デスクトップアプリ¶

修正済み¶

• Windowsバージョンのメニューバーで、 SMA に Snowpark Migration Accelerator ではなく SnowConvert というラベルが表示される原因となっていたバグを修正しました。

• macOS の .config ディレクトリ、およびWindowsの AppData ディレクトリに対する読み取り権限と書き込み権限がない場合に、 SMA がクラッシュする原因となっていたバグを修正しました。

コマンドラインインターフェース¶

変更済み

• CLI の実行ファイル名を snowct から sma に変更しました。

• ソース言語の引数が削除され、PythonかScalaの評価/変換を実行するかどうかを指定する必要がなくなりました。

• 以下の新しい引数を追加することにより、 CLI がサポートするコマンドライン引数を拡張しました:

  • --enableJupyter | -j:DatabricksノートブックのJupyterへの変換を有効にするかどうかを示すフラグ。

  • --sql | -f: SQL コマンドが検出されたときに使用されるデータベースエンジンの構文。

  • --customerEmail | -e: 顧客メールを構成します。

  • --customerCompany | -c: 顧客企業を構成します。

  • --projectName | -p: 顧客プロジェクトを構成します。

• アプリケーションの正しい名称を反映し、すべてのメッセージの一貫性と明瞭性を確保するために、一部のテキストを更新しました。

• アプリケーションの利用規約を更新しました。

• CLI のドキュメントを更新および拡充し、最新の機能、拡張、変更を反映させました。

• SMA の実行に移る前に表示されるテキストを更新しました。

• CLI を更新し、 「Yes」 を有効な引数として受け付けるようにしました。

• 引数 -y または --yes を指定することで、ユーザーの操作を待たずに CLI の実行を継続できるようにしました。

• --sql 引数のヘルプ情報を更新し、この引数が期待する値を表示するようにしました。

追加済み¶

• pyspark.sql.readwriter.DataFrameWriter.partitionBy 関数の新しい EWI を追加しました。この関数の使用すべてに EWI SPRKPY1081 が指定されるようになりました。

• ImportUsagesInventory.csv ファイルに、 Technology という新しい列を追加しました。

変更済み¶

• サードパーティライブラリのレディネススコアが更新され、 Unknown ライブラリも考慮されるようになりました。

• AssessmentFiles.zip ファイルを更新し、 .pam ファイルの代わりに .json ファイルを含めるようにしました。

• CSV から JSON への変換メカニズムを改善し、在庫処理のパフォーマンスを向上しました。

• 以下の EWIs のドキュメントを改善しました:

  • SPRKPY1029

  • SPRKPY1054

  • SPRKPY1055

  • SPRKPY1063

  • SPRKPY1075

  • SPRKPY1076

• 以下のSpark Scala要素のマッピングステータスを Direct から Rename に更新しました。

  • org.apache.spark.sql.functions.shiftLeft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftRight => com.snowflake.snowpark.functions.shiftright

• 以下のSpark Scala要素のマッピングステータスを Not Supported から Direct に更新しました。

  • org.apache.spark.sql.functions.shiftleft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright => com.snowflake.snowpark.functions.shiftright

修正済み¶

• ImportUsagesInventory.csv ファイルの Origin 列に SMA が正しく入力されない原因となっていたバグを修正しました。

• SMA が io、 json、 logging、および unittest のライブラリのインポートをPython組み込みインポートとして ImportUsagesInventory.csv ファイルと DetailedReport.docx ファイルで分類しない原因となっていたバグを修正しました

追加済み¶

• EwiCatalog.csv と.mdファイルを追加し、ドキュメントを再編成しました。

• pyspark.sql.functions.ln Directのマッピングステータスを追加しました。

• pyspark.context.SparkContext.getOrCreate 用の変換を追加しました。

  • 詳細は EWI SPRKPY1080 をご確認ください。

• 関数内のパラメーターの型推論、 SymbolTable を改善しました。

• 静的メソッドの SymbolTable サポートを追加し、最初のパラメーターが自身であると仮定しないように動作を更新しました。

• 不足していた EWIs のドキュメントを追加しました。

  • SPRKHVSQL1005

  • SPRKHVSQL1006

  • SPRKSPSQL1005

  • SPRKSPSQL1006

  • SPRKSCL1002

  • SPRKSCL1170

  • SPRKSCL1171

  • SPRKPY1057

  • SPRKPY1058

  • SPRKPY1059

  • SPRKPY1060

  • SPRKPY1061

  • SPRKPY1064

  • SPRKPY1065

  • SPRKPY1066

  • SPRKPY1067

  • SPRKPY1069

  • SPRKPY1070

  • SPRKPY1077

  • SPRKPY1078

  • SPRKPY1079

  • SPRKPY1101

変更済み¶

• 以下のマッピングステータスを更新しました:

  • pyspark.sql.functions.array_remove を NotSupported から Direct へ。

修正済み¶

• 詳細レポートのCode File Sizingテーブルを修正し、.sqlと.hqlファイルを除外し、テーブルにExtra Large行を追加しました。

• SparkSession が Python で複数行に定義されている場合に update_query_tag が欠落していたのを修正しました。

• SparkSession が Scala で複数行に定義されている場合に update_query_tag が欠落していたのを修正しました。

• いくつかの SQL ステートメントで解析エラーが発生した場合に、 EWI SPRKHVSQL1001 が欠落していたのを修正しました。

• 文字列リテラル内の改行値を保持するように修正しました

• File Type Summaryテーブルに表示されるコード行数を修正しました

• ファイル認識に成功した場合、解析スコアが0と表示されていた問題を修正しました

• Databricks Magic SQL セルのセルインベントリで LOC のカウントを修正しました。

追加済み¶

• pyspark.sql.readwriter.DataFrameReader.parquet の変換を追加。

• pyspark.sql.readwriter.DataFrameReader.option がParquetメソッドである場合の変換を追加しました。

変更済み¶

• 以下のマッピングステータスを更新しました:

  • pyspark.sql.types.StructType.fields を NotSupported から Direct へ。

  • pyspark.sql.types.StructType.names を NotSupported から Direct へ。

  • pyspark.context.SparkContext.setLogLevel を Workaround から Transformation へ。

    • 詳細は EWIs SPRKPY1078 および SPRKPY1079 をご覧ください

  • org.apache.spark.sql.functions.round を WorkAround から Direct へ。

  • org.apache.spark.sql.functions.udf を NotDefined から Transformation へ。

    • 詳細は EWIs SPRKSCL1174 および SPRKSCL1175 をご覧ください

• 以下のSpark要素のマッピングステータスを DirectHelper から Direct に更新しました:

  • org.apache.spark.sql.functions.hex

  • org.apache.spark.sql.functions.unhex

  • org.apache.spark.sql.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright

  • org.apache.spark.sql.functions.reverse

  • org.apache.spark.sql.functions.isnull

  • org.apache.spark.sql.functions.unix_timestamp

  • org.apache.spark.sql.functions.randn

  • org.apache.spark.sql.functions.signum

  • org.apache.spark.sql.functions.sign

  • org.apache.spark.sql.functions.collect_list

  • org.apache.spark.sql.functions.log10

  • org.apache.spark.sql.functions.log1p

  • org.apache.spark.sql.functions.base64

  • org.apache.spark.sql.functions.unbase64

  • org.apache.spark.sql.functions.regexp_extract

  • org.apache.spark.sql.functions.expr

  • org.apache.spark.sql.functions.date_format

  • org.apache.spark.sql.functions.desc

  • org.apache.spark.sql.functions.asc

  • org.apache.spark.sql.functions.size

  • org.apache.spark.sql.functions.locate

  • org.apache.spark.sql.functions.ntile

修正済み¶

• Pandas Api全体のパーセンテージに表示される値を修正しました

• DetailReport の ImportCalls テーブルの合計パーセンテージを修正しました

ホットフィックス済み¶

• Spark Usages Summariesにおいて、使用数がない場合に合計行が追加される問題を修正しました。

• Pythonアセンブリのバージョンを 1.3.111 にバンプしました

  • 複数行引数の後続カンマの解析

追加済み¶

• pyspark.sql.readwriter.DataFrameReader.option 用の変換を追加しました:

  • チェーンが CSV メソッド呼び出しからの場合。

  • チェーンが JSON メソッド呼び出しからの場合。

• pyspark.sql.readwriter.DataFrameReader.json 用の変換を追加しました。

変更済み¶

• Python/Scala関数に渡された SQL 文字列に対して SMA を実行しました

  • Scala/Pythonで AST を作成し、仮の SQL ユニットを生成

  • SqlEmbeddedUsages.csvインベントリを作成

  • SqlStatementsInventroy.csvおよび SqlExtractionInventory.csvを廃止

  • SQL リテラルが処理できなかった場合に EWI を統合

  • SQL が埋め込まれたコードを処理する新しいタスクを作成

  • Pythonで SqlEmbeddedUsages.csvインベントリの情報を収集

  • Pythonで SQL 変換コードをリテラルに置換

  • 実装後のテストケースを更新

  • SqlEmbeddedUsages インベントリにテレメトリー用のテーブルと表示を作成

  • Scalaで SqlEmbeddedUsages.csvレポートの情報を収集

  • Scalaで SQL 変換コードをリテラルに置換

  • 埋め込み SQL レポートの行番号順を確認

• SqlFunctionsInfo.csv に、 SparkSQL と HiveSQL に対して文書化された SQL 関数を追加

• 次のマッピングステータスを更新しました:

  • org.apache.spark.sql.SparkSession.sparkContext を NotSupported からTransformationへ。

  • org.apache.spark.sql.Builder.config を NotSupported から Transformation へ。この新しいマッピングステータスにより、 SMA はソースコードからこの関数の使用をすべて除します。

追加済み¶

• ノートブックセルで識別された要素の行と列を取得する（装飾による）メカニズムを追加しました。

• pyspark.sql.functions.from_jsonの EWI を追加しました。

• pyspark.sql.readwriter.DataFrameReader.csvの変換を追加しました。

• Scalaファイルのクエリタグメカニズムを有効にしました。

• コード分析スコアと詳細レポートへのリンクを追加しました。

• InputFilesInventory.csvに OriginFilePath 列を追加しました。

変更済み¶

• pyspark.sql.functions.from_jsonのマッピングステータスをNot SupportedからTransformationに更新しました。

• 以下のSpark要素のマッピングステータスをWorkaroundからDirectに更新しました:

  • org.apache.spark.sql.functions.countDistinct

  • org.apache.spark.sql.functions.max

  • org.apache.spark.sql.functions.min

  • org.apache.spark.sql.functions.mean

非推奨¶

• 以下の EWI コードを非推奨としました:

  • SPRKSCL1135

  • SPRKSCL1136

  • SPRKSCL1153

  • SPRKSCL1155

修正済み¶

• Spark API スコアの計算に誤りがあったバグを修正しました。

• 出力フォルダー内の SQL の空のファイルやコメント付きファイルのコピーを回避するエラーを修正しました。

• ノートブックの統計 LOC とセル数が正確でなかった DetailedReport のバグを修正しました。

追加済み¶

• 技術列を SparkUsagesInventory に追加

• 定義されていない SQL 要素に対して EWI を追加しました。

• SqlFunctions インベントリを追加しました

• SqlFunctions インベントリの情報を収集

変更済み¶

• このエンジンは、元のファイルを修正せずに残す代わりに、部分的に解析されたPythonファイルを処理して表示するようになりました。

• Pythonノートブックのセルの解析エラーも処理され、表示されます。

修正済み¶

• pandas.core.indexes.datetimes.DatetimeIndex.strftime が誤って報告されていたのを修正しました。

• サポートステータス別の SQL レディネススコアと SQL 使用状況の不一致を修正。

• SMA が pandas.core.series.Series.empty を不正なマッピングステータスで報告する原因となっていたバグを修正しました。

• DetailedReport.docxのSpark API Usages Ready for ConversionとAssessment.jsonの UsagesReadyForConversion 行の不一致を修正しました。

追加済み¶

• AssessmentReport.json ファイルに以下の情報を追加しました。

  • サードパーティライブラリのレディネススコア。

  • 識別されたサードパーティライブラリ呼び出しの数。

  • Snowparkでサポートされているサードパーティライブラリの呼び出しの数。

  • サードパーティレディネススコア、Spark API レディネススコア、 SQL レディネススコアに関連付けられた色コード。

• Sparkで SqlSimpleDataType を変換するとテーブルが作成されます。

• pyspark.sql.functions.get のマッピングをDirectとして追加しました。

• pyspark.sql.functions.to_varchar のマッピングをDirectとして追加しました。

• 統一後の変更の一部として、ツールはエンジンに実行情報ファイルを生成するようになりました。

• pyspark.sql.SparkSession.builder.appName のリプレイサーを追加しました。

変更済み¶

• 以下のSpark要素のマッピングステータスを更新しました。

  • Not SupportedからDirectマッピングへ:

    • pyspark.sql.functions.sign

    • pyspark.sql.functions.signum

• Notebooks Cells Inventory（ノートブックセルインベントリ）レポートを変更し、Element（要素）列内のすべてのセルのコンテンツの種類を示すようにしました。

• Scalaファイル内のSpark API への参照のみに関連するレディネススコアを報告する SCALA_READINESS_SCORE 列を追加しました。

• ALTER TABLE および ALTER VIEW でテーブルプロパティを変換する部分サポート

• Sparkt create tablesでノード SqlSimpleDataType の変換ステータスを保留中から変換に更新しました

• SMA のSnowpark Scala API 対応バージョンを 1.7.0 から 1.12.1 に更新しました

  • 以下のマッピングステータスを更新しました:

    • org.apache.spark.sql.SparkSession.getOrCreate をRenameからDirectへ

    • org.apache.spark.sql.functions.sum をWorkaroundからDirectへ

• SMA のSnowpark Python API 対応バージョンを 1.15.0 から 1.20.0 に更新しました

  • 以下のマッピングステータスを更新しました:

    • pyspark.sql.functions.arrays_zip をNot SupportedからDirectへ

• 以下のPandas要素のマッピングステータスを更新しました:

  • Directマッピング:

    • pandas.core.frame.DataFrame.any

    • pandas.core.frame.DataFrame.applymap

• 以下のPandas要素のマッピングステータスを更新しました:

  • Not SupportedからDirectマッピングへ:

    • pandas.core.frame.DataFrame.groupby

    • pandas.core.frame.DataFrame.index

    • pandas.core.frame.DataFrame.T

    • pandas.core.frame.DataFrame.to_dict

  • Not SupportedからRenameマッピングへ

    • pandas.core.frame.DataFrame.map

• 以下のPandas要素のマッピングステータスを更新しました:

  • Directマッピング:

    • pandas.core.frame.DataFrame.where

    • pandas.core.groupby.generic.SeriesGroupBy.agg

    • pandas.core.groupby.generic.SeriesGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.agg

    • pandas.core.groupby.generic.DataFrameGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.apply

  • Not Supportedマッピング:

    • pandas.core.frame.DataFrame.to_parquet

    • pandas.core.generic.NDFrame.to_csv

    • pandas.core.generic.NDFrame.to_excel

    • pandas.core.generic.NDFrame.to_sql

• 以下のPandas要素のマッピングステータスを更新しました:

  • Directマッピング:

    • pandas.core.series.Series.empty

    • pandas.core.series.Series.apply

    • pandas.core.reshape.tile.qcut

  • EWI を使ったDirectマッピング:

    • pandas.core.series.Series.fillna

    • pandas.core.series.Series.astype

    • pandas.core.reshape.melt.melt

    • pandas.core.reshape.tile.cut

    • pandas.core.reshape.pivot.pivot_table

• 以下のPandas要素のマッピングステータスを更新しました:

  • Directマッピング:

    • pandas.core.series.Series.dt

    • pandas.core.series.Series.groupby

    • pandas.core.series.Series.loc

    • pandas.core.series.Series.shape

    • pandas.core.tools.datetimes.to_datetime

    • pandas.io.excel._base.ExcelFile

  • Not Supportedマッピング:

    • pandas.core.series.Series.dt.strftime

• 以下のPandas要素のマッピングステータスを更新しました:

  • Not SupportedからDirectマッピングへ:

    • pandas.io.parquet.read_parquet

    • pandas.io.parsers.readers.read_csv

• 以下のPandas要素のマッピングステータスを更新しました:

  • Not SupportedからDirectマッピングへ:

    • pandas.io.pickle.read_pickle

    • pandas.io.sql.read_sql

    • pandas.io.sql.read_sql_query

• 「SQL レディネススコアの理解」の説明を更新しました。

• PyProgramCollector を更新し、Pythonソースコードからパッケージを収集し、現在のパッケージインベントリにデータを入力するようにしました。

• pyspark.sql.SparkSession.builder.appName のマッピングステータスをRenameからTransformationに更新しました。

• 以下のScala統合テストを削除しました。

  • AssesmentReportTest_AssessmentMode.ValidateReports_AssessmentMode

  • AssessmentReportTest_PythonAndScala_Files.ValidateReports_PythonAndScala

  • AssessmentReportTestWithoutSparkUsages.ValidateReports_WithoutSparkUsages

• pandas.core.generic.NDFrame.shape のマッピングステータスをNot SupportedからDirectに更新しました。

• pandas.core.series のマッピングステータスをNot SupportedからDirectに更新しました。

非推奨¶

• org.apache.spark.sql.functions.sum がDirectマッピングになったため、 EWI コード SPRKSCL1160 を非推奨としました。

修正済み¶

• Jupyter Notebookのセルで引数のないカスタムマジックをサポートしないバグを修正しました。

• 解析エラーが発生した場合に、issues.csvレポートの EWIs が正しく生成されない問題を修正しました。

• SMA がDatabricksノートブックとしてDatabricksがエクスポートしたノートブックを処理しない原因となっていたバグを修正しました

• パッケージオブジェクトの内部で作成された宣言のタイプ名が衝突する処理中のスタックオーバーフローエラーを修正しました。

• 例えば def func[X,Y](f:(Map[Option[X], Y] => Map[Y, X]))... など、ジェネリックを含む複雑なラムダ型名の処理を修正しました

• まだ認識されていないPandas要素に SMA がPandas EWI コードではなく PySpark EWI コードを追加してしまうバグを修正しました。

• 詳細レポートのテンプレートのタイプミスを修正しました。列の名前を「Percentage of all Python Files」から「Percentage of all files」に変更しました。

• pandas.core.series.Series.shape が誤って報告されるバグを修正しました。