Snowpark Migration Accelerator: リリースノート¶

デスクトップアプリdesktop-app¶

• サンプルプロジェクトオプションで変換する際の問題を修正しました。

含まれる SMA コアバージョンincluded-sma-core-versions¶

• Snowpark Conversion Core 5.3.0

デスクトップアプリdesktop-app¶

• ユーザーに書き込み権限がない場合の新しいモーダルを追加しました。

• ライセンス契約の更新には、承諾が必要です。

CLI cli¶

• 「--version」または「-v」を表示した際の CLI 画面の年号を修正しました。

含まれる SMA コアバージョンincluded-sma-core-versions¶

• Snowpark Conversion Core 5.3.0

追加済み¶

変更済み¶

• .NET バージョンをv9.0.0に更新。

• EWI SPRKPY1068 を改善。

• SMA でサポートされるSnowpark Python API のバージョンを1.24.0 から 1.25.0に引き上げました。

• パンダのSnowparkバージョンを追加しました。

• 以下のライブラリを ThirdPartyLib から BuiltIn に変更。

  • configparser

  • dataclasses

  • pathlib

  • readline

  • statistics

  • zlib

既知の問題¶

• このバージョンでは、サンプルプロジェクトを変換する際に動作しない問題が含まれています。 次のリリースで修正される予定です

デスクトップアプリdesktop-app¶

• クラッシュレポートモーダル内にトラブルシューティングガイドへのリンクを追加しました。

含まれる SMA コアバージョンincluded-sma-core-versions¶

• Snowpark Conversion Core 4.15.0

追加済み¶

• ConversionStatusPySpark.csvファイルに NotSupported として以下の PySpark 要素を追加しました

  • pyspark.sql.streaming.readwriter.DataStreamReader.table

  • pyspark.sql.streaming.readwriter.DataStreamReader.schema

  • pyspark.sql.streaming.readwriter.DataStreamReader.options

  • pyspark.sql.streaming.readwriter.DataStreamReader.option

  • pyspark.sql.streaming.readwriter.DataStreamReader.load

  • pyspark.sql.streaming.readwriter.DataStreamReader.format

  • pyspark.sql.streaming.query.StreamingQuery.awaitTermination

  • pyspark.sql.streaming.readwriter.DataStreamWriter.partitionBy

  • pyspark.sql.streaming.readwriter.DataStreamWriter.toTable

  • pyspark.sql.streaming.readwriter.DataStreamWriter.trigger

  • pyspark.sql.streaming.readwriter.DataStreamWriter.queryName

  • pyspark.sql.streaming.readwriter.DataStreamWriter.outputMode

  • pyspark.sql.streaming.readwriter.DataStreamWriter.format

  • pyspark.sql.streaming.readwriter.DataStreamWriter.option

  • pyspark.sql.streaming.readwriter.DataStreamWriter.foreachBatch

  • pyspark.sql.streaming.readwriter.DataStreamWriter.start

変更済み¶

• Hive SQL EWIs 形式を更新しました。

  • SPRKHVSQL1001

  • SPRKHVSQL1002

  • SPRKHVSQL1003

  • SPRKHVSQL1004

  • SPRKHVSQL1005

  • SPRKHVSQL1006

• Spark SQL EWIs 形式を更新しました。

  • SPRKSPSQL1001

  • SPRKSPSQL1002

  • SPRKSPSQL1003

  • SPRKSPSQL1004

  • SPRKSPSQL1005

  • SPRKSPSQL1006

修正済み¶

• ツールによって識別されない PySpark 要素があったバグを修正しました。

• ThirdParty が識別した呼び出しと ThirdParty のインポート呼び出し番号との不一致を修正しました。

含まれる SMA コアバージョンincluded-sma-core-versions¶

• Snowpark Conversion Core 4.14.0

追加済み¶

• ConversionStatusPySpark.csvに以下のSpark要素を追加しました。

  • pyspark.broadcast.Broadcast.value

  • pyspark.conf.SparkConf.getAll

  • pyspark.conf.SparkConf.setAll

  • pyspark.conf.SparkConf.setMaster

  • pyspark.context.SparkContext.addFile

  • pyspark.context.SparkContext.addPyFile

  • pyspark.context.SparkContext.binaryFiles

  • pyspark.context.SparkContext.setSystemProperty

  • pyspark.context.SparkContext.version

  • pyspark.files.SparkFiles

  • pyspark.files.SparkFiles.get

  • pyspark.rdd.RDD.count

  • pyspark.rdd.RDD.distinct

  • pyspark.rdd.RDD.reduceByKey

  • pyspark.rdd.RDD.saveAsTextFile

  • pyspark.rdd.RDD.take

  • pyspark.rdd.RDD.zipWithIndex

  • pyspark.sql.context.SQLContext.udf

  • pyspark.sql.types.StructType.simpleString

変更済み¶

• Pandas EWIs、 PNDSPY1001、 PNDSPY1002、 PNDSPY1003、および SPRKSCL1137 のドキュメントを更新し、標準化された形式に合わせることで、すべての EWIs の一貫性と明瞭性を確保しました。

• 以下のScala EWIs のドキュメントを更新しました: SPRKSCL1106 と SPRKSCL1107。標準形式に合わせることで、すべての EWIs で一貫性と明瞭性を確保。

修正済み¶

• UserDefined シンボルがサードパーティの使用インベントリに表示されるバグを修正しました。

含まれる SMA コアバージョンincluded-sma-core-versions¶

• Snowpark Conversion Core 4.13.1

コマンドラインインターフェイス¶

変更済み

• 出力フォルダーにタイムスタンプを追加しました。

追加済み¶

• ライブラリマッピングテーブルに「Source Language」列を追加しました

• DetailedReport.docxのPandas API 概要テーブルに新しいカテゴリとして Others を追加しました。

変更済み¶

• Python EWI SPRKPY1058 のドキュメントを更新しました。

• pandas EWI PNDSPY1002 のメッセージを更新し、関連するpandas要素を表示するようにしました。

• .csvレポートの作成方法が更新され、2回目の実行で上書きされるようになりました。

修正済み¶

• Notebooksファイルが出力されない原因となっていたバグを修正しました。

• pyspark.sql.conf.RuntimeConfig から get、 set メソッドのリプレイサーを修正しました。リプレイサーが正しいフルネームと一致するようになりました。

• クエリタグのバージョンが間違っていたのを修正しました。

• ThirdPartyLib として報告された UserDefined パッケージを修正。

\

含まれる SMA コアバージョンincluded-sma-core-versions¶

• Snowpark Conversion Core 4.12.0

デスクトップアプリdesktop-app¶

修正済み

• --sqlオプションの大文字と小文字を区別する問題を修正。

削除済み

• show-acメッセージからプラットフォーム名を削除。

追加済み¶

• Snowpark Python 1.23.0と1.24.0のサポートを追加しました。

• pyspark.sql.dataframe.DataFrame.writeTo 関数の新しい EWI を追加しました。この関数の使用すべてに EWI SPRKPY1087 が指定されるようになりました。

変更済み¶

• Scala EWIs のドキュメントを SPRKSCL1137 から SPRKSCL1156 に更新して標準化された形式に合わせることで、すべての EWIs で一貫性と明瞭性を確保しました。

• Scala EWIs のドキュメントを SPRKSCL1117 から SPRKSCL1136 に更新して標準化された形式に合わせることで、すべての EWIs で一貫性と明瞭性を確保しました。

• 以下の EWIs に表示されるメッセージを更新しました。

  • SPRKPY1082

  • SPRKPY1083

• Scala EWIs のドキュメントを SPRKSCL1100 から SPRKSCL1105 に、 SPRKSCL1108 から SPRKSCL1116 に、 SPRKSCL1157 から SPRKSCL1175 に更新して標準化された形式に合わせることで、すべての EWIs で一貫性と明瞭性を確保しました。

• 以下の PySpark 要素のマッピングステータスを、 EWI を使用して NotSupported から Direct に更新しました。

  • pyspark.sql.readwriter.DataFrameWriter.option => snowflake.snowpark.DataFrameWriter.option: この関数の使用はすべて EWI SPRKPY1088 を使用するようになりました

  • pyspark.sql.readwriter.DataFrameWriter.options => snowflake.snowpark.DataFrameWriter.options: この関数の使用は全て EWI SPRKPY1089 を使用するようになりました

• 以下の PySpark 要素のマッピングステータスを Workaround から Rename に更新しました。

  • pyspark.sql.readwriter.DataFrameWriter.partitionBy => snowflake.snowpark.DataFrameWriter.partition_by

• EWI ドキュメントを更新しました: SPRKSCL1000、 SPRKSCL1001、 SPRKSCL1002、 SPRKSCL1100、 SPRKSCL1101、 SPRKSCL1102、 SPRKSCL1103、 SPRKSCL1104、 SPRKSCL1105。

削除済み¶

• pyspark.sql.dataframe.DataFrameStatFunctions.writeTo 要素を変換ステータスから削除しました。この要素は存在しません。

非推奨¶

• 以下の EWI コードを非推奨としました:

  • SPRKPY1081

  • SPRKPY1084

追加済み¶

• Issues.csv ファイルに、対応する EWI ドキュメントにリダイレクトする Url という新しい列を追加しました。

• 以下のSpark要素に新しい EWIs を追加しました:

  • [SPRKPY1082] pyspark.sql.readwriter.DataFrameReader.load

  • [SPRKPY1083] pyspark.sql.readwriter.DataFrameWriter.save

  • [SPRKPY1084] pyspark.sql.readwriter.DataFrameWriter.option

  • [SPRKPY1085] pyspark.ml.feature.VectorAssembler

  • [SPRKPY1086] pyspark.ml.linalg.VectorUDT

• 38の新しいPandas要素を追加しました:

  • pandas.core.frame.DataFrame.select

  • andas.core.frame.DataFrame.str

  • pandas.core.frame.DataFrame.str.replace

  • pandas.core.frame.DataFrame.str.upper

  • pandas.core.frame.DataFrame.to_list

  • pandas.core.frame.DataFrame.tolist

  • pandas.core.frame.DataFrame.unique

  • pandas.core.frame.DataFrame.values.tolist

  • pandas.core.frame.DataFrame.withColumn

  • pandas.core.groupby.generic._SeriesGroupByScalar

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].agg

  • pandas.core.groupby.generic._SeriesGroupByScalar[S1].aggregate

  • pandas.core.indexes.datetimes.DatetimeIndex.year

  • pandas.core.series.Series.columns

  • pandas.core.tools.datetimes.to_datetime.date

  • pandas.core.tools.datetimes.to_datetime.dt.strftime

  • pandas.core.tools.datetimes.to_datetime.strftime

  • pandas.io.parsers.readers.TextFileReader.apply

  • pandas.io.parsers.readers.TextFileReader.astype

  • pandas.io.parsers.readers.TextFileReader.columns

  • pandas.io.parsers.readers.TextFileReader.copy

  • pandas.io.parsers.readers.TextFileReader.drop

  • pandas.io.parsers.readers.TextFileReader.drop_duplicates

  • pandas.io.parsers.readers.TextFileReader.fillna

  • pandas.io.parsers.readers.TextFileReader.groupby

  • pandas.io.parsers.readers.TextFileReader.head

  • pandas.io.parsers.readers.TextFileReader.iloc

  • pandas.io.parsers.readers.TextFileReader.isin

  • pandas.io.parsers.readers.TextFileReader.iterrows

  • pandas.io.parsers.readers.TextFileReader.loc

  • pandas.io.parsers.readers.TextFileReader.merge

  • pandas.io.parsers.readers.TextFileReader.rename

  • pandas.io.parsers.readers.TextFileReader.shape

  • pandas.io.parsers.readers.TextFileReader.to_csv

  • pandas.io.parsers.readers.TextFileReader.to_excel

  • pandas.io.parsers.readers.TextFileReader.unique

  • pandas.io.parsers.readers.TextFileReader.values

  • pandas.tseries.offsets

含まれる SMA コアバージョンincluded-sma-core-versions¶

• Snowpark Conversion Core 4.10.0

デスクトップアプリdesktop-app¶

修正済み

• Windowsバージョンのメニューバーで、 SMA に Snowpark Migration Accelerator ではなく SnowConvert というラベルが表示される原因となっていたバグを修正しました。

• macOS の .config ディレクトリ、およびWindowsの AppData ディレクトリに対する読み取り権限と書き込み権限がない場合に、 SMA がクラッシュする原因となっていたバグを修正しました。

コマンドラインインターフェイス¶

変更済み

• CLI の実行ファイル名を snowct から sma に変更しました。

• ソース言語の引数が削除され、PythonかScalaの評価/変換を実行するかどうかを指定する必要がなくなりました。

• 以下の新しい引数を追加することにより、 CLI がサポートするコマンドライン引数を拡張しました:

  • --enableJupyter | -j: DatabricksノートブックのJupyterへの変換を有効にするかどうかを示すフラグ。

  • --sql | -f: SQL コマンドが検出されたときに使用されるデータベースエンジンの構文。

  • --customerEmail | -e: 顧客メールを構成します。

  • --customerCompany | -c: 顧客企業を構成します。

  • --projectName | -p: 顧客プロジェクトを構成します。

• アプリケーションの正しい名称を反映し、すべてのメッセージの一貫性と明瞭性を確保するために、一部のテキストを更新しました。

• アプリケーションの利用規約を更新しました。

• CLI のドキュメントを更新および拡充し、最新の機能、拡張、変更を反映させました。

• SMA の実行に移る前に表示されるテキストを更新しました。

• CLI を更新し、 「Yes」 を有効な引数として受け付けるようにしました。

• 引数 -y または --yes を指定することで、ユーザーの操作を待たずに CLI の実行を継続できるようにしました。

• --sql 引数のヘルプ情報を更新し、この引数が期待する値を表示するようにしました。

追加済み¶

• pyspark.sql.readwriter.DataFrameWriter.partitionBy 関数の新しい EWI を追加しました。この関数の使用すべてに EWI SPRKPY1081 が指定されるようになりました。

• ImportUsagesInventory.csv ファイルに、 Technology という新しい列を追加しました。

変更済み¶

• サードパーティライブラリのレディネススコアが更新され、 Unknown ライブラリも考慮されるようになりました。

• AssessmentFiles.zip ファイルを更新し、 .pam ファイルの代わりに .json ファイルを含めるようにしました。

• CSV から JSON への変換メカニズムを改善し、在庫処理のパフォーマンスを向上しました。

• 以下の EWIs のドキュメントを改善しました:

  • SPRKPY1029

  • SPRKPY1054

  • SPRKPY1055

  • SPRKPY1063

  • SPRKPY1075

  • SPRKPY1076

• 以下のSpark Scala要素のマッピングステータスを Direct から Rename に更新しました。

  • org.apache.spark.sql.functions.shiftLeft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftRight => com.snowflake.snowpark.functions.shiftright

• 以下のSpark Scala要素のマッピングステータスを Not Supported から Direct に更新しました。

  • org.apache.spark.sql.functions.shiftleft => com.snowflake.snowpark.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright => com.snowflake.snowpark.functions.shiftright

修正済み¶

• ImportUsagesInventory.csv ファイルの Origin 列に SMA が正しく入力されない原因となっていたバグを修正しました。

• SMA が io、 json、 logging、および unittest のライブラリのインポートをPython組み込みインポートとして ImportUsagesInventory.csv ファイルと DetailedReport.docx ファイルで分類しない原因となっていたバグを修正しました

追加済み¶

• EwiCatalog.csv と.mdファイルを追加し、ドキュメントを再編成しました。

• pyspark.sql.functions.ln Directのマッピングステータスを追加しました。

• pyspark.context.SparkContext.getOrCreate 用の変換を追加しました。

  • 詳細は EWI SPRKPY1080 をご確認ください。

• 関数内のパラメーターの型推論、 SymbolTable を改善しました。

• 静的メソッドの SymbolTable サポートを追加し、最初のパラメーターが自身であると仮定しないように動作を更新しました。

• 不足していた EWIs のドキュメントを追加しました。

  • SPRKHVSQL1005

  • SPRKHVSQL1006

  • SPRKSPSQL1005

  • SPRKSPSQL1006

  • SPRKSCL1002

  • SPRKSCL1170

  • SPRKSCL1171

  • SPRKPY1057

  • SPRKPY1058

  • SPRKPY1059

  • SPRKPY1060

  • SPRKPY1061

  • SPRKPY1064

  • SPRKPY1065

  • SPRKPY1066

  • SPRKPY1067

  • SPRKPY1069

  • SPRKPY1070

  • SPRKPY1077

  • SPRKPY1078

  • SPRKPY1079

  • SPRKPY1101

変更済み¶

• 以下のマッピングステータスを更新しました:

  • pyspark.sql.functions.array_remove を NotSupported から Direct へ。

修正済み¶

• 詳細レポートのCode File Sizingテーブルを修正し、.sqlと.hqlファイルを除外し、テーブルにExtra Large行を追加しました。

• SparkSession が Python で複数行に定義されている場合に update_query_tag が欠落していたのを修正しました。

• SparkSession が Scala で複数行に定義されている場合に update_query_tag が欠落していたのを修正しました。

• いくつかの SQL ステートメントで解析エラーが発生した場合に、 EWI SPRKHVSQL1001 が欠落していたのを修正しました。

• 文字列リテラル内の改行値を保持するように修正しました

• File Type Summaryテーブルに表示されるコード行数を修正しました

• ファイル認識に成功した場合、解析スコアが0と表示されていた問題を修正しました

• Databricks Magic SQL セルのセルインベントリで LOC のカウントを修正しました。

追加済み¶

• pyspark.sql.readwriter.DataFrameReader.parquet の変換を追加。

• pyspark.sql.readwriter.DataFrameReader.option がParquetメソッドである場合の変換を追加しました。

変更済み¶

• 以下のマッピングステータスを更新しました:

  • pyspark.sql.types.StructType.fields を NotSupported から Direct へ。

  • pyspark.sql.types.StructType.names を NotSupported から Direct へ。

  • pyspark.context.SparkContext.setLogLevel を Workaround から Transformation へ。

    • 詳細は EWIs SPRKPY1078 および SPRKPY1079 をご覧ください

  • org.apache.spark.sql.functions.round を WorkAround から Direct へ。

  • org.apache.spark.sql.functions.udf を NotDefined から Transformation へ。

    • 詳細は EWIs SPRKSCL1174 および SPRKSCL1175 をご覧ください

• 以下のSpark要素のマッピングステータスを DirectHelper から Direct に更新しました:

  • org.apache.spark.sql.functions.hex

  • org.apache.spark.sql.functions.unhex

  • org.apache.spark.sql.functions.shiftleft

  • org.apache.spark.sql.functions.shiftright

  • org.apache.spark.sql.functions.reverse

  • org.apache.spark.sql.functions.isnull

  • org.apache.spark.sql.functions.unix_timestamp

  • org.apache.spark.sql.functions.randn

  • org.apache.spark.sql.functions.signum

  • org.apache.spark.sql.functions.sign

  • org.apache.spark.sql.functions.collect_list

  • org.apache.spark.sql.functions.log10

  • org.apache.spark.sql.functions.log1p

  • org.apache.spark.sql.functions.base64

  • org.apache.spark.sql.functions.unbase64

  • org.apache.spark.sql.functions.regexp_extract

  • org.apache.spark.sql.functions.expr

  • org.apache.spark.sql.functions.date_format

  • org.apache.spark.sql.functions.desc

  • org.apache.spark.sql.functions.asc

  • org.apache.spark.sql.functions.size

  • org.apache.spark.sql.functions.locate

  • org.apache.spark.sql.functions.ntile

修正済み¶

• Pandas Api全体のパーセンテージに表示される値を修正しました

• DetailReport の ImportCalls テーブルの合計パーセンテージを修正しました

非推奨¶

• 以下の EWI コードは非推奨となりました:

  • SPRKSCL1115

ホットフィックスで修正済み¶

• Spark Usages Summariesにおいて、使用数がない場合に合計行が追加される問題を修正しました。

• Pythonアセンブリのバージョンを 1.3.111 にバンプしました

  • 複数行引数の後続カンマの解析

追加済み¶

• pyspark.sql.readwriter.DataFrameReader.option 用の変換を追加しました:

  • チェーンが CSV メソッド呼び出しからの場合。

  • チェーンが JSON メソッド呼び出しからの場合。

• pyspark.sql.readwriter.DataFrameReader.json 用の変換を追加しました。

変更済み¶

• Python/Scala関数に渡された SQL 文字列に対して SMA を実行しました

  • Scala/Pythonで AST を作成し、仮の SQL ユニットを生成

  • SqlEmbeddedUsages.csvインベントリを作成

  • SqlStatementsInventroy.csvおよび SqlExtractionInventory.csvを廃止

  • SQL リテラルが処理できなかった場合に EWI を統合

  • SQL が埋め込まれたコードを処理する新しいタスクを作成

  • Pythonで SqlEmbeddedUsages.csvインベントリの情報を収集

  • Pythonで SQL 変換コードをリテラルに置換

  • 実装後のテストケースを更新

  • SqlEmbeddedUsages インベントリにテレメトリー用のテーブルと表示を作成

  • Scalaで SqlEmbeddedUsages.csvレポートの情報を収集

  • Scalaで SQL 変換コードをリテラルに置換

  • 埋め込み SQL レポートの行番号順を確認

• SqlFunctionsInfo.csv に、 SparkSQL と HiveSQL に対して文書化された SQL 関数を追加

• 次のマッピングステータスを更新しました:

  • org.apache.spark.sql.SparkSession.sparkContext を NotSupported からTransformationへ。

  • org.apache.spark.sql.Builder.config を NotSupported から Transformation へ。この新しいマッピングステータスにより、 SMA はソースコードからこの関数の使用をすべて除します。

追加済み¶

• ノートブックセルで識別された要素の行と列を取得する（装飾による）メカニズムを追加しました。

• pyspark.sql.functions.from_jsonの EWI を追加しました。

• pyspark.sql.readwriter.DataFrameReader.csvの変換を追加しました。

• Scalaファイルのクエリタグメカニズムを有効にしました。

• コード分析スコアと詳細レポートへのリンクを追加しました。

• InputFilesInventory.csvに OriginFilePath 列を追加しました。

変更済み¶

• pyspark.sql.functions.from_jsonのマッピングステータスをNot SupportedからTransformationに更新しました。

• 以下のSpark要素のマッピングステータスをWorkaroundからDirectに更新しました:

  • org.apache.spark.sql.functions.countDistinct

  • org.apache.spark.sql.functions.max

  • org.apache.spark.sql.functions.min

  • org.apache.spark.sql.functions.mean

非推奨¶

• 以下の EWI コードを非推奨としました:

  • SPRKSCL1135

  • SPRKSCL1136

  • SPRKSCL1153

  • SPRKSCL1155

修正済み¶

• Spark API スコアの計算に誤りがあったバグを修正しました。

• 出力フォルダー内の SQL の空のファイルやコメント付きファイルのコピーを回避するエラーを修正しました。

• ノートブックの統計 LOC とセル数が正確でなかった DetailedReport のバグを修正しました。

追加済み¶

• 技術列を SparkUsagesInventory に追加

• 定義されていない SQL 要素に対して EWI を追加しました。

• SqlFunctions インベントリを追加しました

• SqlFunctions インベントリの情報を収集

変更済み¶

• このエンジンは、元のファイルを修正せずに残す代わりに、部分的に解析されたPythonファイルを処理して表示するようになりました。

• Pythonノートブックのセルの解析エラーも処理され、表示されます。

修正済み¶

• pandas.core.indexes.datetimes.DatetimeIndex.strftime が誤って報告されていたのを修正しました。

• サポートステータス別の SQL レディネススコアと SQL 使用状況の不一致を修正。

• SMA が pandas.core.series.Series.empty を不正なマッピングステータスで報告する原因となっていたバグを修正しました。

• DetailedReport.docxのSpark API Usages Ready for ConversionとAssessment.jsonの UsagesReadyForConversion 行の不一致を修正しました。

追加済み¶

• AssessmentReport.json ファイルに以下の情報を追加しました。

  • サードパーティライブラリのレディネススコア。

  • 識別されたサードパーティライブラリ呼び出しの数。

  • Snowparkでサポートされているサードパーティライブラリの呼び出しの数。

  • サードパーティレディネススコア、Spark API レディネススコア、 SQL レディネススコアに関連付けられた色コード。

• Sparkで SqlSimpleDataType を変換するとテーブルが作成されます。

• pyspark.sql.functions.get のマッピングをDirectとして追加しました。

• pyspark.sql.functions.to_varchar のマッピングをDirectとして追加しました。

• 統一後の変更の一部として、ツールはエンジンに実行情報ファイルを生成するようになりました。

• pyspark.sql.SparkSession.builder.appName のリプレイサーを追加しました。

変更済み¶

• 以下のSpark要素のマッピングステータスを更新しました。

  • Not SupportedからDirectマッピングへ:

    • pyspark.sql.functions.sign

    • pyspark.sql.functions.signum

• Notebooks Cells Inventory（ノートブックセルインベントリ）レポートを変更し、Element（要素）列内のすべてのセルのコンテンツの種類を示すようにしました。

• Scalaファイル内のSpark API への参照のみに関連するレディネススコアを報告する SCALA_READINESS_SCORE 列を追加しました。

• ALTER TABLE および ALTER VIEW でテーブルプロパティを変換する部分サポート

• Sparkt create tablesでノード SqlSimpleDataType の変換ステータスを保留中から変換に更新しました

• SMA のSnowpark Scala API 対応バージョンを 1.7.0 から 1.12.1 に更新しました

  • 以下のマッピングステータスを更新しました:

    • org.apache.spark.sql.SparkSession.getOrCreate をRenameからDirectへ

    • org.apache.spark.sql.functions.sum をWorkaroundからDirectへ

• SMA のSnowpark Python API 対応バージョンを 1.15.0 から 1.20.0 に更新しました

  • 以下のマッピングステータスを更新しました:

    • pyspark.sql.functions.arrays_zip をNot SupportedからDirectへ

• 以下のPandas要素のマッピングステータスを更新しました:

  • Directマッピング:

    • pandas.core.frame.DataFrame.any

    • pandas.core.frame.DataFrame.applymap

• 以下のPandas要素のマッピングステータスを更新しました:

  • Not SupportedからDirectマッピングへ:

    • pandas.core.frame.DataFrame.groupby

    • pandas.core.frame.DataFrame.index

    • pandas.core.frame.DataFrame.T

    • pandas.core.frame.DataFrame.to_dict

  • Not SupportedからRenameマッピングへ

    • pandas.core.frame.DataFrame.map

• 以下のPandas要素のマッピングステータスを更新しました:

  • Directマッピング:

    • pandas.core.frame.DataFrame.where

    • pandas.core.groupby.generic.SeriesGroupBy.agg

    • pandas.core.groupby.generic.SeriesGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.agg

    • pandas.core.groupby.generic.DataFrameGroupBy.aggregate

    • pandas.core.groupby.generic.DataFrameGroupBy.apply

  • Not Supportedマッピング:

    • pandas.core.frame.DataFrame.to_parquet

    • pandas.core.generic.NDFrame.to_csv

    • pandas.core.generic.NDFrame.to_excel

    • pandas.core.generic.NDFrame.to_sql

• 以下のPandas要素のマッピングステータスを更新しました:

  • Directマッピング:

    • pandas.core.series.Series.empty

    • pandas.core.series.Series.apply

    • pandas.core.reshape.tile.qcut

  • EWI を使ったDirectマッピング:

    • pandas.core.series.Series.fillna

    • pandas.core.series.Series.astype

    • pandas.core.reshape.melt.melt

    • pandas.core.reshape.tile.cut

    • pandas.core.reshape.pivot.pivot_table

• 以下のPandas要素のマッピングステータスを更新しました:

  • Directマッピング:

    • pandas.core.series.Series.dt

    • pandas.core.series.Series.groupby

    • pandas.core.series.Series.loc

    • pandas.core.series.Series.shape

    • pandas.core.tools.datetimes.to_datetime

    • pandas.io.excel._base.ExcelFile

  • Not Supportedマッピング:

    • pandas.core.series.Series.dt.strftime

• 以下のPandas要素のマッピングステータスを更新しました:

  • Not SupportedからDirectマッピングへ:

    • pandas.io.parquet.read_parquet

    • pandas.io.parsers.readers.read_csv

• 以下のPandas要素のマッピングステータスを更新しました:

  • Not SupportedからDirectマッピングへ:

    • pandas.io.pickle.read_pickle

    • pandas.io.sql.read_sql

    • pandas.io.sql.read_sql_query

• 「SQL レディネススコアの理解」の説明を更新しました。

• PyProgramCollector を更新し、Pythonソースコードからパッケージを収集し、現在のパッケージインベントリにデータを入力するようにしました。

• pyspark.sql.SparkSession.builder.appName のマッピングステータスをRenameからTransformationに更新しました。

• 以下のScala統合テストを削除しました。

  • AssesmentReportTest_AssessmentMode.ValidateReports_AssessmentMode

  • AssessmentReportTest_PythonAndScala_Files.ValidateReports_PythonAndScala

  • AssessmentReportTestWithoutSparkUsages.ValidateReports_WithoutSparkUsages

• pandas.core.generic.NDFrame.shape のマッピングステータスをNot SupportedからDirectに更新しました。

• pandas.core.series のマッピングステータスをNot SupportedからDirectに更新しました。

非推奨¶

• org.apache.spark.sql.functions.sum がDirectマッピングになったため、 EWI コード SPRKSCL1160 を非推奨としました。

修正済み¶

• Jupyter Notebookのセルで引数のないカスタムマジックをサポートしないバグを修正しました。

• 解析エラーが発生した場合に、issues.csvレポートの EWIs が正しく生成されない問題を修正しました。

• SMA がDatabricksノートブックとしてDatabricksがエクスポートしたノートブックを処理しない原因となっていたバグを修正しました

• パッケージオブジェクトの内部で作成された宣言のタイプ名が衝突する処理中のスタックオーバーフローエラーを修正しました。

• 例えば def func[X,Y](f: (Map[Option[X], Y] => Map[Y, X]))... など、ジェネリックを含む複雑なラムダ型名の処理を修正しました

• まだ認識されていないPandas要素に SMA がPandas EWI コードではなく PySpark EWI コードを追加してしまうバグを修正しました。

• 詳細レポートのテンプレートのタイプミスを修正しました。列の名前を「Percentage of all Python Files」から「Percentage of all files」に変更しました。

• pandas.core.series.Series.shape が誤って報告されるバグを修正しました。