Snowpark Migration Accelerator: SC Spark Pythonリリースノート¶
2.14.0¶
2023-10-24 \ \ 追加\ \ ファイル名に縮約形 ID を追加してログで使用。
変更済み
TrialMode の出力フォルダー階層をリファクタリング。
スコアが90点以上になった場合、評価モードでローカルにレポートを作成。
Snowflakeユーザーの場合、評価モードでローカルにレポートを生成。
インベントリを.csvファイルで作成。
インベントリをReportsフォルダーに移動。
¶
2.13.0¶
2023-10-19\
追加\
より多くのログメッセージを有効にするフラグを追加。
変換の実行を無効にするフラグを追加。
Scalaシンボルテーブルの解決にタイムアウト機構を追加。
Scalaの解析フェーズにタイムアウトメカニズムを追加。
Scalaの解析フェーズにプログレスログメッセージを追加。
変更\
レポート(HTML およびdocx)の調整: 準備度スコアの名称変更、付録およびインポート呼び出しテーブルの更新。
AssessmentMode
を8.1.6から9.0.4へバンプCommon.AssessmentModel
を3.1.12から3.1.14へバンプ競合状態を回避するためのロックを追加
修正\
評価モードと変換モードの間で、 SparkReferences の数に一貫性がない問題を修正。
.sqlファイルがサポートされているファイルとして認識されない問題を修正。
AtomElement と BracedSlices の間にバックスラッシュがある場合の解析エラーを修正。
大量のネストされた式を含むコードの解析に多くの時間がかかっていた問題を修正。
2.12.0¶
2023-10-13
追加済み
トライアルモードのサポートを追加。
変更済み
Snowflake.SnowConvert.Python
を1.1.79から1.1.80へバンプいくつかのシナリオでスタックオーバーフローを回避するため、 ResolveType のバリアントを追加。
修正済み
FullName を解決するとスタックオーバーフローが発生するシナリオを修正。
2.11.0¶
追加済み
PythonでSnowpark API バージョン1.7.0のサポートを追加。
PythonでSnowpark API バージョン1.6.1のサポートを追加。
新しい回避策を追加
新たに4つのマッピングを追加
変更済み
Scala統合テストの検証を更新。
Scala統合テストの時間を短縮。
内部コードの残りのアセンブリ名リファレンスを更新。
会社のガイドラインに合わせてソースファイルのヘッダーを更新。
修正済み
SessionId と ExecutionId をインベントリとレポートに追加することで、同じ ExecutionId で複数の実行を修正。
ストレージ.lckファイルを使用した CopyOtherFiles タスクの失敗を修正。
一部の値がNULLの場合に.HTML レポートが生成される問題を修正。
2.09.0¶
2023-10-03
追加済み
FilesInventory.pam を追加
新たに4つのマッピングを追加
変更済み
アセンブリ名を変更。
Snowflake.SnowConvert.Python
を1.1.70から1.1.79へバンプ解析エラーを解決するために、3つの異なるルールにバックスラッシュを追加。
新しいSpark参照シンボルを追加。
2つの新しい解決をサポート。
.sql DBX Notebooksで空のコマンドをサポート。
StopIfDedent 関数の堅牢性を改善。
修正済み
パラメーターとコンマを含むバックスラッシュシナリオの解析エラーを修正。
括弧間の式のシンボル解決に関する問題を修正。
.sql DBX ノートブックの空のコマンドの解析エラーを修正。
空の角括弧記号の解決問題を修正。
SQL ステートメントインベントリを収集する際のRegexタイムアウトエラーを修正。
混合インデントに関する解析エラーを修正。
解析エラーが発見された場合の誤ったクラッシュメッセージを修正。
評価モードと変換モードの間で、 SparkReferences の数に一貫性がない問題を修正。
2.8.0¶
2023-09-27
追加済み
PythonでSnowpark API バージョン1.5.1のサポートを追加。
Python 3.10.10構文のサポートを追加。
インベントリに CellId 列を追加(DatabricksとJupyterの両方のノートブックの場合)。
4つの新しいマッピングを追加
変更済み
Mobilize.Python
を1.1.64から1.1.70へバンプPython 3.10.10構文のサポートを追加。
解析エラーを解決するために、3つの新しいバックスラッシュのシナリオを追加。
読み込みエラーを回避するために、いくつかのPandasシンボルに明示的な戻り値のタイプを追加。
修正済み
角括弧、コロン、パラメーターのシナリオにバックスラッシュが含まれる場合の解析エラーを修正。
Pandasシンボルの読み込みエラーを修正。
2.7.0¶
2023-09-20\
追加\
PythonでSnowpark API バージョン1.5.0のサポートを追加。
3つのマッピングを追加
変更\
隠しファイルの処理を回避
`Mobilize.SparkCommon.Utils` を1.3.188から1.3.189へバンプ
`Mobilize.Common.Utils` を3.2.0から3.2.2へバンプ
修正\
PackageVersionInventory コレクションフェーズが進まなくなる問題を修正。
DBC ファイルを使用している場合に、詳細レポートのSpark Usage Summaryテーブルのパーセンテージが正しくない問題を修正。
詳細レポートのファイルサイズテーブルが空白または全く表示されない問題を修正。
2.6.0¶
2023-09-12\
追加\
SQL ステートメントインベントリに、%SQL セル(Notebooksから)のサポートを追加。
変更\
`Mobilize.Python` を1.1.62から1.1.64へバンプ
magic sqlのサポートを追加。
推論されたタイプが `None` の場合に、関数パラメータータイプの更新を回避。
修正\
特定のファイルのシンボルが無限にされるロードされる問題を修正。
GenericScanner ファイルが生成されない問題を修正。
セキュリティ\
Python変換テストにおけるテストパスワードのセキュリティ。
¶
2.5.0¶
2023-09-05
追加済み
Notebooksサイズインベントリを追加。
Snowflake.SparkCommon.MappingLoader プロジェクト(新しいSnowflake.SnowMapGrammar を使用します)。
変更済み
Mobilize.Pythonを1.1.59から1.1.62へバンプ
GetSymbol メソッドのPythonシンボル解決時のタイムアウトメカニズムを追加。
Mobilize.SparkCommon.Utilsを1.3.186から1.3.187へバンプ
隠しファイルを処理する SparkCommon.Utils.FilesHelper.CopyFilesRecursively メソッドを更新。
修正済み
実行後にメールが届かない問題を修正(デフォルトでDebugメッセージをログに記録しないようにすることで、ログファイルのサイズを削減)。
削除済み
Mobilize.SparkCommon.TransformationCore プロジェクトを削除(旧Mobilize.MapGrammar を使用)。
2.4.0¶
2023-08-28
追加済み
NotebookCells インベントリを追加。
ScalaとPythonの DataFrameReader.optionと DataFrameWriter.optionの引数の値を収集。
新しいマッピングを2つ追加し、エイリアスタイプの情報コレクションを改善。
追加パラメーターが提供されている場合、出力ファイルを暗号化。
SQLStatements インベントリを再有効化。
コレクターの並列化を再有効化。
変更済み
詳細レポート(docxおよびhtml)の「ファイルタイプ概要」セクションを更新。(SCT-3867)
2つのマッピングを更新
SparkCommon.Utilsを1.3.181から1.3.186にバンプ。
CSV ファイルの並べ替えのサポートを改善。
Mobilize.Common.Utilsを3.1.6から3.2.0へバンプ。
CSV ファイルの並べ替えのサポートを改善。
Mobilize.Common.Utilsを3.1.6から3.2.0へバンプ。
NuGet パッケージバージョンを更新。
ロードマッピングタスクをリファクタリング。
SparkCommon Utilsプロジェクトのリファレンスをリファクタリング。
ソリューションプロジェクトをグループ化。
Scala統合テスト JupyterTest、 InventoryTests、および TransformationTest をマージ。
修正済み
Python変換ツールが SQL ステートメントインベントリ項目の収集時にスタックする問題を修正。
出力の GenericScanner ファイルの欠落を修正。
移行した DBC ファイルがDatabricksでロードされない問題を修正。
ツールプロセス終了時のエラーを修正。
削除済み
InventoryStorageTemp を削除。
冗長な StyleCop.Analyzersプロジェクトのリファレンスを削除。
\
2.2.001¶
2023-07-19
追加済み
6つの新しいマッピングの追加
変更済み
評価モデルの3.1.10から3.1.11への更新
修正済み
評価モードでDatabricks処理が機能しない問題を修正。
セキュリティ
HTML リンクにサブリソースの整合性を追加しました。
2.1.161¶
2023-07-06
修正済み
Scala Sparkの機能テストの修正と有効化
2.1.160¶
2023-07-05
変更済み
評価モデルの3.1.9から3.1.10への更新
2.1.159¶
2023-07-05
変更済み
評価モデルの3.1.7から3.1.9への更新
2.1.158¶
2023-07-05
追加済み
タスクにおける例外処理の改善によるツールの安定性の向上
2.1.157¶
2023-07-05
\ 変更
Spark Commonの1.3.178から1.3.181への更新
2.1.155¶
2023-07-05
変更済み
共通ビルドの2.0.2から3.0.4への更新
MacOs でのソリューション構築の改善
2.1.148¶
2023-07-04
変更済み
Spark Commonの1.3.177から1.3.178への更新
Common Utilsの4.0.0-alpha.DevOps.9から3.1.6への更新
2.1.147¶
2023-07-03
セキュリティ
`Spark Common` プロジェクトの非ライセンスパッケージの参照を削除。
2.1.146¶
2023-07-03
変更済み
`coverlet.collector` を3.2.0から6.0.0へバンプ
`FluentAssertions` を6.9.0から6.11.0へバンプ
`Scriban.Signed` を5.5.2から5.7.0へバンプ
`DocumentFormat.OpenXml` を2.19.0から2.20.0へバンプ
\ セキュリティ
`SparkCommon` プロジェクトの非ライセンスパッケージの参照を削除。
2.1.145¶
2023-06-28
変更済み
`Mobilize.Python` の1.1.49から1.1.50への更新
Databricks notebookで単一セルが解析されない場合にファイル全体が解析される問題を修正
2.1.144¶
2023-06-27
修正済み
MacOS での.dbcファイルの抽出を修正。
2.1.143¶
2023-06-26
修正済み
異なるデータ形式によるテストのエラーを修正。
2.1.142¶
2023-06-26
変更済み
インベントリストレージをリファクタリング。
2.1.141¶
2023-06-23
変更済み
`Mobilize.Python` の1.1.46から1.1.49への更新
シンボル解決中の再帰サイクルの検出と停止
\_\_init\_\_.pyファイルを含む StackOverflow 例外を修正
PyArgExpr ノードのバックスラッシュを修正
2.1.140¶
2023-06-22
変更済み
`Mobilize.Python` の1.1.44から1.1.46への更新
PyTerm ノードのバックスラッシュを修正
2.1.138¶
2023-06-22
変更済み
Spark Commonの1.3.176から1.3.177への更新
修正済み
Scalaコードプロセッサのビルドを修正。
2.1.137¶
2023-06-22
セキュリティ
機能テストにおけるセキュリティ認証情報。
非ライセンスパッケージの参照を削除。
2.1.136¶
2023-06-21
変更済み
`Snowflake.Data` の2.0.15から2.0.25への更新
Spark Commonの1.3.175から1.3.176への更新
セキュリティ
機能テストの参照の更新
2.1.135¶
2023-06-21
追加済み
PythonとScalaのコードプロセッサーツールでサポートされている拡張子.dbcを追加。
Contractsプロジェクトのテストを追加。
セキュリティ
`SparkCommon.Contracts.Test` での非ライセンスパッケージの参照を削除。
2.1.132¶
2023-06-21
削除済み
評価モードで、 IOFiles インベントリから `サポートされている` 列を削除。
2.1.131¶
2023-06-20
修正済み
Macでのテストを修正。
2.1.130¶
2023-06-19
変更済み
このリポジトリと SparkCommon リポジトリをマージ。
2.1.126¶
2023-06-16
修正済み
リポジトリのビルドを修正。
2.1.124¶
2023-06-15
修正済み
リポジトリのビルドを修正。
2.1.123¶
2023-06-15
変更済み
`Mobilize.Scala` を0.2.34から0.2.37へ更新
アンダースコアと制限を含むジェネリックタイプの解析エラーを修正。
引用符と補間を含む式の解析エラーを修正。
セキュリティ
安全でないパッケージ参照の削除。
2.1.121¶
2023-06-15
セキュリティ
認証情報ファイルを削除。
2.1.120¶
2023-06-15
変更済み
ScalaとPythonのバージョン構成のマイナーな変更。
1.0.877¶
2023年4月26日
Python 1.1.25
PythonSnowConvert Core 2.01.090
SparkCommon 1.3.151
追加済み
Snowpark 1.3.0のサポートを追加しました
4つの新しいマッピング
EWISPRKPY1048は非推奨となりました
次の変換を追加しました。
DataFrameReader チェーン
SparkSession.sparkContext
詳細レポートのIssues SummaryテーブルにSeverity(重大度)列を追加しました
改善
Spark使用インベントリファイルの名前を改善しました
Sparkの参照が見つからなかった場合に表示されるレディネススコアの値を改善しました
修正済み
ボタン URLs を修正しました
ローカルおよびテレメトリーにおけるSpark使用インベントリの不整合を修正しました。
詳細レポートのSpark Usage Summaryテーブルの RDD メトリックを修正しました。
レポートのゼロとダッシュ記号の不一致を修正しました。
1.0.826¶
2023年3月29日
Python 1.1.25
PythonSnowConvert Core 2.01.068
SparkCommon 1.3.131
追加済み
DBC ファイルの変換サポートを追加しました
改善
DataFrameReader.formatと DataFrameReader.loadの変換を追加しました
修正済み
SnowConvert/Snowparkバージョン値の入れ違いを修正しました。
1.0.725¶
2023年2月15日
Python 1.1.11
PythonSnowConvert Core 2.01.022
SparkCommon 1.3.113
追加済み
Databricksアーカイブファイル(.dbc拡張子)のサポートを追加しました
Databricksノートブックファイル(.python拡張子)のサポートを追加しました
Spark使用識別処理に並列性を追加しました。
SnowPark API バージョン1.1.0のサポートを追加しました。
マッピング要素を追加しました:
12のダイレクトマッピング
ヘルパーを使った2つの変換
改善
SPRKPY1038 EWI メッセージを改善しました
属性アクセスを使用する列の変換において、 EWIs の登録を改善しました。
ローカルレポート名を改善しました
1.0.691¶
2023年2月1日
Python 1.1.3
PythonSnowConvert Core 2.1.4
SparkCommon 1.3.105
追加済み
Net6との互換性を追加しました(内部)
issues.csvレポートを追加しました
詳細レポートにサイズテーブルを追加しました
グローバル変数宣言のサポートを追加しました
継承されたシンボル識別のサポートを追加しました
属性アクセスを使用した列へのアクセスのサポートを追加しました
テレメトリーに使用されたマッピングのバージョンを追加しました
GenericScanner にJupyter Notebooksのサポートを追加しました
マッピング要素を追加しました:
1つの直接マッピング
ヘルパーを使った1回の変換
6つの回避策
5つのサポートされていない識別
改善
レポート、インベントリ、テレメトリーにおけるツールバージョン形式を改善しました
ローカルとリモートの HTML レポートの同期を改善しました
HTML 詳細レポートと DOCX 詳細レポートの同期を改善しました
EWI コードによる課題テーブルのグループ化を改善しました
パッケージごとのインポートテーブルのグループ化を改善しました
コメント付き出力コードを改善しました
UI 進行フェーズタイトルを改善しました
バグの修正
複雑なステートメントの EWI メッセージの場所を修正しました
実行をキャンセルする際の UI の文言を修正しました
レポートの誤字を修正しました
1.0.594¶
2022年12月28日
Python 1.0.457
PythonSnowConvert Core 2.0.280
追加済み
汎用スキャナーでのJupyter Notebooksのサポートを追加しました
レポートにコンバージョン率を追加しました
インポート使用インベントリに「ElementPackage」列を追加しました。
1つの直接マッピングを追加しました
4つのヘルパーを追加しました
2つの回避策を追加しました
詳細レポートのビジュアルを若干改善しました
改善
名前変更からダイレクトへのマッピングを1つ改善しました
詳細レポートの課題テーブルの並べ替えを改善しました
バグ
詳細レポートの課題ーブルの列サイズを修正しました
Column.contains関数使用時に EWI コメントを追加する際のエラーを修正しました。
Spark使用インベントリで、6つのマッピングステータスが一致していなかったのを修正しました。
1.0.555¶
2022年12月21日
Python 1.0.457
PythonSnowConvert Core 2.0.259
新機能
3つの新しい回避策を追加しました
詳細レポートの説明に誤差の範囲を追加しました
改善
名前変更からダイレクトへのマッピングを2つ改善しました
詳細レポートの課題テーブルの並べ替えを改善しました
詳細レポートのパーセンテージ表示を改善しました
変換ステージのログメッセージを改善しました
バグ
2つのマッピングを修正しました
サポートされていない要素の識別を修正しました
1.0.515¶
2022年12月14日
Python 1.0.457
PythonSnowConvert Core 2.0.241
新機能
'snowpark_extensions' のサポート
'snowpark_extensions' を使った12回の変換。
2つの回避策を追加しました
テーブル参照データベースに追加された新しいspark参照(ステータスを含む)。
詳細レポートに顧客情報を追加しました
改善
EWI SPRKPY1038 の言い回しの改善
Sparkの参照ステータスを rename から direct に改善しました
バグの修正
マッピングのバグを修正しました
壊れたSpark Coreマッピングテーブルを修正しました
1.0.492¶
2022年12月7日
Python 1.0.455
PythonSnowConvert Core 2.0.233
新機能
レディネススコアに誤差の範囲を追加しました
2つのマッピングを追加しました
認識されなかった PySpark 要素について EWI を追加しました
改善
詳細報告書の付録Aの文言を改善しました
ツールの変換データベースで定義されていない PySpark 要素に対する EWI メッセージが改善されました。
バグの修正
インベントリの「エイリアス」列名を修正しました
1.0.457¶
2022年12月1日
Python 1.0.452
Python SnowConvert Core 2.0.217
新機能
SnowPark API バージョン1.0.0のサポートを追加しました
5つの新しい回避策ドキュメントを追加しました
テレメトリーに実行情報を追加しました
レディネススコアに誤差の範囲を追加しました
改善
コードシンボルの識別精度を向上しました
メッセージログ時の評価ステップを改善しました。
1.0.441¶
2022年11月23日
Python 1.0.449
PythonSnowConvert Core 2.0.210
新機能
PySpark 要素が定義されていない場合の出力コードに、 EWI コメントを追加しました
継承されたシンボルのサポートを追加しました
新たに3つのマッピングを追加しました
1つの回避策を追加しました
改善
すべてのファイルにエラーがある場合のレディネススコアを向上しました
シンボルテーブル読み込み時のエラーメッセージを改善しました
汎用タイプの処理を改善しました
マッピングのステータスが名前変更からダイレクトに変更されました。
1つの変換ステータスが回避策から直接マッピングに変更されました
バグの修正
マークダウン変換の問題を修正しました
PySpark_Mappings_CoreCoreテーブルとツールの間の同期問題を修正しました。
1.0.425¶
2022年11月17日
Python 1.0.445
PythonSnowConvert Core 2.0.203
改善
ロードシンボルテーブルでの堅牢性
バグの修正
Spark使用値の詳細レポートの概要リーテーブルを修正しましたタブ
いくつかの解析エラーを修正しました
ツールと PySpark_Mappings_Core Snowflake DB テーブルの間の EWI コード同期問題を修正しました。
1.0.415¶
2022年11月15日
Python 1.0.441
PythonSnowConvert Core 2.0.199
新機能
シンボルテーブルのロード時にエラーが検出された場合の EWI 記録を追加しました
バグ修正
Jupyterノートブックファイルを変換する際の改行問題を修正しました
1.0.404¶
2022年11月11日
Python 1.0.436
PythonSnowConvert Core 2.0.195
新機能
Jupyterノートブックファイルの変換の基本サポートを追加しました
インポート使用量をインベントリとして追跡する値を追加しました
詳細レポートの改善(サポートカテゴリとPythonインポート呼び出し概要でグループ化されたSpark使用量)
新しいマッピングを追加しました
「SparkSession.Builder.appName」に新しい回避策を追加しました
出力コードにコメントとして新しい EWIs を追加しました
Python以外のファイルを出力ディレクトリにコピーできるようにしました
id式に PySpark の使用識別を追加しました
シンボルテーブルの読み込みに失敗した場合のエラーメッセージを追加しました
改善
インポートマッピングを改善しました
タイプヒントのマッピングを改善しました
名前変更マッピングを直接マッピングに改善しました
バグの修正
解析エラー数
解析エラーのあるファイルの出力ディレクトリ構造
「pyspark.streaming」のフルネームを修正しました
CLI のクラッシュを修正しました
1.0.315¶
2022年10月21日
Python 1.0.422
PythonSnowConvert Core 2.0.152
追加済み
型推論を追加しました
5つの新しいマッピングをサポートしました
改善
詳細レポート
インポートステートメント変換
変換ドキュメント
修正済み
プロジェクト ID ログに関連する EWIs
4つのPyspark要素の変換ステータス
1.0.280¶
2022年10月12日
Python 1.0.417
PythonSnowConvert Core 2.0.135
追加済み
新しい変換
インポートで使用されるサポートされていないPyspark要素の処理
ログメッセージの改善
1.0.271¶
2022年10月5日
Python 1.0.417
PythonSnowConvert Core 2.0.132
追加済み
シンボル識別に対する堅牢性
型解決の向上
修正済み
ライセンスを変更しても、設定ボタンが更新されない
Pythonバージョンリファレンスのドキュメントリンク
1.0.247¶
2022年9月27日
Python 1.0.410
PythonSnowConvert Core 2.0.126
追加済み
Jupypter Notebooksファイル解析時の堅牢性
ジェネリクス使用時のシンボル解決の精度向上
新しい変換
修正済み
レポート内のPythonファイル総数
1.0.220¶
2022年9月15日
Python 1.0.399
PythonSnowConvert Core 2.0.112
追加済み
インポートの新しいサポート
インポート用のインベントリにおけるエイリアス名
修正済み
macOS ファイルのインベントリの誤った行番号
htmlレポートにおける使用テーブル率を識別しました
PySpark リファレンスを全く表示しない適格性ツール
メールテンプレートの連絡先情報の更新
1.0.190¶
2022年9月6日
Python 1.0.392
PythonSnowConvert Core 2.0.100
\
追加済み
「SnowConvert Version」と「Snowpark version」列を SparkUsagesInventory に追加。
PySparkのより多くの関数に対応しました
スピード分析の改善
\ 修正
直接マッピングの更新
1.0.148¶
2022年8月31日
Python 1.0.381
PythonSnowConvert Core 2.0.71
追加済み
10件の新しいマッピングに対応しました
17件の新しい回避策変換を検出しました
Jupyterノートブックファイル内の PySpark 使用の識別のサポート
SparkReferenceInventory.csvにAutomated列とStatus列を追加しました
Snowflakeへの要約および詳細htmlレポートのアップロード
修正済み
要約および詳細レポートの文言修正
メールテンプレートの文言修正
1.0.107¶
2022年8月24日
Python 1.0.380
PythonSnowConvert Core 2.0.30
追加済み
30件の新しいマッピングに対応
pyspark.streamingとpyspark.rddパッケージの識別
インポートされたシンボルの識別子改善
メールテンプレートの更新
概要レポートへの「バージョン情報」セクションの追加
詳細レポートへの「リソース」セクションの追加
最終画面 UI 変更点
ソート SparkReferenceInventory レポートファイル
修正済み
設定ボタンを削除しました
詳細レポートのロゴ更新
要約評価レポートおよび詳細評価レポートにおけるパーセント値の精度
1.0.66¶
2022年8月17日
Python 1.0.377
PythonSnowConvert Core 1.0.61
追加済み
136件の新しいマッピングに対応
共有スプレッドシートで「修正済み」とリストされたすべての関数のサポートステータスを更新しました
requirements.txtファイルから収集した情報
連結された記号の識別の改善
修正済み
SparkReferenceInventory レポートの行番号
1.0.30¶
2022年8月9日
Python 1.0.373
PythonSnowConvert Core 1.0.29
追加済み
すべてのインポート使用量を収集
PySpark の使用(モジュールなしインポート、スター付きインポート)の識別を改善。
より多くの DataFrame 関数をサポート
修正済み
ログ解析エラー
0.1.172¶
2022年7月20日
Python 0.1.172
追加済み
コマンドラインインターフェイス。
Pythonコード適格性ツール機能。