Snowpark Migration Accelerator: SC Spark Scalaリリースノート¶

2.14.0¶

2023-10-24 \ \ 追加\ \ ファイル名に縮約形 ID を追加してログで使用。

変更済み

TrialMode の出力フォルダー階層をリファクタリング。

スコアが90点以上になった場合、評価モードでローカルにレポートを作成。

Snowflakeユーザーの場合、評価モードでローカルにレポートを生成。

インベントリを.csvファイルで作成。

インベントリをReportsフォルダーに移動。

2.13.0¶

2023-10-19\

追加\

• より多くのログメッセージを有効にするフラグを追加。

• 変換の実行を無効にするフラグを追加。

• Scalaシンボルテーブルの解決にタイムアウト機構を追加。

• Scalaの解析フェーズにタイムアウトメカニズムを追加。

• Scalaの解析フェーズにプログレスログメッセージを追加。

変更\

• レポート（HTML およびdocx）の調整: 準備度スコアの名称変更、付録およびインポート呼び出しテーブルの更新。

• AssessmentMode を8.1.6から9.0.4へバンプ

• Common.AssessmentModel を3.1.12から3.1.14へバンプ

• 競合状態を回避するためのロックを追加

修正\

• 評価モードと変換モードの間で、 SparkReferences の数に一貫性がない問題を修正。

• .sqlファイルがサポートされているファイルとして認識されない問題を修正。

• AtomElement と BracedSlices の間にバックスラッシュがある場合の解析エラーを修正。

• 大量のネストされた式を含むコードの解析に多くの時間がかかっていた問題を修正。

2.12.0¶

2023-10-13

追加済み

• トライアルモードのサポートを追加。

変更済み

• Snowflake.SnowConvert.Python を1.1.79から1.1.80へバンプ

• いくつかのシナリオでスタックオーバーフローを回避するため、 ResolveType のバリアントを追加。

修正済み

• FullName を解決するとスタックオーバーフローが発生するシナリオを修正。

2.11.0¶

追加済み

• PythonでSnowpark API バージョン1.7.0のサポートを追加。

• PythonでSnowpark API バージョン1.6.1のサポートを追加。

• 新しい回避策を追加

• 新たに4つのマッピングを追加

変更済み

• Scala統合テストの検証を更新。

• Scala統合テストの時間を短縮。

• 内部コードの残りのアセンブリ名リファレンスを更新。

• 会社のガイドラインに合わせてソースファイルのヘッダーを更新。

修正済み

• SessionId と ExecutionId をインベントリとレポートに追加することで、同じ ExecutionId で複数の実行を修正。

• ストレージ.lckファイルを使用した CopyOtherFiles タスクの失敗を修正。

• 一部の値がNULLの場合に.HTML レポートが生成される問題を修正。

2.09.0¶

2023-10-03

追加済み

• FilesInventory.pam を追加

• 新たに4つのマッピングを追加

変更済み

• アセンブリ名を変更。

• Snowflake.SnowConvert.Python を1.1.70から1.1.79へバンプ

• 解析エラーを解決するために、3つの異なるルールにバックスラッシュを追加。

• 新しいSpark参照シンボルを追加。

• 2つの新しい解決をサポート。

• .sql DBX Notebooksで空のコマンドをサポート。

• StopIfDedent 関数の堅牢性を改善。

修正済み

• パラメーターとコンマを含むバックスラッシュシナリオの解析エラーを修正。

• 括弧間の式のシンボル解決に関する問題を修正。

• .sql DBX ノートブックの空のコマンドの解析エラーを修正。

• 空の角括弧記号の解決問題を修正。

• SQL ステートメントインベントリを収集する際のRegexタイムアウトエラーを修正。

• 混合インデントに関する解析エラーを修正。

• 解析エラーが発見された場合の誤ったクラッシュメッセージを修正。

• 評価モードと変換モードの間で、 SparkReferences の数に一貫性がない問題を修正。

2.8.0¶

2023-09-27

追加済み

• PythonでSnowpark API バージョン1.5.1のサポートを追加。

• Python 3.10.10構文のサポートを追加。

• インベントリに CellId 列を追加（DatabricksとJupyterの両方のノートブックの場合）。

• 4つの新しいマッピングを追加

変更済み

• Mobilize.Python を1.1.64から1.1.70へバンプ

• Python 3.10.10構文のサポートを追加。

• 解析エラーを解決するために、3つの新しいバックスラッシュのシナリオを追加。

• 読み込みエラーを回避するために、いくつかのPandasシンボルに明示的な戻り値のタイプを追加。

修正済み

• 角括弧、コロン、パラメーターのシナリオにバックスラッシュが含まれる場合の解析エラーを修正。

• Pandasシンボルの読み込みエラーを修正。

2.7.0¶

2023-09-20\

追加\

• PythonでSnowpark API バージョン1.5.0のサポートを追加。

• 3つのマッピングを追加

変更\

• 隠しファイルの処理を回避

• `Mobilize.SparkCommon.Utils` を1.3.188から1.3.189へバンプ

• `Mobilize.Common.Utils` を3.2.0から3.2.2へバンプ

修正\

• PackageVersionInventory コレクションフェーズが進まなくなる問題を修正。

• DBC ファイルを使用している場合に、詳細レポートのSpark Usage Summaryテーブルのパーセンテージが正しくない問題を修正。

• 詳細レポートのファイルサイズテーブルが空白または全く表示されない問題を修正。

2.6.0¶

2023-09-12\

追加\

• SQL ステートメントインベントリに、%SQL セル（Notebooksから）のサポートを追加。

変更\

• `Mobilize.Python` を1.1.62から1.1.64へバンプ

• magic sqlのサポートを追加。

• 推論されたタイプが `None` の場合に、関数パラメータータイプの更新を回避。

修正\

• 特定のファイルのシンボルが無限にされるロードされる問題を修正。

• GenericScanner ファイルが生成されない問題を修正。

セキュリティ\

• Python変換テストにおけるテストパスワードのセキュリティ。

2.5.0¶

2023-09-05

追加済み

• Notebooksサイズインベントリを追加。(SCT-3876)

• Snowflake.SparkCommon.MappingLoader プロジェクト（新しいSnowflake.SnowMapGrammar を使用します）。(SCT-4281)

変更済み

• Mobilize.Pythonを1.1.59から1.1.62へバンプ

  • GetSymbol メソッドのPythonシンボル解決時のタイムアウトメカニズムを追加。

• Mobilize.SparkCommon.Utilsを1.3.186から1.3.187へバンプ

  • 隠しファイルを処理する SparkCommon.Utils.FilesHelper.CopyFilesRecursively メソッドを更新。

修正済み

• 実行後にメールが届かない問題を修正（デフォルトでDebugメッセージをログに記録しないようにすることで、ログファイルのサイズを削減）。(SCT-5320)

削除済み

• Mobilize.SparkCommon.TransformationCore プロジェクトを削除（旧Mobilize.MapGrammar を使用）。

2.4.0¶

2023-08-28

追加済み

• NotebookCells インベントリを追加。

• ScalaとPythonの DataFrameReader.optionと DataFrameWriter.optionの引数の値を収集。

• 新しいマッピングを2つ追加し、エイリアスタイプの情報コレクションを改善。

• 追加パラメーターが提供されている場合、出力ファイルを暗号化。

• SQLStatements インベントリを再有効化。

• コレクターの並列化を再有効化。

変更済み

• 詳細レポート（docxおよびhtml）の「ファイルタイプ概要」セクションを更新。(SCT-3867)

• 2つのマッピングを更新

• SparkCommon.Utilsを1.3.181から1.3.186にバンプ。

• CSV ファイルの並べ替えのサポートを改善。

• Mobilize.Common.Utilsを3.1.6から3.2.0へバンプ。

  • CSV ファイルの並べ替えのサポートを改善。

  • Mobilize.Common.Utilsを3.1.6から3.2.0へバンプ。

  • NuGet パッケージバージョンを更新。

• ロードマッピングタスクをリファクタリング。

• SparkCommon Utilsプロジェクトのリファレンスをリファクタリング。

• ソリューションプロジェクトをグループ化。

• Scala統合テスト JupyterTest、 InventoryTests、および TransformationTest をマージ。

修正済み

• Python変換ツールが SQL ステートメントインベントリ項目の収集時にスタックする問題を修正。

• 出力の GenericScanner ファイルの欠落を修正。

• 移行した DBC ファイルがDatabricksでロードされない問題を修正。

• ツールプロセス終了時のエラーを修正。

削除済み

• InventoryStorageTemp を削除。

• 冗長な StyleCop.Analyzersプロジェクトのリファレンスを削除。

2.2.001¶

2023-07-19

追加済み

• 6つの新しいマッピングの追加

変更済み

• 評価モデルの3.1.10から3.1.11への更新

修正済み

• 評価モードでDatabricks処理が機能しない問題を修正。

セキュリティ

• HTML リンクにサブリソースの整合性を追加しました。

2.1.161¶

2023-07-06

修正済み

• Scala Sparkの機能テストの修正と有効化

2.1.160¶

2023-07-05

変更済み

• 評価モデルの3.1.9から3.1.10への更新

2.1.159¶

2023-07-05

変更済み

• 評価モデルの3.1.7から3.1.9への更新

2.1.158¶

2023-07-05

追加済み

• タスクにおける例外処理の改善によるツールの安定性の向上

2.1.157¶

2023-07-05

\ 変更

• Spark Commonの1.3.178から1.3.181への更新

2.1.155¶

2023-07-05

変更済み

• 共通ビルドの2.0.2から3.0.4への更新

• MacOs でのソリューション構築の改善

2.1.148¶

2023-07-04

変更済み

• Spark Commonの1.3.177から1.3.178への更新

• Common Utilsの4.0.0-alpha.DevOps.9から3.1.6への更新

2.1.147¶

2023-07-03

セキュリティ

• `Spark Common` プロジェクトの非ライセンスパッケージの参照を削除。

2.1.146¶

2023-07-03

変更済み

• `coverlet.collector` を3.2.0から6.0.0へバンプ

• `FluentAssertions` を6.9.0から6.11.0へバンプ

• `Scriban.Signed` を5.5.2から5.7.0へバンプ

• `DocumentFormat.OpenXml` を2.19.0から2.20.0へバンプ

\ セキュリティ

• `SparkCommon` プロジェクトの非ライセンスパッケージの参照を削除。

2.1.145¶

2023-06-28

変更済み

• `Mobilize.Python` の1.1.49から1.1.50への更新

• Databricks notebookで単一セルが解析されない場合にファイル全体が解析される問題を修正

2.1.144¶

2023-06-27

修正済み

• MacOS での.dbcファイルの抽出を修正。

2.1.143¶

2023-06-26

修正済み

• 異なるデータ形式によるテストのエラーを修正。

2.1.142¶

2023-06-26

変更済み

• インベントリストレージをリファクタリング。

2.1.141¶

2023-06-23

変更済み

• `Mobilize.Python` の1.1.46から1.1.49への更新

• シンボル解決中の再帰サイクルの検出と停止

• \_\_init\_\_.pyファイルを含む StackOverflow 例外を修正

• PyArgExpr ノードのバックスラッシュを修正

2.1.140¶

2023-06-22

変更済み

• `Mobilize.Python` の1.1.44から1.1.46への更新

• PyTerm ノードのバックスラッシュを修正

2.1.138¶

2023-06-22

変更済み

• Spark Commonの1.3.176から1.3.177への更新

修正済み

• Scalaコードプロセッサのビルドを修正。

2.1.137¶

2023-06-22

セキュリティ

• 機能テストにおけるセキュリティ認証情報。

• 非ライセンスパッケージの参照を削除。

2.1.136¶

2023-06-21

変更済み

• `Snowflake.Data` の2.0.15から2.0.25への更新

• Spark Commonの1.3.175から1.3.176への更新

セキュリティ

機能テストの参照の更新

2.1.135¶

2023-06-21

追加済み

• PythonとScalaのコードプロセッサーツールでサポートされている拡張子.dbcを追加。

• Contractsプロジェクトのテストを追加。

セキュリティ

• `SparkCommon.Contracts.Test` での非ライセンスパッケージの参照を削除。

2.1.132¶

2023-06-21

削除済み

• 評価モードで、 IOFiles インベントリから `サポートされている` 列を削除。

2.1.131¶

2023-06-20

修正済み

• Macでのテストを修正。

2.1.130¶

2023-06-19

変更済み

• このリポジトリと SparkCommon リポジトリをマージ。

2.1.126¶

2023-06-16

修正済み

• リポジトリのビルドを修正。

2.1.124¶

2023-06-15

修正済み

• リポジトリのビルドを修正。

2.1.123¶

2023-06-15

変更済み

• `Mobilize.Scala` を0.2.34から0.2.37へ更新

• アンダースコアと制限を含むジェネリックタイプの解析エラーを修正。

• 引用符と補間を含む式の解析エラーを修正。

セキュリティ

• 安全でないパッケージ参照の削除。

2.1.121¶

2023-06-15

セキュリティ

• 認証情報ファイルを削除。

2.1.120¶

2023-06-15

変更済み

• ScalaとPythonのバージョン構成のマイナーな変更。

1.0.306¶

2023年2月14日

Scala 0.2.13

SparkSnowConvert Core 1.1.27

\

新機能

• Jupyterノートブック（.ipynb）処理

• 依存関係をプロジェクト設定ファイルに追加できなかった場合の EWI 生成

改善

• ラムダスコープの開始と終了

\ バグ修正

• バグ680497: 関数の完全修飾名への変換処理が正しく動作していない

• バグ681704: 最終レポートを生成できない

\

1.0.273¶

2023年2月2日

Scala 0.2.4

SparkSnowConvert Core 1.1.8.0

\ ホットフィックス

• API エンドポイントの更新

1.0.263¶

2023年1月31日

Scala 0.2.4

SparkSnowConvert Core 1.1.8.0

\ 追加

• .NET Core 6アップグレード

• インポートインベントリに ElementPackage 列を追加

• 評価レポートにサイズテーブルを追加

• BDS で同期されたレポートにコンバージョン率を追加

• issues.csvファイルを出力に追加

• SummaryReport.htmlおよび DetailedReport.html（ミラーdocx html）をレポートフォルダーにローカルに生成

• ConversionStatus キーワードを GenericScanner に追加

• フルネーム変換をサポート

改善

• org.apache.spark.mllibマッピングをコア参照テーブルに追加

• [UI] 実行をキャンセルする際の表現を修正

• [UI] UI フェーズタイトルを変更

• EWI コードによるグループ化問題

• 実行情報テーブルの TOOL_VERSION 列値形式を更新

• 課題概要テーブルが大きくなりすぎないよう簡素化

バグの修正

• バックスラッシュの問題を解決

• BreakLine の問題を解決

• ラムダブロックに関する特殊なケースを解決

• AssessmentReport.html生成を削除（ローカルhtmlレポート）

1.0.191¶

2022年12月27日

Scala 0.1.493

SparkSnowConvert Core 1.0.117.0

追加済み

• クラウドテレメトリーへのパッケージインベントリのアップロード

改善

• 詳細レポート

  • 軽微なビジュアル改善

  • 問題テーブルの並べ替え:

    • インスタンス

    • コード

    • 説明

1.0.166¶

2022年12月21日

Scala 0.1.492

SparkSnowConvert Core 1.0.105.0

追加済み

• 詳細レポートに誤差の範囲の説明を追加

改善

• 詳細レポートの課題テーブルの並べ替えを改善しました

• 詳細レポートのパーセンテージ表示を改善

バグの修正

• <#> 文字に問題がある

• Composeはキーワードとして認識されない

• 「join」引数に対してパーサーが動作していない

• Scalaコードプロセッサーが重大なエラーをスロー

1.0.132¶

2022年12月13日

Scala 0.1.487

SparkSnowConvert Core 1.0.88

改善

• 詳細評価レポートに顧客情報を追加

• 変換ログメッセージ

バグ修正

• (a, b) =>val cのような式の問題

• compose がキーワードとして認識されない

1.0.107¶

2022年12月7日

Scala 0.1.484

SparkSnowConvert Core 1.0.77

追加済み

• Snowparkマッピングを1.6.2バージョンに更新

• 括弧のない関数コレクションの評価改善

• Mavenプロジェクト（pom.xml）ファイルの処理

• SparkUsagesInventory.pamと ImportUsagesInventory.pamの ClassName 列名を「alias」に変更

• レディネススコアに誤差の範囲を追加しました

修正済み

• SnowparkのPythonとScalaのバージョン更新を公開

• 関数名の後に改行する問題

1.0.59¶

2022年11月29日

Scala 0.1.478

SparkSnowConvert Core 1.0.60

追加済み

• 基本的なコンパニオンオブジェクトのサポート

• org.apache.spark.sql.Columnマッピングの更新

• org.apache.spark.sql.Expressionマッピングの更新

• org.apache.spark.sql.functionsマッピングの更新

• プロジェクト設定ファイル（SBT）からの拡張依存関係の参照

• プロジェクト設定ファイル（Gradle）からの拡張依存関係の参照

修正済み

• 「スクリプト」コードはサポートされていません

1.0.17¶

2022年11月23日

Scala 0.1.472

SparkSnowConvert Core 1.0.44

追加済み

• Sparkマッピングの更新

• すべての.pamファイルの「FileId」列の値をトリミング

• ConversionStatus とscala_spark_mappings_core.csvの統一

1.0.1¶

2022年11月17日

Scala 0.1.472

SparkSnowConvert Core 1.0.37

追加済み

• SparkSession、 DataFrameReader、および DataFrameWriter マッピングの更新

• 単項式と二項式の EWI 生成

修正済み

• ライターリプレイサーはcsv、Parquet、json、およびオプションをサポートします

• リーダーリプレイサーは括弧のない関数をサポートしていません

• ライターリプレイサーは括弧のない関数をサポートしていません

• 現在、 InsertInto の変換は有効なコードではありません。

• ライターリプレイサーには含まれていない関数があります。

0.1.873¶

2022年11月11日

Scala 0.1.468

SparkSnowConvert Core 1.0.23

追加:

• 括弧のない関数呼び出しのシンボル解決

• リプレイサーにおけるスコープの開始/終了時の例外処理

• サポートされていないインポート（複雑なケース）の EWI 生成

• 定義されていないインポートの EWI 生成

• SparkSession 変換の改善

• DataFrame リーダー/ライター変換の改善

• 詳細レポートに「サポートカテゴリ別Spark使用状況」、「Scalaインポート呼び出し概要」セクションを追加しました

• RDD マッピングの更新

修正:

• スタックオーバーフロー、出力ファイルが生成されなかった

• Sparkセッションリプレイサー変換での括弧なしの式

0.1.770¶

2022年10月21日

Scala 0.1.458

SparkSnowConvert Core 0.1.530

追加:

• ヘルパー/拡張の.jarを最新バージョンに更新しました

• 評価の.docxレポートテンプレートを更新しました

• インポート使用インベントリの生成

• サポートされていないインポートの EWIs 生成（単純なケース）

修正:

• SymblTable における非決定性の問題

• Spark使用インベントリファイルのソート時のエラー

• SclSingleExprPath にnullメンバーを含むことはできない

• コレクションが変更されたため、列挙操作が実行されない可能性がある

• 複数行の終了行が連続している場合に解析が終了しない

• 式の問題

• エラー FileNotGenerated

0.1.705¶

2022年10月4日

Scala 0.1.442

SparkSnowConvert Core 0.1.499

修正:

• ライセンス変更時に設定ボタンが更新されない。

0.1.702¶

2022年9月28日

Scala 0.1.442

SparkSnowConvert Core 0.1.498

追加:

• シンボルテーブルのビルトイン読み込みの改善

• シンボルテーブルローダーへの堅牢性の追加

修正:

• AssessmentReport のScalaファイルの合計エラー

• アスタリスクを使用したジェネリック関数のシンボル解決

• コメント内のコメントとidプレフィックス、および補間解析エラー

• 識別子の後のカンマの解析エラー

• 最初のステートメントが2番目のステートメントのパターンを取っている場合の式の解析エラー

• 「and」、「::」、「++」、および「or」演算子の解析エラー

0.1.687¶

2022年9月20日

Scala 0.1.430

SparkSnowConvert Core 0.1.491.0

追加済み

• シンボルのロード/解決 - アスタリスクパラメータを持つジェネリックメソッドのサポートを追加 。

• シンボルのロード/解決 - 型定義に型推論を追加。

• シンボルのロード/解決の一般的な改善

修正済み

Sparkの参照がない場合、インポートの使用が保存されないことに関する問題。

0.1.677¶

2022年9月15日

Scala 0.1.427

SparkSnowConvert Core 0.1.486.0

追加済み

• 変換モードでクラウドテレメトリーとメール送信の仕組みが利用可能になりました

• メールテンプレートの連絡先情報の更新

0.1.653¶

2022年9月6日

Scala 0.1.426

SparkSnowConvert Core 0.1.476.0

追加済み

• 「SnowConvert Version」と「Snowpark version」列を SparkUsagesInventory に追加。

• スピード分析の改善

0.1.624¶

2022年8月31日

Scala 0.1.422

SparkSnowConvert Core 0.1.454.0

追加済み

• SparkReferenceInventory.csvにAutomated列とStatus列を追加しました

• Snowflakeへの要約および詳細htmlレポートのアップロード

• マッピングの更新

修正:

• 要約および詳細レポートの文言修正

• メールテンプレートの文言の修正。

0.1.579¶

2022年8月23日

Scala 0.1.421 Spark

SnowConvert Core 0.1.414

追加済み

• メールテンプレートの更新

• 概要レポートへの「バージョン情報」セクションの追加

• 詳細レポートへの「リソース」セクションの追加

• 最終画面 UI 変更点

修正済み

• sparkUsagesInventory.pamにないSpark関数を報告

• 詳細レポートのロゴ更新

• 要約評価レポートおよび詳細評価レポートにおけるパーセント値の精度

0.1.595¶

2022年8月17日

Scala 0.1.421

SparkSnowConvert Core 0.1.396

追加済み

• Sparkの読み取りと書き込み変換の改善

• Spark使用インベントリへのセッションID列

0.1.479¶

2022年6月30日

Scala 0.1.411

SparkSnowConvert Core 0.1.279

追加済み

• Sparkの読み取りと書き込み変換

• Sparkのtrim、rtrim、ltrim関数の変換

• 文字列補間の解析

• SQL抽出マッチパターンの増加

0.1.447¶

2022年6月14日

Scala 0.1.402

SparkSnowConvert Core 0.1.274

追加済み

• ファイル演算の堅牢性

• 出力フォルダーの再編成

• SparkSession ビルダー変換

• 評価レポートへの「埋め込みSQLを含むScalaファイル」カウントの追加

修正済み

• シンボルテーブルの循環依存関係の問題

• 空のcase句の解析

• ラムダブロックの解析に関する複数のステートメント

• Case句のパターン解析

0.1.380¶

2022年6月1日

Scala 0.1.391

SparkSnowConvert Core 0.1.229

追加済み

• 解析の堅牢性

• .sbt構成ファイルの処理

• 評価htmlレポートに追加された内訳セクションの問題

• 評価htmlレポートのルック＆フィールの改善

• RapidScanner インベントリを使用したSpark使用量評価の計算

• macOS CLI & UI サポート

• importステートメントのマッピングの改善

0.1.7¶

2022年5月17日

Scala 0.1.380

追加済み

• Scalaパーサー

  • 二重感嘆符のサポート

• 変換ツール

  • SQL抽出

  • object_struct関数変換

  • avg関数変換

  • Snowpark拡張機能.jarの更新

  • コード行数レポート

  • マッピングをインポート

  • Docxおよびhtmlの評価レポート

  • RapidScan 統合

  • Linux OS サポート

修正済み

• バイナリ式の特殊なケースの解析

0.1.3¶

2022年3月18日

Scala 0.1.358

追加済み

• Scalaパーサー

  • 式の解析時にアンダースコアの後に続く改行をサポート

  • 解析エラー処理を改善

• 記号

  • 未解決シンボルのサポートを向上

  • 既存のシンボルを再利用する汎用シンボルの作成を改善

  • ラムダ式のロードと解決をサポート

• マッピング:

  • .mapファイルによる関数やタイプのカスタムマッピングをサポート

  • カスタムマップディレクトリパラメーターを追加しました

修正済み

• 通知.pamファイルに欠けている列を補完します。

• 指定したレポートフォルダーにメトリクスのデータファイル（.pam）を生成

0.1.2¶

2022年3月4日

Scala 0.1.351

追加済み

• UI とドキュメントのロゴとテキストを更新しました

• 記号

  • 汎用シンボルの型パラメーターにおける汎用識別子をサポート

  • 不要な依存関係の除外

• ScalaParser:

  • バッククォートのインデント

  • ArgAssign 式

修正済み

• ScalaParser:

  • ColonType がインデントの横にある ExprLambda

  • tryがキーワードを参照していない場合のtry式

  • 引数付きの空のラムダ式

  • TypeArgs のアンダースコア（「_」）

  • ソースをすべてコメントアウトしたファイル

  • SimpleExpr、 SingleExpr、 TailExpr ノードでの改行

• ConversionTool:

  • javapの解析エラーによる変換のクラッシュを修正（jar依存関係に関連）

0.1.1¶

2022年2月14日

Scala 0.1.333

機能

• コマンドラインインターフェイス。

• Scalaコード評価機能。

• 複数のファイル、または複数のオブジェクトを持つ単一のファイルを消費します。

• 最初の3回の開発スプリントで相互に合意する関数と構文で定義された基本的なScalaプログラムの変換。

• Scalaコードのコメントはインラインで再挿入されます。

• エラー、警告、レビューがあれば、コメントをインラインで挿入してください。

• 基本的なレポートには次が含まれます:

  • 処理されたSpark要素の数

  • 変換された要素、ファイル、および場所の概要

  • 発生したエラー/警告/レビューの概要。

  • サポートされていないSpark APIs の概要

• 以下に定義されたシナリオが含まれていることを実証済み:

  • API マッピング

  • SnowPark プロジェクトとしてプロジェクトを再作成

    • 適切なプロジェクト構造を設定

    • SnowPark 対応Scalaバージョンへの更新

  • インピーダンスミスマッチを軽減するためのヘルパーの作成

  • 一部のパターン書き換えを定義

  • 自動化できない概念（例: ファイルの使用パターン、データソースの構成、Kafkaのストリーム読み取りのように直接的な対応がないSparkライブラリなど）に関するガイドラインを文書化

• 有効開始日にSnowflakeがMobilizeに提供する最初の2つの顧客コードベース（上記シナリオの基礎コード）の90%以上の変換成功率。

  • Snowflakeのコンパイル可能なオブジェクト数に基づいて測定されます

  • サポートされていない/翻訳できない関数を持つオブジェクトはカウントされません

  • コードの変換率は、すべての依存関係オブジェクトを含む完全なコードベースに基づいています。

  • Snowflakeは、Mobilize開発のために利用可能なすべてのプライベートプレビュー機能へのアクセスを提供します