2025年の Snowpark Connect for Spark リリースノート¶

新機能¶

• Support any type as output or input type in the Scala map and flatmap functions.

• Support joinWith.

• Support any return type in Scala UDFs.

• Support registerJavaFunction.

バグ修正¶

• Fix JSON schema inference issue for JSON reads from Scala.

• Change return types of functions returning incorrect integral types.

• Fix update fields bug with struct type.

• Fix unbounded input decoder.

• Fix struct function when the argument is unresolved_star.

• Fix column name for Scala UDFs when the proto contains no function name.

• Add support for PATTERN in Parquet format.

• Handle error and errorIfExists write modes.

改善¶

なし。

新機能¶

• Bump snowflake-connector-python to <4.2.0.

• Add basic support for single-column map and flatMap operations on Scala datasets.

• Iceberg writing support TargetFileSize and PartitionBy.

バグ修正¶

• Make SAS server initialization synchronous.

• Use snowpark-connect-deps-1==3.56.3.

• Fix saveAsTable with input_filename columns.

• Remove duplicated reading of the cache in Scala UDFs.

• Increase recursion limit.

• Fix format_number.

• Fix infer schema when query is provided in JDBC read.

• Only lock dict operation in cache.py to improve performance.

• Fix grouped data tests.

• Throw more detailed errors on table and read/write operations.

改善¶

なし。

新機能¶

• Introduce reduce function for Scala.

改善¶

なし。

バグ修正¶

• Fix failing array insert for nullable elements.

• Throw correct error on non-numeric args in covariance.

新機能¶

• Support filter on a simple (single column) Dataset.

• Support Azure scheme URL parsing and special character file name.

バグ修正¶

• Fix "Dataframe has no attribute dataframe" error in Scala catalog API.

• Fix aliases in subquery, document not working subqueries.

• Fix plan_id resolution after joins.

• Fix meta.yaml for multi-py versions.

• Enable use_vectorized_scanner as map type from parquet file was error.

• CSV reading inferSchema option specify datatype.

• Fix substr function handling of negative length.

• Use cached file formats in read_parquet.

• Improve local relation performance.

• Generate summary _common_metadata for parquet files.

• Remove repetitive setSchema, setRole, etc, for Snowflake pushdown.

改善¶

なし。

新機能¶

• Relax version requirements for grpcio and aiobotocore.

改善¶

• Specify dependencies version in meta.yaml.

• Build compiled and architecture-specific conda package.

• Ensure all CloudPickleSerializer.loads are not done in TCM.

• Include OSS SQL tests that start with the WITH clause.

• Do not upload Spark jars when running the server for pyt.

• Update internal queries count.

バグ修正¶

• Fix tests for tcm.

• Fix CSV column name discrepancy from Spark.

• Use type cache for empty frames.

• Resolve Windows OSS runner general issues.

改善¶

• Generate unique workload names.

Bug Fixes¶

• Fix staged file reading.

新機能¶

• ビュー作成戦略用のパラメーターを追加。

• サポート文字列 <-> 年の月間隔。

• SQL Sparkで複数のピボット列とピボット値のエイリアスをサポート。

• OpenTelemetry スパンとトレースを統合。

改善¶

なし。

バグ修正¶

• 削除コマンドの後続スラッシュを追加。

• 集計関数およびnilary関数で無効な GROUP BY の問題。

• ノートブックが gRPC メッセージの最大サイズ。

• 名前を照合して仮のビューを作成する問題を修正。

• null 引数を持つ array_size。

• get_json_object 関数での :code:`$.0`JSON 配列アクセスを修正。

• 自己 ANTI および SEMILEFT 結合を修正。

• SQL 関数範囲でさまざまな型を処理。

• 仮ビューの説明を修正。

新機能¶

• CSV 読み込みに rowToInferSchema を追加。

• CTESQL コマンドで INSERTINTO をサポート。

• I/Oが変更され、add _SUCCESS ファイル生成とメタデータファイルフィルタリングを追加。

• update(submit): Support installing Snowpark Connect for Spark in the Snowpark Submit client container.

改善¶

なし。

バグ修正¶

• FIx _SUCCESS パスの更新。

• 削除失敗の更新時にエラーをスロー。

• 整数型入力をサポートするシーケンス関数。

• 空の CreateTempViewUsing の型を修正。

• 書き込み時のParquetファイルの再パーティション化を修正。

• ORDERBY 句内のエイリアスを正しく解決。

• スコープの一時セッションパラメーターを削除。

• 結合条件による複数の自己結合を修正。

• ピボットにおける列名の解決を修正。

• セッションタイムゾーンを認識する SQL パーサー。

• 他の型との型の強制。

• ネストされた CTEs を持つ問題を修正。

• Sparkにおける修飾名の解決を改善しました。

新機能¶

• SQLs マージのためにGitアクションからの出力に対して実行するスクリプトを追加。

• ノートブックテスト実行者への --rebuild-whl パラメーターを追加。

• 結合後に両方の修飾子のサポートを追加。

改善¶

なし。

バグ修正¶

• SQL LIKE コマンドでのエスケープパラメーターのサポート。

• パーティションの上書きバグ。

• INSERT で列数を検証。

• powと NAN との非互換性。

• 条件付きクロス JOIN。

• ネストされたクエリの列帰属ロジック。

• 間隔テストのエラーメッセージを更新。

• 集合演算 UNION および EXCEPT での文字列型の強制変換では、NUMERIC、DATE、DATETIME を STRING に強制変換。

• 完全な外部自己 JOIN の後に、Snowparkの列を正しく解決。

• 集計関数の式はゼロ改善である可能性があります。

• 更新:「[SCOSGABUG] 内の文字列型強制」を元に戻す

• DataFrame 10進数型の列の結合が必要に応じて拡大されるようになりました。

• 集合演算 UNION および EXCEPTでの文字列型の強制変換では、NUMERIC、DATE、DATETIME を STRING に矯正変換します（パート1）

• TCM にオブジェクトが存在しない問題。

• x の文字数と数字数が奇数である to_binary(x, 'hex') を修正します。

• 空のテーブルとの結合を修正します。

• 同じ名前の集約エイリアスよりもグループ化を優先する HAVING 句を修正します。

新機能¶

• RepairTable をサポートします。

• jdk4py を Snowpark Connect for Spark のオプションの依存関係にして、エンドユーザー向けのJavaホームの設定を簡単にします。

• サポートするインターバルタイプのケースを増やします。

改善¶

なし。

バグ修正¶

• 修飾子をリファクタリングすることで、 Join の問題を修正します。

• percentile_cont を修正し、フィルターとソート順の式を使えるようにします。

• histogram_numeric UDAF を修正します。

• 複数の引数で呼び出された場合の COUNT 関数を修正します。

新機能¶

• GROUP BY 句が明示的に選択されている場合の、その句での式のサポートを追加します。

• トラブルシューティングの改善のため、エラーメッセージにエラーコードを追加します。

改善¶

なし。

バグ修正¶

• ウィンドウ関数でキャストがサポートされていなかった問題を修正します。