2025年の Snowpark Connect for Spark リリースノート¶

新機能¶

• Add support for Spark integral types.

• Scala 2.13のサポートを追加します。

• snowpark.connect.handleIntegralOverflow 構成の背後に整数型オーバーフローのサポートを導入します。

• UDFs でカスタム JAR ファイルを使用するための構成を追加します。

• UDFPacket に入力型のメタデータがない場合のScala UDFs をサポートします。

• reduce 関数で入力型および出力型のケースクラスとして許可します。

バグ修正¶

• Parquet論理型（ TIMESTAMP 、 DATE 、 DECIMAL ）処理を修正します。以前は、Parquetファイルは物理型のみを使用して読み取られていました（例えばタイムスタンプの LongType ）。論理型は、 TimestampType 、 DateType および DecimalType のような適切な型を返すことで解釈できるようになりました。Spark構成 snowpark.connect.parquet.useLogicalType を true に設定することで、これを有効化できます。

• Sparkの Row を Variant に変換する時に出力スキーマを使用します。

• 空の JAVA_HOME を処理します。

• MapType の from_json 関数を修正します。

• NTZ タイムゾーンの構成 spark.sql.parquet.outputTimestampType をサポートします。

改善¶

なし。

New Features¶

• Scala 2.13のサポートを追加します。

• Add support for --files argument.

Bug Fixes¶

• pysparkワークロードの --jars のサポートを追加します。

• Snowpark Submit JWT 認証のバグを修正します。

新機能¶

• Scala map および flatmap 関数で、任意の型を出力または入力型としてサポート。

• Support joinWith.

• Scala UDFs 内のすべての戻り値の型をサポート。

• Support registerJavaFunction.

バグ修正¶

• Scalaからの JSON 読み込みに関する JSON スキーマ推論問題を修正。

• 誤った整数型を返す関数の戻り型を変更。

• struct 型による更新フィールドのバグを修正。

• バインドされていない入力デコーダーを修正。

• 引数が unresolved_star の場合の struct 関数を修正。

• プロトに関数名が含まれていない場合のScala UDFs の列名を修正。

• Parquet形式の PATTERN のサポートを追加。

• error および errorIfExists 書き込みモードを処理。

改善¶

なし。

新機能¶

• snowflake-connector-pythonを<4.2.0に更新。

• Scalaデータセットでの単一列マップおよび flatMap 操作の基本サポートを追加。

• Icebergは TargetFileSize および PartitionBy の書き込みをサポート。

バグ修正¶

• SAS サーバーの初期化を同期。

• snowpark-connect-deps-1==3.56.3 を使用します。

• input_filename 列で saveAsTable を修正。

• Scala UDFs でのキャッシュの重複読み取りを削除。

• 再帰制限を増加。

• Fix format_number.

• JDBC を読み取りでクエリが 提供された場合の推論スキーマを修正。

• パフォーマンスを向上させるために、 cache.py ではdict操作のみをロックします。

• グループ化されたデータテストを修正。

• テーブルおよび読み取り/書き込み操作で、より詳細なエラーをスローします。

改善¶

なし。

新機能¶

• Scala用縮小関数を導入しました。

改善¶

なし。

バグ修正¶

• null許容要素の配列挿入の失敗を修正しました。

• 共分散の非数値引数で正しいエラーをスローします。

新機能¶

• 単純な（単一列） Dataset で filter をサポートします。

• Azureスキーム URL 解析と特殊文字ファイル名をサポートします。

バグ修正¶

• Scalaカタログ API の「データフレームに属性データフレームがありません」というエラーを修正しました。

• サブクエリのエイリアスを修正し、サブクエリが動作しないことをドキュメント化します。

• 結合後の plan_id 解決を修正します。

• マルチpyバージョンの meta.yaml を修正します。

• Parquetファイルからのマップタイプとして use_vectorized_scanner を有効にするとエラーが発生します。

• CSV 読み取り inferSchema オプションでデータ型を指定します。

• 負の長さの substr 関数の処理を修正しました。

• read_parquet でキャッシュされたファイル形式を使用します。

• ローカル関係のパフォーマンスを改善します。

• Parquetファイルの要約 _common_metadataを生成します。

• Snowflakeプッシュダウンの反復の setSchema、 setRole などを削除します。

改善¶

なし。

新機能¶

• grpcioとaiobotocoreのバージョン要件を緩和します。

改善¶

• meta.yaml で依存関係のバージョンを指定します。

• コンパイル済みおよびアーキテクチャ固有のcondaパッケージをビルドします。

• すべての CloudPickleSerializer.loads が TCM で実行されていないことを確認します。

• WITH 句で始まる OSSSQL テストを含めます。

• pytのサーバーを実行する場合、Spark jarをアップロードしないでください。

• 内部クエリ数を更新します。

バグ修正¶

• tcmのテストを修正します。

• Sparkからの CSV 列名の不一致を修正しました。

• 空のフレームには型キャッシュを使用します。

• Windosw OSS ランナーの一般的な問題を解決します。

改善¶

• 一意のワークロード名を生成します。

Bug Fixes¶

• ステージングされたファイルの読み取りを修正します。

新機能¶

• ビュー作成戦略用のパラメーターを追加。

• サポート文字列 <-> 年の月間隔。

• SQL Sparkで複数のピボット列とピボット値のエイリアスをサポート。

• OpenTelemetry スパンとトレースを統合。

改善¶

なし。

バグ修正¶

• 削除コマンドの後続スラッシュを追加。

• 集計関数およびnilary関数で無効な GROUP BY の問題。

• ノートブックが gRPC メッセージの最大サイズ。

• 名前を照合して仮のビューを作成する問題を修正。

• null 引数を持つ array_size。

• get_json_object 関数での :code:`$.0`JSON 配列アクセスを修正。

• 自己 ANTI および SEMILEFT 結合を修正。

• SQL 関数範囲でさまざまな型を処理。

• 仮ビューの説明を修正。

新機能¶

• CSV 読み込みに rowToInferSchema を追加。

• CTESQL コマンドで INSERTINTO をサポート。

• I/Oが変更され、add _SUCCESS ファイル生成とメタデータファイルフィルタリングを追加。

• update(submit): Support installing Snowpark Connect for Spark in the Snowpark Submit client container.

改善¶

なし。

バグ修正¶

• FIx _SUCCESS パスの更新。

• 削除失敗の更新時にエラーをスロー。

• 整数型入力をサポートするシーケンス関数。

• 空の CreateTempViewUsing の型を修正。

• 書き込み時のParquetファイルの再パーティション化を修正。

• ORDERBY 句内のエイリアスを正しく解決。

• スコープの一時セッションパラメーターを削除。

• 結合条件による複数の自己結合を修正。

• ピボットにおける列名の解決を修正。

• セッションタイムゾーンを認識する SQL パーサー。

• 他の型との型の強制。

• ネストされた CTEs を持つ問題を修正。

• Sparkにおける修飾名の解決を改善しました。

新機能¶

• SQLs マージのためにGitアクションからの出力に対して実行するスクリプトを追加。

• ノートブックテスト実行者への --rebuild-whl パラメーターを追加。

• 結合後に両方の修飾子のサポートを追加。

改善¶

なし。

バグ修正¶

• SQL LIKE コマンドでのエスケープパラメーターのサポート。

• パーティションの上書きバグ。

• INSERT で列数を検証。

• powと NAN との非互換性。

• 条件付きクロス JOIN。

• ネストされたクエリの列帰属ロジック。

• 間隔テストのエラーメッセージを更新。

• 集合演算 UNION および EXCEPT での文字列型の強制変換では、NUMERIC、DATE、DATETIME を STRING に強制変換。

• 完全な外部自己 JOIN の後に、Snowparkの列を正しく解決。

• 集計関数の式はゼロ改善である可能性があります。

• 更新:「[SCOSGABUG] 内の文字列型強制」を元に戻す

• DataFrame 10進数型の列の結合が必要に応じて拡大されるようになりました。

• 集合演算 UNION および EXCEPTでの文字列型の強制変換では、NUMERIC、DATE、DATETIME を STRING に矯正変換します（パート1）

• TCM にオブジェクトが存在しない問題。

• x の文字数と数字数が奇数である to_binary(x, 'hex') を修正します。

• 空のテーブルとの結合を修正します。

• 同じ名前の集約エイリアスよりもグループ化を優先する HAVING 句を修正します。

新機能¶

• RepairTable をサポートします。

• jdk4py を Snowpark Connect for Spark のオプションの依存関係にして、エンドユーザー向けのJavaホームの設定を簡単にします。

• サポートするインターバルタイプのケースを増やします。

改善¶

なし。

バグ修正¶

• 修飾子をリファクタリングすることで、 Join の問題を修正します。

• percentile_cont を修正し、フィルターとソート順の式を使えるようにします。

• histogram_numeric UDAF を修正します。

• 複数の引数で呼び出された場合の COUNT 関数を修正します。

新機能¶

• GROUP BY 句が明示的に選択されている場合の、その句での式のサポートを追加します。

• トラブルシューティングの改善のため、エラーメッセージにエラーコードを追加します。

改善¶

なし。

バグ修正¶

• ウィンドウ関数でキャストがサポートされていなかった問題を修正します。