2026年の Snowpark Connect for Spark リリースノート¶

サーバー起動時に filter_classpath_jars を無効化

UDT 文字列にキャストし、無効な UDT キャストを拒否するをサポート

DataFrame describe および summary APIs を修正

SUPPORTED_SCALES ガードを追加してサポートされていないスケールでワークロードをスキップ

依存関係パッケージにScala 2.13と同等の JARs を追加

Hiveパーティションの実装と制限のリファレンスを追加

未使用の29個の JARs を :code:`snowpark_connect_deps`パッケージ（~23 MB）から削除

サーバーがParquetの暗黙的なキャストをサポートしている場合は、明示的な構造化キャストをスキップ

Snowparkの依存関係を1.50.0に更新

Parquet useLogicalType のデフォルトを true に設定

Spark SQL の動作と一致するように count() を修正

protobufバージョンの制約を <6.32.0 から <6.34.0 に緩和

非構造化型への一貫した強制

pyspark.sql を使用して snowflake.snowpark_connect.includes のインポートを置換

常にベクトル化されたParquetスキャナーを使用。useVectorizedScanner 構成オプションを削除

regexp_extract のデフォルト、インラインフラグ、および PCRE の処理を修正

SQL 演算子の互換性のギャップを修正

Sparkの動作と一致するように IN NULL セマンティクスを修正

XML UDTF で読み取られる名前付き永続外部ステージをサポート

一時的なビューにおいて、また toDF の名前が変更された後も UDT メタデータを保持

カタログテーブルの存在チェックのために SQL パスを使用

マップ列の集計でスター式を許可する

タイムスタンプ/日付と間隔型のシーケンスサポートの実装

CTE セッションパラメーターを追加

列および複雑な型のNull許容性追跡の初期化

複数の式カテゴリにわたる組み込み関数のNull許容性の追跡

Set コマンドでNull許容性を追跡

range にNull許容性を追加

GitHub アクションにパフォーマンス回帰ゲートを導入

ORDER BY/WHERE/GROUP BY 内の CTE 修飾列参照を修正

スタイル結合を使用した後の結合キーに対する withColumn を修正

サブセット列が見つからない場合に fillna が即時発生することを修正

内部ステージの大文字と小文字を区別する読み取りを修正

ウィンドウ関数の境界のマテリアライゼーションの削減

空のコンテンツで構造体/マップ/配列スキーマを保持

CSV および JSON の読み取りで INFER_SCHEMA に対して ON_ERROR=CONTINUE をサポート

16進数のコンパイル時間タイプのディスパッチを修正

read.parquet から saveAsTable への冗長な一時テーブル作成を回避

厳密なモードで StructType/MapType を保持

列解決における大文字と小文字を区別しない修飾子の比較

CBRT 関数にSnowparkの組み込みを使用

XML nullValue と空白の処理を修正

厳密モードで DecimalType に10進数を使用

map_concat のバグを修正

unionByName を修正して、列名で引用符を処理し、大文字と小文字を区別する構成を尊重

JSON テストリソースファイルから後続のコンマを削除

Spark ScalaとJavaワークロードをサポートするためのSnowpark Connect Javaクライアントライブラリ

ARRAY_REPEAT および MAP_ENTRIES のネイティブ実装を使用

map_cast で MAP_ENTRIES を使用

read_parquet での VARIANT 推論に使用されるクエリの数を削減

map_relation のクロスリクエストサブプランキャッシュを追加

JSON エンコードの検証を実装

内部で列の名前を変更する関数のクエリサイズを削減

py4jのバージョン制約を緩和し、より広範な互換性を実現

Sparkセッションによりアーティファクトを分離

セッションのデフォルトアプリケーション名を追加

JSON 日付/時刻形式の変換を追加

CSV/JSON パスでグロブメタ文字のエスケープを処理

Sparkの動作と一致するように JSON Null非許容スキーマを修正

XML のデフォルト列の一致ケースを追加

RECORD_DELIMITER の16進数エンコードにより TEXT lineSep を修正

Spark読み取りxml外部ステージを修正

空の DataFrame を返す空の CSV

regexp_extract にデフォルトIDXを追加

Sparkの動作と一致するように CSV Null非許容スキーマを修正

並列テストにおける一時ステージ名の競合を修正

正規表現関数に高速パスを追加

storeAssignmentPolicy でのスキーマの強制

CSV バックスラッシュのダブルエスケープ

posexplode を最適化

CSV lineSep の空の検証

xmlが外部ステージファイルを読み取れないバグを修正

ユーザーのデフォルトのログ冗長性を低減

DML 行カウントのサポートを追加

DataFrameWriterV2 に対する overwrite(condition) のサポート

書き込みにおける Iceberg mergeSchema - トップレベルの列進化

DataFrameWriterV2 でのパーティション上書きのサポートを追加

app_name パラメーターを init_spark_session に追加

パフォーマンスの問題を修正

JSON のマージスキーマを修正

複雑な型の場合の arrays_zip を修正

暗黙的な集計における LCAs を修正

JSON ファイル形式のキャッシュ結果

typerを使用せずに既知の型を map_unresolved_function から解決

モードへの JSON コピーのHiveパーティション分割をサポート

サーバー初期化での SCOS セッション登録を追加

フィルタリングのための異なる文字列を使用して準備クエリを変更

getItemを介した配列からの構造体フィールドへのアクセスを修正

配列要素にアクセスするための名前を修正

TEXT 形式の欠落していた圧縮を追加

DataFrame.replace、UDTF の作成、および read_parquet でのクエリサイズを縮小

[temp] ビューの作成時に型をエミュレート

構造化された型のキャストを修正

テキスト書き込みタイプの検証を修正

XML の並列ディレクトリ読み取りをサポート

conv 関数の使用を最適化

Snowflakeと net.snowflake.spark.snowflake の両方の形式の読み取りと書き込みをサポート

テーブル作成時の型をエミュレート

配列を使用したネストされた構造体へのアクセスを修正

Parquetエラーメッセージを修正

クエリサイズを縮小するためにto_numberを最適化

クエリデータベースの変更を考慮するように UDF キャッシュを修正

mask 関数を最適化

Parquetスキーマ推論中に PATTERN を NVS フォールバックリーダーに渡す

Nullおよび構造化された型の強制

DIRECTED 結合ヒントを導入

XML inferSchemaを統合

不足している JDBC 型マッピングを追加

Parquetでユーザー提供のスキーマをサポート

JSON 内の無効な UTF-8文字を適切に処理

実際に使用される場合にのみ LCA 列を解決

get_json_objectクエリ生成を最適化

SQL クエリからセミコロンを削除

JSON 読み取りのデフォルトを processInBulk=True にし、NullType スキーマ推論を修正

誤ったステージ読み取りに関するバグを修正

UDF登録にチェックなしを追加

エラーメッセージの制限を強化

ユーザーが提供するスキーマでのフィールドの欠落を許可

JSON および CSV の圧縮推論

coalesce(1) が単一のファイルを作成する問題を修正

Java/Scalaワークロードを起動するための execute_jar メソッドを追加

--wait-for-completion フラグによるエラーの握りつぶしを修正

JSONおよびCSVの圧縮推論。

単一のファイルを作成する:code:`coalesce`の修正。

単一ファイルの読み取りに:code:`COPY INTO`を使用するようにJSONの読み取りをリファクタリングし、:code:`VariantType`のスキーマ推論を追加。

明示的スキーマなしでのJSONのロードを許可。

JSONの:code:`multi_line`を修正。

ファイル全体のスキャンを回避するように、JSONの推論スキーマを修正。

タイムスタンプ:code:`ltz`へのキャストを正しく処理。

ハッシュの戻り値をクランプ。

:code:`partitionBy`を使用する:code:`repartition`の修正。

:file:`config.toml`で:code:`[connections.spark-connect]`セクションヘッダーを使用するように修正。

CSVの読み取り用に、Javaの:code:date/:code:`timestamp`形式のトークンをSnowflakeの同等物に変換。

:code:`pivot`関数のスキーマを計算。

エイリアスされたラテラル結合のUDTFsを修正。

SQL :code:`SET`コマンドの結果を調整。

:code:`CEIL`および:code:`FLOOR`関数の戻り値の型を修正。

unbase64 v2でのクエリ生成を改善。

CSVのSnowflakeマッピングの一部オプションを修正。

:code:`POJO`のシリアル化を修正。

CSVヘッダーのエラーメッセージを改善。

Parquet読み取り用に:code:`try_cast`を使用した:code:`mapType`検出ロジックを改善。

reduceGroups API のサポート。

:code:`init_spark_session`内での接続名の指定に対応。

:code:`unbase64`にUDFを使用するための構成パラメーターを追加。

関数:code:`unbase64`でのSQL生成を最適化。

:code:`from_json`の回帰を修正

複数のBZ2圧縮ブロックの境界にまたがる記録を修正

未解決属性におけるNULL値許容度のマッピングを修正

:code:`spark-connect`という名前の接続だけでなく、任意の接続で:code:`spark-connect`セッションを初期化

XMLオプションの検証を追加

コンパイルエラーを防ぐため、引用符文字と一致する場合はCSV ESCAPEオプションをドロップ

:code:`productEncoder`内の名前付きタプルの誤変換を修正

CSVおよびJSONの:code:`mergeSchema`がサポートされていないことを確認

Parquetの複合型ラウンドトリップ（書き込みと読み取り）を修正

pivot/:code:`unpivot`のスキーマを修正

:code:`MOD`および:code:`PMOD`関数の戻り値の型を修正

先頭に空白行があるファイルのCSVヘッダー抽出を修正

タイムゾーンを正しくテストし、文字列ベースの日付と時刻のシリアル化をエポックベースに置き換え

WindowsのJavaバージョンチェックを更新

ネストされた:code:`withColumn`呼び出しをフラット化

加算/減算操作での:code:`Literal _IntegralType`のロジックを変更

:code:`COUNT`関数に:code:`LongType`を返すよう設定

JSONの読み取り：テスト圧縮 = bz2/bzip2/none

to_varchar/:code:`to_char`のパフォーマンスを改善

I/Oテストでの比較を改善

JSONをコピーする際に:code:`multi_line`をデフォルトで:code:`False`に設定

指定されていないコンピューティングプールについてエラーをスロー。

:code:`df.count()`の呼び出し時に結果スキャンを削除

JSONの読み取り時に限られた行で推論スキーマを実行

間隔型の:code:`createDataFrame`を修正

乗算および除算演算での:code:`Literal _IntegralType`のロジックを変更

:code:`Set`操作の型の拡張および強制

:code:`neo4j`のマルチラベルサポートを修正

GrypeがNettyの脆弱性を検出しないようにJARのメタデータを変更

:code:`ANY_VALUE`関数に返す値を正しい型に設定

シーケンスに拡張された型を返すよう設定

構成:code:`spark.sql.parquet.inferTimestampNTZ.enabled`のサポートを追加

:code:`_validate_schema_and_get_writer`でのバッチ列の名前変更/キャスト

パーティション化されたクエリでフェッチサイズが指定された場合にJDBCがハングする

HTTPのヘッダー制限を超えた場合、トリミングされた例外メッセージが返される

:code:`BigDecimal`の:code:`map_type_to_snowflake_type`を修正

リテラルの小数の精度とスケールを修正

ランダムな文字列生成を改善

BZ2で圧縮されたJSONをロードする際、破損した記録を無視するよう設定

ScalaのUDFsにおいて構成からステージングされたファイルを使用

JSONの読み取りに寛容な:code:`TRY_CAST`を使用

サーバースレッドの数を構成可能に

テストに:code:`init_spark_session()`を再度追加

:code:`snowflake-connection-name`が必須であることを明確にするため、:code:`snowpark-submit`のコマンドライン出力を更新。

:code:`saveAsTable`実行時のテーブルタイプのキャッシュ

サブストリングのリテラル入力および:code:`coalesce`の型キャストの最適化

avg/:code:`mean`における10進数型のオーバーフロー対応と型強制の修正

Iceberg - 上書き時の権限保持

SQLパススルーモードの標準化

リテラルタイムゾーンに対する:code:from_utc_timestamp/:code:`to_utc_timestamp`の最適化

Sparkのセマンティクスに合わせるための構造化された型におけるJSON null値の処理

SQLからのテーブル作成時における整数型のエミュレート

Scala UDFsにおけるネストされた行のマッピングに関するエッジケースの修正

Parquetによる複雑な構造化データ型の読み書き処理の修正

Parquetファイルに対するsave ignore引数のサポート追加

アーティファクトリポジトリのサポート追加

Scala UDxFにおける配列のNull許容性の修正

範囲(-1, 0)の引数に対する:code:`log1p`の修正

集計コンテキストにおける:code:`first_value`と:code:`last_value`の修正

Scalaクライアント向けの:code:`DayTimeIntervalType`読み取りの修正

Scala UDFsにおけるタイムゾーンの正しい処理

Java 11および17の構成なしでのサポート

Python 3.9における:code:`snowpark-submit`のサポート

:code:`snowpark-submit`ワークフロー内で利用できるように:code:`init_spark_session`を強化

:code:`split`関数の問題の修正

snowflake-snowpark-pythonへの依存関係をバージョン1.44にダウングレード

SQL翻訳を改善するための:code:`Neo4j`方言のマッチングを修正

実行レスポンスで返される操作IDの一貫性に関する修正

TCPチャネル接続における:code:`gRPC`メタデータ処理の修正

:code:`mapPartitions`操作における:code:`partition_hint`のサポートの追加

ユーザー定義スキーマを使用するシナリオ向けのXMLリーダーサポートの追加

さまざまなDataFrame演算子の実行後も隠し列を保持するように修正

Scala UDFの入力型（byte、binary、scala.math.BigDecimal）に関する問題を修正

:code:`snowpark-submit`のユーザー定義引数（User Defined Args）をコメントに追加

セッション構成の構成解除エラーを修正します。

CSV ファイルを並列にロードするには、copy intoを使用します。

外部結合を使用した DataFrames の書き込みを修正します。

Scala UDFs でnullを処理します。

パラメーター保護を使用して CTE クエリ生成を最適化します。

DATEDIFF の引数のキャストを回避します。

パーティション化されたファイルの追加とnullパーティションの読み取りを修正しました。

SQL を使用して10進法と16進法間の変換パフォーマンスを10倍向上させます。

Parquetファイルの変更されたパーティションのみを上書きします。

Snowpark Connect for Spark が XP 上で実行されているかどうかを検出するためのロジックを更新しました。

Snowflakeでバリアントデータ型のテーブルへの書き込みをサポートします。

不要な情報ログを削除します。

JavaテストをScalaテストジョブから別のジョブに移動します。

gcsfsの依存関係バージョンを更新します。

Scalaタプルのシリアル化を修正しました。

巨大な JSON ファイルの読み込みを修正しました。

顧客の問題に対する小さな修正を実装します。

構造比較の修正を実装します。

0列の DataFrames の処理を追加します。

アップロードファイルのパスを修正します。

Upload_files_if_needed が並行実行されない問題を修正しました。

UDF 入力型がprotoで定義されていない場合の入力型推論を改善します。

NA エッジケースを修正します。

シングル JSONBZ2 ファイルの読み取りをサポートします。

サーバー側 Snowpark Connect for Spark でScala UDFs をサポートします。

文字列と daytime の間のキャストを実装します。

group_map にScala UDFs のサポートを追加します。

生成されたワークロード名を減らします。

Windowsの JAVA_HOME 処理を修正しました。

JDBC 経由で neo4j データソースをサポートします。