2026年の Snowpark Connect for Spark リリースノート¶

JSONおよびCSVの圧縮推論。

単一のファイルを作成する:code:`coalesce`の修正。

単一ファイルの読み取りに:code:`COPY INTO`を使用するようにJSONの読み取りをリファクタリングし、:code:`VariantType`のスキーマ推論を追加。

明示的スキーマなしでのJSONのロードを許可。

JSONの:code:`multi_line`を修正。

ファイル全体のスキャンを回避するように、JSONの推論スキーマを修正。

タイムスタンプ:code:`ltz`へのキャストを正しく処理。

ハッシュの戻り値をクランプ。

:code:`partitionBy`を使用する:code:`repartition`の修正。

:file:`config.toml`で:code:`[connections.spark-connect]`セクションヘッダーを使用するように修正。

CSVの読み取り用に、Javaの:code:date/:code:`timestamp`形式のトークンをSnowflakeの同等物に変換。

:code:`pivot`関数のスキーマを計算。

エイリアスされたラテラル結合のUDTFsを修正。

SQL :code:`SET`コマンドの結果を調整。

:code:`CEIL`および:code:`FLOOR`関数の戻り値の型を修正。

unbase64 v2でのクエリ生成を改善。

CSVのSnowflakeマッピングの一部オプションを修正。

:code:`POJO`のシリアル化を修正。

CSVヘッダーのエラーメッセージを改善。

Parquet読み取り用に:code:`try_cast`を使用した:code:`mapType`検出ロジックを改善。

reduceGroups API のサポート。

:code:`init_spark_session`内での接続名の指定に対応。

:code:`unbase64`にUDFを使用するための構成パラメーターを追加。

関数:code:`unbase64`でのSQL生成を最適化。

:code:`from_json`の回帰を修正

複数のBZ2圧縮ブロックの境界にまたがる記録を修正

未解決属性におけるNULL値許容度のマッピングを修正

:code:`spark-connect`という名前の接続だけでなく、任意の接続で:code:`spark-connect`セッションを初期化

XMLオプションの検証を追加

コンパイルエラーを防ぐため、引用符文字と一致する場合はCSV ESCAPEオプションをドロップ

:code:`productEncoder`内の名前付きタプルの誤変換を修正

CSVおよびJSONの:code:`mergeSchema`がサポートされていないことを確認

Parquetの複合型ラウンドトリップ（書き込みと読み取り）を修正

pivot/:code:`unpivot`のスキーマを修正

:code:`MOD`および:code:`PMOD`関数の戻り値の型を修正

先頭に空白行があるファイルのCSVヘッダー抽出を修正

タイムゾーンを正しくテストし、文字列ベースの日付と時刻のシリアル化をエポックベースに置き換え

WindowsのJavaバージョンチェックを更新

ネストされた:code:`withColumn`呼び出しをフラット化

加算/減算操作での:code:`Literal _IntegralType`のロジックを変更

:code:`COUNT`関数に:code:`LongType`を返すよう設定

JSONの読み取り：テスト圧縮 = bz2/bzip2/none

to_varchar/:code:`to_char`のパフォーマンスを改善

I/Oテストでの比較を改善

JSONをコピーする際に:code:`multi_line`をデフォルトで:code:`False`に設定

指定されていないコンピューティングプールについてエラーをスロー。

:code:`df.count()`の呼び出し時に結果スキャンを削除

JSONの読み取り時に限られた行で推論スキーマを実行

間隔型の:code:`createDataFrame`を修正

乗算および除算演算での:code:`Literal _IntegralType`のロジックを変更

:code:`Set`操作の型の拡張および強制

:code:`neo4j`のマルチラベルサポートを修正

GrypeがNettyの脆弱性を検出しないようにJARのメタデータを変更

:code:`ANY_VALUE`関数に返す値を正しい型に設定

シーケンスに拡張された型を返すよう設定

構成:code:`spark.sql.parquet.inferTimestampNTZ.enabled`のサポートを追加

:code:`_validate_schema_and_get_writer`でのバッチ列の名前変更/キャスト

パーティション化されたクエリでフェッチサイズが指定された場合にJDBCがハングする

HTTPのヘッダー制限を超えた場合、トリミングされた例外メッセージが返される

:code:`BigDecimal`の:code:`map_type_to_snowflake_type`を修正

リテラルの小数の精度とスケールを修正

ランダムな文字列生成を改善

BZ2で圧縮されたJSONをロードする際、破損した記録を無視するよう設定

ScalaのUDFsにおいて構成からステージングされたファイルを使用

JSONの読み取りに寛容な:code:`TRY_CAST`を使用

サーバースレッドの数を構成可能に

テストに:code:`init_spark_session()`を再度追加

:code:`snowflake-connection-name`が必須であることを明確にするため、:code:`snowpark-submit`のコマンドライン出力を更新。

:code:`saveAsTable`実行時のテーブルタイプのキャッシュ

サブストリングのリテラル入力および:code:`coalesce`の型キャストの最適化

avg/:code:`mean`における10進数型のオーバーフロー対応と型強制の修正

Iceberg - 上書き時の権限保持

SQLパススルーモードの標準化

リテラルタイムゾーンに対する:code:from_utc_timestamp/:code:`to_utc_timestamp`の最適化

Sparkのセマンティクスに合わせるための構造化された型におけるJSON null値の処理

SQLからのテーブル作成時における整数型のエミュレート

Scala UDFsにおけるネストされた行のマッピングに関するエッジケースの修正

Parquetによる複雑な構造化データ型の読み書き処理の修正

Parquetファイルに対するsave ignore引数のサポート追加

アーティファクトリポジトリのサポート追加

Scala UDxFにおける配列のNull許容性の修正

範囲(-1, 0)の引数に対する:code:`log1p`の修正

集計コンテキストにおける:code:`first_value`と:code:`last_value`の修正

Scalaクライアント向けの:code:`DayTimeIntervalType`読み取りの修正

Scala UDFsにおけるタイムゾーンの正しい処理

Java 11および17の構成なしでのサポート

Python 3.9における:code:`snowpark-submit`のサポート

:code:`snowpark-submit`ワークフロー内で利用できるように:code:`init_spark_session`を強化

:code:`split`関数の問題の修正

snowflake-snowpark-pythonへの依存関係をバージョン1.44にダウングレード

SQL翻訳を改善するための:code:`Neo4j`方言のマッチングを修正

実行レスポンスで返される操作IDの一貫性に関する修正

TCPチャネル接続における:code:`gRPC`メタデータ処理の修正

:code:`mapPartitions`操作における:code:`partition_hint`のサポートの追加

ユーザー定義スキーマを使用するシナリオ向けのXMLリーダーサポートの追加

さまざまなDataFrame演算子の実行後も隠し列を保持するように修正

Scala UDFの入力型（byte、binary、scala.math.BigDecimal）に関する問題を修正

:code:`snowpark-submit`のユーザー定義引数（User Defined Args）をコメントに追加

セッション構成の構成解除エラーを修正します。

CSV ファイルを並列にロードするには、copy intoを使用します。

外部結合を使用した DataFrames の書き込みを修正します。

Scala UDFs でnullを処理します。

パラメーター保護を使用して CTE クエリ生成を最適化します。

DATEDIFF の引数のキャストを回避します。

パーティション化されたファイルの追加とnullパーティションの読み取りを修正しました。

SQL を使用して10進法と16進法間の変換パフォーマンスを10倍向上させます。

Parquetファイルの変更されたパーティションのみを上書きします。

Snowpark Connect for Spark が XP 上で実行されているかどうかを検出するためのロジックを更新しました。

Snowflakeでバリアントデータ型のテーブルへの書き込みをサポートします。

不要な情報ログを削除します。

JavaテストをScalaテストジョブから別のジョブに移動します。

gcsfsの依存関係バージョンを更新します。

Scalaタプルのシリアル化を修正しました。

巨大な JSON ファイルの読み込みを修正しました。

顧客の問題に対する小さな修正を実装します。

構造比較の修正を実装します。

0列の DataFrames の処理を追加します。

アップロードファイルのパスを修正します。

Upload_files_if_needed が並行実行されない問題を修正しました。

UDF 入力型がprotoで定義されていない場合の入力型推論を改善します。

NA エッジケースを修正します。

シングル JSONBZ2 ファイルの読み取りをサポートします。

サーバー側 Snowpark Connect for Spark でScala UDFs をサポートします。

文字列と daytime の間のキャストを実装します。

group_map にScala UDFs のサポートを追加します。

生成されたワークロード名を減らします。

Windowsの JAVA_HOME 処理を修正しました。

JDBC 経由で neo4j データソースをサポートします。