2026年4月20日:Snowflake Connector for Kafka バージョン4.0(一般提供

Snowflake Connector for Kafka バージョン4.0が一般公開されました。バージョン4.0は、Snowflakeの高性能Snowpipe Streamingアーキテクチャ上に基づいてゼロから書き換えられ、テーブル当たり最大10 GB/秒のスループット、5~10秒のエンドツーエンドレイテンシ、厳密に1回限りの順序付き配信セマンティクスを実現します。

GA リリースの主な機能:

  • インジェストしたデータの量(GB)に基づく 定額のスループットベースの料金

  • PIPE オブジェクトを通した サーバー側の検証とスキーマの進化 により、コネクタリソースの使用量を削減し、 COPY とSnowpipeの動作と整合します。

  • 実行中の変換 をユーザー定義 PIPE オブジェクト内で COPY コマンド構文を使用して実行します。

  • ターゲットテーブルにクラスタリングキーが定義されている場合は、インジェスチョン中の 事前クラスタリング

  • サーバー側の検証で無効な記録をキャプチャおよび検査するための エラーテーブル

  • 配信不能キュー(DLQ) コンバーターおよびクライアント側の検証エラーをサポート。

  • Icebergテーブル インジェスチョン(自動検出。特別な構成は必要ありません)

バージョン3.xからアップグレードするための移行および互換性の機能:

  • 正しく設定されている場合、SnowpipeモードとSnowpipe Streamingモードの両方からのギャップや重複のない シームレスな移行

  • **互換性バリデータ**(snowflake.streaming.validate.compatibility.with.classic)は起動時に構成をチェックし、必要な設定をガイドします。

  • バージョン3.x Snowpipe Streamingチャネルからの オフセット移行snowflake.streaming.classic.offset.migration

  • 移行中のバージョン3.xの動作を再現するための、テーブル名のサニタイズ、列識別子の正規化、スキーマ化の 互換性フラグ

  • RECORD_METADATA を使用した重複排除のガイダンスにより、バージョン3.xに ダウングレートをサポート

詳細については、 Snowflake Connector for Kafka をご参照ください。移行のガイダンスについては、 Migrate from Kafka connector v3 to v4 をご参照ください。