2026年4月20日:Snowflake Connector for Kafka バージョン4.0(一般提供)¶
Snowflake Connector for Kafka バージョン4.0が一般公開されました。バージョン4.0は、Snowflakeの高性能Snowpipe Streamingアーキテクチャ上に基づいてゼロから書き換えられ、テーブル当たり最大10 GB/秒のスループット、5~10秒のエンドツーエンドレイテンシ、厳密に1回限りの順序付き配信セマンティクスを実現します。
GA リリースの主な機能:
インジェストしたデータの量(GB)に基づく 定額のスループットベースの料金。
PIPE オブジェクトを通した サーバー側の検証とスキーマの進化 により、コネクタリソースの使用量を削減し、 COPY とSnowpipeの動作と整合します。
実行中の変換 をユーザー定義 PIPE オブジェクト内で COPY コマンド構文を使用して実行します。
ターゲットテーブルにクラスタリングキーが定義されている場合は、インジェスチョン中の 事前クラスタリング。
サーバー側の検証で無効な記録をキャプチャおよび検査するための エラーテーブル。
配信不能キュー(DLQ) コンバーターおよびクライアント側の検証エラーをサポート。
Icebergテーブル インジェスチョン(自動検出。特別な構成は必要ありません)
バージョン3.xからアップグレードするための移行および互換性の機能:
正しく設定されている場合、SnowpipeモードとSnowpipe Streamingモードの両方からのギャップや重複のない シームレスな移行。
**互換性バリデータ**(
snowflake.streaming.validate.compatibility.with.classic)は起動時に構成をチェックし、必要な設定をガイドします。バージョン3.x Snowpipe Streamingチャネルからの オフセット移行 (
snowflake.streaming.classic.offset.migration)移行中のバージョン3.xの動作を再現するための、テーブル名のサニタイズ、列識別子の正規化、スキーマ化の 互換性フラグ。
RECORD_METADATAを使用した重複排除のガイダンスにより、バージョン3.xに ダウングレートをサポート。
詳細については、 Snowflake Connector for Kafka をご参照ください。移行のガイダンスについては、 Migrate from Kafka connector v3 to v4 をご参照ください。