2023年の Snowflake Connector for Kafka リリースノート¶

Snowpipe StreamingのJava Management Extensions（JMX）メトリクスを有効化しました。

Snowpipe Streamingのtombstoneインジェスチョンを有効化しました。

Snowpipe Streamingを使用したKafka用Snowflake OAuth コネクタを有効化しました。

特殊なキーワードや予約されたキーワードで、図式化列を有効化しました。

ワンクライアント構成オプションがデフォルトで有効化されていない問題を修正しました。ワンクライアント構成オプションの enable.streaming.client.optimization がデフォルトで TRUE になりました。

チャネルの命名に関する問題を修正しました。

リバランシング時のスキーマ化権限チェックのパフォーマンスを改善しました。

リバランシング時の内部キャッシュクリアの問題により、テーブルのデータが欠落するバグを修正しました。

Kafkaコネクタを使用したSnowpipe Streamingが一般公開になりました。

なし。

ワンクライアント構成:

• デフォルトで有効な enable.streaming.client.optimization オプションを導入しました。

• このクライアントの最適化により、Kafkaコネクタごとに複数のトピックパーティションに対して作成されるクライアントは1つだけになります。この機能により、より大きなファイルを作成することによって、クライアントの実行時間を短縮し、移行コストを削減することができます。

• 高スループットのシナリオ（例: コネクタあたり50 MB/s）で遅延やコストの上昇が観察される場合には、このプロパティを無効にすることをお勧めします。

権限およびセキュリティ:

• テーブルの作成と挿入用にSnowpipe StreamingのSnowflakeロールおよびユーザーを統一しました。

• Guavaの依存関係を32.0.1にアップグレードしました。

• Snowpipe Streaming SDK の依存関係を2.0.1にアップグレードしました。

スキーマ化が有効な場合に、オフセットがスキップされる誤った結果の問題を修正しました。

Snowpipe Streamingチャネルはリバランス時に閉鎖されません。

Streaming Ingestワンクライアントを使用する機能を追加しました（デフォルトはfalse）。

MDC コンテキストロガーの使用を開始しました。

以下のバージョンにアップグレードしました。

• Ingest SDK バージョン1.1.4

• JDBC バージョン3.13.30

GCP でダウンスコープされたトークンを使用する場合の GET コマンドの使用に関連する問題を修正しました。

Snowpipeベースの KC のコミットオフセットの動作を修正しました。