注釈

このコネクタは、 Snowflakeコネクタ規約 に従うものとします。

Kafka用Snowflake Openflowコネクタ

このトピックでは、Kafka用Openflowコネクタの基本概念とその制限について説明します。

Kafka用Openflowコネクタは、 Snowpipe Streamingハイパフォーマンス アーキテクチャを使用して、Kafkaトピックからデータを読み取り、Snowflakeテーブルに書き込みます。

このコネクタは、以下を実行する場合に使用します。

  • リアルタイムイベントをApache KafkaからSnowflakeに取り込み、ほぼリアルタイムの分析を実現

  • Apache KafkaからSnowflake管理のIceberg™テーブルにリアルタイムイベントを取り込む

  • Openflowのスピードとインタラクティブなテーブル機能を組み合わせて、インジェスチョンをさらに加速します

  • データがSnowflakeにランディングする前に、データの強化やフィルタリングのために単一メッセージ変換を行います。

制限事項

  • このコネクタは、Apache Iceberg™テーブルのスキーマ進化をサポートしていません。

  • 自動スケーリングはサポートされていません。Openflowランタイムの最小ノード数と最大ノード数は、Kafka用Openflowコネクタがデプロイされるランタイムに対して一定である必要があります。

  • Kafkaクラスターはバージョン0.10.0.0以降で実行されている必要があります。Kafkaの以前のバージョンはサポートされていません。

異なる認証オプション、データ型、またはデータ操作の使用

コネクタは JSON データ型と SASL_SSL 認証方法で動作するように構成されている。コネクタは、さまざまな方法で変更および拡張できます。必要な変更を行うためのガイダンスについては、設定セクションの専用サブページをご参照ください。

サポートされているデータ型

Kafka用Openflowコネクタは、次のデータ型をサポートしています。

  • JSON (コネクタのデフォルトで使用可能)

  • Avro(追加構成が必要)

  • Protobuf(追加の構成が必要)

サポートされている認証方法

Openflow Connector for Kafkaは、以下の認証メカニズムをサポートしています。

  • 次の SASL メカニズムを使用した SASL:

    • PLAIN

    • SCRAM-SHA-256

    • SCRAM -SHA -512(コネクタのデフォルトで使用可能)

    • OAUTHBEARER

  • AWSMSKIAM</user-guide/data-integration/openflow/connectors/kafka/aws-msk-iam-auth>` を使用した :doc:`SASL (コントローラーサービスを介した追加構成が必要)

  • mTLS (コントローラーサービスを介した追加構成が必要)

次のステップ

Openflow Connector for Kafkaを設定する