Openflow Connector for Kafka¶
注釈
コネクタには、 コネクタ利用規約 が適用されます。
このトピックでは、Openflow Connector for Kafkaの基本概念と制限事項について説明します。
Apache Kafkaソフトウェアは、メッセージキューやエンタープライズメッセージシステムと同様に、パブリッシュおよびサブスクライブモデルを使用してレコードのストリームを読み書きします。Kafkaを使用すると、プロセスはメッセージを非同期で読み書きできます。サブスクライバーはパブリッシャーに直接接続する必要はありません。パブリッシャーはKafkaでメッセージをキューに入れて、サブスクライバーが後で受信できるようにします。
アプリケーションはトピックにメッセージを発行し、そのメッセージを受信するためにトピックを購読します。Kafkaはメッセージを処理および送信できますが、このドキュメントの取り扱い範囲外です。トピックはスケーラビリティを向上させるためにパーティションに分割することができます。
Openflow Connector for KafkaはKafkaトピックからデータを読み取り、 Snowpipe Streaming メカニズムを使用してSnowflakeテーブルに書き込みます。
このコネクタは、以下を実行する場合に使用します。
ほぼリアルタイムの分析のため、Apache KafkaからリアルタイムイベントをSnowflakeに取り込む
制限事項¶
Topic To Table Mapパラメーターが設定されていない場合:テーブル名は、それらが保持するデータのトピックと正確に一致しなければなりません。
テーブル名は大文字形式でなければなりません。
Topic To Table Mapパラメーターが設定されている場合:テーブル名はマッピングで指定されたテーブル名と一致する必要があります。テーブル名は有効なSnowflakeの引用符なし識別子でなければなりません。有効なテーブル名については、 識別子の要件 をご参照ください。
JSON および AVRO 形式のみがサポートされています。
Confluent Schema Registryのみがサポートされています。
PLAINTEXT、 SASL_PLAIN、 SSL、および SASL_SSL セキュリティプロトコルがサポートされています。
PLAIN、 SCRAM-SHA-256、 SCRAM-SHA-512 および AWS_MSK_IAM SASL メカニズムがサポートされています。
mTLS および AWS MSK IAM 認証方法では、サービスによる追加構成が必要です。詳細については、 Openflow Connector for Kafkaのその他の認証方法を構成する をご参照ください。
テーブルへのデータ挿入が失敗した場合、コネクタは無限に再試行を続けます。