Openflow Connector for Amazon Kinesis Data Streams

注釈

このコネクタは、 Snowflakeコネクタ規約 に従うものとします。

概要

このトピックでは、ワークフローや制限など、 Openflow Connector for Amazon Kinesis Data Streams の基本的な概念について説明します。

Amazon Kinesis Data Streams を使用すると、リアルタイムでデータ記録の大容量ストリームを収集して処理できます。プロデューサーは継続的にデータをKinesisデータストリームにプッシュし、コンシューマーはリアルタイムでデータを処理します。

Kinesisデータストリームは シャード のセットです。各シャードには一連のデータ記録があります。データ記録はKinesisデータストリームに格納されるデータの単位です。データ記録は、シーケンス番号、パーティションキー、データブロブ（不変のバイト列）で構成されます。

Openflow Connector for Amazon Kinesis Data Streams は、Kinesisストリームからデータを読み取り、 Snowpipeストリーミング アーキテクチャを使用してSnowflakeテーブルに書き込みます。

このコネクタは、以下を実行する場合に使用します。

  • Amazon KinesisからSnowflakeにリアルタイムイベントをインジェストし、ほぼリアルタイムの分析を実現

  • Amazon KinesisからSnowflake管理のIceberg™テーブルにリアルタイムイベントを取り込む

  • Openflowのスピードとインタラクティブなテーブル機能を組み合わせて、インジェスチョンをさらに加速します

  • 単一メッセージ変換を使用して、データがSnowflakeに表示される前に強化またはフィルターします。

制限事項

  • 1つのコネクタは単一ストリームからのインジェスチョンのみをサポートします。

  • このコネクタは、Apache Iceberg™テーブルのスキーマ進化をサポートしていません。

  • 自動スケーリングはサポートされていません。Openflowランタイムの最小ノードと最大ノードの数は、条件が Openflow Connector for Amazon Kinesis Data Streams が展開されたランタイムに対して一定である必要があります。

コネクタのフォールトトレランスの制限

Kinesis Streamsは保持時間で構成できます。何らかの理由で Openflow Connector for Amazon Kinesis Data Streams が保持時間を超えてデータを取り込むことができない場合、期限切れの記録はロードされません。

サポートされているデータ型と認証方法

コネクタはデフォルトで JSON データ型に対応するように構成されており、 AWS 認証情報による認証をサポートしています。アクセスキー ID およびシークレットアクセスキー。コネクタは、他のデータ型や認証方法で動作するようにカスタマイズできます。

次のステップ