Openflow Connector for Kinesis について¶

注釈

このコネクタは、 Snowflakeコネクタ規約に従うものとします。

このトピックでは、ワークフローや制限など、 Openflow Connector for Kinesis の基本的な概念について説明します。

Amazon Kinesis Data Streams を使用すると、リアルタイムでデータ記録の大容量ストリームを収集して処理できます。プロデューサーは継続的にデータをKinesisデータストリームにプッシュし、コンシューマーはリアルタイムでデータを処理します。

Kinesisデータストリームはシャードのセットです。各シャードには一連のデータ記録があります。データ記録はKinesisデータストリームに格納されるデータの単位です。データ記録は、シーケンス番号、パーティションキー、データブロブ（不変のバイト列）で構成されます。

Openflow Connector for Kinesis は、Snowpipe Streaming を使用して、Kinesisデータストリームからデータを読み取り、Snowflakeテーブルに書き込みます。

ユースケース¶

Amazon Kinesis Data StreamsからSnowflakeにリアルタイムイベントを取り込んで、リアルタイムに近しい分析を実行する場合は、このコネクタを使用します。

Snowflakeアカウント管理者のタスク ------------------------------------------------------------------------------------------------===

コネクタをインストールします。
コネクタを構成します。
1. AWS およびSnowflakeの認証情報と設定を指定します。
2. Kinesisストリーム名を指定します。
3. Snowflakeアカウントでデータベース名とスキーマ名を設定します。
4. その他のパラメーターをカスタマイズします。
Openflowキャンバスでコネクタを実行します。実行されると、コネクタは次のアクションを実行します。
1. Kinesisストリームのチェックポイントを格納するための DynamoDB テーブルを作成します。
2. ストリームデータを抽出します。
3. ストリームから少なくとも1つの記録を受信した場合、Snowflakeデータベースに構成された宛先テーブルを作成します。
4. 処理したデータを指定したSnowflakeテーブルにロードします。

ビジネスユーザーのタスク ------------------------------------------------------------------------------------------------===

Kinesisから宛先テーブルにダウンロードされたデータに対して操作を実行します。

コネクタは単一のストリームのみをサポートします。
手動で作成したテーブルを使用する場合:
- テーブル名は、保持するデータのストリームと完全に一致する必要があります。
- テーブル名は大文字にする必要があります。
コネクタは JSON メッセージ形式のみをサポートします。
コネクタはAmazonアクセスキー IAM 認証のみをサポートします。
コネクタは失敗したメッセージをSnowflakeログに記録し、 DLQ ストリームにルーティングしません。

コネクタの設定方法については、次のトピックをご参照ください。