Openflow Connector for Kinesis について¶
注釈
This connector is subject to the Snowflake Connector Terms.
このトピックでは、 Openflow Connector for Kinesis の基本概念、ワークフロー、および制限事項について説明します。
Amazon Kinesis Data Streams を使用すると、リアルタイムでデータ記録の大容量ストリームを収集して処理できます。プロデューサーは継続的にデータをKinesisデータストリームにプッシュし、コンシューマーはリアルタイムでデータを処理します。
Kinesisデータストリームは シャード のセットです。各シャードには一連のデータ記録があります。データ記録はKinesisデータストリームに格納されるデータの単位です。データ記録は、シーケンス番号、パーティションキー、データブロブ（不変のバイト列）で構成されます。
Openflow Connector for Kinesis は、Snowpipe Streaming を使用して、Kinesisデータストリームからデータを読み取り、Snowflakeテーブルに書き込みます。
このコネクタは、以下を実行する場合に使用します。
ほぼリアルタイムの分析のため、Amazon KinesisデータストリームからリアルタイムイベントをSnowflakeに取り込む
ワークフロー¶
AWS 管理者 は以下のタスクを実行します。
Kinesis Streamと関連する DynamoDB に接続するためのコネクタの認証情報を作成します。
KCL コンシューマーアプリケーションに必要な IAM 権限 に一覧表示されている権限を持つ IAM ポリシーを設定します。
ストリーム名とアプリケーション名を記録し、Snowflakeアカウント管理者に渡します。これらは、ランタイムでコネクタを設定する際に必要です。
Snowflakeアカウント管理者 は以下のタスクを実行します。
コネクタをインストールします。
コネクタを以下のように構成します。
AWS およびSnowflakeの認証情報と設定を提供します。
Kinesisストリーム名を提供します。
Snowflakeアカウントのデータベース名とスキーマ名を設定します。
その他のパラメーターをカスタマイズします。
Openflowキャンバスでコネクタを実行します。実行時、コネクタは以下のアクションを実行します。
Kinesisストリームのチェックポイントを格納するための DynamoDB テーブルを作成します。
ストリームデータを抽出します。
ストリームから少なくとも1つの記録を受信した場合、Snowflakeデータベースに構成された宛先テーブルを作成します。
処理したデータを指定したSnowflakeテーブルにロードします。
ビジネスユーザー は、Kinesisから宛先テーブルにダウンロードしたデータ上で操作を実行できます。
制限事項¶
サポートされるストリームは1つだけです。
Enhanced fan-out mode is always enabled.
手動で作成したテーブルを使用する場合:
A table name must precisely match the stream of the data it holds.
A table name must be in uppercase format.
Only JSON message format is supported.
Only Amazon Access Key IAM authentication is supported.
失敗したメッセージはSnowflakeログに記録され、DLQ ストリームにはルーティングされません