Openflow Connector for Kinesis について¶
注釈
コネクタには、 コネクタ利用規約 が適用されます。
このトピックでは、 Openflow Connector for Kinesis の基本概念、ワークフロー、および制限事項について説明します。
Amazon Kinesis Data Streams を使用すると、リアルタイムでデータ記録の大容量ストリームを収集して処理できます。プロデューサーは継続的にデータをKinesisデータストリームにプッシュし、コンシューマーはリアルタイムでデータを処理します。
Kinesisデータストリームは シャード のセットです。各シャードには一連のデータ記録があります。データ記録はKinesisデータストリームに格納されるデータの単位です。データ記録は、シーケンス番号、パーティションキー、データブロブ（不変のバイト列）で構成されます。
Openflow Connector for Kinesis はKinesisデータストリームからデータを読み取り、 Snowpipe Streaming を使用してSnowflakeテーブルに書き込みます。
このコネクタは、以下を実行する場合に使用します。
ほぼリアルタイムの分析のため、Amazon KinesisデータストリームからリアルタイムイベントをSnowflakeに取り込む
ワークフロー¶
AWS 管理者 は以下のタスクを実行します。
Kinesis Streamと関連する DynamoDB に接続するためのコネクタの認証情報を作成します。
KCL コンシューマーアプリケーションに必要な IAM 権限 に一覧表示されている権限を持つ IAM ポリシーを設定します。
ストリーム名とアプリケーション名を記録し、Snowflakeアカウント管理者に渡します。これらは、ランタイムでコネクタを設定する際に必要です。
Snowflakeアカウント管理者 は以下のタスクを実行します。
コネクタ定義ファイルをダウンロードしてSnowflake Openflowキャンバスにインポートします。
コネクタを以下のように構成します。
AWS およびSnowflakeの認証情報と設定を提供します。
Kinesisストリーム名を提供します。
Snowflakeアカウントのデータベース名とスキーマ名を設定します。
その他のパラメーターをカスタマイズします。
Openflowキャンバスでコネクタを実行します。実行時、コネクタは以下のアクションを実行します。
Kinesisストリームのチェックポイントを格納するための DynamoDB テーブルを作成します。
ストリームデータを抽出します。
ストリームから少なくとも1つの記録を受信した場合、Snowflakeデータベースに構成された宛先テーブルを作成します。
処理したデータを指定したSnowflakeテーブルにロードします。
ビジネスユーザー は、Kinesisから宛先テーブルにダウンロードしたデータ上で操作を実行できます。
制限事項¶
サポートされるストリームは1つだけです。
拡張ファンアウトモードはサポートされていません。
Kinesis Stream To Table Mapパラメーターが設定されていない場合:テーブル名は、それらが保持するデータのストリームと正確に一致しなければなりません。
テーブル名は大文字形式でなければなりません。
Kinesis Stream To Table Mapパラメーターが設定されている場合、テーブル名はマッピングで指定されたテーブル名と一致しなければなりません。テーブル名は有効なSnowflakeの引用符なし識別子でなければなりません。有効なテーブル名については、 識別子の要件 をご参照ください。Icebergテーブルでは、作成したテーブルにメッセージモデルを反映させる必要があります。メッセージがモデルに一致しない場合、コネクタは失敗します。
JSON および AVRO のメッセージ形式のみがサポートされています。
Confluent Schema Registryのみがサポートされています。
Amazon IAM 認証のみがサポートされています。
テーブルへのデータ挿入に失敗した場合、コネクタは失敗出力にデータをルーティングする前に3回の接続を試みます。