Openflow Connector for Kinesis について

注釈

This connector is subject to the Snowflake Connector Terms.

このトピックでは、 Openflow Connector for Kinesis の基本概念、ワークフロー、および制限事項について説明します。

Amazon Kinesis Data Streams を使用すると、リアルタイムでデータ記録の大容量ストリームを収集して処理できます。プロデューサーは継続的にデータをKinesisデータストリームにプッシュし、コンシューマーはリアルタイムでデータを処理します。

Kinesisデータストリームは シャード のセットです。各シャードには一連のデータ記録があります。データ記録はKinesisデータストリームに格納されるデータの単位です。データ記録は、シーケンス番号、パーティションキー、データブロブ（不変のバイト列）で構成されます。

Openflow Connector for Kinesis は、Snowpipe Streaming を使用して、Kinesisデータストリームからデータを読み取り、Snowflakeテーブルに書き込みます。

このコネクタは、以下を実行する場合に使用します。

  • ほぼリアルタイムの分析のため、Amazon KinesisデータストリームからリアルタイムイベントをSnowflakeに取り込む

ワークフロー

  1. AWS 管理者 は以下のタスクを実行します。

    1. Kinesis Streamと関連する DynamoDB に接続するためのコネクタの認証情報を作成します。

    2. KCL コンシューマーアプリケーションに必要な IAM 権限 に一覧表示されている権限を持つ IAM ポリシーを設定します。

    3. ストリーム名とアプリケーション名を記録し、Snowflakeアカウント管理者に渡します。これらは、ランタイムでコネクタを設定する際に必要です。

  2. Snowflakeアカウント管理者 は以下のタスクを実行します。

    1. コネクタをインストールします。

    2. コネクタを以下のように構成します。

      1. AWS およびSnowflakeの認証情報と設定を提供します。

      2. Kinesisストリーム名を提供します。

      3. Snowflakeアカウントのデータベース名とスキーマ名を設定します。

      4. その他のパラメーターをカスタマイズします。

    3. Openflowキャンバスでコネクタを実行します。実行時、コネクタは以下のアクションを実行します。

      1. Kinesisストリームのチェックポイントを格納するための DynamoDB テーブルを作成します。

      2. ストリームデータを抽出します。

      3. ストリームから少なくとも1つの記録を受信した場合、Snowflakeデータベースに構成された宛先テーブルを作成します。

      4. 処理したデータを指定したSnowflakeテーブルにロードします。

  3. ビジネスユーザー は、Kinesisから宛先テーブルにダウンロードしたデータ上で操作を実行できます。

制限事項

  • サポートされるストリームは1つだけです。

  • Enhanced fan-out mode is always enabled.

  • If a manually created table is used:

    • A table name must precisely match the stream of the data it holds.

    • A table name must be in uppercase format.

  • Only JSON message format is supported.

  • Only Amazon Access Key IAM authentication is supported.

  • Failed messages are logged to the Snowflake logs and not routed to a DLQ stream.

次のステップ

Set up Openflow Connector for Kinesis for JSON data format

言語: 日本語