Allgemeine Informationen zu Openflow Connector for Kinesis

Bemerkung

This connector is subject to the Snowflake Connector Terms.

This topic describes the basic concepts of Openflow Connector for Kinesis, including its workflow and limitations.

Sie können Amazon Kinesis Data Streams verwenden, um große Streams von Datensätzen in Echtzeit zu sammeln und zu verarbeiten. Produzenten senden kontinuierlich Daten an Kinesis Data Streams, und Verbraucher verarbeiten die Daten in Echtzeit.

Ein Kinesis-Datenstream ist ein Satz von Shards. Jeder Shard enthält eine Sequenz von Datensätzen. Ein Datensatz ist die Einheit der in einem Kinesis-Datenstream gespeicherten Daten. Datensätze bestehen aus einer Sequenznummer, einem Partitionsschlüssel und einem Daten-Blob, also einer unveränderlichen Folge von Bytes.

Das Openflow Connector for Kinesis liest Daten aus einem Kinesis-Datenstream und schreibt sie mit Snowpipe Streaming in eine Snowflake-Tabelle.

Anwendungsfälle

Use this connector if you want to ingest real‐time events from Amazon Kinesis Data Streams into Snowflake for near real-time analytics.

Workflow

Aufgaben des AWS-Administrators

  1. Create credentials for the connector to connect with Kinesis Stream and the associated DynamoDB.

  2. Set up IAM policies that have the permissions listed in IAM permissions required for KCL consumer applications.

  3. Record the stream name and application name and provide them to your Snowflake account administrator. These are required when setting up the connector in the runtime.

Aufgaben des Snowflake-Kontoadministrators ————————————————————————————————===

  1. Install the connector.

  2. Configure the connector:

    1. Provide the AWS and Snowflake credentials and settings.

    2. Provide the Kinesis stream name.

    3. Set the database and schema names in the Snowflake account.

    4. Customize other parameters.

  3. Run the connector in the Openflow canvas. Upon execution, the connector performs the following actions:

    1. Erstellt DynamoDB-Tabellen zum Speichern von Kinesis Stream-Checkpoints.

    2. Extrahiert Streamdaten.

    3. Erstellt die konfigurierte Zieltabelle in der Snowflake-Datenbank, wenn mindestens ein Datensatz aus dem Stream empfangen wurde.

    4. Lädt die verarbeiteten Daten in die angegebene Snowflake-Tabelle.

Aufgaben für Geschäftskunden ————————————————————————————————===

Perform operations on the data downloaded from Kinesis into the destination table.

Einschränkungen

  • Der Konnektor unterstützt nur einen einzigen Stream.

  • If you use a manually created table:

    • The table name must match the stream of the data it holds precisely.

    • The table name must be uppercase.

  • Der Konnektor unterstützt nur das JSON-Meldungsformat.

  • The connector supports only Amazon Access Key IAM authentication.

  • The connector logs failed messages to the Snowflake logs and does not route them to a DLQ stream.

Nächste Schritte

Weitere Informationen zum Einrichten des Konnektors finden Sie unter folgenden Themen:

Sprache: Deutsch