À propos de Openflow Connector for Kinesis

Note

This connector is subject to the Snowflake Connector Terms.

This topic describes the basic concepts of Openflow Connector for Kinesis, including its workflow and limitations.

Vous pouvez utiliser Amazon Kinesis Data Streams pour collecter et traiter de grands flux d’enregistrements de données en temps réel. Les producteurs poussent continuellement des données vers les flux de données Kinesis, et les consommateurs traitent les données en temps réel.

Un flux de données Kinesis est un ensemble de fragments. Chaque fragment possède une séquence d’enregistrements de données. Un enregistrement de données est l’unité de données stockée dans un flux de données Kinesis. Les enregistrements de données sont composés d’un numéro de séquence, d’une clé de partition et d’un bloc de données, qui est une séquence immuable d’octets.

Openflow Connector for Kinesis lit les données d’un flux de données Kinesis et les écrit dans une table Snowflake à l’aide de Snowpipe Streaming.

Cas d’utilisation

Use this connector if you want to ingest real‐time events from Amazon Kinesis Data Streams into Snowflake for near real-time analytics.

Workflow

AWS : tâches de l’administrateur

  1. Create credentials for the connector to connect with Kinesis Stream and the associated DynamoDB.

  2. Set up IAM policies that have the permissions listed in IAM permissions required for KCL consumer applications.

  3. Record the stream name and application name and provide them to your Snowflake account administrator. These are required when setting up the connector in the runtime.

Tâches de l’administrateur de compte Snowflake ————————————————————————————————===

  1. Install the connector.

  2. Configure the connector:

    1. Provide the AWS and Snowflake credentials and settings.

    2. Provide the Kinesis stream name.

    3. Set the database and schema names in the Snowflake account.

    4. Customize other parameters.

  3. Run the connector in the Openflow canvas. Upon execution, the connector performs the following actions:

    1. Crée les tables DynamoDB pour le stockage des points de contrôle du flux Kinesis.

    2. Extrait les données du flux.

    3. Crée la table de destination configurée dans la base de données Snowflake si au moins un enregistrement a été reçu du flux.

    4. Charge les données traitées dans la table Snowflake spécifiée.

Tâches des utilisateurs professionnels ————————————————– —————————————————————————————————————————- ==

Perform operations on the data downloaded from Kinesis into the destination table.

Limitations

  • Le connecteur ne prend en charge qu’un seul flux.

  • If you use a manually created table:

    • The table name must match the stream of the data it holds precisely.

    • The table name must be uppercase.

  • Le connecteur ne prend en charge que le format de message JSON.

  • The connector supports only Amazon Access Key IAM authentication.

  • The connector logs failed messages to the Snowflake logs and does not route them to a DLQ stream.

Prochaines étapes

Pour plus d’informations sur la configuration du connecteur, reportez-vous à la rubrique suivante :