À propos de Openflow Connector for Kinesis

Note

This connector is subject to the Snowflake Connector Terms.

Cette rubrique décrit les concepts de base de Openflow Connector for Kinesis, son flux de travail et ses limites.

Vous pouvez utiliser Amazon Kinesis Data Streams pour collecter et traiter de grands flux d’enregistrements de données en temps réel. Les producteurs poussent continuellement des données vers les flux de données Kinesis, et les consommateurs traitent les données en temps réel.

Un flux de données Kinesis est un ensemble de fragments. Chaque fragment possède une séquence d’enregistrements de données. Un enregistrement de données est l’unité de données stockée dans un flux de données Kinesis. Les enregistrements de données sont composés d’un numéro de séquence, d’une clé de partition et d’un bloc de données, qui est une séquence immuable d’octets.

Openflow Connector for Kinesis lit les données d’un flux de données Kinesis et les écrit dans une table Snowflake à l’aide de Snowpipe Streaming.

Utilisez ce connecteur si vous souhaitez effectuer les opérations suivantes :

  • Ingérez des événements en temps réel à partir des flux de données Amazon Kinesis dans Snowflake pour une analyse en temps quasi réel

Workflow

  1. Un administrateur AWS effectue les tâches suivantes :

    1. Crée des identifiants pour que le connecteur se connecte à Kinesis Stream et au site DynamoDB associé .

    2. Paramètre les politiques IAM contenant les autorisations listées dans Autorisations IAM requises pour les applications consommateur KCL.

    3. Enregistrez le nom du flux et le nom de l’application et donnez-les à votre administrateur de compte Snowflake. Ces paramètres sont exigés lors du paramétrage du connecteur dans l’environnement d’exécution.

  2. Un administrateur de compte Snowflake effectue les tâches suivantes :

    1. Installe le connecteur.

    2. Configure le connecteur comme suit :

      1. Fournit les identifiants de connexion et les paramètres de AWS et de Snowflake.

      2. Fournit le nom du flux Kinesis.

      3. Paramètre les noms de la base de données et du schéma dans le compte Snowflake.

      4. Personnalise d’autres paramètres.

    3. Exécute le connecteur dans le canevas Openflow. Lors de l’exécution, le connecteur effectue les actions suivantes :

      1. Crée les tables DynamoDB pour le stockage des points de contrôle du flux Kinesis.

      2. Extrait les données du flux.

      3. Crée la table de destination configurée dans la base de données Snowflake si au moins un enregistrement a été reçu du flux.

      4. Charge les données traitées dans la table Snowflake spécifiée.

  3. Les utilisateurs professionnels peuvent effectuer des opérations sur les données téléchargées depuis Kinesis dans la table de destination.

Limitations

  • Un seul flux est pris en charge.

  • Enhanced fan-out mode is always enabled.

  • If a manually created table is used:

    • A table name must precisely match the stream of the data it holds.

    • A table name must be in uppercase format.

  • Only JSON message format is supported.

  • Only Amazon Access Key IAM authentication is supported.

  • Failed messages are logged to the Snowflake logs and not routed to a DLQ stream.

Prochaines étapes

Set up Openflow Connector for Kinesis for JSON data format

Langage: Français