À propos de Openflow Connector for Kinesis

Note

Ce connecteur est soumis aux conditions d’utilisation de Snowflake Connector.

Cette rubrique décrit les concepts de base de Openflow Connector for Kinesis, son flux de travail et ses limites.

Vous pouvez utiliser Amazon Kinesis Data Streams pour collecter et traiter de grands flux d’enregistrements de données en temps réel. Les producteurs poussent continuellement des données vers les flux de données Kinesis, et les consommateurs traitent les données en temps réel.

Un flux de données Kinesis est un ensemble de fragments. Chaque fragment possède une séquence d’enregistrements de données. Un enregistrement de données est l’unité de données stockée dans un flux de données Kinesis. Les enregistrements de données sont composés d’un numéro de séquence, d’une clé de partition et d’un bloc de données, qui est une séquence immuable d’octets.

Openflow Connector for Kinesis lit les données d’un flux de données Kinesis et les écrit dans une table Snowflake à l’aide de Snowpipe Streaming.

Cas d’utilisation

Utilisez ce connecteur si vous souhaitez ingérer des événements en temps réel depuis Amazon Kinesis Data Streams dans Snowflake pour des analyses en temps quasi réel.

Workflow

AWS : tâches de l’administrateur

  1. Créez des identifiants pour que le connecteur se connecte à Kinesis Stream et à la DynamoDB associée.

  2. Configurez les politiques IAM contenant les autorisations répertoriées dans les autorisations IAM requises pour les applications consommateur KCL.

  3. Enregistrez le nom du flux et le nom de l’application et fournissez-les à votre administrateur de compte Snowflake. Ces paramètres sont exigés lors du paramétrage du connecteur dans l’environnement d’exécution.

Tâches de l’administrateur de compte Snowflake ————————————————————————————————===

  1. Installez le connecteur.

  2. Configurez le connecteur.

    1. Fournissez les identifiants de connexion et les paramètresAWS et Snowflake.

    2. Fournissez le nom du flux Kinesis.

    3. Définissez les noms de la base de données et du schéma dans le compte Snowflake.

    4. Personnalisez d’autres paramètres.

  3. Exécutez le connecteur dans le canevas Openflow. Lors de l’exécution, le connecteur effectue les actions suivantes :

    1. Crée les tables DynamoDB pour le stockage des points de contrôle du flux Kinesis.

    2. Extrait les données du flux.

    3. Crée la table de destination configurée dans la base de données Snowflake si au moins un enregistrement a été reçu du flux.

    4. Charge les données traitées dans la table Snowflake spécifiée.

Tâches des utilisateurs professionnels ————————————————– —————————————————————————————————————————- ==

Effectuer des opérations sur les données téléchargées depuis Kinesis dans la table de destination.

Limitations

  • Le connecteur ne prend en charge qu’un seul flux.

  • Si vous utilisez une table créée manuellement :

    • Le nom de la table doit correspondre précisément au flux des données qu’elle contient.

    • Le nom de la table doit être en majuscules.

  • Le connecteur ne prend en charge que le format de message JSON.

  • Le connecteur prend uniquement en charge l’authentification IAM Amazon Access Key.

  • Le connecteur enregistre les messages ayant échoué dans les journaux de Snowflake et ne les achemine pas vers un flux DLQ.

Prochaines étapes

Pour plus d’informations sur la configuration du connecteur, reportez-vous à la rubrique suivante :