À propos de Openflow Connector for Kinesis

Note

Le connecteur est soumis aux conditions d’utilisation du connecteur.

Cette rubrique décrit les concepts de base de Openflow Connector for Kinesis, son flux de travail et ses limites.

Vous pouvez utiliser Amazon Kinesis Data Streams pour collecter et traiter de grands flux d’enregistrements de données en temps réel. Les producteurs poussent continuellement des données vers les flux de données Kinesis, et les consommateurs traitent les données en temps réel.

Un flux de données Kinesis est un ensemble de fragments. Chaque fragment possède une séquence d’enregistrements de données. Un enregistrement de données est l’unité de données stockée dans un flux de données Kinesis. Les enregistrements de données sont composés d’un numéro de séquence, d’une clé de partition et d’un bloc de données, qui est une séquence immuable d’octets.

Openflow Connector for Kinesis lit les données d’un flux de données Kinesis et les écrit dans une table Snowflake à l’aide de Snowpipe Streaming.

Utilisez ce connecteur si vous souhaitez effectuer les opérations suivantes :

  • Ingérez des événements en temps réel à partir des flux de données Amazon Kinesis dans Snowflake pour une analyse en temps quasi réel

Workflow

  1. Un administrateur AWS effectue les tâches suivantes :

    1. Crée des identifiants pour que le connecteur se connecte à Kinesis Stream et au site DynamoDB associé .

    2. Paramètre les politiques IAM contenant les autorisations listées dans Autorisations IAM requises pour les applications consommateur KCL.

    3. Enregistrez le nom du flux et le nom de l’application et donnez-les à votre administrateur de compte Snowflake. Ces paramètres sont exigés lors du paramétrage du connecteur dans l’environnement d’exécution.

  2. Un administrateur de compte Snowflake effectue les tâches suivantes :

    1. Télécharge et importe le fichier de définition du connecteur dans le canevas Snowflake Openflow.

    2. Configure le connecteur comme suit :

      1. Fournit les identifiants de connexion et les paramètres de AWS et de Snowflake.

      2. Fournit le nom du flux Kinesis.

      3. Paramètre les noms de la base de données et du schéma dans le compte Snowflake.

      4. Personnalise d’autres paramètres.

    3. Exécute le connecteur dans le canevas Openflow. Lors de l’exécution, le connecteur effectue les actions suivantes :

      1. Crée les tables DynamoDB pour le stockage des points de contrôle du flux Kinesis.

      2. Extrait les données du flux.

      3. Crée la table de destination configurée dans la base de données Snowflake si au moins un enregistrement a été reçu du flux.

      4. Charge les données traitées dans la table Snowflake spécifiée.

  3. Les utilisateurs professionnels peuvent effectuer des opérations sur les données téléchargées depuis Kinesis dans la table de destination.

Limitations

  • Un seul flux est pris en charge.

  • Le mode de ventilation amélioré n’est pas pris en charge.

  • Si le paramètre Kinesis Stream To Table Map n’est pas ensemble, alors :

    • Les noms des tables doivent correspondre précisément au flux des données qu’elles contiennent.

    • Les noms des tables doivent être en format majuscule.

  • Si le paramètre Kinesis Stream To Table Map est défini, les noms des tables doivent correspondre aux noms des tables spécifiées dans le mappage. Les noms de table doivent être des identifiants non entre guillemets valides selon la syntaxe de Snowflake. Pour plus d’informations sur les noms de table valides, voir Exigences relatives à l’identificateur.

  • Pour les tables Iceberg, les tables créées doivent refléter le modèle de message. Si un message ne correspond pas au modèle, le connecteur échoue.

  • Seuls les formats de message JSON et AVRO sont pris en charge.

  • Seul Confluent Schema Registry est pris en charge.

  • Seule l’authentification Amazon IAM est prise en charge.

  • Dans le cas d’un échec d’insertion de données dans une table, le connecteur tente de se connecter trois fois avant de router les données vers la sortie d’échec.

Prochaines étapes

Paramétrez Openflow Connector for Kinesis

Langage: Français