Connecteur Openflow pour Kafka

Note

Le connecteur est soumis aux conditions d’utilisation du connecteur.

Cette rubrique décrit les concepts de base de connecteur Openflow pour Kafka et ses limites.

Le logiciel Apache Kafka utilise un modèle de publication et d’abonnement pour écrire et lire des flux d’enregistrements, similaires à une file d’attente de messages ou à un système de messagerie d’entreprise. Kafka permet aux processus de lire et d’écrire des messages de manière asynchrone. Un abonné n’a pas besoin d’être connecté directement à un éditeur ; un éditeur peut mettre en file d’attente un message dans Kafka pour que l’abonné puisse le recevoir plus tard.

Une application publie des messages dans une rubrique et une application s’abonne à une rubrique pour recevoir ces messages. Kafka peut traiter, ainsi que transmettre, des messages ; cependant, cela sort du cadre de ce document. Les sujets peuvent être divisés en partitions pour augmenter l’évolutivité.

Connecteur Openflow pour Kafka lit les données des sujets Kafka et les écrit dans les tables Snowflake en utilisant le mécanisme de Snowpipe Streaming.

Utilisez ce connecteur si vous souhaitez effectuer les opérations suivantes :

  • Ingérez des événements en temps réel depuis Apache Kafka dans Snowflake pour des analyses en temps quasi réel

Limitations

  • Si le paramètre Topic To Table Map n’est pas défini :

    • Les noms des tables doivent correspondre précisément au thème des données qu’elles contiennent.

    • Les noms des tables doivent être en format majuscule.

  • Si le paramètre Topic To Table Map est défini :

    • Les noms de table doivent correspondre aux noms de table spécifiés dans le mappage. Les noms de table doivent être des identifiants non entre guillemets valides selon la syntaxe de Snowflake. Pour plus d’informations sur les noms de table valides, voir Exigences relatives à l’identificateur.

  • Seuls les formats JSON et AVRO sont pris en charge.

  • Seul Confluent Schema Registry est pris en charge.

  • Les protocoles de sécurité PLAINTEXT, SASL_PLAIN, SSL et SASL_SSL sont pris en charge.

  • Les mécanismes PLAIN, SCRAM-SHA-256, SCRAM-SHA-512 et AWS_MSK_IAM SASL sont pris en charge.

  • Les méthodes d’authentification mTLS et AWS MSK IAM nécessitent une configuration supplémentaire via les services. Voir Configurer d’autres méthodes d’authentification pour le connecteur Openflow pour Kafka pour plus de détails.

  • En cas d’échec de l’insertion de données dans une table, le connecteur effectuera des tentatives à l’infini.

Mappage des noms de champs et traitement des caractères spéciaux

Lors du mappage des noms de champs des messages Kafka aux noms des colonnes Snowflake, le connecteur applique les transformations suivantes pour assurer la compatibilité avec les conventions de nommage Snowflake :

  1. Premier caractère : Le premier caractère du nom du champ doit être une lettre. S’il ne s’agit pas d’une lettre, elle est remplacée par un tiret du bas.

  2. Autres caractères : Tous les autres caractères doivent être des lettres, des nombres ou des tiret du bas. Tous les autres caractères sont remplacés par des tiret du bas.

Prochaines étapes

Langage: Français