Connecteur Openflow pour Kafka

Note

Le connecteur est soumis aux conditions d’utilisation du connecteur.

Cette rubrique décrit les concepts de base de connecteur Openflow pour Kafka et ses limites.

Le logiciel Apache Kafka utilise un modèle de publication et d’abonnement pour écrire et lire des flux d’enregistrements, similaires à une file d’attente de messages ou à un système de messagerie d’entreprise. Kafka permet aux processus de lire et d’écrire des messages de manière asynchrone. Un abonné n’a pas besoin d’être connecté directement à un éditeur ; un éditeur peut mettre en file d’attente un message dans Kafka pour que l’abonné puisse le recevoir plus tard.

Une application publie des messages dans une rubrique et une application s’abonne à une rubrique pour recevoir ces messages. Kafka peut traiter, ainsi que transmettre, des messages ; cependant, cela sort du cadre de ce document. Les sujets peuvent être divisés en partitions pour augmenter l’évolutivité.

Connecteur Openflow pour Kafka lit les données des sujets Kafka et les écrit dans les tables Snowflake en utilisant le mécanisme de Snowpipe Streaming.

Utilisez ce connecteur si vous souhaitez effectuer les opérations suivantes :

  • Ingérez des événements en temps réel depuis Apache Kafka dans Snowflake pour des analyses en temps quasi réel

Limitations

  • Si le paramètre Topic To Table Map n’est pas défini :

    • Les noms des tables doivent correspondre précisément au thème des données qu’elles contiennent.

    • Les noms des tables doivent être en format majuscule.

  • Si le paramètre Topic To Table Map est défini :

    • Les noms de table doivent correspondre aux noms de table spécifiés dans le mappage. Les noms de table doivent être des identifiants non entre guillemets valides selon la syntaxe de Snowflake. Pour plus d’informations sur les noms de table valides, voir Exigences relatives à l’identificateur.

  • Seuls les formats JSON et AVRO sont pris en charge.

  • Seul Confluent Schema Registry est pris en charge.

  • Les protocoles de sécurité PLAINTEXT, SASL_PLAIN, SSL et SASL_SSL sont pris en charge.

  • Les mécanismes PLAIN, SCRAM-SHA-256, SCRAM-SHA-512 et AWS_MSK_IAM SASL sont pris en charge.

  • Les méthodes d’authentification mTLS et AWS MSK IAM nécessitent une configuration supplémentaire via les services. Voir Configurer d’autres méthodes d’authentification pour le connecteur Openflow pour Kafka pour plus de détails.

  • En cas d’échec de l’insertion de données dans une table, le connecteur effectuera des tentatives à l’infini.

Prochaines étapes

Langage: Français