Note
Ce connecteur est soumis aux conditions d’utilisation de Snowflake Connector.
Connecteur Openflow Snowflake pour Kafka¶
Cette rubrique décrit les concepts de base du connecteur Openflow pour Kafka et ses limites.
Le connecteur Openflow pour Kafka lit les données des sujets Kafka et les écrit dans des tables Snowflake à l’aide de l’architecture Snowpipe Streaming High Performance.
Utilisez ce connecteur si vous souhaitez effectuer les opérations suivantes :
Ingérer des événements en temps réel depuis Apache Kafka dans Snowflake pour des analyses en temps quasi réel
Ingérer des événements en temps réel depuis Apache Kafka dans des tables Iceberg™ gérées par Snowflake
Accélérer encore plus votre ingestion en combinant la vitesse d’Openflow avec la fonctionnalité de tables interactives
Effectuez des transformations de messages uniques pour enrichir ou filtrer les données avant que les données n’atterrissent dans Snowflake.
Limitations¶
Le connecteur ne prend pas en charge l’évolution des schémas pour les tables Apache Iceberg™.
La mise à l’échelle automatique n’est pas prise en charge. Le nombre de nœuds minimum et maximum de l’environnement d’exécution Openflow doit être constant pour l’environnement d’exécution dans lequel le connecteur Openflow pour Kafka est déployé.
Le cluster Kafka doit exécuter la version 0.10.0.0 ou ultérieure. Les versions antérieures de Kafka ne sont pas prises en charge.
Utilisation de différentes options d’authentification, de différents types de données ou d’une manipulation de données¶
Le connecteur est configuré pour fonctionner avec le type de données JSON et la méthode d’authentification SASL_SSL. Le connecteur peut être modifié et étendu de nombreuses manières. Voir les sous-pages dédiées dans la section Configuration pour obtenir des conseils sur les modifications nécessaires.
Types de données pris en charge¶
Le connecteur Openflow pour Kafka prend en charge les types de données suivants :
JSON (disponible par défaut dans le connecteur)
Avro (configuration supplémentaire requise)
Protobuf (configuration supplémentaire requise)
Méthodes d’authentification prises en charge¶
Le connecteur Openflow pour Kafka prend en charge les mécanismes d’authentification suivants :
SASL avec les mécanismes SASL suivants :
PLAIN
SCRAM-SHA-256
SCRAM-SHA-512 (disponible par défaut dans le connecteur)
OAUTHBEARER
SASL avec AWS MSK IAM (configuration supplémentaire requise via les services de contrôleur)
mTLS (configuration supplémentaire requise via les services de contrôleur)