À propos de Openflow Connector for Snowflake to Kafka¶
Note
Le connecteur est soumis aux conditions d’utilisation du connecteur.
Cette rubrique décrit les concepts de base de Openflow Connector for Snowflake to Kafka et les limites.
Le connecteur consomme un flux Snowflake et envoie les enregistrements CDC consommés à un sujet Kafka. Un objet de flux Snowflake enregistre les modifications apportées aux tables en langage de manipulation de données (DML), y compris les insertions, les mises à jour et les suppressions, ainsi que les métadonnées relatives à chaque modification, afin que des actions puissent être entreprises à partir des données modifiées. Ce processus est appelé « capture de données modifiées » (CDC).
Utilisez ce connecteur si vous souhaitez effectuer les opérations suivantes :
Répliquez les tables Snowflake vers Apache Kafka en utilisant CDC pour la distribution d’insights en temps réel et les architectures pilotées par les événements
Workflow¶
En fonction de la configuration du courtier Kafka, qui va recevoir les données CDC, le flux de travail peut différer légèrement.
Un administrateur de compte Snowflake effectue les tâches suivantes :
Crée ou identifie le flux Snowflake qui sera la source des données CDC.
Désigne un entrepôt à utiliser par le connecteur.
Configure ou identifie l’utilisateur Snowflake utilisé par le connecteur et un rôle pour cet utilisateur. L’utilisateur doit disposer des autorisations appropriées sur le flux Snowflake source. Au minimum, l’utilisateur doit disposer du privilège USAGE sur la base de données et le schéma contenant le flux Snowflake, et du privilège SELECT sur le flux et l’objet table ou vue sous-jacent du flux.
Un administrateur Kafka effectue les tâches suivantes.
Crée ou identifie un courtier et un sujet Kafka qui sera la destination du site CDC capturé à partir du flux Snowflake.
Met en place le mécanisme d’authentification pour le courtier Kafka, qui va être utilisé par le connecteur.
Un ingénieur des données effectue les tâches suivantes :
Installe et configure le connecteur.
Fournit les identifiants de connexion et la configuration de Snowflake.
Fournit les identifiants de connexion et la configuration de Kafka.
Fournit les paramètres du connecteur.
Colonnes de métadonnées du flux¶
Les colonnes de métadonnées du flux METADATA$ROW_ID, METADATA$ISUPDATE, et METADATA$ACTION sont envoyées au sujet Kafka. Les noms de ces colonnes sont modifiés avant d’être envoyés à Kafka. Dans le message JSON qui est envoyé, ils deviennent METADATA_ROW_ID, METADATA_ISUPDATE et METADATA_ACTION.
Pour plus d’informations, voir Colonnes de flux.
Limitations¶
Un connecteur unique ne peut capturer les CDCs qu’à partir d’un seul flux Snowflake.
Les messages sont envoyés sans schéma.
L’évolution du schéma n’est pas prise en charge.