Allgemeine Informationen zu Openflow Connector for Snowflake to Kafka¶
Bemerkung
Der Konnektor unterliegt den Bedingungen für Konnektoren.
Unter diesem Thema werden die grundlegenden Konzepte und Beschränkungen von Openflow Connector for Snowflake to Kafka beschrieben.
Der Konnektor verarbeitet einen Snowflake-Stream und sendet die verarbeiteten CDC-Datensätze an ein Kafka-Thema. Ein Snowflake-Stream-Objekt erfasst Änderungen an Tabellen, die durch Data Manipulation Language (DML) erfolgen – einschließlich Einfügungen, Aktualisierungen und Löschungen – sowie Metadaten zu jeder Änderung, sodass Aktionen unter Verwendung der geänderten Daten durchgeführt werden können. Dieser Vorgang wird als Change Data Capture (CDC) bezeichnet.
Verwenden Sie diesen Konnektor, wenn Sie Folgendes tun möchten:
Snowflake-Tabellen auf Apache Kafka mit CDC replizieren, um Echtzeit-Einblicke und ereignisgesteuerte Architekturen zu ermöglichen
Workflow¶
Je nach Konfiguration des Kafka-Brokers, der die CDC-Daten empfangen soll, kann der Workflow leicht abweichen.
Ein Snowflake-Kontoadministrator führt folgende Aufgaben aus:
Erstellt oder bestimmt den Snowflake-Stream, der als Quelle für die CDC-Daten dienen soll.
Gibt ein Warehouse an, das vom Konnektor verwendet werden soll.
Konfiguriert oder identifiziert den vom Konnektor verwendeten Snowflake Benutzer und eine Rolle für diesen Benutzer. Der Benutzer muss über die entsprechenden Berechtigungen für den Quell-Snowflake-Stream verfügen. Der Benutzer benötigt mindestens die USAGE-Berechtigung für die Datenbank und das Schema, die den Snowflake-Stream enthalten, sowie die SELECT-Berechtigung für den Stream und das zugrunde liegende Tabellen- oder das Ansichtsobjekt des Streams.
Ein Kafka Administrator führt die folgenden Aufgaben aus:
Erstellt oder identifiziert einen Kafka-Broker und ein Thema, das als Ziel für die aus dem Snowflake-Stream erfassten CDC dienen soll.
Richtet den Authentifizierungsmechanismus für den Kafka-Broker ein, der vom Konnektor verwendet werden soll.
Ein Data Engineer führt die folgenden Aufgaben aus:
Installiert und konfiguriert den Konnektor.
Stellt die Snowflake-Anmeldeinformationen und -Konfiguration bereit.
Stellt die Kafka-Anmeldeinformationen und -Konfiguration bereit.
Stellt die Konnektorparameter bereit.
Spalten für Stream-Metadaten¶
Die Spalten für Stream-Metadaten METADATA$ROW_ID, METADATA$ISUPDATE und METADATA$ACTION werden an das Kafka-Thema gesendet. Die Namen dieser Spalten werden geändert, bevor sie an Kafka gesendet werden. In der gesendeten JSON-Meldung werden sie zu METADATA_ROW_ID, METADATA_ISUPDATE und METADATA_ACTION.
Weitere Informationen dazu finden Sie unter Stream-Spalten.
Einschränkungen¶
Ein einzelner Konnektor kann nur CDCs von einem Snowflake-Stream erfassen.
Meldungen werden ohne Schema gesendet.
Schemaentwicklung wird nicht unterstützt.