Openflow Connector für Kafka

Bemerkung

Der Konnektor unterliegt den Bedingungen für Konnektoren.

Unter diesem Thema werden grundlegenden Konzepte und die Beschränkungen von Openflow Connector für Kafka beschrieben.

Die Apache Kafka-Software verwendet ein Veröffentlichen/Abonnieren-Modell für das Schreiben und Lesen von Datenströmen, ähnlich einer Nachrichtenwarteschlange oder einem Enterprise-Messaging-System. Mit Kafka können Prozesse Nachrichten asynchron lesen und schreiben. Ein Abonnent muss nicht direkt mit einem Herausgeber verbunden sein. Ein Herausgeber kann eine Nachricht in Kafka in eine Warteschlange stellen, damit der Abonnent sie später empfangen kann.

Eine Anwendung veröffentlicht Meldungen in einem Thema, und eine Anwendung abonniert ein Thema, um diese Meldungen zu erhalten. Kafka kann Meldungen verarbeiten und übermitteln. Dies liegt jedoch außerhalb des Rahmens dieses Dokuments. Themen können in Partitionen unterteilt werden, um die Skalierbarkeit zu erhöhen.

Der Openflow Connector für Kafka liest Daten aus Kafka-Themen und schreibt sie in Snowflake-Tabellen unter Verwendung des Snowpipe Streaming-Mechanismus.

Verwenden Sie diesen Konnektor, wenn Sie Folgendes tun möchten:

  • Nimmt Echtzeit-Ereignisse von Apache Kafka auf und lädt sie in Snowflake für nahezu Echtzeit-Analysen

Einschränkungen

  • Wenn der Parameter Topic To Table Map nicht festgelegt ist:

    • Tabellennamen müssen genau dem Thema der Daten entsprechen, die sie enthalten.

    • Tabellennamen müssen in Großbuchstaben geschrieben werden.

  • Wenn der Parameter Topic To Table Map festgelegt ist:

    • Tabellennamen müssen mit den in der Zuordnung angegebenen Tabellennamen übereinstimmen. Tabellennamen müssen ein gültiger Snowflake-Bezeichner ohne Anführungszeichen sein. Informationen zu gültigen Tabellennamen finden Sie unter Anforderungen an Bezeichner.

  • Es werden nur die Formate JSON und AVRO unterstützt.

  • Nur Confluent Schema Registry wird unterstützt.

  • Die Sicherheitsprotokolle PLAINTEXT, SASL_PLAIN, SSL und SASL_SSL werden unterstützt.

  • Die Mechanismen PLAIN, SCRAM-SHA-256, SCRAM-SHA-512 und AWS_MSK_IAM SASL werden unterstützt.

  • Die Authentifizierungsmethochen mTLS und AWS MSK IAM erfordern eine zusätzliche Konfiguration über Dienste. Weitere Details dazu finden Sie unter Andere Authentifizierungsmethoden für Openflow Connector für Kafka konfigurieren.

  • Wenn das Einfügen von Daten in eine Tabelle fehlschlägt, versucht der Konnektor es unendlich oft erneut.

Nächste Schritte

Sprache: Deutsch