Allgemeine Informationen zu Openflow Connector for Kinesis

Bemerkung

Der Konnektor unterliegt den Bedingungen für Konnektoren.

Unter diesem Thema werden die grundlegenden Konzepte, der Workflow und die Beschränkungen von Openflow Connector for Kinesis beschrieben.

Sie können Amazon Kinesis Data Streams verwenden, um große Streams von Datensätzen in Echtzeit zu sammeln und zu verarbeiten. Produzenten senden kontinuierlich Daten an Kinesis Data Streams, und Verbraucher verarbeiten die Daten in Echtzeit.

Ein Kinesis-Datenstream ist ein Satz von Shards. Jeder Shard enthält eine Sequenz von Datensätzen. Ein Datensatz ist die Einheit der in einem Kinesis-Datenstream gespeicherten Daten. Datensätze bestehen aus einer Sequenznummer, einem Partitionsschlüssel und einem Daten-Blob, also einer unveränderlichen Folge von Bytes.

Openflow Connector for Kinesis liest Daten aus einem Kinesis-Datenstream und schreibt sie mit Snowpipe Streaming in eine Snowflake-Tabelle.

Verwenden Sie diesen Konnektor, wenn Sie Folgendes tun möchten:

  • Nimmt Echtzeit-Ereignisse aus Amazon Kinesis Data Streams in Snowflake auf für nahezu Echtzeit-Analysen

Workflow

  1. Ein AWS-Administrator führt die folgenden Aufgaben aus:

    1. Erstellt Anmeldeinformationen für den Konnektor zur Verbindung mit Kinesis Stream und der zugehörigen DynamoDB.

    2. Richtet IAM-Richtlinien ein, die über die unter IAM aufgeführten Berechtigungen verfügen, die für KCL-Verbraucheranwendungen erforderlich sind.

    3. Notieren Sie den Namen des Streams und der Anwendung und geben Sie diese an Ihren Snowflake-Kontoadministrator weiter. Diese Angaben werden benötigt, wenn Sie den Konnektor in Runtime einrichten.

  2. Ein Snowflake-Kontoadministrator führt folgende Aufgaben aus:

    1. Lädt die Konnektordefinitionsdatei herunter und importiert sie in den Snowflake Openflow-Canvas.

    2. Konfiguriert den Anschluss wie folgt:

      1. Stellt die Anmeldeinformationen und Einstellungen für AWS und Snowflake bereit.

      2. Stellt den Namen des Kinesis-Streams bereit.

      3. Legt die Datenbank- und Schemanamen im Snowflake-Konto fest.

      4. Passt andere Parameter an.

    3. Führt den Konnektor im Openflow-Canvas aus. Bei der Ausführung führt der Konnektor die folgenden Aktionen aus:

      1. Erstellt DynamoDB-Tabellen zum Speichern von Kinesis Stream-Checkpoints.

      2. Extrahiert Streamdaten.

      3. Erstellt die konfigurierte Zieltabelle in der Snowflake-Datenbank, wenn mindestens ein Datensatz aus dem Stream empfangen wurde.

      4. Lädt die verarbeiteten Daten in die angegebene Snowflake-Tabelle.

  3. Geschäftsanwender können Operationen mit den von Kinesis in die Zieltabelle heruntergeladenen Daten durchführen.

Einschränkungen

  • Es wird nur ein einzelner Stream unterstützt.

  • Der erweiterte Fan-Out-Modus wird nicht unterstützt.

  • Wenn der Parameter Kinesis Stream To Table Map nicht festgelegt ist:

    • Tabellennamen müssen genau dem Datenstream entsprechen, den sie enthalten.

    • Tabellennamen müssen in Großbuchstaben geschrieben werden.

  • Wenn der Parameter Kinesis Stream To Table Map festgelegt ist, müssen die Tabellennamen mit den in der Zuordnung angegebenen Tabellennamen übereinstimmen. Tabellennamen müssen ein gültiger Snowflake-Bezeichner ohne Anführungszeichen sein. Informationen zu gültigen Tabellennamen finden Sie unter Anforderungen an Bezeichner.

  • Bei Iceberg-Tabellen müssen die erstellten Tabellen das Meldugsmodell widerspiegeln. Wenn eine Meldung nicht mit dem Modell übereinstimmt, schlägt der Konnektor fehl.

  • Es werden nur die Meldungsformate JSON und AVRO unterstützt.

  • Nur Confluent Schema Registry wird unterstützt.

  • Es wird nur die Amazon IAM-Authentifizierung unterstützt.

  • Wenn das Einfügen von Daten in eine Tabelle fehlschlägt, versucht der Konnektor dreimal, eine Verbindung herzustellen, bevor die Daten an den Fehlerausgang weitergeleitet werden.

Nächste Schritte

Einrichten von Openflow Connector for Kinesis

Sprache: Deutsch