Allgemeine Informationen zu Openflow Connector for Kinesis

Bemerkung

This connector is subject to the Snowflake Connector Terms.

Unter diesem Thema werden die grundlegenden Konzepte, der Workflow und die Beschränkungen von Openflow Connector for Kinesis beschrieben.

Sie können Amazon Kinesis Data Streams verwenden, um große Streams von Datensätzen in Echtzeit zu sammeln und zu verarbeiten. Produzenten senden kontinuierlich Daten an Kinesis Data Streams, und Verbraucher verarbeiten die Daten in Echtzeit.

Ein Kinesis-Datenstream ist ein Satz von Shards. Jeder Shard enthält eine Sequenz von Datensätzen. Ein Datensatz ist die Einheit der in einem Kinesis-Datenstream gespeicherten Daten. Datensätze bestehen aus einer Sequenznummer, einem Partitionsschlüssel und einem Daten-Blob, also einer unveränderlichen Folge von Bytes.

Das Openflow Connector for Kinesis liest Daten aus einem Kinesis-Datenstream und schreibt sie mit Snowpipe Streaming in eine Snowflake-Tabelle.

Verwenden Sie diesen Konnektor, wenn Sie Folgendes tun möchten:

  • Nimmt Echtzeit-Ereignisse aus Amazon Kinesis Data Streams in Snowflake auf für nahezu Echtzeit-Analysen

Workflow

  1. Ein AWS-Administrator führt die folgenden Aufgaben aus:

    1. Erstellt Anmeldeinformationen für den Konnektor zur Verbindung mit Kinesis Stream und der zugehörigen DynamoDB.

    2. Richtet IAM-Richtlinien ein, die über die unter IAM aufgeführten Berechtigungen verfügen, die für KCL-Verbraucheranwendungen erforderlich sind.

    3. Notieren Sie den Namen des Streams und der Anwendung und geben Sie diese an Ihren Snowflake-Kontoadministrator weiter. Diese Angaben werden benötigt, wenn Sie den Konnektor in Runtime einrichten.

  2. Ein Snowflake-Kontoadministrator führt folgende Aufgaben aus:

    1. Installiert den Konnektor.

    2. Konfiguriert den Anschluss wie folgt:

      1. Stellt die Anmeldeinformationen und Einstellungen für AWS und Snowflake bereit.

      2. Stellt den Namen des Kinesis-Streams bereit.

      3. Legt die Datenbank- und Schemanamen im Snowflake-Konto fest.

      4. Passt andere Parameter an.

    3. Führt den Konnektor im Openflow-Canvas aus. Bei der Ausführung führt der Konnektor die folgenden Aktionen aus:

      1. Erstellt DynamoDB-Tabellen zum Speichern von Kinesis Stream-Checkpoints.

      2. Extrahiert Streamdaten.

      3. Erstellt die konfigurierte Zieltabelle in der Snowflake-Datenbank, wenn mindestens ein Datensatz aus dem Stream empfangen wurde.

      4. Lädt die verarbeiteten Daten in die angegebene Snowflake-Tabelle.

  3. Geschäftsanwender können Operationen mit den von Kinesis in die Zieltabelle heruntergeladenen Daten durchführen.

Einschränkungen

  • Es wird nur ein einzelner Stream unterstützt.

  • Enhanced fan-out mode is always enabled.

  • Wenn eine manuell erstellte Tabelle verwendet wird:

    • A table name must precisely match the stream of the data it holds.

    • A table name must be in uppercase format.

  • Only JSON message format is supported.

  • Only Amazon Access Key IAM authentication is supported.

  • Fehlgeschlagene Meldungen werden in den Snowflake-Protokollen protokolliert und nicht an einen DLQ-Stream weitergeleitet.

Nächste Schritte

Set up Openflow Connector for Kinesis for JSON data format

Sprache: Deutsch