Allgemeine Informationen zu Openflow Connector for Kinesis

Bemerkung

Dieser Connector unterliegt den `Nutzungsbedingungen für Snowflake Connector<https://www.snowflake.com/legal/snowflake-connector-terms/>`_.

In diesem Thema werden die grundlegenden Konzepte, der Workflow und die Einschränkungen von Openflow Connector for Kinesis beschrieben.

Sie können Amazon Kinesis Data Streams verwenden, um große Streams von Datensätzen in Echtzeit zu sammeln und zu verarbeiten. Produzenten senden kontinuierlich Daten an Kinesis Data Streams, und Verbraucher verarbeiten die Daten in Echtzeit.

Ein Kinesis-Datenstream ist ein Satz von Shards. Jeder Shard enthält eine Sequenz von Datensätzen. Ein Datensatz ist die Einheit der in einem Kinesis-Datenstream gespeicherten Daten. Datensätze bestehen aus einer Sequenznummer, einem Partitionsschlüssel und einem Daten-Blob, also einer unveränderlichen Folge von Bytes.

Das Openflow Connector for Kinesis liest Daten aus einem Kinesis-Datenstream und schreibt sie mit Snowpipe Streaming in eine Snowflake-Tabelle.

Anwendungsfälle

Verwenden Sie diesen Konnektor, wenn Sie Echtzeitereignisse von Amazon Kinesis Data Streams in Snowflake für Quasi-Echtzeit-Analysen erfassen möchten.

Workflow

Aufgaben des AWS-Administrators

  1. Erstellen Sie Anmeldeinformationen für den Konnektor, um sich mit Kinesis Stream und der zugehörigen DynamoDB zu verbinden.

  2. Richten Sie IAM-Richtlinien ein, die über die unter Erforderliche IAM-Berechtigungen für KCL-Verbraucheranwendungen aufgeführten Berechtigungen verfügen.

  3. Notieren Sie sich den Streamnamen und den Anwendungsnamen, und geben Sie diese Informationen an den Snowflake-Kontoadministrator weiter. Diese sind erforderlich, wenn Sie den Konnektor in der Laufzeitumgebung einrichten.

Aufgaben des Snowflake-Kontoadministrators ————————————————————————————————===

  1. Installieren des Konnektors.

  2. Konfigurieren des Konnektors:

    1. Geben Sie die Anmeldeinformationen und Einstellungen für AWS und Snowflake an.

    2. Geben Sie den Namen des Kinesis-Streams an.

    3. Legen Sie die Datenbank- und Schemanamen im Snowflake-Konto fest.

    4. Passen Sie andere Parameter an.

  3. Führen Sie den Konnektor in der Openflow-Arbeitsoberfläche aus. Bei der Ausführung führt der Konnektor die folgenden Aktionen aus:

    1. Erstellt DynamoDB-Tabellen zum Speichern von Kinesis Stream-Checkpoints.

    2. Extrahiert Streamdaten.

    3. Erstellt die konfigurierte Zieltabelle in der Snowflake-Datenbank, wenn mindestens ein Datensatz aus dem Stream empfangen wurde.

    4. Lädt die verarbeiteten Daten in die angegebene Snowflake-Tabelle.

Aufgaben für Geschäftskunden ————————————————————————————————===

Führen Sie Operationen mit den von Kinesis in die Zieltabelle heruntergeladenen Daten durch.

Einschränkungen

  • Der Konnektor unterstützt nur einen einzigen Stream.

  • Wenn Sie eine manuell erstellte Tabelle verwenden:

    • Der Tabellenname muss genau mit dem Stream der enthaltenen Daten übereinstimmen.

    • Der Tabellenname muss in Großbuchstaben geschrieben sein.

  • Der Konnektor unterstützt nur das JSON-Meldungsformat.

  • Der Konnektor unterstützt nur Amazon Access Key IAM-Authentifizierung.

  • Der Konnektor protokolliert fehlgeschlagene Meldungen in den Snowflake-Protokollen und leitet sie nicht an einen DLQ-Stream weiter.

Nächste Schritte

Weitere Informationen zum Einrichten des Konnektors finden Sie unter folgenden Themen: