Sobre a Openflow Connector for Kinesis

Nota

This connector is subject to the Snowflake Connector Terms.

This topic describes the basic concepts of Openflow Connector for Kinesis, including its workflow and limitations.

É possível usar o Amazon Kinesis Data Streams para coletar e processar grandes fluxos de registros de dados em tempo real. Os produtores enviam dados continuamente ao Kinesis Data Streams, e os consumidores processam os dados em tempo real.

Um fluxo de dados do Kinesis é um conjunto de fragmentos. Cada fragmento tem uma sequência de registros de dados. Um registro de dados é a unidade de dados armazenada em um fluxo de dados do Kinesis. Os registros de dados são compostos por um número de sequência, uma chave de partição e um blob de dados, que é uma sequência imutável de bytes.

O Openflow Connector for Kinesis lê dados de um Kinesis Data Stream e grava-os em uma tabela Snowflake usando Snowpipe Streaming.

Casos de uso

Use this connector if you want to ingest real‐time events from Amazon Kinesis Data Streams into Snowflake for near real-time analytics.

Fluxo de trabalho

Tarefas do administrador da AWS

  1. Create credentials for the connector to connect with Kinesis Stream and the associated DynamoDB.

  2. Set up IAM policies that have the permissions listed in IAM permissions required for KCL consumer applications.

  3. Record the stream name and application name and provide them to your Snowflake account administrator. These are required when setting up the connector in the runtime.

Tarefas do administrador da conta Snowflake ————————————————————————————————===

  1. Install the connector.

  2. Configure the connector:

    1. Provide the AWS and Snowflake credentials and settings.

    2. Provide the Kinesis stream name.

    3. Set the database and schema names in the Snowflake account.

    4. Customize other parameters.

  3. Run the connector in the Openflow canvas. Upon execution, the connector performs the following actions:

    1. Cria tabelas DynamoDB para armazenar os pontos de verificação do fluxo do Kinesis.

    2. Extrai dados de fluxo.

    3. Cria a tabela de destino configurada no banco de dados do Snowflake se pelo menos um registro tiver sido recebido do fluxo.

    4. Carrega os dados processados na tabela Snowflake especificada.

Tarefas do usuário empresarial ————————————————————————————————===

Perform operations on the data downloaded from Kinesis into the destination table.

Limitações

  • O conector oferece suporte apenas a um único fluxo.

  • If you use a manually created table:

    • The table name must match the stream of the data it holds precisely.

    • The table name must be uppercase.

  • O conector somente aceita formato de mensagem JSON.

  • The connector supports only Amazon Access Key IAM authentication.

  • The connector logs failed messages to the Snowflake logs and does not route them to a DLQ stream.

Próximos passos

Para obter informações sobre como configurar o conector, consulte o seguinte tópico: