Sobre a Openflow Connector for Kinesis

Nota

This connector is subject to the Snowflake Connector Terms.

Este tópico descreve os conceitos básicos do Openflow Connector for Kinesis, seu fluxo de trabalho e suas limitações.

É possível usar o Amazon Kinesis Data Streams para coletar e processar grandes fluxos de registros de dados em tempo real. Os produtores enviam dados continuamente ao Kinesis Data Streams, e os consumidores processam os dados em tempo real.

Um fluxo de dados do Kinesis é um conjunto de fragmentos. Cada fragmento tem uma sequência de registros de dados. Um registro de dados é a unidade de dados armazenada em um fluxo de dados do Kinesis. Os registros de dados são compostos por um número de sequência, uma chave de partição e um blob de dados, que é uma sequência imutável de bytes.

O Openflow Connector for Kinesis lê dados de um Kinesis Data Stream e grava-os em uma tabela Snowflake usando Snowpipe Streaming.

Use esse conector se quiser fazer o seguinte:

  • Ingestão de eventos em tempo real do Amazon Kinesis Data Streams no Snowflake para análises quase em tempo real

Fluxo de trabalho

  1. Um administrador AWS executa as seguintes tarefas:

    1. Cria credenciais para que o conector se conecte ao fluxo do Kinesis e ao DynamoDB associado.

    2. Defina as políticas de IAM que têm as permissões listadas nas permissões de IAM necessárias aos aplicativos de consumidor KCL.

    3. Registre o nome do fluxo e o nome do aplicativo e entregue-os ao administrador de conta Snowflake. Eles são necessários ao configurar o conector no Runtime.

  2. Um administrador de conta Snowflake executa as seguintes tarefas:

    1. Instala o conector.

    2. Configura o conector da seguinte forma:

      1. Fornece as credenciais e configurações do AWS e Snowflake.

      2. Fornece o nome do fluxo Kinesis.

      3. Define os nomes do banco de dados e do esquema na conta Snowflake.

      4. Personaliza outros parâmetros.

    3. Executa o conector na tela do Openflow. Após a execução, o conector realiza as seguintes ações:

      1. Cria tabelas DynamoDB para armazenar os pontos de verificação do fluxo do Kinesis.

      2. Extrai dados de fluxo.

      3. Cria a tabela de destino configurada no banco de dados do Snowflake se pelo menos um registro tiver sido recebido do fluxo.

      4. Carrega os dados processados na tabela Snowflake especificada.

  3. Os usuários corporativos podem executar operações nos dados baixados do Kinesis para a tabela de destino.

Limitações

  • Somente um único fluxo é compatível.

  • Enhanced fan-out mode is always enabled.

  • If a manually created table is used:

    • A table name must precisely match the stream of the data it holds.

    • A table name must be in uppercase format.

  • Only JSON message format is supported.

  • Only Amazon Access Key IAM authentication is supported.

  • Failed messages are logged to the Snowflake logs and not routed to a DLQ stream.

Próximos passos

Set up Openflow Connector for Kinesis for JSON data format

Linguagem: Português