Sobre a Openflow Connector for Kinesis

Nota

O conector está sujeito aos Termos do conector Snowflake.

Este tópico descreve os conceitos básicos do Openflow Connector for Kinesis, incluindo o fluxo de trabalho e as limitações.

É possível usar o Amazon Kinesis Data Streams para coletar e processar grandes fluxos de registros de dados em tempo real. Os produtores enviam dados continuamente ao Kinesis Data Streams, e os consumidores processam os dados em tempo real.

Um fluxo de dados do Kinesis é um conjunto de fragmentos. Cada fragmento tem uma sequência de registros de dados. Um registro de dados é a unidade de dados armazenada em um fluxo de dados do Kinesis. Os registros de dados são compostos por um número de sequência, uma chave de partição e um blob de dados, que é uma sequência imutável de bytes.

O Openflow Connector for Kinesis lê dados de um Kinesis Data Stream e grava-os em uma tabela Snowflake usando Snowpipe Streaming.

Casos de uso

Use este conector se quiser ingerir eventos em tempo real do Amazon Kinesis Data Streams para o Snowflake para análises quase em tempo real.

Fluxo de trabalho

Tarefas do administrador da AWS

  1. Criar credenciais para que o conector se conecte ao fluxo do Kinesis e ao DynamoDB associado.

  2. Configurar políticas do IAM que tenham as permissões listadas em Permissões do IAM necessárias para aplicativos de consumidor da KCL.

  3. Registrar o nome do fluxo e o nome do aplicativo e enviá-los ao administrador da sua conta Snowflake. Eles são necessários para configurar o conector no tempo de execução.

Tarefas do administrador da conta Snowflake ————————————————————————————————===

  1. Instale o conector.

  2. Configurar o conector:

    1. Fornecer as credenciais e configurações da AWS e do Snowflake.

    2. Inserir o nome do fluxo do Kinesis.

    3. Definir os nomes do banco de dados e do esquema na conta Snowflake.

    4. Personalizar outros parâmetros.

  3. Executar o conector na tela do Openflow. Após a execução, o conector realiza as seguintes ações:

    1. Cria tabelas DynamoDB para armazenar os pontos de verificação do fluxo do Kinesis.

    2. Extrai dados de fluxo.

    3. Cria a tabela de destino configurada no banco de dados do Snowflake se pelo menos um registro tiver sido recebido do fluxo.

    4. Carrega os dados processados na tabela Snowflake especificada.

Tarefas do usuário empresarial ————————————————————————————————===

Executar operações nos dados baixados do Kinesis para a tabela de destino.

Limitações

  • O conector oferece suporte apenas a um único fluxo.

  • Se você usa uma tabela criada manualmente:

    • Um nome de tabela deve corresponder exatamente ao fluxo dos dados que ela contém.

    • O nome da tabela deve estar em letras maiúsculas.

  • O conector somente aceita formato de mensagem JSON.

  • O conector é compatível apenas com a autenticação por chave de acesso do IAM da Amazon.

  • O conector registra as mensagens com falha nos logs do Snowflake e não as encaminha para um fluxo DLQ.

Próximos passos

Para obter informações sobre como configurar o conector, consulte o seguinte tópico: