Sobre a Openflow Connector for Kinesis

Nota

O conector está sujeito aos termos do conector.

Este tópico descreve os conceitos básicos do Openflow Connector for Kinesis, seu fluxo de trabalho e suas limitações.

É possível usar o Amazon Kinesis Data Streams para coletar e processar grandes fluxos de registros de dados em tempo real. Os produtores enviam dados continuamente ao Kinesis Data Streams, e os consumidores processam os dados em tempo real.

Um fluxo de dados do Kinesis é um conjunto de fragmentos. Cada fragmento tem uma sequência de registros de dados. Um registro de dados é a unidade de dados armazenada em um fluxo de dados do Kinesis. Os registros de dados são compostos por um número de sequência, uma chave de partição e um blob de dados, que é uma sequência imutável de bytes.

O Openflow Connector for Kinesis lê os dados de um fluxo de dados Kinesis e os grava em uma tabela Snowflake usando Snowpipe Streaming.

Use esse conector se quiser fazer o seguinte:

  • Ingestão de eventos em tempo real do Amazon Kinesis Data Streams no Snowflake para análises quase em tempo real

Fluxo de trabalho

  1. Um administrador AWS executa as seguintes tarefas:

    1. Cria credenciais para que o conector se conecte ao fluxo do Kinesis e ao DynamoDB associado.

    2. Defina as políticas de IAM que têm as permissões listadas nas permissões de IAM necessárias aos aplicativos de consumidor KCL.

    3. Registre o nome do fluxo e o nome do aplicativo e entregue-os ao administrador de conta Snowflake. Eles são necessários ao configurar o conector no Runtime.

  2. Um administrador de conta Snowflake executa as seguintes tarefas:

    1. Faz o download e importa o arquivo de definição do conector para a tela do Snowflake Openflow.

    2. Configura o conector da seguinte forma:

      1. Fornece as credenciais e configurações do AWS e Snowflake.

      2. Fornece o nome do fluxo Kinesis.

      3. Define os nomes do banco de dados e do esquema na conta Snowflake.

      4. Personaliza outros parâmetros.

    3. Executa o conector na tela do Openflow. Após a execução, o conector realiza as seguintes ações:

      1. Cria tabelas DynamoDB para armazenar os pontos de verificação do fluxo do Kinesis.

      2. Extrai dados de fluxo.

      3. Cria a tabela de destino configurada no banco de dados do Snowflake se pelo menos um registro tiver sido recebido do fluxo.

      4. Carrega os dados processados na tabela Snowflake especificada.

  3. Os usuários corporativos podem executar operações nos dados baixados do Kinesis para a tabela de destino.

Limitações

  • Somente um único fluxo é compatível.

  • O modo de disseminação de dados aprimorado não é compatível.

  • Se o parâmetro Kinesis Stream To Table Map não estiver definido, você poderá usar o mesmo parâmetro:

    • Os nomes das tabelas devem corresponder exatamente ao fluxo dos dados que elas contêm.

    • Os nomes das tabelas devem estar em letras maiúsculas.

  • Se o parâmetro Kinesis Stream To Table Map for definido, os nomes de tabela deverão corresponder aos nomes de tabela especificados no mapeamento. Os nomes das tabelas devem ser um identificador válido do Snowflake sem aspas. Para obter mais informações sobre nomes válidos de tabelas, consulte Requisitos para identificadores.

  • Para as tabelas Iceberg, as tabelas criadas precisam refletir o modelo de mensagem. Se uma mensagem não corresponder ao modelo, o conector falhará.

  • Somente os formatos de mensagem JSON e AVRO são compatíveis.

  • Somente o Confluent Schema Registry é compatível.

  • Somente a autenticação do Amazon IAM é compatível.

  • No caso de falha na inserção de dados em uma tabela, o conector tenta se conectar três vezes antes de rotear os dados para a saída de falha.

Próximos passos

Configure o Openflow Connector for Kinesis

Linguagem: Português