Openflow Connector for Amazon Kinesis Data Streams¶
Nota
O conector está sujeito aos Termos do conector Snowflake.
Sobre¶
Este tópico descreve os conceitos básicos do Openflow Connector for Amazon Kinesis Data Streams, incluindo o fluxo de trabalho e as limitações.
É possível usar o Amazon Kinesis Data Streams para coletar e processar grandes fluxos de registros de dados em tempo real. Os produtores enviam dados continuamente ao Kinesis Data Streams, e os consumidores processam os dados em tempo real.
Um fluxo de dados do Kinesis é um conjunto de fragmentos. Cada fragmento tem uma sequência de registros de dados. Um registro de dados é a unidade de dados armazenada em um fluxo de dados do Kinesis. Os registros de dados são compostos por um número de sequência, uma chave de partição e um blob de dados, que é uma sequência imutável de bytes.
O Openflow Connector for Amazon Kinesis Data Streams lê os dados dos fluxos do Kinesis e os grava nas tabelas do Snowflake usando a arquitetura do Snowpipe Streaming.
Use esse conector se quiser fazer o seguinte:
Ingerir eventos em tempo real do Amazon Kinesis no Snowflake para análises de dados quase em tempo real
Ingerir eventos em tempo real do Amazon Kinesis em tabelas Iceberg™ gerenciadas pelo Snowflake
Acelerar ainda mais a ingestão combinando a velocidade do Openflow com o recurso de tabelas interativas
Usar Single Message Transforms para enriquecer ou filtrar dados antes que eles cheguem ao Snowflake
Limitações¶
Um conector oferece suporte apenas à ingestão de um único fluxo.
O conector não oferece suporte à evolução de esquema para tabelas Apache Iceberg™.
O dimensionamento automático é incompatível. O número de nós mínimo e máximo do tempo de execução do Openflow deve ser constante para o tempo de execução em que o Openflow Connector for Amazon Kinesis Data Streams foi implantado.
Limitações da tolerância a falhas com o conector¶
É possível configurar os fluxos do Kinesis com um tempo de retenção. Se por algum motivo o Openflow Connector for Amazon Kinesis Data Streams não puder ingerir dados por mais do que o tempo de retenção, os registros expirados não serão carregados.
Tipos de dados e métodos de autenticação compatíveis¶
Por padrão, o conector está configurado para funcionar com o tipo de dados JSON e oferece suporte à autenticação usando as credenciais AWS: ID da chave de acesso e chave de acesso secreta. O conector pode ser personalizado para funcionar com outros tipos de dados e métodos de autenticação.