Apache Kafka com DLQ e metadados¶

Principais recursos¶

O Apache Kafka com DLQ e conector de metadados oferece funcionalidade abrangente:

• Suporte à fila de mensagens não entregues (DLQ) para tratamento de mensagens com falha

• Coluna RECORD_METADATA com metadados de mensagens do Kafka

• Esquematização configurável – ativa ou desativa a detecção de esquemas

• Suporte à tabela Iceberg com a evolução do esquema

• Suporte a vários formatos de mensagem – JSON e AVRO

• Integração do registro de esquema para mensagens AVRO

• Mapeamento de tópico para tabela com padrões avançados

• Suporte à autenticação SASL

Parâmetros específicos¶

Além dos parâmetros comuns descritos em Configure o Openflow Connector para Kafka, esse conector inclui contextos de parâmetro adicionais para recursos avançados.

Comportamento de esquematização¶

O comportamento do conector muda com base no parâmetro Schematization Enabled:

Detecção e evolução de esquema¶

O conector oferece suporte à detecção e à evolução de esquema. A estrutura de tabelas no Snowflake pode ser definida e desenvolvida automaticamente para oferecer suporte à estrutura de novos dados carregados pelo conector.

Sem a detecção e a evolução do esquema, a tabela Snowflake carregada pelo conector consiste apenas em duas colunas OBJECT: RECORD_CONTENT e RECORD_METADATA.

Com a detecção e evolução de esquema habilitadas, o Snowflake pode detectar o esquema dos dados de streaming e carregar dados em tabelas que correspondem automaticamente a qualquer esquema definido pelo usuário. Snowflake também permite adicionar novas colunas ou descartar a restrição NOT NULL de colunas ausentes em novos arquivos de dados.

A detecção de esquema com o conector é compatível com ou sem um registro de esquema fornecido. Se estiver usando o registro de esquema (Avro), a coluna será criada com os tipos de dados definidos no registro de esquema fornecido. Se não houver registro de esquema (JSON), o tipo de dados será inferido com base nos dados fornecidos.

JSON ARRAY não é compatível com esquematização adicional.

Fila de mensagens não entregues (DLQ)¶

A funcionalidade DLQ trata das mensagens que não podem ser processadas com êxito:

Suporte de tabela Iceberg¶

O Openflow Connector para Kafka pode ingerir dados em uma tabela gerenciada pelo Snowflake Apache Iceberg™ quando Iceberg ativado estiver definido como verdadeiro.

CREATE OR REPLACE ICEBERG TABLE my_iceberg_table (
    record_metadata OBJECT()
  )
  EXTERNAL_VOLUME = 'my_volume'
  CATALOG = 'SNOWFLAKE'
  BASE_LOCATION = 'my_location/my_iceberg_table';

{
    "id": 1,
    "name": "Steve",
    "body_temperature": 36.6,
    "approved_coffee_types": ["Espresso", "Doppio", "Ristretto", "Lungo"],
    "animals_possessed":
    {
        "dogs": true,
        "cats": false
    },
    "date_added": "2024-10-15"
}

CREATE OR REPLACE ICEBERG TABLE my_iceberg_table (
    RECORD_METADATA OBJECT(
        offset INTEGER,
        topic STRING,
        partition INTEGER,
        key STRING,
        timestamp TIMESTAMP,
        SnowflakeConnectorPushTime BIGINT,
        headers MAP(VARCHAR, VARCHAR)
    ),
    id INT,
    body_temperature FLOAT,
    name STRING,
    approved_coffee_types ARRAY(STRING),
    animals_possessed OBJECT(dogs BOOLEAN, cats BOOLEAN),
    date_added DATE
  )
  EXTERNAL_VOLUME = 'my_volume'
  CATALOG = 'SNOWFLAKE'
  BASE_LOCATION = 'my_location/my_iceberg_table';

CREATE OR REPLACE ICEBERG TABLE my_iceberg_table (
    RECORD_METADATA OBJECT(
        offset INTEGER,
        topic STRING,
        partition INTEGER,
        key STRING,
        timestamp TIMESTAMP,
        SnowflakeConnectorPushTime BIGINT,
        headers MAP(VARCHAR, VARCHAR)
    ),
    RECORD_CONTENT OBJECT(
        id INT,
        body_temperature FLOAT,
        name STRING,
        approved_coffee_types ARRAY(STRING),
        animals_possessed OBJECT(dogs BOOLEAN, cats BOOLEAN),
        date_added DATE
    )
  )
  EXTERNAL_VOLUME = 'my_volume'
  CATALOG = 'SNOWFLAKE'
  BASE_LOCATION = 'my_location/my_iceberg_table';

Casos de uso¶

Esse conector é ideal para:

• Ambientes de produção que exigem DLQ

• Linhagem de dados e auditoria em que os metadados do Kafka são importantes

• Processamento de mensagem complexa com requisitos de evolução do esquema

• Integração da tabela Iceberg

Se você precisar de uma ingestão mais simples, sem metadados ou recursos de DLQ, considere os conectores Apache Kafka para o formato de dados JSON/AVRO.