Uso do conector Snowflake para Kafka com Snowpipe Streaming¶

Propriedades obrigatórias¶

Adicione ou edite suas configurações de conexão no arquivo de propriedades do conector Kafka. Para obter mais informações, consulte Configuração do conector Kafka.

snowflake.ingestion.method

Necessário somente se o conector Kafka for utilizado como o cliente que ingere o streaming. Especifica se deve usar o Snowpipe Streaming ou Snowpipe padrão para carregar seus dados de tópico Kafka. Os valores suportados são:

• SNOWPIPE_STREAMING

• SNOWPIPE (padrão)

Nenhuma configuração adicional é necessária para escolher o serviço de back-end para enfileirar e carregar os dados de tópico. Configure propriedades adicionais em seu arquivo de propriedades do conector Kafka como de costume.

snowflake.role.name

Função de controle de acesso a ser usada ao inserir as linhas na tabela.

Propriedades de otimização do cliente¶

enable.streaming.client.optimization

Especifica se a otimização de um cliente deve ser ativada. Esta propriedade é suportada pela versão do conector Kafka 2.1.2 e posterior. Ela está ativada por padrão.

Com a otimização de um cliente, apenas um cliente é criado para diversas partições de tópico por conector Kafka. Esse recurso pode reduzir o tempo de execução do cliente e diminuir o custo de migração criando arquivos maiores.

Valores:

• true

• false

Padrão:

true

Observe que em um cenário de alto rendimento (por exemplo, 50 MB/s por conector), a ativação desta propriedade pode resultar em latência ou custo mais alto. Recomendamos que você desative essa propriedade para cenários de alto rendimento.

Propriedades de buffer e sondagem¶

buffer.flush.time

Número de segundos entre as liberações do buffer, com cada liberação resultando em operações de inserção para registros em buffer. O conector Kafka chama o API do Snowpipe Streaming uma vez após cada liberação.

O valor mínimo suportado para a propriedade buffer.flush.time é 1 (em segundos). Para taxas médias de fluxo de dados mais altas, sugerimos que você diminua o valor padrão para melhorar a latência. Se o custo for uma preocupação maior do que a latência, você poderia aumentar o tempo de liberação do buffer. Tenha cuidado para liberar o buffer de memória Kafka antes que ele fique cheio para evitar exceções fora da memória.

Valores:

• Mínimo: 1

• Máximo: sem limite superior

Padrão:

10

Observe que o Snowpipe Streaming libera dados automaticamente a cada segundo, o que é diferente do tempo de liberação do buffer para o conector Kafka. Depois que o tempo de liberação do buffer Kafka for atingido, os dados serão enviados com um segundo de latência para o Snowflake por meio do Snowpipe Streaming. Para obter mais informações, consulte Latência do Snowpipe Streaming.

buffer.count.records

Número de registros armazenados em buffer por partição Kafka antes da ingestão no Snowflake.

Valores:

• Mínimo: 1

• Máximo: sem limite superior

Padrão:

10000

buffer.size.bytes

Tamanho cumulativo em bytes dos registros armazenados em buffer por partição Kafka antes de serem ingeridos no Snowflake como arquivos de dados.

Os registros são compactados quando gravados em arquivos de dados. Como resultado, o tamanho dos registros no buffer pode ser maior do que o tamanho dos arquivos de dados criados a partir dos registros.

Valores:

• Mínimo: 1

• Máximo: sem limite superior

Padrão:

20000000 (20 MB)

snowflake.streaming.max.client.lag

Especifica a frequência com que o Snowflake Ingest Java libera os dados para o Snowflake, em segundos.

Um valor baixo mantém a latência baixa, mas pode resultar em um desempenho de consulta pior, especialmente quando snowflake.streaming.enable.single.buffer está ativado. Para obter mais informações, consulte as configurações de latência recomendadas para o Snowpipe Streaming.

Valores:

• Mínimo: 1 segundo

• Máximo: 600 segundos

Padrão:

120 segundos para a versão 3.0.0 ou posterior, 1 segundo caso contrário

snowflake.streaming.enable.single.buffer

Especifica se deve habilitar o buffer único para o Snowpipe Streaming e ignorar o buffer de dados no buffer interno do conector.

Essa propriedade é compatível com o conector Kafka versão 2.3.1 e posteriores.

O conector de streaming usa buffer interno junto com o fornecido pelo Snowflake Ingest Java. Definir essa propriedade como true faz com que o conector Kafka ignore o buffer interno para obter menor latência.

Observe que configurar essa propriedade como true torna buffer.flush.time e buffer.count.records irrelevantes.

Valores:

• true

• false

Padrão:

true para a versão 3.0.0 e posterior, caso contrário false

Além das propriedades do conector Kafka, observe a propriedade max.poll.records do consumidor Kafka, que controla o número máximo de registros devolvidos por Kafka para Kafka Connect em uma única pesquisa. O valor padrão de 500 pode ser aumentado, mas tenha em mente as restrições de memória. Para obter mais informações sobre esta propriedade, consulte a documentação de seu pacote Kafka:

• Apache Kafka

• Confluent

Tratamento de erros e propriedades DLQ¶

errors.tolerance

Especifica como tratar os erros encontrados pelo conector Kafka:

Esta propriedade suporta os seguintes valores:

Valores:

• NONE: parar o carregamento de dados quando o primeiro erro for encontrado.

• ALL: ignorar todos os erros e continuar a carregar os dados.

Padrão:

NONE

errors.log.enable

Especifica se deve escrever mensagens de erro no arquivo de log Kafka Connect.

Esta propriedade suporta os seguintes valores:

Valores:

• TRUE: escrever mensagens de erro.

• FALSE: não escrever mensagens de erro.

Padrão:

FALSE

errors.deadletterqueue.topic.name

Especifica o nome do tópico DLQ (fila de mensagens mortas) em Kafka para entregar mensagens ao Kafka que não puderam ser ingeridas nas tabelas do Snowflake. Para obter mais informações, consulte Filas de mensagens mortas (neste tópico).

Valores:

Cadeia de caracteres de texto personalizada

Padrão:

Nenhum