PutSnowpipeStreaming 2025.5.31.15

Pacote

com.snowflake.openflow.runtime | runtime-snowpipe-processors-nar

Descrição

Transfere registros para uma tabela Snowflake. A tabela deve ser criada previamente na conta Snowflake.

Tags

connection, database, experimental, jdbc, openflow, snowflake, snowpipe streaming

Requisito de entrada

REQUIRED

Oferece suporte a propriedades dinâmicas confidenciais

falso

Propriedades

Propriedade

Descrição

Conta

Identificador de conta Snowflake com nome da organização e nome da conta formatados como [organization-name]-[account-name]

Estratégia de autenticação

Estratégia para autenticar conexões Snowflake

Atraso de cliente

O tempo máximo que o cliente aguardará antes de enviar os registros ao Snowflake. Um valor maior pode aumentar a latência durante o envio ao Snowflake, mas para tabelas que não são atualizadas constantemente, isso pode resultar em consultas mais rápidas e econômicas.

Grupo de concorrência

Permite especificar um “Grupo de concorrência” ao qual um determinado FlowFile pertence, de modo que o número de Tarefas simultâneas que gravam em tabelas em um determinado grupo possa ser limitado.

Estratégia de conexão

Estratégia para conectar-se aos serviços de streaming do Snowflake Snowpipe

Banco de dados

Destino do banco de dados Snowflake para registros processados

Garantia de entrega

Especifica a garantia de entrega dos registros que estão sendo enviados ao Snowflake.

Iceberg ativado

Especifica se o processador ingere dados em uma tabela Iceberg. O processador falhará se essa propriedade não corresponder ao tipo de tabela real.

Tamanho máximo do lote

Número máximo de registros a serem ingeridos em uma única chamada. Serão feitas várias chamadas de ingestão se o número de registros exceder o tamanho máximo do lote. A orientação atual recomenda tamanhos de lote inferiores a 16MB. O Tamanho máximo do lote pode ser ajustado com base no tamanho médio dos registros, de modo que os lotes sejam geralmente menores que 16MB.

Máximo de tarefas por grupo

O número máximo de canais a serem criados para um determinado prefixo de canal Snowpipe. Isso permite limitar o número de tarefas simultâneas que podem ser gravadas em uma determinada tabela Snowflake.

Serviço de chave privada

Serviço de chave privada RSA para autenticar conexões

Deslocamento de registro

A expressão Expression Language a ser usada para determinar o deslocamento do primeiro registro em um FlowFile.

Caminho de registro do deslocamento do registro

A expressão Record Path a ser usada para determinar o deslocamento do primeiro registro em um FlowFile.

Estratégia de deslocamento de registro

Especifica a estratégia para determinar o deslocamento de cada registro.

Record Reader

O Record Reader a ser usado para ler a entrada

Função

Função Snowflake que o usuário assumirá ao autenticar conexões

Esquema

Destino do esquema Snowflake para registros processados

Índice do canal Snowpipe

O índice a ser usado para o nome do canal Snowpipe. O nome completo do canal será construído como openflow.[prefix].[index]. Isso é necessário para que o Snowflake receba Exatamente uma vez, pois qualquer nova tentativa deve ser realizada no mesmo canal usado anteriormente.

Prefixo de canal Snowpipe

O prefixo a ser usado para o nome do canal Snowpipe. O nome completo do canal será construído como openflow.[prefix].[index]. O valor padrão é ${hostname(false)}, o que garante que cada nó NiFi do cluster grave em um canal exclusivo, incorporando o nome do host da instância NiFi ao nome do canal.

Tabela

Destino da tabela Snowflake para registros processados

Usuário

Usuário Snowflake para autenticar conexões

Relações

Nome

Descrição

failure

Para FlowFiles que não conseguiram realizar o upload ao Snowflake

success

Para FlowFiles carregados com sucesso ao Snowflake

Casos de uso

Grave dados orientados a registros em uma tabela Snowflake o mais rápido possível, aceitando a possibilidade de duplicatas ocasionais.