PutSnowpipeStreaming 2025.5.31.15¶
Pacote¶
com.snowflake.openflow.runtime | runtime-snowpipe-processors-nar
Descrição¶
Transfere registros para uma tabela Snowflake. A tabela deve ser criada previamente na conta Snowflake.
Requisito de entrada¶
REQUIRED
Oferece suporte a propriedades dinâmicas confidenciais¶
falso
Propriedades¶
Propriedade |
Descrição |
|---|---|
Conta |
Identificador de conta Snowflake com nome da organização e nome da conta formatados como [organization-name]-[account-name] |
Estratégia de autenticação |
Estratégia para autenticar conexões Snowflake |
Atraso de cliente |
O tempo máximo que o cliente aguardará antes de enviar os registros ao Snowflake. Um valor maior pode aumentar a latência durante o envio ao Snowflake, mas para tabelas que não são atualizadas constantemente, isso pode resultar em consultas mais rápidas e econômicas. |
Grupo de concorrência |
Permite especificar um “Grupo de concorrência” ao qual um determinado FlowFile pertence, de modo que o número de Tarefas simultâneas que gravam em tabelas em um determinado grupo possa ser limitado. |
Estratégia de conexão |
Estratégia para conectar-se aos serviços de streaming do Snowflake Snowpipe |
Banco de dados |
Destino do banco de dados Snowflake para registros processados |
Garantia de entrega |
Especifica a garantia de entrega dos registros que estão sendo enviados ao Snowflake. |
Iceberg ativado |
Especifica se o processador ingere dados em uma tabela Iceberg. O processador falhará se essa propriedade não corresponder ao tipo de tabela real. |
Tamanho máximo do lote |
Número máximo de registros a serem ingeridos em uma única chamada. Serão feitas várias chamadas de ingestão se o número de registros exceder o tamanho máximo do lote. A orientação atual recomenda tamanhos de lote inferiores a 16MB. O Tamanho máximo do lote pode ser ajustado com base no tamanho médio dos registros, de modo que os lotes sejam geralmente menores que 16MB. |
Máximo de tarefas por grupo |
O número máximo de canais a serem criados para um determinado prefixo de canal Snowpipe. Isso permite limitar o número de tarefas simultâneas que podem ser gravadas em uma determinada tabela Snowflake. |
Serviço de chave privada |
Serviço de chave privada RSA para autenticar conexões |
Deslocamento de registro |
A expressão Expression Language a ser usada para determinar o deslocamento do primeiro registro em um FlowFile. |
Caminho de registro do deslocamento do registro |
A expressão Record Path a ser usada para determinar o deslocamento do primeiro registro em um FlowFile. |
Estratégia de deslocamento de registro |
Especifica a estratégia para determinar o deslocamento de cada registro. |
Record Reader |
O Record Reader a ser usado para ler a entrada |
Função |
Função Snowflake que o usuário assumirá ao autenticar conexões |
Esquema |
Destino do esquema Snowflake para registros processados |
Índice do canal Snowpipe |
O índice a ser usado para o nome do canal Snowpipe. O nome completo do canal será construído como openflow.[prefix].[index]. Isso é necessário para que o Snowflake receba Exatamente uma vez, pois qualquer nova tentativa deve ser realizada no mesmo canal usado anteriormente. |
Prefixo de canal Snowpipe |
O prefixo a ser usado para o nome do canal Snowpipe. O nome completo do canal será construído como openflow.[prefix].[index]. O valor padrão é ${hostname(false)}, o que garante que cada nó NiFi do cluster grave em um canal exclusivo, incorporando o nome do host da instância NiFi ao nome do canal. |
Tabela |
Destino da tabela Snowflake para registros processados |
Usuário |
Usuário Snowflake para autenticar conexões |
Relações¶
Nome |
Descrição |
|---|---|
failure |
Para FlowFiles que não conseguiram realizar o upload ao Snowflake |
success |
Para FlowFiles carregados com sucesso ao Snowflake |
Casos de uso¶
Grave dados orientados a registros em uma tabela Snowflake o mais rápido possível, aceitando a possibilidade de duplicatas ocasionais. |