PublishSnowpipeStreaming 2026.4.28.15¶

Pacote¶

com.snowflake.openflow.runtime | runtime-snowpipe-streaming-2-processors-nar

Descrição¶

Publica registros formatados como JSON delimitado por nova linha em canais de banco de dados do Snowflake usando o Snowpipe Streaming High Availability.

Após a transferência dos dados, o processador aguarda o canal de streaming relatar os tokens de deslocamento comprometidos (de acordo com a resolução de rastreamento de deslocamento e o tempo limite de rastreamento de deslocamento) antes de rotear FlowFiles para sucesso, inválido ou falha. Ele pode ser executado quando a conexão de entrada não tem FlowFiles para que os lotes pendentes terminem a sondagem.

Tags¶

NDJSON, versão preliminar, Snowflake, Snowpipe Streaming

Requisito de entrada¶

REQUIRED

Oferece suporte a propriedades dinâmicas confidenciais¶

falso

Propriedades¶


Propriedade	Descrição
Conta	Identificador de conta Snowflake com nome da organização e nome da conta formatados como [organization-name]-[account-name]
Estratégia de autenticação	Estratégia para autenticar conexões Snowflake
Grupo de canais	Grupo para gerenciar canais Snowpipe Streaming distintos com particionamento
Tempo limite para inserção de canal	Duração máxima para tentar inserir registros novamente antes de falhar com um limite superior de 5 minutos
Banco de dados	Destino do banco de dados Snowflake para registros processados
Tipo de destino	Objeto Snowflake de destino para registros processados compatíveis com canais padrão derivados
Contagem de fragmentos de arquivo	Número máximo de fragmentos de arquivo enviados ao armazenamento de objetos para ingestão dos FlowFiles de entrada pelo Snowpipe Streaming. Deve estar entre 1 e 100.
Tamanho do fragmento de arquivo	Tamanho máximo em bytes de cada fragmento de arquivo enviado ao armazenamento de objetos para ingestão pelo Snowpipe Streaming. Deve estar entre 1 KB e 256 MB
Expressão final de token offset	Definição de linguagem de expressão para produzir o token offset mais alto para um FlowFile como um número monotônico crescente
Ponteiro de registro de token offset	Ponteiro JSON para o token offset em cada registro necessário quando o último token offset confirmado está entre o limite inicial e o final
Expressão inicial do token offset	Definição de linguagem de expressão para produzir o tokenoffset mais baixo para um FlowFile como um número monotônico crescente
Resolução de rastreamento de deslocamento	Nível de resolução para avaliar os tokens de deslocamento comprometidos em relação aos registros e FlowFiles de entrada. Desabilitada: processamento de tokens de deslocamento opaco, sem rastreamento de FlowFiles ou registros. FlowFile: rastrear cada FlowFile com tokens de deslocamento monotonicamente crescente. Registro: rastrear cada registro em cada FlowFile com tokens de deslocamento monotonicamente crescente.
Tempo limite do rastreamento de offset	Duração máxima de espera para que o status do canal confirme os tokens de deslocamento comprometidos antes do roteamento para falha
Canal	Destino da Snowflake Pipe para registros processados
Serviço de chave privada	Serviço de chave privada RSA para autenticar conexões
Função	Função Snowflake que o usuário assumirá ao autenticar conexões
Esquema	Destino do esquema Snowflake para registros processados
Tabela	Destino da tabela Snowflake para registros processados
Estratégia de transferência	Estratégia para transferir registros para o Snowpipe Streaming. Gerenciada: transferir registros como lotes de linhas ou fragmentos de arquivo com base no tamanho descompactado. Linhas: transferir registros como lotes de linhas por HTTP para o Snowpipe Streaming. Fragmentos de arquivo: transferir registros como fragmentos de arquivo por HTTP para serviços de armazenamento em nuvem.
Usuário	Usuário Snowflake para autenticar conexões
Provedor de serviços de cliente Web	Provedor de serviços de cliente da Web compatível com tratamento de respostas e solicitações HTTP

Relações¶


Nome	Descrição
empty	FlowFiles com conteúdo vazio não enviado ao Snowflake
failure	FlowFiles que não foram carregados no Snowflake
invalid	FlowFiles que o Snowflake identificou que continham uma ou mais linhas inválidas, resultando em transmissão parcial
success	FlowFiles carregados com sucesso no Snowflake