PutSnowpipeStreaming2 2025.10.2.19

Pacote

com.snowflake.openflow.runtime | runtime-snowpipe-streaming-2-processors-nar

Descrição

Enviar registros formatados como JSON delimitado por nova linha para canais de banco de dados Snowflake usando Snowpipe Streaming versão 2.

Tags

NDJSON, versão preliminar, Snowflake, Snowpipe Streaming

Requisito de entrada

REQUIRED

Oferece suporte a propriedades dinâmicas confidenciais

falso

Propriedades

Propriedade

Descrição

Conta

Identificador de conta Snowflake com nome da organização e nome da conta formatados como [organization-name]-[account-name]

Estratégia de autenticação

Estratégia para autenticar conexões Snowflake

Grupo de canais

Grupo para gerenciar canais Snowpipe Streaming distintos com particionamento

Tempo limite para inserção de canal

Duração máxima para tentar inserir registros novamente antes de falhar com um limite superior de 5 minutos

Banco de dados

Destino do banco de dados Snowflake para registros processados

Contagem de fragmentos de arquivo

Número máximo de fragmentos de arquivo enviados ao armazenamento de objetos para ingestão do Snowpipe Streaming dos FlowFiles de entrada. Deve estar entre 1 e 100.

Tamanho do fragmento de arquivo

Tamanho máximo em bytes para cada fragmento de arquivo enviado ao armazenamento de objetos para ingestão do Snowpipe Streaming. Deve estar entre 1 KB e 256 MB

Expressão final de token offset

Definição de linguagem de expressão para produzir o token offset mais alto para um FlowFile como um número monotônico crescente

Ponteiro de registro de token offset

Ponteiro JSON para o token offset em cada registro necessário quando o último token offset confirmado está entre o limite inicial e o final

Expressão inicial do token offset

Definição de linguagem de expressão para produzir o tokenoffset mais baixo para um FlowFile como um número monotônico crescente

Tempo limite do rastreamento de offset

Duração máxima para pesquisar o status do canal para tokens offset confirmados

Canal

Destino da Snowflake Pipe para registros processados

Serviço de chave privada

Serviço de chave privada RSA para autenticar conexões

Esquema

Destino do esquema Snowflake para registros processados

Estratégia de transferência

Estratégia para transferência de registros para o Snowpipe Streaming

Usuário

Usuário Snowflake para autenticar conexões

Provedor de serviços de cliente Web

Provedor de serviços de cliente da Web compatível com tratamento de respostas e solicitações HTTP

Relações

Nome

Descrição

failure

FlowFiles que não foram carregados no Snowflake

invalid

FlowFiles que o Snowflake identificou que continham uma ou mais linhas inválidas, resultando em transmissão parcial

success

FlowFiles carregados com sucesso no Snowflake