FetchTableSnapshot 2025.5.31.15

Pacote

com.snowflake.openflow.runtime | runtime-database-cdc-processors-nar

Descrição

Obtém um instantâneo de uma tabela de um banco de dados. O instantâneo é obtido de forma incremental, usando as colunas de chave primária da tabela para obter linhas em lotes. Não há suporte para a replicação de uma tabela sem chave primária. O instantâneo é gravado em um FlowFile no formato do Record Writer especificado. Espera-se que o FlowFile de entrada consista em uma representação JSON do esquema da tabela no seguinte formato:{ «columns»: [{ «name»: «<column name>», «type»: «<column type>» }, { «name»: «<column name>», «type»: «<column type>» }, …], «primaryKeys»: [«<nome da primeira coluna de chave primária>», «<nome da segunda coluna de chave primária>», …]}Somente as colunas especificadas no esquema serão obtidas da tabela.

Tags

database, fetch, rdbms, snapshot, snowflake, table

Requisito de entrada

REQUIRED

Oferece suporte a propriedades dinâmicas confidenciais

falso

Propriedades

Propriedade

Descrição

Pool de conexões

O pool de conexões a ser usado para buscar o instantâneo do banco de dados

Tamanho da busca

O número máximo de linhas carregadas na memória de uma só vez

Local do driver JDBC

Lista separada por vírgulas de arquivos/pastas e/ou URLs contendo o driver JAR e suas dependências (se houver). Por exemplo, “/var/tmp/postgresql-java-client-42.7.5.jar”

Tamanho máximo do lote

O número máximo de linhas a serem buscadas em um único lote

Record Writer

O Record Writer a ser usado para gravar o instantâneo obtido

Nome do esquema

O nome do esquema no qual o instantâneo deve ser obtido

Nome da tabela

O nome da tabela na qual o instantâneo será obtido

Relações

Nome

Descrição

complete

Quando o instantâneo for concluído, o FlowFile original será encaminhado para essa relação

failure

Se os dados não puderem ser recuperados da tabela representada pelo FlowFile, o FlowFile será encaminhado para essa relação.

retryable failure

Se os dados não puderem ser recuperados da tabela representada pelo FlowFile, mas esperamos que isso seja possível no futuro, o FlowFile será encaminhado para essa relação.

rows

Quando o instantâneo for recuperado com sucesso da tabela representada pelo FlowFile, as linhas serão encaminhadas para essa relação.

Grava atributos

Nome

Descrição

snapshot.complete

Indica se o instantâneo está completo

rows.total.fetched

O número total de linhas obtidas para a tabela

rows.delta.fetched

O número de linhas obtidas para a tabela na última iteração

start.row.index

O índice da primeira linha no instantâneo para uma determinada iteração, começando em 0

last.row.index

O índice da última linha no instantâneo para uma determinada iteração, começando em 0

fetch.delta.time.in.millis

O tempo, em milissegundos, necessário para buscar as linhas na última iteração

fetch.total.time.in.millis

O tempo em milissegundos gasto até o momento para buscar as linhas