PutBigQuery 2025.5.31.15

Pacote

org.apache.nifi | nifi-gcp-nar

Descrição

Grava o conteúdo de um FlowFile em uma tabela do Google BigQuery. O processador é baseado em registros, portanto, o esquema usado é orientado pelo RecordReader. Os atributos que não correspondem ao esquema de destino são ignorados. A semântica de entrega exatamente uma vez é obtida por meio de deslocamentos de fluxo.

Tags

bigquery, bq, google, google cloud

Requisito de entrada

REQUIRED

Oferece suporte a propriedades dinâmicas confidenciais

falso

Propriedades

Propriedade

Descrição

Serviço de provedor de credenciais GCP

O Controller Service usado para obter as credenciais do Google Cloud Platform.

bigquery-api-endpoint

Pode ser usado para substituir o ponto de extremidade BigQuery padrão. O padrão é bigquerystorage.googleapis.com:443. O formato deve ser hostname:port.

bq.append.record.count

O número de registros a serem anexados ao fluxo de gravação de uma só vez. Aplicável aos tipos de lote e fluxo

bq.dataset

Nome do conjunto de dados BigQuery (Nota: o conjunto de dados deve existir no GCP)

bq.record.reader

Especifica o Controller Service a ser usado para analisar os dados recebidos.

bq.skip.invalid.rows

Define se todas as linhas válidas de uma solicitação devem ser inseridas, mesmo que existam linhas inválidas. Se não for definido, a solicitação de inserção inteira falhará se contiver uma linha inválida.

bq.table.name

Nome de tabela BigQuery

bq.transfer.type

Define o tipo de transferência preferencial: streaming ou batching (em lote)

gcp-project-id

ID do projeto Google Cloud

gcp-retry-count

Quantas tentativas de repetição devem ser feitas antes de rotear para a relação de falha.

proxy-configuration-service

Especifica o serviço de Controller Service de configuração de proxy para a realização de proxy de solicitações de rede.

Relações

Nome

Descrição

failure

FlowFiles são encaminhados para essa relação se a operação do Google BigQuery falhar.

success

FlowFiles são encaminhados para essa relação após uma operação bem-sucedida do Google BigQuery.

Grava atributos

Nome

Descrição

bq.records.count

Número de registros inseridos com sucesso