PublishChangeDataSnowpipeStreaming 2026.4.28.15¶

Bundle¶

com.snowflake.openflow.runtime | runtime-snowpipe-streaming-2-processors-nar

Beschreibung¶

Veröffentlicht Änderungsdatensätze, die im „Newline Delimited“ JSON-Format formatiert sind, mit Snowpipe Streaming-Hochverfügbarkeit in Snowflake Datenbank-Pipes. Der Prozessor unterstützt die Parallelitätsgruppen-Serialisierung, sodass FlowFiles, die sich dieselbe Gruppe teilen, nicht gleichzeitig im Kanal verarbeitet werden.

Nachdem Daten übertragen wurden, wartet der Prozessor darauf, dass der Streaming-Kanal die bestätigten Offset-Tokens (gemäß Offset Tracking Resolution und Offset Tracking Timeout) meldet, bevor er FlowFiles an Erfolg, ungültig oder Fehler routet. Dies kann ausgeführt werden, wenn die eingehende Verbindung keine FlowFiles hat, sodass ausstehende Batches das Abrufen beenden.

Tags¶

CDC, Change Data Capture, NDJSON, Vorschau, Snowflake, Snowpipe Streaming

Eingabeanforderung¶

REQUIRED

Unterstützt sensible dynamische Eigenschaften¶

false

Eigenschaften¶


Eigenschaft	Beschreibung
Konto	Snowflake-Kontobezeichner mit dem Organisationsnamen und Kontonamen, formatiert als [organisation-name]-[account-name]
Authentication Strategy	Strategie zur Authentifizierung von Snowflake-Verbindungen
Channel Group	Gruppe zum Verwalten verschiedener Snowpipe Streaming-Kanäle mit Partitionierung
Channel Insert Timeout	Maximale Dauer für das wiederholte Einfügen von Datensätzen, bevor das Problem fehlschlägt, mit einer Obergrenze von 5 Minuten
Concurrency Group	Steuert den Zugriff auf den konfigurierten Kanal mit serialisierten Ansprüchen gemäß dem konfigurierten Wert oder Ausdruck
Datenbank	Snowflake-Datenbankziel für verarbeitete Datensätze
Destination Type	Snowflake-Zielobjekt für verarbeitete Datensätze mit Unterstützung von abgeleiteten Standard-Pipes
Endausdruck des Offset-Tokens	Ausdruckssprachendefinition, um das höchste Offset-Token für ein FlowFile als monoton zunehmende Zahl zu erzeugen
Offset Token Record Pointer	JSON-Zeiger auf das Offset-Token in jedem Datensatz, der erforderlich ist, wenn sich das zuletzt übertragene Offset-Token zwischen Start- und Endgrenzen befindet
Startausdruck des Offset-Tokens	Ausdruckssprachendefinition, um das niedrigste Offset-Token für ein FlowFile als monoton zunehmende Zahl zu erzeugen
Offset Tracking Resolution	Auflösungsstufe für die Auswertung von bestätigten Offset-Tokens anhand der Eingabe-FlowFiles und -Datensätze. Disabled: Nicht transparente Verarbeitung von Offset-Token ohne Nachverfolgung über FlowFiles oder Datensätze hinweg. FlowFile : Verfolgt jedes FlowFile mit monoton zunehmenden Offset-Tokens. Record: Verfolgt jeden Datensatz in jedem FlowFile mit monoton zunehmenden Offset-Tokens.
Offset Tracking Timeout	Maximale Dauer, die gewartet wird, ob der Kanalstatus die übertragenen Offset-Tokens bestätigt, bevor das Routing fehlschlägt.
Pipe	Snowflake Pipe-Ziel für verarbeitete Datensätze
Private Key Service	RSA Private Key Service zur Authentifizierung von Verbindungen
Rolle	Snowflake-Rolle, die der Benutzer bei der Authentifizierung von Verbindungen einnimmt
Schema	Snowflake Schema-Ziel für verarbeitete Datensätze
Tabelle	Snowflake-Tabelle als Ziel für verarbeitete Datensätze
Transfer Strategy	Strategie für die Übertragung von Datensätzen an Snowpipe Streaming. Managed: Überträgt Datensätze entweder als Batches von Zeilen oder als Dateifragmente, basierend auf der unkomprimierten Größe. Rows: Überträgt Datensätze als Batches von Zeilen über HTTP an Snowpipe Streaming. File Fragments: Überträgt Datensätze als Dateifragmente über HTTP an Cloudspeicherdienste.
Benutzer	Snowflake-Benutzer für die Authentifizierung von Verbindungen
Web Client Service Provider	Web Client Service Provider, der HTTP-Verarbeitung von Anfragen und Antworten unterstützt

Beziehungen¶


Name	Beschreibung
empty	FlowFiles mit leerem Inhalt, die nicht an Snowflake gesendet wurden
failure	FlowFiles, die nicht in Snowflake hochgeladen werden konnten
invalid	FlowFiles, in denen Snowflake eine oder mehrere ungültige Zeilen identifiziert hat, was zu einer teilweisen Übertragung führte
success	Erfolgreich in Snowflake hochgeladene FlowFiles