PutSnowpipeStreaming 2025.5.31.15¶
Bundle¶
com.snowflake.openflow.runtime | runtime-snowpipe-processors-nar
Beschreibung¶
Streamt Datensätze in eine Snowflake-Tabelle. Die Tabelle muss zuvor in dem Snowflake-Konto erstellt werden.
Eingabeanforderung¶
REQUIRED
Unterstützt sensible dynamische Eigenschaften¶
false
Eigenschaften¶
Eigenschaft |
Beschreibung |
|---|---|
Konto |
Snowflake-Kontobezeichner mit dem Organisationsnamen und Kontonamen, formatiert als [organisation-name]-[account-name] |
Authentication Strategy |
Strategie zur Authentifizierung von Snowflake-Verbindungen |
Client Lag |
Die maximale Zeitspanne, die der Client wartet, bevor er Datensätze an Snowflake überträgt. Ein größerer Wert kann die Latenzzeit beim Senden an Snowflake erhöhen, aber für Tabellen, die nicht ständig aktualisiert werden, kann dies zu schnelleren und kostengünstigeren Abfragen führen. |
Concurrency Group |
Ermöglicht die Angabe einer „Concurrency Group“, zu der eine bestimmte FlowFile gehört, sodass die Anzahl der gleichzeitigen Tasks, die in Tabellen einer bestimmten Gruppe schreiben, begrenzt werden kann. |
Connection Strategy |
Strategie für die Verbindung mit Snowflake Snowpipe Streaming-Diensten |
Datenbank |
Snowflake-Datenbankziel für verarbeitete Datensätze |
Delivery Guarantee |
Gibt die Liefergarantie für die an Snowflake gesendeten Datensätze an. |
Iceberg Enabled |
Gibt an, ob der Prozessor Daten in eine Iceberg-Tabelle aufnimmt. Der Prozessor schlägt fehl, wenn diese Eigenschaft nicht mit dem tatsächlichen Tabellentyp übereinstimmt. |
Max Batch Size |
Maximale Anzahl von Datensätzen, die in einem einzigen Aufruf aufgenommen werden. Wenn die Anzahl der Datensätze die maximale Batchgröße überschreitet, werden mehrere Datenaufnahmeaufrufe durchgeführt. Die aktuellen Richtlinien empfehlen Batchgrößen von weniger als 16MB. Die „Max Batch Size“ kann auf der Grundlage der durchschnittlichen Datensatzgröße so eingestellt werden, dass die Stapel im Allgemeinen kleiner als 16MB sind. |
Max Tasks Per Group |
Die maximale Anzahl von Kanälen, die für ein bestimmtes Snowpipe Channel Prefix erstellt werden. Dadurch kann die Anzahl der gleichzeitigen Aufgaben, die in eine bestimmte Snowflake-Tabelle geschrieben werden können, begrenzt werden. |
Private Key Service |
RSA Private Key Service zur Authentifizierung von Verbindungen |
Record Offset |
Der Ausdruck in der Expression Language, der verwendet werden soll, um den Offset des ersten Datensatzes in einem FlowFile zu bestimmen. |
Record Offset Record Path |
Der Ausdruck für den Datensatzpfad, der verwendet werden soll, um den Offset des ersten Datensatzes in einem FlowFile zu bestimmen. |
Record Offset Strategy |
Gobt die Strategie zur Bestimmung des Offsets jedes Datensatzes an. |
Record Reader |
Der Record Reader, der zum Lesen der Eingabe verwendet wird |
Rolle |
Snowflake-Rolle, die der Benutzer bei der Authentifizierung von Verbindungen einnimmt |
Schema |
Snowflake Schema-Ziel für verarbeitete Datensätze |
Snowpipe Channel Index |
Der Index, der für den Namen des Snowpipe-Kanals verwendet werden soll. Der vollständige Kanalname wird als openflow.[prefix].[index] konstruiert. Dies ist notwendig, um Snowflake eine Exactly Once-Zustellung zu ermöglichen, da jeder Wiederholungsversuch über denselben Kanal erfolgen muss, der zuvor verwendet wurde. |
Snowpipe Channel Prefix |
Das Präfix, das für den Namen des Snowpipe-Kanals verwendet werden soll. Der vollständige Kanalname wird als openflow.[prefix].[index] konstruiert. Der Standardwert ist ${hostname(false)}, der sicherstellt, dass jeder NiFi-Knoten im Cluster in einen eindeutigen Kanal schreibt, indem der Hostname der NiFi-Instanz in den Kanalnamen aufgenommen wird. |
Tabelle |
Snowflake-Tabelle als Ziel für verarbeitete Datensätze |
Benutzer |
Snowflake-Benutzer für die Authentifizierung von Verbindungen |
Beziehungen¶
Name |
Beschreibung |
|---|---|
failure |
Für FlowFiles, bei denen der Upload auf Snowflake fehlgeschlagen ist |
success |
Für FlowFiles, die erfolgreich auf Snowflake hochgeladen wurden |
Anwendungsfälle¶
Schreibt datensatzorientierte Daten so schnell wie möglich in eine Snowflake-Tabelle, wobei gelegentliche Duplikate in Kauf genommen werden. |