PutSnowpipeStreaming 2025.5.31.15¶

Bundle¶

com.snowflake.openflow.runtime | runtime-snowpipe-processors-nar

Description¶

Diffuse les enregistrements dans une table Snowflake. La table doit être créée au préalable dans le compte Snowflake.

Balises¶

connection, database, experimental, jdbc, openflow, snowflake, snowpipe streaming

Exigences en matière d’entrées¶

REQUIRED

Prend en charge les propriétés dynamiques sensibles¶

false

Propriétés¶

Propriété	Description
Compte	Identificateur de compte Snowflake avec le nom de l’organisation et le nom du compte formatés comme suit : [nom-de-l’organisation]-[nom-de-compte]
Stratégie d’authentification	Stratégie d’authentification des connexions Snowflake
Client Lag	La durée maximale pendant laquelle le client attendra avant d’envoyer des enregistrements à Snowflake. Une valeur plus élevée peut augmenter le temps de latence lors de l’envoi à Snowflake, mais pour les tables qui ne sont pas constamment mises à jour, cela peut résulter en des requêtes plus rapides et plus rentables.
Concurrency Group	Permet de spécifier un “Concurrency Group” auquel appartient un FlowFile donné, afin de limiter le nombre de tâches simultanées qui écrivent dans les tables d’un groupe donné.
Connection Strategy	Stratégie de connexion aux services Snowflake Snowpipe Streaming
Base de données	Destination de la base de données Snowflake pour les enregistrements traités
Delivery Guarantee	Spécifie la garantie de livraison pour les enregistrements envoyés à Snowflake.
Iceberg activé	Indique si le processeur intègre des données dans une table Iceberg. Le processeur échoue si cette propriété ne correspond pas au type de table réel.
Max Batch Size	Nombre maximum d’enregistrements à ingérer en un seul appel. Plusieurs appels d’ingestion seront effectués si le nombre d’enregistrements dépasse la taille maximale du lot. Les directives actuelles recommandent des lots de taille inférieure à 16MB. La taille maximale des lots peut être réglée en fonction de la taille moyenne des enregistrements, de sorte que les lots soient généralement inférieurs à 16MB.
Max Tasks Per Group	Le nombre maximum de canaux à créer pour un préfixe de canal Snowpipe donné. Cela permet de limiter le nombre de tâches simultanées qui peuvent être écrites dans une table Snowflake donnée.
Service de clé privée	Service de clé privée RSA pour l’authentification des connexions
Record Offset	Une expression d’Expression Language à utiliser pour déterminer le décalage du premier enregistrement dans un FlowFile.
Record Offset Record Path	Expression Record Path à utiliser pour déterminer le décalage du premier enregistrement dans un FlowFile.
Record Offset Strategy	Spécifie la stratégie pour déterminer le décalage de chaque enregistrement.
Record Reader	Le Record Reader à utiliser pour lire l’entrée
Rôle	Rôle Snowflake que l’utilisateur assumera lors de l’authentification des connexions
Schéma	Destination du schéma Snowflake pour les enregistrements traités
Snowpipe Channel Index	L’index à utiliser pour le nom du canal Snowpipe. Le nom complet du canal sera construit comme openflow.[préfixe].[index]. Ceci est nécessaire afin de garantir une livraison « Exactly Once » à Snowflake, car toute nouvelle tentative doit être effectuée sur le même canal que celui utilisé précédemment.
Snowpipe Channel Prefix	Le préfixe à utiliser pour le nom du canal Snowpipe. Le nom complet du canal sera construit comme openflow.[préfixe].[index]. La valeur par défaut est ${hostname(false)}, ce qui garantit que chaque nœud NiFi du cluster écrit sur un canal unique en incorporant le nom d’hôte de l’instance NiFi dans le nom du canal.
Table	Destination de la table Snowflake pour les enregistrements traités
Utilisateur	Utilisateur de Snowflake pour l’authentification des connexions

Relations¶

Nom	Description
failure	Pour les FlowFiles dont le chargement vers Snowflake a échoué
success	Pour les FlowFiles chargés avec succès vers Snowflake

Cas d’utilisation¶

Écrivez les données orientées enregistrement dans une table Snowflake aussi rapidement que possible, en acceptant la possibilité de doublons occasionnels.