PublishSnowpipeStreaming 2026.4.28.15¶
Bundle¶
com.snowflake.openflow.runtime | runtime-snowpipe-streaming-2-processors-nar
Description¶
Publie des enregistrements au format JSON délimité par des sauts de ligne vers les canaux de base de données Snowflake en utilisant Snowpipe Streaming haute disponibilité.
Une fois les données transférées, le processeur attend que le canal de streaming signale les jetons de décalage validés (conformément à la Résolution de suivi du décalage et au Délai de suivi du décalage) avant le routage des FlowFiles vers réussite, non valide, ou échec. Cela peut fonctionner lorsque la connexion entrante n’a pas de FlowFiles pour que les lots en attente terminent l’interrogation.
Exigences en matière d’entrées¶
REQUIRED
Prend en charge les propriétés dynamiques sensibles¶
false
Propriétés¶
Propriété |
Description |
|---|---|
Compte |
Identificateur de compte Snowflake avec le nom de l’organisation et le nom du compte formatés comme suit : [nom-de-l’organisation]-[nom-de-compte] |
Stratégie d’authentification |
Stratégie d’authentification des connexions Snowflake |
Groupe de canaux |
Groupe pour la gestion de canaux Snowpipe Streaming distincts avec partitionnement |
Expiration de l’insertion du canal |
Durée maximale de nouvelle tentative d’insertion d’enregistrements avant l’échec avec une limite supérieure de 5 minutes |
Base de données |
Destination de la base de données Snowflake pour les enregistrements traités |
Destination Type |
Objet de destination Snowflake pour les enregistrements traités avec prise en charge des canaux par défaut dérivés |
Nombre de fragments de fichier |
Nombre maximum de fragments de fichier envoyés au stockage d’objets pour l’ingestion de Snowpipe Streaming à partir de l’entrée FlowFiles. Doit être compris entre 1 et 100. |
Taille de fragment de fichier |
Taille maximale en octets pour chaque fragment de fichier envoyé au stockage d’objets pour l’ingestion de Snowpipe Streaming. Doit être comprise entre KB et 256 MB. |
Expression de fin de jeton de décalage |
Définition du langage d’expression pour produire le jeton de décalage le plus élevé pour un FlowFile sous forme de nombre monotone croissant |
Pointeur d’enregistrement de jeton de décalage |
Pointeur JSON vers le jeton de décalage dans chaque enregistrement requis lorsque le dernier jeton de décalage validé se trouve entre les limites de début et de fin |
Expression de début de jeton de décalage |
Définition du langage d’expression pour produire le plus petit jeton de décalage pour un FlowFile sous forme de nombre monotone croissant |
Résolution de suivi du décalage |
Niveau de résolution pour évaluer les jetons de décalage validés par rapport aux FlowFiles d’entrée et aux enregistrements. Désactivé : traitement des jetons de décalage opaques sans suivi das les FlowFiles ou les enregistrements. FlowFile ** : suivre chaque FlowFile avec des jetons de décalage monotones croissants. **Enregistrement : suivre chaque enregistrement dans chaque FlowFile avec des jetons de décalage monotones croissants. |
Délai de suivi des décalages |
Durée maximale d’attente pour l’état du canal pour confirmer les jetons de décalage validés avant le routage vers l’échec |
Canal |
Destination du tuyau Snowflake (Snowpipe) pour les enregistrements traités |
Service de clé privée |
Service de clé privée RSA pour l’authentification des connexions |
Rôle |
Rôle Snowflake que l’utilisateur assumera lors de l’authentification des connexions |
Schéma |
Destination du schéma Snowflake pour les enregistrements traités |
Table |
Destination de la table Snowflake pour les enregistrements traités |
Stratégie de transfert |
Stratégie de transfert d’enregistrements vers Snowpipe Streaming. Géré : transférer les enregistrements sous forme de lots de lignes ou de fragments de fichiers en fonction de la taille non compressée. Lignes : transférer les enregistrements par lots de lignes sur HTTP vers Snowpipe Streaming Fragments de fichiers : transférer des enregistrements sous forme de fragments de fichiers sur HTTP vers des services de stockage dans le Cloud. |
Utilisateur |
Utilisateur de Snowflake pour l’authentification des connexions |
Fournisseur de services pour le client Web |
Fournisseur de services clients Web prenant en charge le traitement des requêtes et des réponses HTTP |
Relations¶
Nom |
Description |
|---|---|
empty |
FlowFiles dont le contenu vide n’est pas envoyé à Snowflake |
failure |
FlowFiles qui n’a pas pu être téléchargé vers Snowflake |
invalid |
FlowFiles que Snowflake a identifié comme contenant une ou plusieurs lignes non valides entraînant une transmission partielle |
success |
FlowFiles correctement chargé(s) vers Snowflake |