Utilisation de Connecteur Snowflake pour Kafka avec Snowpipe Streaming¶

Propriétés requises¶

Ajoutez ou modifiez vos paramètres de connexion dans le fichier de propriétés du connecteur Kafka. Pour plus d’informations, voir Configuration du connecteur Kafka.

snowflake.ingestion.method

Nécessaire uniquement si vous utilisez le connecteur Kafka comme client d’ingestion en continu. Indique s’il faut utiliser Snowpipe Streaming ou Snowpipe standard pour charger les données de votre sujet Kafka. Les valeurs prises en charge sont les suivantes :

• SNOWPIPE_STREAMING

• SNOWPIPE (par défaut)

Aucun paramètre supplémentaire n’est requis pour choisir le service backend afin de mettre en file d’attente et charger les données des sujets. Configurez les propriétés supplémentaires dans le fichier de propriétés de votre connecteur Kafka comme d’habitude.

snowflake.role.name

Rôle de contrôle d’accès à utiliser lors de l’insertion des lignes dans la table.

Propriétés d’optimisation du client¶

enable.streaming.client.optimization

Indique si l’optimisation pour un seul client doit être activée. Cette propriété est prise en charge par la version 2.1.2 du connecteur Kafka et les versions ultérieures. Elle est activée par défaut.

Avec l’optimisation pour un seul client, un seul client est créé pour plusieurs partitions de sujets par connecteur Kafka. Cette fonction permet de réduire la durée d’exécution du client et de diminuer le coût de la migration en créant des fichiers plus volumineux.

Valeurs:

• true

• false

Par défaut:

true

Notez que dans un scénario de débit élevé (par exemple, 50 MB/s par connecteur), l’activation de cette propriété peut entraîner une latence ou un coût plus élevé. Nous vous recommandons de désactiver cette propriété pour les scénarios à haut débit.

Propriétés de la mémoire tampon et de requête¶

buffer.flush.time

Nombre de secondes entre les vidages de la mémoire tampon ; chaque vidage entraîne des opérations d’insertion pour les enregistrements mis en mémoire tampon. Le connecteur Kafka appelle Snowpipe Streaming API une fois après chaque vidage.

La valeur minimale prise en charge pour la propriété buffer.flush.time est 1 (en secondes). Pour des débits de données moyens plus élevés, nous vous suggérons de diminuer la valeur par défaut afin d’améliorer la latence. Si le coût est plus important que la latence, vous pouvez augmenter le temps de vidage du tampon. Veillez à vider la mémoire tampon de Kafka avant qu’elle ne soit pleine afin d’éviter les exceptions liées à l’absence de mémoire.

Valeurs:

• Minimum : 1

• Maximum : Pas de limite supérieure

Par défaut:

10

Notez que Snowpipe Streaming vide automatiquement les données toutes les secondes, ce qui est différent du temps de vidage de tampon du connecteur Kafka. Une fois que le temps de vidage de tampon Kafka est atteint, les données seront envoyées avec une seconde de latence à Snowflake par le biais de Snowpipe Streaming. Pour plus d’informations, voir Latence de Snowpipe Streaming.

buffer.count.records

Nombre d’enregistrements mis en mémoire tampon par partition Kafka avant leur acquisition dans Snowflake.

Valeurs:

• Minimum : 1

• Maximum : Pas de limite supérieure

Par défaut:

10000

buffer.size.bytes

Taille cumulée en octets des enregistrements mis en mémoire tampon par partition Kafka avant d’être ingérés dans Snowflake en tant que fichiers de données.

Les enregistrements sont compressés lorsqu’ils sont écrits dans des fichiers de données. Par conséquent, la taille des enregistrements dans la mémoire tampon peut être supérieure à la taille des fichiers de données créés à partir des enregistrements.

Valeurs:

• Minimum : 1

• Maximum : Pas de limite supérieure

Par défaut:

20000000 (20 MB)

snowflake.streaming.max.client.lag

Spécifie la fréquence à laquelle Snowflake Ingest Java nettoie les données vers Snowflake, en secondes.

Une valeur faible maintient la latence à un niveau bas, mais peut baisser la performance des résultats de requête, en particulier lorsque snowflake.streaming.enable.single.buffer est activé. Pour plus d’informations, voir les configurations de latence recommandées pour Snowpipe Streaming.

Valeurs:

• Minimum : 1 seconde

• Maximum : 600 secondes

Par défaut:

120 secondes pour la version 3.0.0 ou ultérieure, 1 seconde sinon

snowflake.streaming.enable.single.buffer

Spécifie s’il faut activer la mémoire tampon unique pour Snowpipe Streaming et ignorer la mise en mémoire tampon des données dans la mémoire tampon interne du connecteur.

Cette propriété est prise en charge par le connecteur Kafka version 2.3.1 et ultérieure.

Le connecteur Streaming utilise une mémoire tampon interne en plus de celle fournie par Snowflake Ingest Java. En définissant cette propriété sur true, le connecteur Kafka ignore la mémoire tampon interne afin d’obtenir une latence plus faible.

Notez que la définition de cette propriété sur true rend buffer.flush.time et buffer.count.records non pertinents.

Valeurs:

• true

• false

Par défaut:

true pour la version 3.0.0 et ultérieure, false sinon

En plus des propriétés du connecteur Kafka, notez la propriété max.poll.records du consommateur Kafka, qui contrôle le nombre maximum d’enregistrements renvoyés par Kafka à Kafka Connect en une seule requête. La valeur par défaut de 500 peut être augmentée, mais il faut tenir compte des contraintes de mémoire. Pour plus d’informations sur cette propriété, voir la documentation de votre package Kafka :

• Apache Kafka

• Confluent

Gestion des erreurs et propriétés DLQ¶

errors.tolerance

Spécifie comment gérer les erreurs rencontrées par le connecteur Kafka :

Cette propriété prend en charge les valeurs suivantes :

Valeurs:

• NONE : Arrêter le chargement des données à la première erreur rencontrée.

• ALL : Ignorer toutes les erreurs et continuez à charger les données.

Par défaut:

NONE

errors.log.enable

Spécifie s’il faut écrire les messages d’erreur dans le fichier journal de Kafka Connect.

Cette propriété prend en charge les valeurs suivantes :

Valeurs:

• TRUE : Écrire des messages d’erreur.

• FALSE : Ne pas écrire de messages d’erreur.

Par défaut:

FALSE

errors.deadletterqueue.topic.name

Spécifie le nom du sujet DLQ (file d’attente de lettres mortes) dans Kafka pour la livraison de messages à Kafka qui n’ont pas pu être intégrés dans les tables Snowflake. Pour plus d’informations, voir Files d’attente de lettres mortes dans cette rubrique.

Valeurs:

Chaîne de texte personnalisée

Par défaut:

Aucun(e)