Gérer le connecteur Kafka

Ce chapitre décrit les tâches administratives associées à la gestion du connecteur Kafka.

Dans ce chapitre :

Destruction des objets Snowflake utilisés par le connecteur Kafka

Si vous ne prévoyez plus de charger des données dans des tables Snowflake à l’aide du connecteur Kafka, vous pouvez arrêter Kafka et détruire les objets Snowflake utilisés par le connecteur.

Le connecteur utilise des objets Snowflake des types suivants pour intégrer des données :

  • Zones de préparation internes nommées

  • Canaux

  • Tables

Cette section fournit des instructions pour rechercher et détruire les objets Snowflake utilisés par le connecteur Kafka.

Destruction de zones de préparation

Le connecteur crée une zone de préparation interne nommée pour chaque sujet Kafka. Le format du nom de la zone de préparation est :

SNOWFLAKE_KAFKA_CONNECTOR_nom_connecteur_STAGE_nom_table

Notez que chaque zone de préparation interne stocke non seulement les fichiers à charger dans les tables, mais également les informations de statut utilisées pour garantir la livraison des lignes de Kafka à la table, en une seule fois.

Si une zone de préparation et ses informations d’état sont préservées, si le connecteur est arrêté et redémarré, le connecteur tente automatiquement de reprendre au point où il s’était arrêté. Cependant, si une zone de préparation est retirée, le connecteur ne peut pas reprendre là où il s’est arrêté et la livraison en une seule fois n’est pas garantie.

Pour détruire les zones de préparation utilisées par le connecteur Kafka :

  1. Recherchez les noms des zones de préparation en exécutant SHOW STAGES en tant que propriétaire des zones de préparation (c’est-à-dire le rôle doté du privilège OWNERSHIP sur les zones de préparation. Ce doit être le rôle par défaut de l’utilisateur défini dans le fichier de configuration de Kafka pour exécuter le connecteur Kafka).

  2. Exécutez DROP STAGE pour détruire chaque zone de préparation que vous souhaitez supprimer du système.

Destruction de canaux

Le connecteur crée un canal pour chaque partition dans un sujet Kafka. Le format du nom du canal est le suivant :

SNOWFLAKE_KAFKA_CONNECTOR_nom_connecteur_PIPE_nom_table_numéro_partition

Pour détruire les canaux utilisés par le connecteur Kafka :

  1. Recherchez les noms des canaux en exécutant SHOW PIPES en tant que propriétaire des canaux (c’est-à-dire le rôle doté du privilège OWNERSHIP sur les canaux. Ce doit être le rôle par défaut de l’utilisateur défini dans le fichier de configuration de Kafka pour exécuter le connecteur Kafka).

  2. Exécutez DROP PIPE pour détruire chaque canal que vous souhaitez supprimer du système.

Destruction de tables

Si les données chargées dans vos tables cibles ne sont plus nécessaires, vous pouvez également détruire ces tables.

Si vous n’avez pas mappé les sujets Kafka aux tables à l’aide du paramètre snowflake.topic2table.map dans Propriétés de configuration de Kafka, le connecteur Kafka a créé de nouvelles tables à l’aide des noms de sujets. Le nom de la table est en majuscules mais est par ailleurs identique au nom du sujet, tant que le nom du sujet ne viole pas les règles de dénomination des objets Snowflake. Par exemple, Snowflake crée un nom de table TEMPERATURE_DATA pour un sujet Kafka nommé temperature_data.

Pour détruire les tables utilisées par le connecteur Kafka :

  1. Recherchez les noms des tables en exécutant SHOW TABLES en tant que propriétaire des tables (c’est-à-dire le rôle doté du privilège OWNERSHIP sur les tables. Ce doit être le rôle par défaut de l’utilisateur défini dans le fichier de configuration de Kafka pour exécuter le connecteur Kafka).

  2. Exécutez DROP TABLE pour détruire chaque table que vous souhaitez supprimer du système.