Paramétrage du connecteur Openflow pour Kafka¶

Conditions préalables¶

1. Assurez-vous d’avoir consulté Connecteur Openflow pour Kafka.

2. Assurez-vous que vous avez paramétré Openflow.

Types de connecteurs¶

Le connecteur Openflow pour Kafka est disponible dans trois configurations différentes, chacune étant optimisée pour des cas d’utilisation spécifiques. Vous pouvez télécharger ces définitions de connecteurs à partir de la galerie des connecteurs :

Apache Kafka pour le format de données JSON

Connecteur simplifié pour l’ingestion de messages JSON avec évolution des schémas et mappage des sujets vers les tables

Apache Kafka pour le format de données AVRO

Connecteur simplifié pour l’ingestion de messages AVRO avec évolution des schémas et mappage des sujets vers les tables

Apache Kafka avec DLQ et métadonnées

Connecteur complet avec prise en charge de la file d’attente des messages non distribués (DLQ), la gestion des métadonnées et fonctionnalités identiques à celle du Snowflake Connector pour Kafka

Pour la configuration détaillée de types de connecteurs spécifiques, voir :

• Apache Kafka pour le format de données JSON/AVRO - JSON/AVRO connecteurs de format de données

• Apache Kafka avec DLQ et métadonnées - DLQ et le connecteur de métadonnées

Paramétrage du compte Snowflake¶

En tant qu’administrateur de compte Snowflake, effectuez les tâches suivantes :

1. Créez un nouvel utilisateur du service Snowflake avec le type SERVICE.

2. Créez un nouveau rôle ou utilisez un rôle existant et accordez le Privilèges de base de données.

   Étant donné que le connecteur a la capacité de créer automatiquement la table de destination si elle n’existe pas encore, assurez-vous que l’utilisateur dispose des privilèges nécessaires pour créer et gérer des objets Snowflake :

   Objet	Privilège	Remarques
   Base de données	USAGE
   Schéma	USAGE . CREATE TABLE .	Une fois les objets au niveau du schéma ont été créés, les privilèges CREATE object peuvent être révoqués.
   Table	OWNERSHIP	Requis uniquement lors de l’utilisation du connecteur Kafka pour ingérer des données dans une table existante. . Si le connecteur crée une nouvelle table cible pour les enregistrements provenant du sujet Kafka, le rôle par défaut de l’utilisateur spécifié dans la configuration devient le propriétaire de la table.

   Snowflake recommande de créer un utilisateur et un rôle distincts pour chaque instance Kafka pour un meilleur contrôle d’accès.

   Vous pouvez utiliser le script suivant pour créer et configurer un rôle personnalisé (exigence : SECURITYADMIN ou équivalent) :

   USE ROLE securityadmin;
   
   CREATE ROLE kafka_connector_role_1;
   GRANT USAGE ON DATABASE kafka_db TO ROLE kafka_connector_role_1;
   GRANT USAGE ON SCHEMA kafka_schema TO ROLE kafka_connector_role_1;
   GRANT CREATE TABLE ON SCHEMA kafka_schema TO ROLE kafka_connector_role_1;
   
   -- Only for existing tables
   GRANT OWNERSHIP ON TABLE existing_table1 TO ROLE kafka_connector_role_1;
   

   Copy

   Notez que les privilèges doivent être accordés directement au rôle de connecteur et ne peuvent pas être hérités.

3. Autorisez l’utilisateur du service Snowflake le rôle que vous avez créé dans les étapes précédentes.

   Le rôle doit être attribué en tant que rôle par défaut pour l’utilisateur :

   GRANT ROLE kafka_connector_role_1 TO USER kafka_connector_user_1;
   ALTER USER kafka_connector_user_1 SET DEFAULT_ROLE = kafka_connector_role_1;
   

   Copy

4. Configurez l’authentification par paire de clés pour l’utilisateur SERVICE Snowflake de l’étape 1.

5. Snowflake recommande vivement cette étape. Configurez un gestionnaire de secrets pris en charge par Openflow, par exemple AWS, Azure et Hashicorp, et stockez les clés publiques et privées dans le magasin de secrets.

   Note

   Si, pour une raison quelconque, vous ne souhaitez pas utiliser un gestionnaire de secrets, il vous incombe de protéger les fichiers de clés publiques et privées utilisés pour l’authentification par paires de clés conformément aux politiques de sécurité de votre organisation.

   1. Une fois le gestionnaire de secrets configuré, déterminez comment vous vous y authentifierez. Sur AWS, il est recommandé d’utiliser le rôle de l’instance EC2 associée à Openflow, car de cette manière, aucun autre secret ne doit être conservé.

   2. Dans Openflow, configurez un fournisseur de paramètres associé à ce gestionnaire de secrets, à partir du menu hamburger en haut à droite. Naviguez vers Controller Settings » Parameter Provider et récupérez les valeurs de vos paramètres.

   3. À ce stade, tous les identifiants peuvent être référencés avec les chemins de paramètres associés et aucune valeur sensible ne doit être conservée dans Openflow.

6. Si d’autres utilisateurs de Snowflake ont besoin d’accéder aux documents bruts ingérés et aux tables ingérées par le connecteur (par exemple, pour un traitement personnalisé dans Snowflake), accordez à ces utilisateurs le rôle créé à l’étape 1.

Définir le connecteur¶

En tant qu’ingénieur des données, effectuez les tâches suivantes pour installer et configurer le connecteur :

Configurer les paramètres spécifiques à la variante¶

Après avoir configuré les paramètres communs, vous devez configurer les paramètres spécifiques à la variante de connecteur que vous avez choisie :

Pour les connecteurs Apache Kafka pour le format de données JSON et Apache Kafka pour le format de données AVRO :

Voir Apache Kafka pour le format de données JSON/AVRO pour les paramètres spécifiques à JSON/AVRO.

Pour Apache Kafka avec DLQ et le connecteur de métadonnées:

Voir Apache Kafka avec DLQ et métadonnées pour les paramètres avancés, notamment la configuration de DLQ, les paramètres de schématisation, la prise en charge de la table Iceberg et les options de format de message.

Authentification¶

Toutes les variantes de connecteur prennent en charge l’authentification SASL configurée par le biais de contextes de paramètres, comme décrit dans Paramètres de la source Kafka (authentificationSASL).

Pour les autres méthodes d’authentification, y compris mTLS et AWS MSK IAM, voir Configurer d’autres méthodes d’authentification pour le connecteur Openflow pour Kafka.

Exécutez le flux¶

1. Cliquez avec le bouton droit de la souris sur l’avion et cliquez sur Activer tous les Controller Service.

2. Faites un clic droit sur l’avion et cliquez sur Démarrer. Le connecteur commence l’ingestion des données.