À propos de Openflow Connector for MySQL¶
Note
Ce connecteur est soumis aux conditions d’utilisation de Snowflake Connector.
Cette rubrique décrit les concepts de base de Openflow Connector for MySQL, son flux de travail et ses limites.
Le site Openflow Connector for MySQL connecte une instance de la base de données MySQL à Snowflake et réplique les données des tables sélectionnées en temps quasi réel ou selon une planification spécifique. Le connecteur crée également un journal de toutes les modifications de données, qui est disponible avec l’état actuel des tables répliquées.
Utilisez ce connecteur si vous souhaitez effectuer les opérations suivantes :
CDC réplication des tables MySQL dans Snowflake pour un reporting complet et centralisé
Comment les tables sont-elles répliquées ?¶
Les tables sont répliquées dans les zones de préparation suivantes :
Introspection du schéma : le connecteur découvre les colonnes de la table source, y compris les noms et les types de colonnes, puis les valide par rapport aux limites de Snowflake et du connecteur. Les échecs de validation entraînent l’échec de cette préparation et le cycle s’achève. À l’issue de cette préparation, le connecteur crée une table de destination vide.
Chargement d’un instantané : le connecteur copie toutes les données disponibles dans la table source dans la table de destination. Si cette zone de préparation échoue, plus aucune donnée n’est répliquée. Une fois l’opération réussie, les données de la table source sont disponibles dans la table de destination.
Chargement incrémentiel : le connecteur suit les modifications apportées à la table source et applique ces modifications à la table de destination. Ce processus se poursuit jusqu’à ce que la table soit retirée de la réplication. Un échec à ce stade arrête définitivement la réplication de la table source, jusqu’à ce que le problème soit résolu.
Note
This connector can be configured to immediately start replicating incremental changes for newly added tables, bypassing the snapshot load phase. This option is often useful when reinstalling the connector in an account where previously replicated data exists and you want to continue replication without having to re-snapshot tables.
For details on the bypassing snapshot load and using the incremental load process, see Incremental replication.
Important
Interim failures, such as connection errors, do not prevent tables from being replicated. Permanent failures, such as unsupported data types, do prevent tables from being replicated. If a permanent failure prevents a table from being replicated, remove the table from the list of replicated tables. After you address the problem that caused the failure, you can add the table back to the list of replicated tables.
Workflow¶
Un administrateur de la base de donnéesMySQL effectue les tâches suivantes :
Configurer les paramètres de réplication de MySQL
Créer des identifiants de connexion pour le connecteur
(Optionnellement) Fournir le certificat SSL.
Un administrateur de compte Snowflake effectue les tâches suivantes :
Crée un utilisateur de service pour le connecteur, un entrepôt pour le connecteur et une base de données de destination pour les données répliquées.
Installe le connecteur.
Spécifie les paramètres requis pour le modèle de flux.
Gère le flux. Le connecteur effectue les tâches suivantes lorsqu’il est exécuté dans Openflow :
Crée un schéma pour les tables du journal.
Crée les schémas et les tables de destination correspondant aux tables sources configurées pour la réplication.
Commence à répliquer les tables. Pour plus de détails sur le processus de réplication, voir Comment les tables sont répliquées.
Versions de MySQL prises en charge¶
La table suivante annonce les versions testées et officiellement supportées de MySQL.
8,0 |
8,4 |
|
|---|---|---|
Oui |
Oui |
|
Oui |
||
Oui, en tant que version 3 |
||
Oui |
Oui |
|
Oui |
Oui |
Exigences Openflow¶
La taille de l’environnement d’exécution doit être au moins moyenne. Utilisez un environnement d’exécution plus grand lorsque vous répliquez de grands volumes de données, en particulier lorsque la taille des lignes est importante.
Le connecteur ne prend pas en charge les environnements d’exécution Openflow à plusieurs nœuds. Configurez l’environnement d’exécution de ce connecteur avec Min nodes et Max nodes définis sur
1.
Limitations¶
Le connecteur est compatible avec MySQL version 8 ou ultérieure.
Le connecteur ne prend en charge que l’authentification par nom d’utilisateur et mot de passe avec MySQL.
Only database tables containing primary keys can be replicated.
Le connecteur ne réplique pas les tables contenant des données qui dépassent les limites de type de Snowflake.
Le connecteur ne réplique pas les colonnes de type GEOMETRY, GEOMETRYCOLLECTION, LINESTRING, MULTILINESTRING, MULTIPOINT, MULTIPOLYGON, POINT, et POLYGON.
Le connecteur a pour limite Limitations de la réplication de groupe de MySQL. Cela signifie qu’une seule transaction doit tenir dans un message binaire connecté dont la taille ne dépasse pas 4 GB.
Le connecteur ne prend pas en charge la réplication des tables d’une instance de lecteur dans Amazon Aurora, car les instances de lecteur Aurora ne conservent pas leurs propres journaux binaires.
Le connecteur prend en charge les modifications du schéma de la table source, à l’exception de la modification des définitions des clés primaires et de la modification de la précision ou de l’échelle d’une colonne numérique.
Note
Les limites affectant certaines colonnes de la table peuvent être contournées en excluant ces colonnes spécifiques de la réplication.