Sobre a Openflow Connector for MySQL¶
Nota
O conector está sujeito aos Termos do conector Snowflake.
Este tópico descreve os conceitos básicos do Openflow Connector for MySQL, seu fluxo de trabalho e suas limitações.
O Openflow Connector for MySQL conecta uma instância do banco de dados MySQL ao Snowflake e replica os dados de tabelas selecionadas quase em tempo real ou em um cronograma específico. O conector também cria um registro de todas as alterações de dados, que fica disponível junto com o estado atual das tabelas replicadas.
Use esse conector se quiser fazer o seguinte:
Replicação de CDC das tabelas MySQL no Snowflake para gerar relatórios abrangentes e centralizados
Como as tabelas são replicadas¶
As tabelas são replicadas nos seguintes estágios:
Introspecção de esquema: o conector descobre as colunas na tabela de origem, incluindo os nomes e tipos de coluna, e as valida em relação às limitações do Snowflake e do conector. As falhas de validação fazem com que esse estágio falhe, e o ciclo se complete. Após a conclusão bem-sucedida desse estágio, o conector cria uma tabela de destino vazia.
Carga de instantâneo: o conector copia todos os dados disponíveis na tabela de origem para a tabela de destino. Se esse estágio falhar, nenhum outro dado será replicado. Após a conclusão bem-sucedida, os dados da tabela de origem ficam disponíveis na tabela de destino.
Carga incremental: o conector rastreia as alterações na tabela de origem e aplica essas alterações à tabela de destino. Esse processo continua até que a tabela seja removida da replicação. A falha nesse estágio interrompe permanentemente a replicação da tabela de origem, até que o problema seja resolvido.
Nota
This connector can be configured to immediately start replicating incremental changes for newly added tables, bypassing the snapshot load phase. This option is often useful when reinstalling the connector in an account where previously replicated data exists and you want to continue replication without having to re-snapshot tables.
For details on the bypassing snapshot load and using the incremental load process, see Incremental replication.
Importante
Interim failures, such as connection errors, do not prevent tables from being replicated. Permanent failures, such as unsupported data types, do prevent tables from being replicated. If a permanent failure prevents a table from being replicated, remove the table from the list of replicated tables. After you address the problem that caused the failure, you can add the table back to the list of replicated tables.
Fluxo de trabalho¶
Um administrador de banco de dados MySQL executa as seguintes tarefas:
Configure as definições de replicação MySQL
Crie credenciais para o conector
(Opcionalmente) Forneça o certificado SSL.
Um administrador de conta Snowflake executa as seguintes tarefas:
Cria um usuário de serviço para o conector, um warehouse para o conector e um banco de dados de destino para os dados replicados.
Instala o conector.
Especifica os parâmetros necessários para o modelo de fluxo.
Executa o fluxo. O conector realiza as seguintes tarefas quando executado no Openflow:
Cria um esquema para tabelas de diários.
Cria os esquemas e as tabelas de destino que correspondem às tabelas de origem configuradas para replicação.
Começa a replicar as tabelas. Para obter detalhes sobre o processo de replicação, consulte Como as tabelas são replicadas.
Versões MySQL compatíveis¶
A tabela a seguir lista as versões testadas e oficialmente compatíveis de MySQL.
8,0 |
8,4 |
|
|---|---|---|
Sim |
Sim |
|
Sim |
||
Sim, como a versão 3 |
||
Sim |
Sim |
|
Sim |
Sim |
Requisitos do Openflow¶
O tamanho do tempo de execução deve ser pelo menos médio. Use um tempo de execução maior ao replicar grandes volumes de dados, especialmente quando o tamanho das linhas for grande.
O conector não oferece suporte a tempos de execução do Openflow de vários nós. Configure o tempo de execução para esse conector com Min nodes e Max nodes definidos como
1.
Limitações¶
O conector é compatível com MySQL versão 8 ou posterior.
O conector é compatível apenas com a autenticação de nome de usuário e senha com MySQL.
Only database tables containing primary keys can be replicated.
O conector não replica tabelas com dados que excedam as limitações de tipo do Snowflake.
O conector não replica colunas dos tipos GEOMETRY, GEOMETRYCOLLECTION, LINESTRING, MULTILINESTRING, MULTIPOINT, MULTIPOLYGON, POINT e POLYGON.
O conector tem as Limitações de replicação de grupo MySQL. Isso significa que uma única transação deve caber em uma mensagem de log binário de até 4 GB.
O conector não oferece suporte à replicação de tabelas de uma instância de leitor no Amazon Azure, pois as instâncias de leitor do Azure não mantêm seus próprios logs binários.
O conector oferece suporte a alterações no esquema da tabela de origem, com exceção da alteração das definições de chave primária e da alteração da precisão ou da escala de uma coluna numérica.
Nota
As limitações que afetam determinadas colunas da tabela podem ser contornadas com a exclusão dessas colunas específicas da replicação.