Sobre a Openflow Connector for MySQL¶
Nota
O conector está sujeito aos termos do conector.
Este tópico descreve os conceitos básicos do Openflow Connector for MySQL, seu fluxo de trabalho e suas limitações.
O Openflow Connector for MySQL conecta uma instância do banco de dados MySQL ao Snowflake e replica os dados de tabelas selecionadas quase em tempo real ou em um cronograma específico. O conector também cria um registro de todas as alterações de dados, que fica disponível junto com o estado atual das tabelas replicadas.
Use esse conector se quiser fazer o seguinte:
Replicação de CDC das tabelas MySQL no Snowflake para gerar relatórios abrangentes e centralizados
Como as tabelas são replicadas¶
As tabelas são replicadas nos seguintes estágios:
Introspecção de esquema: o conector descobre as colunas na tabela de origem, incluindo os nomes e tipos de coluna, e as valida em relação às limitações do Snowflake e do conector. As falhas de validação fazem com que esse estágio falhe, e o ciclo se complete. Após a conclusão bem-sucedida desse estágio, o conector cria uma tabela de destino vazia.
Carga de instantâneo: o conector copia todos os dados disponíveis na tabela de origem para a tabela de destino. Se esse estágio falhar, nenhum outro dado será replicado. Após a conclusão bem-sucedida, os dados da tabela de origem ficam disponíveis na tabela de destino.
Carga incremental: o conector rastreia as alterações na tabela de origem e aplica essas alterações à tabela de destino. Esse processo continua até que a tabela seja removida da replicação. A falha nesse estágio interrompe permanentemente a replicação da tabela de origem, até que o problema seja resolvido.
Nota
As falhas intermediárias (como erros de conexão) não impedem que a tabela seja replicada. No entanto, falhas permanentes (como tipos de dados não compatíveis) impedem que a tabela seja replicada.
Se uma falha permanente impedir a replicação de uma tabela, remova a tabela da lista de tabelas a serem replicadas. Após resolver o problema que causou a falha, você pode adicionar a tabela novamente à lista de tabelas a serem replicadas.
Fluxo de trabalho¶
Um administrador de banco de dados MySQL executa as seguintes tarefas:
Configure as definições de replicação MySQL
Crie credenciais para o conector
(Opcionalmente) Forneça o certificado SSL.
Um administrador de conta Snowflake executa as seguintes tarefas:
Cria um usuário de serviço para o conector, um warehouse para o conector e um banco de dados de destino para os dados replicados.
Instala o conector.
Especifica os parâmetros necessários para o modelo de fluxo.
Executa o fluxo. O conector realiza as seguintes tarefas quando executado no Openflow:
Cria um esquema para tabelas de diários.
Cria os esquemas e as tabelas de destino que correspondem às tabelas de origem configuradas para replicação.
Começa a replicar as tabelas. Para obter detalhes sobre o processo de replicação, consulte Como as tabelas são replicadas.
Versões MySQL compatíveis¶
A tabela a seguir lista as versões testadas e oficialmente compatíveis de MySQL.
8,0 |
8,4 |
|
|---|---|---|
Sim |
Sim |
|
Sim |
||
Sim, como a versão 3 |
||
Sim |
Sim |
|
Não |
Requisitos do Openflow¶
O tamanho do tempo de execução deve ser pelo menos médio. Use um tempo de execução maior ao replicar grandes volumes de dados, especialmente quando o tamanho das linhas for grande.
O conector não oferece suporte a tempos de execução do Openflow de vários nós. Configure o tempo de execução para esse conector com Min nodes e Max nodes definidos como
1.
Limitações¶
O conector é compatível com MySQL versão 8 ou posterior.
O conector é compatível apenas com a autenticação de nome de usuário e senha com MySQL.
O conector não replica tabelas com dados que excedam as limitações de tipo do Snowflake.
O conector não replica colunas dos tipos GEOMETRY, GEOMETRYCOLLECTION, LINESTRING, MULTILINESTRING, MULTIPOINT, MULTIPOLYGON, POINT e POLYGON.
O conector tem as Limitações de replicação de grupo MySQL. Isso significa que uma única transação deve caber em uma mensagem de log binário de até 4 GB.
O conector exige que cada tabela replicada tenha uma chave primária.
O conector oferece suporte a alterações no esquema da tabela de origem, com exceção da alteração das definições de chave primária e da alteração da precisão ou da escala de uma coluna numérica.
Nota
As limitações que afetam determinadas colunas da tabela podem ser contornadas com a exclusão dessas colunas específicas da replicação.