Sobre a Openflow Connector for MySQL

Nota

O conector está sujeito aos termos do conector.

Este tópico descreve os conceitos básicos do Openflow Connector for MySQL, seu fluxo de trabalho e suas limitações.

O Openflow Connector for MySQL conecta uma instância do banco de dados MySQL ao Snowflake e replica os dados de tabelas selecionadas quase em tempo real ou em um cronograma específico. O conector também cria um registro de todas as alterações de dados, que fica disponível junto com o estado atual das tabelas replicadas.

Use esse conector se quiser fazer o seguinte:

  • Replicação de CDC das tabelas MySQL no Snowflake para gerar relatórios abrangentes e centralizados

Como as tabelas são replicadas

As tabelas são replicadas nos seguintes estágios:

  1. Introspecção de esquema: o conector descobre as colunas na tabela de origem, incluindo os nomes e tipos de coluna, e as valida em relação às limitações do Snowflake e do conector. As falhas de validação fazem com que esse estágio falhe, e o ciclo se complete. Após a conclusão bem-sucedida desse estágio, o conector cria uma tabela de destino vazia.

  2. Carga de instantâneo: o conector copia todos os dados disponíveis na tabela de origem para a tabela de destino. Se esse estágio falhar, nenhum outro dado será replicado. Após a conclusão bem-sucedida, os dados da tabela de origem ficam disponíveis na tabela de destino.

  3. Carga incremental: o conector rastreia as alterações na tabela de origem e aplica essas alterações à tabela de destino. Esse processo continua até que a tabela seja removida da replicação. A falha nesse estágio interrompe permanentemente a replicação da tabela de origem, até que o problema seja resolvido.

Nota

As falhas intermediárias (como erros de conexão) não impedem que a tabela seja replicada. No entanto, falhas permanentes (como tipos de dados não compatíveis) impedem que a tabela seja replicada.

Se uma falha permanente impedir a replicação de uma tabela, remova a tabela da lista de tabelas a serem replicadas. Após resolver o problema que causou a falha, você pode adicionar a tabela novamente à lista de tabelas a serem replicadas.

Fluxo de trabalho

  1. Um administrador de banco de dados MySQL executa as seguintes tarefas:

    • Configure as definições de replicação MySQL

    • Crie credenciais para o conector

    • (Opcionalmente) Forneça o certificado SSL.

  2. Um administrador de conta Snowflake executa as seguintes tarefas:

    1. Cria um usuário de serviço para o conector, um warehouse para o conector e um banco de dados de destino para os dados replicados.

    2. Faz o download e importa o arquivo de definição do conector para a tela do Snowflake Openflow.

    3. Especifica os parâmetros necessários para o modelo de fluxo.

    4. Executa o fluxo. O conector realiza as seguintes tarefas quando executado no Openflow:

      1. Cria um esquema para tabelas de diários.

      2. Cria os esquemas e as tabelas de destino que correspondem às tabelas de origem configuradas para replicação.

      3. Começa a replicar as tabelas. Para obter detalhes sobre o processo de replicação, consulte Como as tabelas são replicadas.

Versões MySQL compatíveis

A tabela a seguir lista as versões testadas e oficialmente compatíveis de MySQL.

8,0

8,4

Padrão

Sim

Sim

AWS RDS

Sim

Amazon Aurora

Sim, como a versão 3

GCP Cloud SQL

Sim

Sim

Banco de dados do Azure

Não

Limitações

  • O conector é compatível com MySQL versão 8 ou posterior.

  • O conector é compatível apenas com a autenticação de nome de usuário e senha com MySQL.

  • O conector não replica tabelas com dados que excedam as limitações de tipo do Snowflake.

  • O conector não replica colunas dos tipos GEOMETRY, GEOMETRYCOLLECTION, LINESTRING, MULTILINESTRING, MULTIPOINT, MULTIPOLYGON, POINT e POLYGON.

  • O conector tem as Limitações de replicação de grupo MySQL. Isso significa que uma única transação deve caber em uma mensagem de log binário de até 4 GB.

  • O conector exige que cada tabela replicada tenha uma chave primária.

  • O conector oferece suporte a alterações no esquema da tabela de origem, com exceção da alteração das definições de chave primária e da alteração da precisão ou da escala de uma coluna numérica.

  • O conector não oferece suporte a tempos de execução do Openflow em vários clusters.

Nota

As limitações que afetam determinadas colunas da tabela podem ser contornadas com a exclusão dessas colunas específicas da replicação.

Próximos passos

Configure o Openflow Connector for MySQL