Sobre a Openflow Connector for PostgreSQL

Nota

O conector está sujeito aos termos do conector.

Este tópico descreve os conceitos básicos do Openflow Connector for PostgreSQL, seu fluxo de trabalho e suas limitações.

O Openflow Connector for PostgreSQL conecta uma instância do banco de dados PostgreSQL ao Snowflake e replica dados de tabelas selecionadas quase em tempo real ou de acordo com o cronograma. O conector também cria um registro de todas as alterações de dados, disponível ao longo do estado atual das tabelas replicadas.

Use esse conector se quiser fazer o seguinte:

  • Replicação de CDC dos dados PostgreSQL com o Snowflake para gerar relatórios abrangentes e centralizados

Fluxo de trabalho

  1. Um administrador de banco de dados define as configurações de replicação PostgreSQL, cria uma publicação e credenciais para o conector. Opcionalmente, eles entregam o certificado SSL.

  2. Um administrador de conta Snowflake executa as seguintes tarefas:

    1. Cria um usuário de serviço para o conector, um warehouse para o conector e um banco de dados de destino para o qual replicar.

    2. Faz o download e importa o arquivo de definição do conector da documentação para a tela do Snowflake Openflow.

    3. Especifica os parâmetros necessários para o modelo de fluxo.

    4. Executa o fluxo. O conector realiza as seguintes tarefas quando executado no Openflow:

      1. Cria um esquema para tabelas de diários.

      2. Cria os esquemas e as tabelas de destino que correspondem às tabelas de origem configuradas para replicação.

      3. Inicia a replicação seguindo o ciclo de vida de replicação de tabela.

O ciclo de vida de replicação de tabelas

  1. Introspecção de esquema: o conector descobre as colunas na tabela de origem, seus nomes, tipos e, em seguida, irá validá-las de acordo com as limitações do Snowflake e do conector. As falhas de validação fazem com que esse estágio falhe, e o ciclo se complete. Após a conclusão bem-sucedida da introspecção de esquema, o conector cria uma tabela de destino vazia.

  2. Carga de instantâneo: o conector copia todos os dados disponíveis na tabela de origem para a tabela de destino. A falha nesse estágio encerra o ciclo, e nenhum outro dado é replicado. Após a conclusão bem-sucedida, todo o conjunto de dados da tabela de origem estará disponível na tabela de destino.

  3. Carga incremental: o conector continua rastreando as alterações na tabela de origem e copiando-as para a tabela de destino. Isso continua até que a tabela seja removida da replicação. A falha nesse estágio interrompe permanentemente a replicação da tabela de origem, até que o problema seja resolvido.

Nota

Falhas temporárias, como problemas de conexão, não interrompem a replicação de nenhuma tabela, mas falhas permanentes, como mapeamentos de tipos de dados não compatíveis, impedem que a tabela afetada continue sendo replicada, enquanto outras tabelas configuradas continuam inalteradas. Após corrigir o problema com a tabela afetada, você pode removê-la e adicioná-la novamente à replicação.

Versões PostgreSQL compatíveis

A seguir, as versões compatíveis do PostgresSQL.

Versões PostgreSQL compatíveis

11

12

13

14

15

16

17

Padrão

Sim

Sim

Sim

Sim

Sim

Sim

Sim

AWS RDS

Sim

Sim

Sim

Sim

Sim

Sim

Sim

Amazon Aurora

Sim

Sim

Sim

Sim

Sim

Sim

GCP Cloud SQL

Sim

Sim

Sim

Sim

Sim

Sim

Banco de dados do Azure

Sim

Sim

Sim

Sim

Sim

Sim

Limitações

  • O conector é compatível com o PostgreSQL versão 11 ou posterior.

  • O conector é compatível apenas com a autenticação de nome de usuário e senha com PostgreSQL.

  • O conector não é compatível com instâncias de réplica de leitura PostgreSQL.

  • O conector não replica tabelas com dados que excedam as limitações de tipo do Snowflake.

  • O conector não replica tabelas com valores TOAST.

  • O conector exige que cada tabela replicada tenha uma chave primária e que a identidade da réplica da tabela seja a mesma da chave primária.

  • O conector oferece suporte a alterações no esquema da tabela de origem, com exceção da alteração das definições de chave primária, da precisão ou da escala de uma coluna numérica.

  • O conector não oferece suporte a tempos de execução do Openflow em vários clusters.

Nota

As limitações que afetam determinadas colunas da tabela podem ser contornadas com a exclusão dessas colunas específicas da replicação.

Próximos passos

Configure o Openflow Connector for PostgreSQL