Sobre a Openflow Connector for PostgreSQL¶

Fluxo de trabalho¶

1. Um administrador de banco de dados define as configurações de replicação PostgreSQL, cria uma publicação e credenciais para o conector. Opcionalmente, eles entregam o certificado SSL.

2. Um administrador de conta Snowflake executa as seguintes tarefas:

   1. Cria um usuário de serviço para o conector, um warehouse para o conector e um banco de dados de destino para o qual replicar.

   2. Instala o conector.

   3. Especifica os parâmetros necessários para o modelo de fluxo.

   4. Executa o fluxo. O conector realiza as seguintes tarefas quando executado no Openflow:

      1. Cria um esquema para tabelas de diários.

      2. Cria os esquemas e as tabelas de destino que correspondem às tabelas de origem configuradas para replicação.

      3. Inicia a replicação seguindo o ciclo de vida de replicação de tabela.

O ciclo de vida de replicação de tabelas¶

1. Introspecção de esquema: o conector descobre as colunas na tabela de origem, seus nomes, tipos e, em seguida, irá validá-las de acordo com as limitações do Snowflake e do conector. As falhas de validação fazem com que esse estágio falhe, e o ciclo se complete. Após a conclusão bem-sucedida da introspecção de esquema, o conector cria uma tabela de destino vazia.

2. Carga de instantâneo: o conector copia todos os dados disponíveis na tabela de origem para a tabela de destino. A falha nesse estágio encerra o ciclo, e nenhum outro dado é replicado. Após a conclusão bem-sucedida, todo o conjunto de dados da tabela de origem estará disponível na tabela de destino.

3. Carga incremental: o conector continua rastreando as alterações na tabela de origem e copiando-as para a tabela de destino. Isso continua até que a tabela seja removida da replicação. A falha nesse estágio interrompe permanentemente a replicação da tabela de origem, até que o problema seja resolvido.

Versões PostgreSQL compatíveis¶

A seguir, as versões compatíveis do PostgresSQL.

Requisitos do Openflow¶

• O tamanho do tempo de execução deve ser pelo menos médio. Use um tempo de execução maior ao replicar grandes volumes de dados, especialmente quando o tamanho das linhas for grande.

• O conector não oferece suporte a tempos de execução do Openflow de vários nós. Configure o tempo de execução para esse conector com Min nodes e Max nodes definidos como 1.

Limitações¶

• O conector é compatível com o PostgreSQL versão 11 ou posterior.

• O conector é compatível apenas com a autenticação de nome de usuário e senha com PostgreSQL.

• O conector não é compatível com instâncias de réplica de leitura PostgreSQL.

• O conector não oferece suporte a tabelas particionadas.

• O conector não replica tabelas com dados que excedam as limitações de tipo do Snowflake.

• O conector não replica tabelas com valores TOAST.

• O conector exige que cada tabela replicada tenha uma chave primária e que a identidade da réplica da tabela seja a mesma da chave primária.

• O conector oferece suporte a alterações no esquema da tabela de origem, com exceção da alteração das definições de chave primária, da precisão ou da escala de uma coluna numérica.

Próximos passos¶

Configure o Openflow Connector for PostgreSQL