Manutenção de Openflow Connector for PostgreSQL¶

Reiniciar a replicação da tabela¶

Uma tabela no estado FAILED, por exemplo, devido a uma chave primária ausente ou alteração de esquema incompatível, não é reiniciada automaticamente. Se uma tabela entrar no estado FAILED, ou se você precisar reiniciar a replicação do zero, use o procedimento a seguir para remover e adicionar novamente a tabela à replicação.

1. Remova a tabela da replicação seguindo um destes métodos:

   • Adicione a tabela ao parâmetro Re-snapshot Table Exclusions para excluí-lo temporariamente da replicação. Esse método é prático quando a tabela é correspondida por um Included Table Regex que você não quer alterar.

   • No contexto de parâmetros de ingestão, remova a tabela de Included Table Names ou modifique o Included Table Regex para que a tabela não seja mais correspondida.

2. Verifique se a tabela foi removida:

   1. Na tela do tempo de execução do Openflow, clique com o botão direito do mouse em um grupo de processadores e escolha Controller Services.

   2. Na tabela com a lista de serviços do controlador, localize a linha Table State Store, clique nos três pontos verticais à direita da linha e escolha View State.

   Importante

   É necessário aguardar até que o estado da tabela seja totalmente removido da lista antes de prosseguir. Não continue até que esta alteração de configuração tenha sido concluída.

3. Limpe o destino: assim que o estado da tabela for exibido como totalmente removido, execute DROP manualmente da tabela de destino no Snowflake. Observe que o conector não substituirá uma tabela de destino existente durante a fase do instantâneo. Se a tabela ainda existir, a replicação falhará novamente. Opcionalmente, a tabela de diário e o fluxo também podem ser removidos se não forem mais necessários.

4. Adicione novamente a tabela revertendo a alteração feita na primeira etapa: remova a tabela de Re-snapshot Table Exclusions ou adicione-a novamente a Included Table Names ou Included Table Regex. Depois disso, o conector captura um novo instantâneo da tabela.

5. Verifique a reinicialização: consulte Table State Store seguindo as instruções já apresentadas. O estado da tabela deve aparecer com status NEW, depois passar para SNAPSHOT_REPLICATION e, por fim, INCREMENTAL_REPLICATION.

Atualização do PostgreSQL¶

Atualizar o conector requer uma abordagem diferente, dependendo se o PostgreSQL está sendo atualizado para a próxima versão secundária ou principal.

Atualizações de versões secundárias

• São seguras para os dados.

• Não exigem tratamento especial.

• Exigem a interrupção do conector durante a atualização para evitar relatar problemas de conectividade.

• Continuam replicando após a atualização, sem perda de dados.

Atualizações da versão principal

• Exigem que o servidor PostgreSQL descarte slots de replicação, incluindo aqueles usados ​ pelo conector.

• Não conseguem preservar ou migrar slots de replicação para a nova versão. Consulte também Atualizações para versões PostgresSQL 17 e posteriores.

• Reiniciam a replicação de todas as tabelas da fase de instantâneo anterior.

Para realizar uma atualização de versão secundária, faça o seguinte:

1. Interrompa o conector, incluindo todos os processadores e serviços dele.

2. Atualize o PostgreSQL.

3. Reinicie o conector.

Para realizar uma atualização de versão principal, faça o seguinte:

1. Remova todas as tabelas da replicação no conector.

2. Aguarde até que todas as filas no conector estejam vazias.

3. Interrompa o conector, incluindo todos os processadores e serviços dele.

4. Abra o grupo Incremental Load no conector.

5. Clique com o botão direito do mouse no processador superior do grupo, Read PostgreSQL CDC Stream, e selecione View state.

6. Clique em Clear state.

7. Clique em Close.

8. Atualize o PostgreSQL.

9. Reinicie o conector. Um novo slot de replicação será criado.

10. Adicione novamente todas as tabelas para iniciar a replicação.

Reinstalar o conector¶

Esta seção descreve como reinstalar o conector. Ele aborda situações em que o novo conector é instalado no mesmo tempo de execução, ou quando é movido para um novo tempo de execução. A reinstalação é usada muitas vezes em conjunto com a replicação incremental com snapshots.