Sobre a Openflow Connector for PostgreSQL¶
Nota
O conector está sujeito aos termos do conector.
Este tópico descreve os conceitos básicos do Openflow Connector for PostgreSQL, seu fluxo de trabalho e suas limitações.
O Openflow Connector for PostgreSQL conecta uma instância do banco de dados PostgreSQL ao Snowflake e replica dados de tabelas selecionadas quase em tempo real ou de acordo com o cronograma. O conector também cria um registro de todas as alterações de dados, disponível ao longo do estado atual das tabelas replicadas.
Use esse conector se quiser fazer o seguinte:
Replicação de CDC dos dados PostgreSQL com o Snowflake para gerar relatórios abrangentes e centralizados
Fluxo de trabalho¶
Um administrador de banco de dados define as configurações de replicação PostgreSQL, cria uma publicação e credenciais para o conector. Opcionalmente, eles entregam o certificado SSL.
Um administrador de conta Snowflake executa as seguintes tarefas:
Cria um usuário de serviço para o conector, um warehouse para o conector e um banco de dados de destino para o qual replicar.
Faz o download e importa o arquivo de definição do conector da documentação para a tela do Snowflake Openflow.
Especifica os parâmetros necessários para o modelo de fluxo.
Executa o fluxo. O conector realiza as seguintes tarefas quando executado no Openflow:
Cria um esquema para tabelas de diários.
Cria os esquemas e as tabelas de destino que correspondem às tabelas de origem configuradas para replicação.
Inicia a replicação seguindo o ciclo de vida de replicação de tabela.
O ciclo de vida de replicação de tabelas¶
Introspecção de esquema: o conector descobre as colunas na tabela de origem, seus nomes, tipos e, em seguida, irá validá-las de acordo com as limitações do Snowflake e do conector. As falhas de validação fazem com que esse estágio falhe, e o ciclo se complete. Após a conclusão bem-sucedida da introspecção de esquema, o conector cria uma tabela de destino vazia.
Carga de instantâneo: o conector copia todos os dados disponíveis na tabela de origem para a tabela de destino. A falha nesse estágio encerra o ciclo, e nenhum outro dado é replicado. Após a conclusão bem-sucedida, todo o conjunto de dados da tabela de origem estará disponível na tabela de destino.
Carga incremental: o conector continua rastreando as alterações na tabela de origem e copiando-as para a tabela de destino. Isso continua até que a tabela seja removida da replicação. A falha nesse estágio interrompe permanentemente a replicação da tabela de origem, até que o problema seja resolvido.
Nota
Falhas temporárias, como problemas de conexão, não interrompem a replicação de nenhuma tabela, mas falhas permanentes, como mapeamentos de tipos de dados não compatíveis, impedem que a tabela afetada continue sendo replicada, enquanto outras tabelas configuradas continuam inalteradas. Após corrigir o problema com a tabela afetada, você pode removê-la e adicioná-la novamente à replicação.
Versões PostgreSQL compatíveis¶
A seguir, as versões compatíveis do PostgresSQL.
11 |
12 |
13 |
14 |
15 |
16 |
17 |
|
---|---|---|---|---|---|---|---|
Sim |
Sim |
Sim |
Sim |
Sim |
Sim |
Sim |
|
Sim |
Sim |
Sim |
Sim |
Sim |
Sim |
Sim |
|
Sim |
Sim |
Sim |
Sim |
Sim |
Sim |
||
Sim |
Sim |
Sim |
Sim |
Sim |
Sim |
||
Sim |
Sim |
Sim |
Sim |
Sim |
Sim |
Limitações¶
O conector é compatível com o PostgreSQL versão 11 ou posterior.
O conector é compatível apenas com a autenticação de nome de usuário e senha com PostgreSQL.
O conector não é compatível com instâncias de réplica de leitura PostgreSQL.
O conector não replica tabelas com dados que excedam as limitações de tipo do Snowflake.
O conector não replica tabelas com valores TOAST.
O conector exige que cada tabela replicada tenha uma chave primária e que a identidade da réplica da tabela seja a mesma da chave primária.
O conector oferece suporte a alterações no esquema da tabela de origem, com exceção da alteração das definições de chave primária, da precisão ou da escala de uma coluna numérica.
O conector não oferece suporte a tempos de execução do Openflow em vários clusters.
Nota
As limitações que afetam determinadas colunas da tabela podem ser contornadas com a exclusão dessas colunas específicas da replicação.