Considerações sobre a replicação¶

Banco de dados e objetos compartilhados¶

As seguintes restrições se aplicam ao banco de dados e aos objetos compartilhados:

• Um objeto só pode estar em um grupo de failover.

• Um objeto pode estar em vários grupos de replicação desde que cada grupo seja para uma conta de destino diferente.

• Um objeto não pode estar em um grupo de failover e em um grupo de replicação.

• Objetos secundários (réplicas) não podem ser adicionados a um grupo primário de replicação ou failover.

Objetos de conta¶

Uma conta só pode ter um grupo de failover ou replicação que contenha objetos diferentes de bancos de dados ou compartilhamentos.

Fluxos¶

Referências pendentes para fluxos fazem com que a replicação falhe com a seguinte mensagem de erro:

Primary database: the source object ''<object_name>'' for this stream ''<stream_name>'' is not included in the replication group.
Stream replication does not support replication across databases in different replication groups. Please see Streams Documentation
https://docs.snowflake.com/en/user-guide/account-replication-considerations#replication-and-streams for options.

Para evitar erros de referências pendentes:

• O banco de dados primário deve incluir o fluxo e seu objeto base ou

• O banco de dados que contém o fluxo e o banco de dados que contém o objeto base referenciado pelo fluxo devem ser incluídos no mesmo grupo de replicação ou failover.

Políticas de rede¶

Referências pendentes em políticas de redes podem fazer com que a replicação falhe com a seguinte mensagem de erro:

Dangling references in the snapshot. Correct the errors before refreshing again.
The following references are missing (referred entity <- [referring entities])

Para evitar referências pendentes, especifique os seguintes tipos de objetos na lista OBJECT_TYPES ao executar o comando CREATE ou ALTER para o grupo de replicação ou failover:

• Se uma política de redes estiver associada à conta, inclua NETWORK POLICIES e ACCOUNT PARAMETERS na lista OBJECT_TYPES.

• Se uma política de redes estiver associada ao usuário, inclua USERS na lista OBJECT_TYPES.

Para obter mais detalhes, consulte Políticas de rede no tópico Replicação de integrações de segurança e políticas de redes em múltiplas contas.

Políticas de sessão e senhas¶

As referências da política de sessão e senha para os usuários são replicadas ao especificar o banco de dados contendo a política (ALLOWED_DATABASES = policy_db) e USERS em um grupo de replicação ou grupo de failover.

Se os usuários ou banco de dados da política já tiverem sido replicados para uma conta de destino, atualize o grupo de replicação ou failover na conta de origem para incluir os bancos de dados e os tipos de objetos necessários para replicar com sucesso a política. Em seguida, execute uma operação de atualização para atualizar a conta de destino.

Se as políticas em nível de usuário não estiverem em uso, USERS não precisam ser incluídos no grupo de replicação ou failover.

Tabelas externas em um banco de dados primário¶

As tabelas externas em um banco de dados primário atualmente fazem com que a operação de replicação ou atualização falhe com a seguinte mensagem de erro:

003906 (55000): SQL execution error:
Primary database contains an external table '<database_name>'. Replication of a database with external table is not supported

Para evitar este erro, mova as tabelas externas para um banco de dados separado que não seja replicado. Alternativamente, se você estiver migrando seus bancos de dados para outra conta, você pode clonar o banco de dados primário, descartar a tabela externa do clone e então replicar o banco de dados clonado. Depois de promover o banco de dados secundário na conta de destino, você precisa recriar as tabelas externas no banco de dados.

Tabelas externas em um banco de dados secundário¶

Tabelas externas podem existir em um banco de dados secundário se ele era o banco de dados primário em um tempo anterior e as tabelas externas foram criadas durante esse tempo. Quando outro banco de dados é promovido para ser o banco de dados primário designado, ele se torna um banco de dados secundário. As tabelas externas em um banco de dados secundário atualmente causam a falha da operação de atualização com o seguinte erro:

003958 (55000): SQL execution error:
Secondary database contains an external table '<table_name>'. Replication of a database with external table is not supported.

Para evitar este erro, mova a tabela externa para um banco de dados separado que não seja um banco de dados secundário replicado.

Como evitar a perda de dados¶

Para evitar perda de dados no caso de failover, o tempo de retenção de dados para linhas inseridas com êxito em sua fonte de dados a montante deve ser maior que a frequência de replicação. Se os dados forem inseridos em uma tabela em um banco de dados primário e o failover ocorrer antes que os dados possam ser replicados para o banco de dados secundário, os mesmos dados precisarão ser inseridos na tabela no banco de dados primário recém-promovido. O resultado a seguir é um exemplo de cenário:

1. A tabela t1 no banco de dados primário repl_db é preenchida com dados com Snowpipe Streaming e o conector Kafka.

2. O offsetToken é 100 para o canal 1 e 100 para o canal 2 para t1 no banco de dados primário.

3. Uma operação de atualização é concluída com êxito na conta de destino.

4. O offsetToken é 100 para o canal 1 e 100 para o canal 2 para o t1 no banco de dados secundário.

5. Mais linhas são inseridas em t1 no banco de dados primário.

6. O offsetToken agora é 200 para o canal 1 e 200 para o canal 2 para o t1 no banco de dados primário.

7. Um failover ocorre antes que as linhas adicionais e os novos offsets de canal possam ser replicados para o banco de dados secundário.

Neste caso, faltam 100 offsets em cada canal para tabela t1 no banco de dados primário recém-promovido. Para inserir os dados que faltam, consulte Reabertura de canais ativos para Snowpipe Streaming na conta de origem recém-promovida.

Requisitos¶

O suporte à replicação do Snowpipe Streaming requer as seguintes versões mínimas:

• Snowflake Ingest SDK versão 1.1.1 e posterior

• Se você estiver usando o conector Kafka: conector Kafka versão 1.9.3 e posterior

Limitações¶

A replicação com fluxos em tabelas Snowflake preenchidas por Snowpipe Streaming não está habilitada. Se você deseja replicar fluxos em tabelas Snowflake preenchidas por Snowpipe Streaming, entre em contato com o suporte Snowflake.

Objetos de origem compatíveis com fluxos¶

Os fluxos replicados podem rastrear com sucesso os dados de alteração para tabelas e exibições no mesmo banco de dados.

Atualmente, os seguintes tipos de objetos de origem não têm suporte:

• Tabelas de diretório

• Tabelas externas

• Tabelas ou exibições em bancos de dados separados dos bancos de dados do fluxo.

  Note que esse design funciona se tanto o banco de dados do fluxo quanto o banco de dados que armazena o objeto de origem estão incluídos no mesmo grupo de replicação ou failover.

• Tabelas ou exibições em bancos de dados compartilhados (ou seja, bancos de dados compartilhados a partir das contas de provedor para sua conta)

Uma operação de atualização ou replicação de banco de dados falha se o banco de dados primário incluir um fluxo com um objeto de origem incompatível. A operação também falha se o objeto de origem para qualquer fluxo tiver sido descartado.

Como evitar a duplicação de dados¶

A duplicação de dados ocorre quando operações DML gravam os mesmos dados de alteração de um fluxo várias vezes sem uma verificação de exclusividade. Isso pode ocorrer se um fluxo e uma tabela de destino para os dados de alteração de fluxo forem armazenados em bancos de dados separados, e esses bancos de dados não passarem por uma replicação e failover no mesmo grupo.

Por exemplo, suponha que você insira regularmente dados de alteração de fluxo s na tabela dt. (Para este exemplo, o objeto de origem do fluxo não importa). Bancos de dados separados armazenam o fluxo e a tabela de destino.

1. No carimbo de data/hora t1, uma linha é inserida na tabela de origem para o fluxo s, criando uma nova versão da tabela. O fluxo armazena o offset para essa versão de tabela.

2. No carimbo de data/hora t2, o banco de dados secundário que armazena o fluxo é atualizado. O fluxo replicado s agora armazena o offset.

3. No carimbo de data/hora t3, os dados de alteração do fluxo s são inseridos na tabela dt.

4. No carimbo de data/hora t4, o banco de dados secundário que armazena o fluxo s passa por um failover.

5. No carimbo de data/hora t5, os dados de alteração do fluxo s são inseridos novamente na tabela dt.

Para evitar essa situação, faça a replicação e o failover, juntos, dos bancos de dados que armazenam os fluxos e suas tabelas de destino.

Referências de fluxo na cláusula WHEN da tarefa¶

Para evitar um comportamento inesperado ao executar tarefas replicadas que se referem a fluxos na cláusula WHEN boolean_expr, recomendamos que você:

• Crie as tarefas e fluxos no mesmo banco de dados, ou

• Se os fluxos forem armazenados em um banco de dados diferente das tarefas que os referenciam, inclua ambos os bancos de dados no mesmo grupo de failover.

Se uma tarefa faz referência a um fluxo em um banco de dados separado, e ambos os bancos de dados não estão incluídos no mesmo grupo de failover, então o banco de dados que contém a tarefa pode passar por um failover sem o banco de dados que contém o fluxo. Nesse cenário, quando a tarefa é retomada no banco de dados com failover, ela registra um erro quando tenta executar e não consegue encontrar o fluxo referenciado. Esse problema pode ser resolvido com o failover do banco de dados que contém o fluxo ou com a recriação do banco de dados e do fluxo na mesma conta que o banco de dados com failover que contém a tarefa.

Desatualização de fluxo¶

Se um fluxo no banco de dados primário se tornou desatualizado, o fluxo replicado em um banco de dados secundário também está desatualizado e não pode ser consultado nem seus dados de alteração consumidos. Para resolver isso, recrie o fluxo no banco de dados primário (usando CREATE OR REPLACE STREAM). Quando o banco de dados secundário é atualizado, o fluxo replicado fica legível novamente.

Observe que o offset para um fluxo recriado é a versão atual da tabela por padrão. Você pode recriar um fluxo que aponta para uma versão anterior da tabela usando o Time Travel; no entanto, o fluxo replicado permaneceria ilegível. Para obter mais informações, consulte Replicação de fluxo e Time Travel (neste tópico).

Replicação de fluxo e Time Travel¶

Após o failover de um banco de dados primário, se um fluxo no banco de dados usar o Time Travel para ler uma versão de tabela para o objeto de origem a partir de um ponto no tempo antes do último carimbo de data/hora da atualização, o fluxo replicado não pode ser consultado nem os dados de alteração consumidos. Da mesma forma, consultar os dados de alteração de um objeto de origem a partir de um ponto no tempo antes do último carimbo de data/hora da atualização usando a cláusula CHANGES para as instruções SELECT apresenta falha com um erro.

Isso porque uma operação de atualização reúne o histórico da tabela em uma única versão de tabela. As versões de tabelas iterativas criadas antes do carimbo de data/hora da atualização não são preservadas no histórico da tabela para os objetos de origem replicados.

Considere o seguinte exemplo:

1. A tabela t1 é criada no banco de dados primário com o rastreamento de alterações ativado (versão da tabela tv0). As transações DML subsequentes criam as versões de tabela tv1 e tv2.

2. Um banco de dados secundário que contém a tabela t1 é atualizado. A versão de tabela para essa tabela replicada é tv2; entretanto, o histórico da tabela não é replicado.

3. Um fluxo é criado no banco de dados primário com seu offset definido para a versão de tabela tv1 usando o Time Travel.

4. O banco de dados secundário passa por um failover, tornando-se o banco de dados primário.

5. A consulta do fluxo s1 retorna um erro, porque a versão de tabela tv1 não está no histórico da tabela.

Observe que quando uma transação DML subsequente na tabela t1 itera a versão da tabela para tv3, o offset para o fluxo s1 é avançado. O fluxo fica legível novamente.

Como evitar a perda de dados¶

A perda de dados pode ocorrer quando a mais recente operação de atualização de um banco de dados secundário não é concluída antes da operação de failover. Recomendamos atualizar frequentemente seus bancos de dados secundários para minimizar o risco.

Cenários de replicação¶

A tabela a seguir descreve diferentes cenários de tarefas e especifica se as tarefas são replicadas ou não. Exceto onde observado, os cenários dizem respeito tanto a tarefas independentes quanto a tarefas em um DAG:

Estado retomado ou suspenso das tarefas replicadas¶

Se todas as condições seguintes forem cumpridas, uma tarefa é replicada para um banco de dados secundário em estado retomado:

• Uma tarefa independente ou tarefa raiz está em um estado retomado no banco de dados primário quando a operação de replicação ou de atualização começa até que a operação seja concluída. Se uma tarefa estiver em um estado retomado durante apenas parte desse período, ela ainda poderá ser replicada em um estado retomado.

  Uma tarefa secundária está em um estado retomado na última versão da tarefa.

• O banco de dados primário foi replicado para a conta de destino juntamente com objetos de função no mesmo, ou em um diferente, grupo de replicação ou failover.

  Após as funções e o banco de dados serem replicados, você deve atualizar os objetos na conta de destino, executando ALTER REPLICATION GROUP … REFRESH or ALTER FAILOVER GROUP … REFRESH, respectivamente. Se você atualizar o banco de dados executando ALTER DATABASE … REFRESH, o estado das tarefas no banco de dados é alterado para suspenso.

  Uma operação de replicação ou atualização inclui a concessão de privilégios para uma tarefa que era atual quando a última versão da tabela foi confirmada. Para obter mais informações, consulte Tarefas replicadas e concessões de privilégios (neste tópico).

Se essas condições não forem cumpridas, a tarefa é replicada para um banco de dados secundário em estado suspenso.

Tarefas replicadas e concessões de privilégios¶

Se o banco de dados primário foi replicado para uma conta de destino juntamente com objetos de função no mesmo grupo de replicação ou failover, ou em um grupo diferente, os privilégios concedidos sobre as tarefas no banco de dados também são replicados.

A lógica a seguir determina quais privilégios de tarefa são replicados em uma operação de replicação ou de atualização:

• Se o atual proprietário da tarefa (ou seja, a função que tem o privilégio OWNERSHIP sobre uma tarefa) tem a mesma função de quando a tarefa foi retomada por último, então todas as concessões atuais sobre a tarefa são replicadas para o banco de dados secundário.

• Se o atual proprietário da tarefa não tem a mesma função de quando a tarefa foi retomada por último, então apenas o privilégio OWNERSHIP concedido à função do proprietário na versão da tarefa é replicado para o banco de dados secundário.

• Se a função atual do proprietário da tarefa não estiver disponível (por exemplo, uma tarefa secundária é descartada, mas uma nova versão da tarefa DAG ainda não está confirmada), então apenas o privilégio OWNERSHIP concedido à função do proprietário na versão da tarefa é replicado para o banco de dados secundário.

Execuções de tarefas após um failover¶

Depois que um grupo secundário de failover é promovido para servir como grupo primário, as tarefas retomadas em bancos de dados dentro do grupo de failover são programadas gradualmente. O tempo necessário para restaurar a programação normal de todas as tarefas independentes retomadas e DAGs depende do número de tarefas retomadas em um banco de dados.