Instalação e configuração do Openflow Connector for Oracle¶

Instalação do conector¶

Para instalar o conector, faça o seguinte como engenheiro de dados:

1. Navegue até a página de visão geral do Openflow. Na seção Featured connectors, selecione View more connectors.

2. Na página de conectores do Openflow, localize o conector e selecione Add to runtime.

3. Na caixa de diálogo Select runtime, selecione seu tempo de execução na lista suspensa Available runtimes e clique em Add.

   Nota

   Antes de instalar o conector, verifique se você criou um banco de dados e um esquema no Snowflake para que o conector armazene os dados ingeridos.

4. Autentique-se na implementação com as credenciais de sua conta Snowflake e selecione Allow quando solicitado para permitir que o aplicativo de tempo de execução acesse sua conta Snowflake. O processo de instalação do conector leva alguns minutos para ser concluído.

5. Autentique-se no tempo de execução com as credenciais de sua conta Snowflake.

A tela do Openflow é exibida com o grupo de processos do conector adicionado a ela.

Configuração do conector¶

Para configurar o conector, faça o seguinte como engenheiro de dados:

1. Clique com o botão direito do mouse no tempo de execução adicionado e selecione Parameters.

2. Preencha os valores de parâmetro necessários.

   Para obter mais informações sobre os valores de parâmetro necessários, consulte as seções a seguir:

   • Parâmetros de destino do Snowflake: utilizado para estabelecer conexão com o Snowflake.

   • Parâmetros de ingestão do Oracle: utilizado para especificar as tabelas a serem replicadas.

   • Parâmetros de origem Oracle: utilizado para definir a configuração dos dados baixados do Oracle.

Reiniciar a replicação da tabela¶

Uma tabela no estado FAILED, por exemplo, devido a uma chave primária ausente ou alteração de esquema incompatível, não é reiniciada automaticamente. Se uma tabela entrar no estado FAILED, ou se você precisar reiniciar a replicação do zero, use o procedimento a seguir para remover e adicionar novamente a tabela à replicação.

1. Remova a tabela dos parâmetros de fluxo: no contexto de parâmetros de ingestão, remova a tabela de Included Table Names ou modifique o Included Table Regex para que a tabela não seja mais correspondida.

2. Verifique se a tabela foi removida:

   1. Na tela do tempo de execução do Openflow, clique com o botão direito do mouse em um grupo de processadores e escolha Controller Services.

   2. Na tabela com a lista de serviços do controlador, localize a linha Table State Store, clique nos três pontos verticais à direita da linha e escolha View State.

   Importante

   É necessário aguardar até que o estado da tabela seja totalmente removido da lista antes de prosseguir. Não continue até que esta alteração de configuração tenha sido concluída.

3. Limpe o destino: assim que o estado da tabela for exibido como totalmente removido, execute DROP manualmente da tabela de destino no Snowflake. Observe que o conector não substituirá uma tabela de destino existente durante a fase do instantâneo. Se a tabela ainda existir, a replicação falhará novamente. Opcionalmente, a tabela de diário e o fluxo também podem ser removidos se não forem mais necessários.

4. Adicione a tabela novamente: atualize os parâmetros Included Table Names ou Included Table Regex para incluir a tabela novamente.

5. Verifique a reinicialização: consulte Table State Store seguindo as instruções já apresentadas. O estado da tabela deve aparecer com status NEW, depois passar para SNAPSHOT_REPLICATION e, por fim, INCREMENTAL_REPLICATION.

Replique um subconjunto de colunas em uma tabela¶

O conector pode filtrar os dados replicados por tabela para um subconjunto de colunas configuradas. As colunas de chave primária são sempre incluídas, independentemente das exclusões.

Para aplicar filtros de coluna, defina o parâmetro Column Filter JSON no contexto de parâmetros de ingestão para uma matriz JSON de objetos de filtro, um por tabela que você deseja filtrar.

As colunas podem ser incluídas ou excluídas por nome ou por padrão de expressão regular. Você pode aplicar uma única condição por tabela ou combinar várias condições, com as exclusões sempre tendo precedência sobre as inclusões.

[
    {
        "database": "<database>" | "databasePattern": "<regex>",
        "schema": "<schema>" | "schemaPattern": "<regex>",
        "table": "<table>" | "tablePattern": "<regex>",
        "included": ["<column>", "<column>"],
        "excluded": ["<column>", "<column>"],
        "includedPattern": "<regex>",
        "excludedPattern": "<regex>"
    }
]

[
    {
        "database": "my_db",
        "schema": "dbo",
        "table": "orders",
        "included": ["account_id", "status", "created_at"]
    }
]

[
    {
        "database": "my_db",
        "schema": "dbo",
        "table": "orders",
        "excluded": ["internal_note", "debug_flag"]
    }
]

[
    {
        "database": "my_db",
        "schema": "dbo",
        "table": "contacts",
        "includedPattern": ".*_email",
        "excluded": ["admin_email"]
    }
]

[
    {
        "databasePattern": "prod_.*",
        "schema": "dbo",
        "table": "customers",
        "excluded": ["internal_note"]
    }
]

[
    {"database": "my_db", "schema": "dbo", "table": "orders", "included": ["account_id", "status"]},
    {"database": "my_db", "schema": "dbo", "table": "customers", "excludedPattern": ".*_internal"}
]

Execute o fluxo¶

1. Clique com o botão direito do mouse no plano e selecione Enable all Controller Services.

2. Clique com o botão direito do mouse no grupo de processos importado e selecione Start. O conector inicia a ingestão de dados.

Próximos passos¶

• (Opcional) Configurar replicação incremental sem instantâneos.

• Monitorar o fluxo.