Instalação e configuração do Openflow Connector for Oracle

Nota

O conector está sujeito aos Termos do conector Snowflake.

Nota

O Openflow Connector for Oracle também está sujeito a termos de serviço adicionais além dos termos de serviço padrão do conector. Para obter mais informações, consulte o Adendo do Openflow Connector para Oracle.

Este tópico descreve as etapas para instalar e configurar o conector Openflow Connector for Oracle.

Como engenheiro de dados, execute as seguintes tarefas para instalar e configurar o conector:

Instalação do conector

Para instalar o conector, faça o seguinte como engenheiro de dados:

  1. Navegue até a página de visão geral do Openflow. Na seção Featured connectors, selecione View more connectors.

  2. Na página de conectores do Openflow, localize o conector e selecione Add to runtime.

  3. Na caixa de diálogo Select runtime, selecione seu tempo de execução na lista suspensa Available runtimes e clique em Add.

    Nota

    Antes de instalar o conector, verifique se você criou um banco de dados e um esquema no Snowflake para que o conector armazene os dados ingeridos.

  4. Autentique-se na implementação com as credenciais de sua conta Snowflake e selecione Allow quando solicitado para permitir que o aplicativo de tempo de execução acesse sua conta Snowflake. O processo de instalação do conector leva alguns minutos para ser concluído.

  5. Autentique-se no tempo de execução com as credenciais de sua conta Snowflake.

A tela do Openflow é exibida com o grupo de processos do conector adicionado a ela.

Configuração do conector

Para configurar o conector, faça o seguinte como engenheiro de dados:

  1. Clique com o botão direito do mouse no tempo de execução adicionado e selecione Parameters.

  2. Preencha os valores de parâmetro necessários.

    Para obter mais informações sobre os valores de parâmetro necessários, consulte as seções a seguir:

Parâmetros de destino do Snowflake

Parâmetro

Descrição

Obrigatório

Banco de dados de destino

O banco de dados onde os dados serão persistidos. Ele já deve existir no Snowflake. O nome diferencia maiúsculas de minúsculas. Para identificadores sem aspas, forneça o nome em maiúsculas.

Sim

Estratégia de autenticação Snowflake

Ao utilizar:

  • Implantação do Snowflake OpenFlow ou BYOC: Use SNOWFLAKE_MANAGED_TOKEN. O Snowflake gerencia este token automaticamente. As implantações BYOC já devem ter configurado as funções de tempo de execução para usar SNOWFLAKE_MANAGED_TOKEN.

  • BYOC: o BYOC também pode usar KEY_PAIR como valor da estratégia de autenticação.

Sim

Identificador de conta Snowflake

Ao utilizar:

  • Session Token Authentication Strategy: deve ficar em branco.

  • KEY_PAIR: nome da conta Snowflake formatado como [nome-da-organização]-[nome-da-conta], onde os dados serão persistentes.

Sim

Estratégia de conexão com o Snowflake

Ao usar KEY_PAIR, especifique a estratégia para conexão com o Snowflake:

  • STANDARD (padrão): conecte-se aos serviços Snowflake usando o roteamento público padrão.

  • PRIVATE_CONNECTIVITY: conecte-se usando endereços privados associados à plataforma de nuvem de suporte, como AWS PrivateLink.

Necessário somente para BYOC com KEY_PAIR; caso contrário, será ignorado.

Chave privada Snowflake

Ao utilizar:

  • Session Token Authentication Strategy: deve ficar em branco.

  • KEY_PAIR: deve ser a chave privada RSA utilizada para a autenticação.

    A chave RSA deve ser formatada de acordo com os padrões PKCS8 e têm os cabeçalhos e rodapés PEM padrão. Observe que é necessário definir o arquivo de chave privada do Snowflake ou a chave privada do Snowflake.

Não

Arquivo de chave privada Snowflake

Ao utilizar:

  • Estratégia de autenticação de token de sessão: o arquivo de chave privada deve estar em branco.

  • KEY_PAIR: carregue o arquivo que contém a chave privada RSA usada para autenticação no Snowflake, formatada de acordo com as normas PKCS8 e incluindo cabeçalhos e rodapés PEM padrão. A linha do cabeçalho começa com -----BEGIN PRIVATE. Para carregar o arquivo de chave privada, marque a caixa de seleção Reference asset.

Não

Senha de chave privada Snowflake

Ao usar

  • Session Token Authentication Strategy: deve ficar em branco.

  • KEY_PAIR: forneça a senha associada ao arquivo de chave privada do Snowflake.

Não

Função Snowflake

Ao usar

  • Estratégia de autenticação de tokens de sessão: use sua função de tempo de execução. Use a função do Snowflake designada ao tempo de execução ou a função filha concedida a esta função do Snowflake. Você pode encontrar sua função do Snowflake do tempo de execução na UI do Openflow, expandindo o botão More Options [⋮] do seu tempo de execução e selecionando Set Snowflake role.

  • Estratégia de autenticação de KEY_PAIR: use uma função válida configurada para o usuário do seu serviço.

Sim

Nome de usuário do Snowflake

Ao usar

  • Session Token Authentication Strategy: deve ficar em branco.

  • KEY_PAIR: forneça o nome de usuário usado para se conectar à instância do Snowflake.

Sim

Estratégia de valores excedentes

Determina como o conector lida com valores que excedem os limites de tamanho internos (16 MB) durante a replicação. Os valores possíveis são:

  • Fail Table (padrão): a tabela é marcada como falha permanente, e a replicação é interrompida para essa tabela.

  • Set Null: o valor é substituído por NULL na tabela de destino. Use esta opção para impedir falhas na tabela quando for aceitável perder dados em tabelas que ultrapassem o valor excedente.

Não

Warehouse Snowflake

Warehouse Snowflake usado para executar consultas.

Sim

Parâmetros de ingestão do Oracle

Parâmetro

Descrição

Nomes de tabela inclusos

Lista separada por vírgulas de caminhos de tabela totalmente qualificados. As tabelas devem ser especificadas usando o formato de nome de banco de dados, esquema e tabela totalmente qualificado: DATABASE_NAME.SCHEMA_NAME.TABLE_NAME.

Por exemplo: MYPDB.SALES.CUSTOMERS, MYPDB.SALES.ORDERS

Regex de tabela inclusa

Uma expressão regular para corresponder aos caminhos da tabela para inclusão automática de tabelas existentes e novas. O padrão regex deve corresponder à convenção de nomenclatura de três partes: DATABASE_NAME.SCHEMA_NAME.TABLE_NAME.

Por exemplo: MYPDB\.SALES\..* para corresponder a todas as tabelas no esquema SALES dentro do banco de dados MYPDB.

Filtrar JSON

Uma matriz JSON para incluir colunas específicas com base em um padrão regex para determinadas tabelas.

CRON do cronograma de tarefas de fusão

Uma expressão CRON para definir quando as operações de mesclagem do diário para a tabela de destino são acionadas. Por exemplo, * * * * * ? para mesclagem contínua.

Resolução do identificador do objeto

Especifica como os identificadores de objetos de origem, como esquemas, tabelas e nomes de colunas, são armazenados e consultados no Snowflake. Essa configuração determina se você deve usar aspas duplas em consultas SQL.

Opção 1: padrão, sem distinção entre maiúsculas e minúsculas (recomendado).

  • Transformação: Todos os identificadores são convertidos em maiúsculas. Por exemplo, My_Table torna-se MY_TABLE.

  • Consultas: as consultas SQL não diferenciam maiúsculas de minúsculas e não exigem as aspas duplas doSQL.

    Por exemplo SELECT * FROM my_table; retorna os mesmos resultados que SELECT * FROM MY_TABLE;.

Nota

A Snowflake recomenda usar esta opção se não for esperado que os objetos de banco de dados tenham nomes que misturem letras maiúsculas e minúsculas.

Opção 2: com distinção entre maiúsculas e minúsculas.

  • Transformação: As letras maiúsculas/minúsculas são preservadas. Por exemplo, My_Table continua sendo My_Table.

  • Consultas: consultas SQL devem usar aspas duplas para corresponder exatamente ao uso de maiúsculas/minúsculas dos objetos de banco de dados. Por exemplo, SELECT * FROM "My_Table";.

Importante

Não altere esta configuração após o início da ingestão do conector. Se esta configuração for alterada após o início da ingestão, ela será interrompida. Se você precisar alterar essa configuração, crie uma nova instância do conector.

Estratégia de busca de instantâneos

Determina a estratégia de busca de carregamento de instantâneo:

  • SEQUENTIAL_BY_PRIMARY_KEY (padrão): usa lotes de tamanho fixo recuperados sequencialmente por chave primária.

  • CONCURRENT_BY_ROWID: divide as tabelas em blocos delimitados por intervalos de IDs de linha físicos e recupera cada bloco em paralelo.

Parâmetros de origem Oracle

Parâmetro

Descrição

Obrigatório

URL da conexão Oracle

URL JDBC da conexão de banco de dados com o DB. O URL deve especificar o contêiner de destino (PDB ou CDB) que contém os dados a serem replicados. Por exemplo, jdbc:oracle:thin@<host>:<port>/YOUR_DB_NAME em que YOUR_DB_NAME é o nome do seu PDB ou CDB.

Nota

O conector funciona dentro de um único banco de dados/container. Certifique-se de que o URL JDBC aponte diretamente para o contêiner que contém as tabelas a serem replicadas.

Sim

Nome de usuário Oracle

Nome do usuário de conexão que tem acesso ao XStream Server.

Sim

Senha Oracle

Senha do usuário de conexão que tem acesso ao XStream Server.

Sim

Multiplicador de processador do banco de dados Oracle

Fator de licenciamento de núcleo do processador, conforme descrito na tabela de fatores de núcleo do processador Oracle

Obrigatório apenas para licença incorporada

Núcleos do processador do banco de dados Oracle

O número de núcleos do processador em seu banco de dados Oracle.

Obrigatório apenas para licença incorporada

Confirmação de cobrança XStream

Uma confirmação do contrato de licenciamento

Obrigatório apenas para licença incorporada

Nome do servidor de saída XStream

O nome do servidor XStream que já deve existir no Oracle.

Sim

URL do servidor de saída XStream

URL JDBC da conexão de banco de dados para XStream, deve usar o driver OCI. Por exemplo, jdbc:oracle:oci:@<host>:<port>/SID.

Sim

Reiniciar a replicação da tabela

Uma tabela no estado FAILED, por exemplo, devido a uma chave primária ausente ou alteração de esquema incompatível, não é reiniciada automaticamente. Se uma tabela entrar no estado FAILED, ou se você precisar reiniciar a replicação do zero, use o procedimento a seguir para remover e adicionar novamente a tabela à replicação.

Nota

Se a falha foi causada por um problema na tabela de origem, como a falta de uma chave primária, resolva esse problema no banco de dados de origem antes de continuar.

  1. Remova a tabela dos parâmetros de fluxo: no contexto de parâmetros de ingestão, remova a tabela de Included Table Names ou modifique o Included Table Regex para que a tabela não seja mais correspondida.

  2. Verifique se a tabela foi removida:

    1. Na tela do tempo de execução do Openflow, clique com o botão direito do mouse em um grupo de processadores e escolha Controller Services.

    2. Na tabela com a lista de serviços do controlador, localize a linha Table State Store, clique nos três pontos verticais à direita da linha e escolha View State.

    Importante

    É necessário aguardar até que o estado da tabela seja totalmente removido da lista antes de prosseguir. Não continue até que esta alteração de configuração tenha sido concluída.

  3. Limpe o destino: assim que o estado da tabela for exibido como totalmente removido, execute DROP manualmente da tabela de destino no Snowflake. Observe que o conector não substituirá uma tabela de destino existente durante a fase do instantâneo. Se a tabela ainda existir, a replicação falhará novamente. Opcionalmente, a tabela de diário e o fluxo também podem ser removidos se não forem mais necessários.

  4. Adicione a tabela novamente: atualize os parâmetros Included Table Names ou Included Table Regex para incluir a tabela novamente.

  5. Verifique a reinicialização: consulte Table State Store seguindo as instruções já apresentadas. O estado da tabela deve aparecer com status NEW, depois passar para SNAPSHOT_REPLICATION e, por fim, INCREMENTAL_REPLICATION.

Execute o fluxo

  1. Clique com o botão direito do mouse no plano e selecione Enable all Controller Services.

  2. Clique com o botão direito do mouse no grupo de processos importado e selecione Start. O conector inicia a ingestão de dados.

Próximos passos