Configurando o Openflow Connector for Google BigQuery¶

Pré-requisitos¶

1. Consulte Sobre Openflow Connector for Google BigQuery.

2. Configure sua implantação de tempo de execução.

   • Configuração do Openflow - BYOC

   • Configurar o Openflow – Implantações do Snowflake.

3. Se você usa Openflow - Snowflake Deployments, certifique-se de ter revisado a configuração dos domínios necessários e concedido acesso aos domínios exigidos pelo conector.

4. Você tem acesso à função de administrador do Openflow ou uma função semelhante usada para gerenciar o Openflow.

5. Se você estiver criando um usuário de serviço do Snowflake para gerenciar o conector, já criou uma autenticação de par de chaves. Para obter mais informações, consulte autenticação de par de chaves.

Pontos de extremidade obrigatórios¶

Os seguintes pontos de extremidade são obrigatórios para que o conector funcione:

• bigquery.googleapis.com:443

• bigquerystorage.googleapis.com:443

• oauth2.googleapis.com:443

Se você usa o Openflow – BYOC, precisa configurar a saída da rede de nuvem para permitir o acesso TLS 443 aos pontos de extremidade listados acima. Se você usa Openflow - Snowflake Deployments, precisa criar uma regra de rede e uma integração de acesso externo (External Access Integration, EAI). Em seguida, conceda os privilégios de uso de função do Snowflake na EAI.

Configuração de BigQuery¶

1. Crie uma conta do Google Cloud Service e conceda a ela as permissões necessárias para ler dados do BigQuery. O conector usa essa conta para autenticação.

   Essa conta deve ter as seguintes permissões:

   • Usuário do BigQuery

   • BigQuery Data Editor

Importante

BigQuery Data Editor deve ser concedido no nível do projeto, não a conjuntos de dados individuais. O conector consulta {project}.{region}.INFORMATION_SCHEMA.TABLES para descobrir tabelas em todas as regiões configuradas: uma exibição com escopo regional que requer acesso no nível do projeto. O conector também consulta {project}.{dataset}.INFORMATION_SCHEMA.KEY_COLUMN_USAGE para determinar chaves primárias para cada tabela replicada. Sem acesso no nível do projeto, a consulta falha com o erro Access Denied, e o conector não é executado corretamente.

1. Gere e baixe o arquivo de chave JSON correspondente para a conta de serviço. Você precisará do conteúdo completo desse arquivo para a configuração do conector.

2. Habilite o histórico de alterações em cada tabela de origem para permitir que o conector execute a replicação incremental. Esse recurso permite que o BigQuery rastreie as alterações no nível da linha (inserções, atualizações e exclusões), que o conector usa para sincronizar dados com eficiência.

   Execute a seguinte consulta no console do BigQuery para cada tabela:

   CopyExpand

   ALTER TABLE `project.dataset.table`
   SET OPTIONS (enable_change_history = TRUE);
   

   Show lessSee more

   Scroll to top

Configurar sua conta Snowflake¶

Como administrador do Openflow, execute as seguintes tarefas para configurar sua conta Snowflake:

1. Crie um usuário de serviço do Snowflake:

   CopyExpand

   USE ROLE USERADMIN;
   CREATE USER <openflow_service_user>
     TYPE=SERVICE
     COMMENT='Service user for Openflow automation';
   

   Show lessSee more

   Scroll to top

2. Armazene a chave privada do usuário em um arquivo para fornecer para a configuração do conector. Para obter mais informações, consulte autenticação de par de chaves.

   CopyExpand

   ALTER USER <openflow_service_user> SET RSA_PUBLIC_KEY = '<pubkey>';
   

   Show lessSee more

   Scroll to top

3. Crie um banco de dados para armazenar os dados replicados e configure permissões para que o usuário do Snowflake crie objetos nesse banco de dados concedendo os privilégios USAGE e CREATE SCHEMA.

   CopyExpand

   USE ROLE ACCOUNTADMIN;
   CREATE DATABASE IF NOT EXISTS <destination_database>;
   GRANT USAGE ON DATABASE <destination_database> TO USER <openflow_service_user>;
   GRANT CREATE SCHEMA ON DATABASE <destination_database> TO USER <openflow_service_user>;
   

   Show lessSee more

   Scroll to top

4. Crie um novo warehouse ou use um warehouse existente para o conector.

   Para criar um novo warehouse:

   CopyExpand

   CREATE WAREHOUSE <openflow_warehouse>
   WITH
      WAREHOUSE_SIZE = 'MEDIUM'
      AUTO_SUSPEND = 300
      AUTO_RESUME = TRUE;
   GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO USER <openflow_service_user>;
   

   Show lessSee more

   Scroll to top

   Comece com o tamanho MEDIUM de warehouse e, em seguida, experimente os tamanhos dependendo da quantidade de tabelas que estão sendo replicadas e da quantidade de dados transferidos.

   Para determinar se você deve aumentar, monitore o conector e o banco de dados enquanto a replicação de dados estiver em andamento. Se você observar atrasos significativos durante a replicação incremental, experimente um tamanho de warehouse maior. No entanto, o escalonamento de grandes números de tabelas normalmente é melhor usando warehouses multicluster em vez de aumentar o tamanho do warehouse.

5. Crie uma integração de acesso externo para permitir o acesso à rede fora do Snowflake.

   Cuidado

   Se o seu tempo de execução é executado no Openflow – BYOC, você não precisa criar uma integração de acesso externo (EAI). Em vez disso, configure a saída da rede de nuvem para permitir o acesso TLS 443 aos pontos de extremidade listados abaixo.

   Os pontos de extremidade host:porta necessários estão listados em Pontos de extremidade obrigatórios.

   Para permitir que o conector chame as APIs do Google necessárias de um tempo de execução hospedado pelo Snowflake, você deve criar uma regra de rede e uma integração de acesso externo (EAI). Em seguida, conceda os privilégios de uso de função do Snowflake na EAI.

   Para criar a integração de acesso externo e a regra de rede e conceder o acesso, execute as seguintes etapas:

   1. Crie uma regra de rede para permitir que o conector acesse as APIs do Google necessárias:

      CopyExpand

      USE ROLE ACCOUNTADMIN;
      USE DATABASE <openflow_network_db>;
      
      CREATE OR REPLACE NETWORK RULE openflow_<runtime_name>_network_rule
        TYPE = HOST_PORT
        MODE = EGRESS
        VALUE_LIST = (
          'bigquery.googleapis.com:443',
          'bigquerystorage.googleapis.com:443',
          'oauth2.googleapis.com:443'
        );
      

      Show lessSee more

      Scroll to top

   2. Crie uma integração de acesso externo que faça referência à regra de rede:

      CopyExpand

      CREATE OR REPLACE EXTERNAL ACCESS INTEGRATION openflow_<runtime_name>_eai
        ALLOWED_NETWORK_RULES = (openflow_<runtime_name>_network_rule)
        ENABLED = TRUE;
      

      Show lessSee more

      Scroll to top

   3. Conceda o privilégio USAGE na integração à sua função do Snowflake:

      CopyExpand

      GRANT USAGE ON INTEGRATION openflow_<runtime_name>_eai
        TO ROLE openflow_runtime_role_<runtime_name>;
      

      Show lessSee more

      Scroll to top

Instalação do conector¶

Para instalar o conector, faça o seguinte como engenheiro de dados:

1. Navegue até a página de visão geral do Openflow. Na seção Featured connectors, selecione View more connectors.

2. Na página de conectores do Openflow, localize o conector e selecione Add to runtime.

3. Na caixa de diálogo Select runtime, selecione seu tempo de execução na lista suspensa Available runtimes e clique em Add.

   Nota

   Antes de instalar o conector, verifique se você criou um banco de dados e um esquema no Snowflake para que o conector armazene os dados ingeridos.

4. Autentique-se na implementação com as credenciais de sua conta Snowflake e selecione Allow quando solicitado para permitir que o aplicativo de tempo de execução acesse sua conta Snowflake. O processo de instalação do conector leva alguns minutos para ser concluído.

5. Autentique-se no tempo de execução com as credenciais de sua conta Snowflake.

A tela do Openflow é exibida com o grupo de processos do conector adicionado a ela.

Configuração do conector¶

Para configurar o conector, execute as seguintes etapas:

1. Clique com o botão direito do mouse no tempo de execução adicionado e selecione Parameters.

2. Preencha os valores dos parâmetros necessários conforme descrito em Especificar parâmetros de fluxo.

Execute o fluxo¶

1. Clique com o botão direito do mouse no plano e selecione Enable all Controller Services.

2. Clique com o botão direito do mouse no grupo de processos importado e selecione Start. O conector inicia a ingestão de dados.

Próximos passos¶

• Para obter informações sobre as tarefas que você pode realizar após a instalação do conector, consulte Usar o conector

• Para obter informações sobre o monitoramento do fluxo, consulte Monitorar o fluxo