Configure o Openflow Connector for HubSpot¶

Pré-requisitos¶

1. Certifique-se de ter revisado Sobre a Openflow Connector for HubSpot.

2. Certifique-se de ter revisado Configuração do Openflow - BYOC ou Configuração do Openflow – Implantações do Snowflake.

3. Se você usa Openflow - Snowflake Deployments, garanta que já tenha revisado a configuração dos domínios necessários e concedido acesso a esses domínios para o conector Hubspot.

Obtenha as credenciais¶

Como administrador do HubSpot, gere um token de aplicativo privado HubSpot ou crie um em sua conta HubSpot. Isso permite que você autentique suas solicitações na HubSpot API.

1. Faça login em sua conta HubSpot.

2. Navegue até Settings selecionando o ícone de engrenagem na barra de navegação superior.

3. Na navegação esquerda, vá para Integrations » Private Apps.

4. Selecione Create a private app.

   1. Digite um nome para seu aplicativo.

   2. Navegue até a guia Scopes.

   3. Selecione os escopos necessários para as solicitações de API que você pretende fazer. Para encontrar os escopos necessários para as solicitações de API, consulte Escopos.

   4. Selecione Create app.

   5. Defina os escopos necessários para as solicitações de API que você pretende fazer para cada ponto de extremidade.

5. Selecione View access token para visualizar o token de acesso. Cole o token nos parâmetros do conector ou salve-o em segurança.

Configure a conta Snowflake¶

Como administrador de conta Snowflake, execute as seguintes tarefas:

1. Crie uma nova função ou use uma função existente e conceda Privilégios de banco de dados e Privilégios de exibição.

2. Crie um novo usuário de serviço Snowflake com o tipo SERVICE.

3. Conceda ao usuário do serviço Snowflake a função que você criou nas etapas anteriores.

4. Configure com a autenticação de pares de chaves para o usuário do Snowflake SERVICE da etapa 2.

5. A Snowflake recomenda enfaticamente essa etapa. Configure um gerenciador de segredos compatível com o Openflow, por exemplo, AWS, Azure e Hashicorp, e armazene as chaves públicas e privadas no armazenamento de segredos.

   Nota

   Se, por algum motivo, você não quiser usar um gerenciador de segredos, você será responsável por proteger os arquivos de chave pública e privada usados para autenticação de par de chaves de acordo com as políticas de segurança da sua organização.

   1. Depois que o gerenciador de segredos estiver configurado, determine como você se autenticará nele. No AWS, é recomendável que você use a função de instância EC2 associada ao Openflow, pois dessa forma nenhum outro segredo precisa ser mantido.

   2. No Openflow, configurar um provedor de parâmetros associado a este Secrets Manager, a partir do menu de configuração no canto superior direito. Navegue até Controller Settings » Parameter Provider e depois buscar seus valores de parâmetro.

   3. Nesse momento, todas as credenciais podem ser referenciadas com os caminhos de parâmetros associados e nenhum valor sensível precisa ser mantido no Openflow.

6. Se qualquer outro usuário Snowflake precisar de acesso aos documentos e tabelas brutos ingeridos pelo conector (por exemplo, para processamento personalizado no Snowflake), conceda a esses usuários a função criada na etapa 1.

7. Crie um banco de dados e um esquema no Snowflake para que o conector armazene os dados ingeridos. Conceda os seguintes Privilégios de banco de dados à função criada na primeira etapa.

   CopyExpand

   CREATE DATABASE hubspot_destination_db;
   CREATE SCHEMA hubspot_destination_db.hubspot_destination_schema;
   GRANT USAGE ON DATABASE hubspot_destination_db TO ROLE <hubspot_connector_role>;
   GRANT USAGE ON SCHEMA hubspot_destination_db.hubspot_destination_schema TO ROLE <hubspot_connector_role>;
   GRANT CREATE TABLE, CREATE VIEW ON SCHEMA hubspot_destination_db.hubspot_destination_schema TO ROLE <hubspot_connector_role>;
   

   Show lessSee more

   Scroll to top

8. Crie um warehouse que será usado pelo conector ou use um já existente. Comece com o menor tamanho de warehouse e, em seguida, experimente o tamanho, dependendo do número de tabelas sendo replicadas e da quantidade de dados transferidos. Os números de tabelas grandes normalmente são mais bem dimensionados com warehouses multicluster, em vez de warehouses maiores.

9. Certifique-se de que o usuário com a função usada pelo conector tenha os privilégios necessários para usar o warehouse. Se esse não for o caso, conceda os privilégios necessários à função.

   CopyExpand

   CREATE WAREHOUSE hubspot_connector_warehouse WITH WAREHOUSE_SIZE = 'X-Small';
   GRANT USAGE ON WAREHOUSE hubspot_connector_warehouse TO ROLE <hubspot_connector_role>;
   

   Show lessSee more

   Scroll to top

Configuração do conector¶

Como engenheiro de dados, execute as seguintes tarefas para instalar e configurar o conector:

Execute o fluxo¶

1. Clique com o botão direito do mouse no plano e selecione Enable all Controller Services.

2. Clique com o botão direito do mouse no grupo de processos importado e selecione Start. O conector inicia a ingestão de dados.

Estrutura de dados e exibições¶

O conector armazena os dados nos dois formatos a seguir em seu banco de dados Snowflake: