Configure o Openflow Connector for Excel¶

Pré-requisitos¶

1. Certifique-se de ter revisado Sobre a Openflow Connector for Excel.

2. Certifique-se de ter configurado o Openflow.

Obtenha as credenciais¶

Esta seção descreve as etapas para obter suas credenciais e configurar o conector. Dependendo de sua fonte de dados,

• Obtenha as credenciais do AWS

• Obtenha as credenciais do SharePoint

Configure a conta Snowflake¶

Como administrador de conta Snowflake, execute as seguintes tarefas:

1. Crie uma nova função ou use uma função existente.

2. Crie um novo usuário de serviço Snowflake com o tipo SERVICE.

3. Conceda ao usuário do serviço Snowflake a função que você criou nas etapas anteriores.

4. Configure com a autenticação de pares de chaves para o usuário do Snowflake SERVICE da etapa 2.

5. Altamente recomendado Configure um gerenciador de segredos compatível com o Openflow; por exemplo, AWS, Azure e Hashicorp, e armazene as chaves públicas e privadas no armazenamento de segredos.

   Nota

   Se não quiser usar um gerenciador de segredos, você é responsável por proteger a chave pública e os arquivos de chave privada usados para autenticação de pares de chaves de acordo com as políticas de segurança de sua organização.

   1. Depois que o gerenciador de segredos estiver configurado, determine como você se autenticará nele. No AWS, é recomendável que você use a função de instância EC2 associada ao Openflow para que nenhum outro segredo tenha que ser mantido.

   2. No Openflow, configure um Parameter Provider associado a esse gerenciador de segredos, no menu de três traços no canto superior direito. Navegue até Controller Settings » Parameter Provider e busque os valores dos parâmetros.

   3. Nesse momento, todas as credenciais podem ser referenciadas com os caminhos de parâmetros associados e nenhum valor sensível precisa ser mantido no Openflow.

6. Se qualquer outro usuário Snowflake precisar de acesso aos documentos e tabelas brutos ingeridos pelo conector (por exemplo, para processamento personalizado no Snowflake), conceda a esses usuários a função criada na etapa 1.

7. Crie um banco de dados e um esquema no Snowflake para que o conector armazene os dados ingeridos. Conceda os Privilégios de banco de dados necessários para a função criada na primeira etapa. Substitua o espaço reservado para a função pelo valor real e use os seguintes comandos SQL:

   CREATE DATABASE excel_destination_db;
   CREATE SCHEMA excel_destination_db.excel_destination_schema;
   GRANT USAGE ON DATABASE excel_destination_db TO ROLE <excel_connector_role>;
   GRANT USAGE ON SCHEMA excel_destination_db.excel_destination_schema TO ROLE <excel_connector_role>;
   GRANT CREATE TABLE ON SCHEMA excel_destination_db.excel_destination_schema TO ROLE <excel_connector_role>;
   

   Copy

8. Crie um warehouse que será usado pelo conector ou use um já existente. Comece com o menor tamanho de warehouse e, em seguida, experimente o tamanho, dependendo do número de tabelas sendo replicadas e da quantidade de dados transferidos. Os números de tabelas grandes normalmente são mais bem dimensionados com warehouses multicluster, em vez de warehouses maiores.

9. Certifique-se de que o usuário com a função usada pelo conector tenha os privilégios necessários para usar o warehouse. Se esse não for o caso, conceda os privilégios necessários à função:

   CREATE WAREHOUSE excel_connector_warehouse WITH WAREHOUSE_SIZE = 'X-Small';
   GRANT USAGE ON WAREHOUSE excel_connector_warehouse TO ROLE <excel_connector_role>;
   

   Copy

Configuração do conector¶

Como engenheiro de dados, execute as seguintes tarefas para instalar e configurar um conector:

Execute o fluxo¶

1. Clique com o botão direito do mouse no plano e selecione Enable all Controller Services.

2. Clique com o botão direito do mouse no grupo de processos importado e selecione Start. O conector inicia a ingestão de dados.

Nomes de tabelas gerados¶

O conector cria tabelas de destino nomeadas usando o seguinte modelo: {PREFIX}{FILENAME}_{RANGE}. Os nomes são sempre identificadores entre aspas duplas.

• {PREFIX} é substituído pelo valor do parâmetro Destination Table Prefix, por exemplo, prfx_.

• {FILENAME} é substituído pelo caminho completo do arquivo ingerido, por exemplo, file1.xlsx ou folder/file2.xlsx.

• {RANGE} é substituído por:

  • Nome da planilha ingerida se o valor do parâmetro Ranges estiver vazio.

  • Nome da planilha ingerida com o intervalo ingerido, conforme especificado no parâmetro Ranges, por exemplo, Sheet1!A1:B2.

Exemplo de nomes de tabela gerados:

• "file1.xlsx_Sheet1"

• "prfx_folder/file2.xlsx_Sheet1!A1:B2"

(Opcional) Reconfigure o conector atualmente em execução¶

Você pode reconfigurar os parâmetros do conector depois que o conector já tiver começado a ingerir dados. Se você precisar alterar os arquivos ou intervalos ingeridos, execute as etapas a seguir para garantir que os dados sejam enviados corretamente ao Snowflake:

1. Pare o conector: certifique-se de que todos os processadores Openflow estejam parados.

2. Acesse as definições de configuração: navegue até as definições de configuração do conector no Openflow.

3. Modifique os parâmetros: ajuste os parâmetros conforme necessário.

4. Inicie o conector: inicie o conector e certifique-se também de que todos os serviços de controlador tenham sido iniciados.