Configure o Openflow Connector para o Microsoft Dataverse

Nota

O conector está sujeito aos termos do conector.

Este tópico descreve as etapas para configurar o Openflow Connector para o Microsoft Dataverse.

Pré-requisitos

  1. Certifique-se de ter revisado Openflow Connector para Microsoft Dataverse.

  2. Certifique-se de ter configurado o Openflow.

Obtenha as credenciais

Como administrador Microsoft Dataverse, execute as seguintes etapas:

  1. Verifique se você tem um ambiente Dataverse para trabalhar e se tem acesso a esse ambiente por meio de https://admin.powerplatform.microsoft.com/.

  2. Certifique-se de ter um aplicativo registrado em portal.azure.com. Esse aplicativo deve ter acesso ao locatário em que temos nosso ambiente de Dataverse disponível.

  3. Gere e armazene o ClientID e segredo de cliente nesse aplicativo.

  4. Acesse Power Apps Admin Center e configure seu ambiente de Dataverse para ser acessado por meio dos aplicativos registrados anteriormente. Para fazer isso, acesse Settings » Users & permissions » usuários de aplicativo. Os aplicativos criados anteriormente devem ser adicionados e receber os privilégios necessários para ler os dados do Microsoft Dataverse.

  5. Copie e salve o URL do ambiente de Dataverse selecionado em https://admin.powerplatform.microsoft.com/.

Configure a conta Snowflake

Como administrador de conta Snowflake, execute as seguintes tarefas:

  1. Crie um usuário Snowflake com o tipo SERVICE.

    Crie um banco de dados e um esquema para armazenar os dados replicados e configure privilégios para que o usuário do serviço crie tabelas no esquema de destino, concedendo os privilégios USAGE e CREATE TABLE.

    CREATE DATABASE <destination_database>;
    CREATE SCHEMA <destination_database>.<destination_schema>;
    CREATE USER <openflow_user> TYPE=SERVICE COMMENT='Service user for automated access of Openflow';
    CREATE ROLE <openflow_role>;
    GRANT ROLE <openflow_role> TO USER <openflow_user>;
    GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_role>;
    GRANT USAGE ON SCHEMA <destination_database>.<destination_schema> TO ROLE <openflow_role>;
    GRANT CREATE TABLE ON SCHEMA <destination_database>.<destination_schema> TO ROLE <openflow_role>;
    CREATE WAREHOUSE <openflow_warehouse>
         WITH
             WAREHOUSE_SIZE = 'SMALL'
             AUTO_SUSPEND = 300
             AUTO_RESUME = TRUE;
    GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_role>;
    
    Copy
    1. Crie um par de chaves seguras (pública e privada). Armazene a chave privada do usuário em um arquivo para fornecer à configuração do conector. Atribua a chave pública ao usuário do serviço Snowflake:

      ALTER USER <openflow_user> SET RSA_PUBLIC_KEY = 'thekey';
      
      Copy

      Para obter mais informações, consulte par de chaves.

  2. A Snowflake recomenda enfaticamente essa etapa. Configure um gerenciador de segredos compatível com o Openflow, por exemplo, AWS, Azure e Hashicorp, e armazene as chaves públicas e privadas no armazenamento de segredos.

    Nota

    Se, por algum motivo, você não quiser usar um gerenciador de segredos, será responsável por proteger os arquivos de chave pública e chave privada usados para autenticação de pares de chaves de acordo com as políticas de segurança de sua organização.

    1. Depois que o gerenciador de segredos estiver configurado, determine como você se autenticará nele. No AWS, é recomendável que você use a função de instância EC2 associada ao Openflow, pois dessa forma nenhum outro segredo precisa ser mantido.

    2. No Openflow, configure um provedor de parâmetros associado a esse gerenciador de segredos, no menu de três traços no canto superior direito. Navegue até Controller Settings » Parameter Provider e, em seguida, busque os valores dos parâmetros.

    3. Nesse momento, todas as credenciais podem ser referenciadas com os caminhos de parâmetros associados e nenhum valor sensível precisa ser mantido no Openflow.

  3. Se qualquer outro usuário Snowflake precisar de acesso aos documentos e tabelas brutos ingeridos pelo conector (por exemplo, para processamento personalizado no Snowflake), conceda a esses usuários a função criada na etapa 1.

  4. Designar um warehouse para o conector usar. Conceda o privilégio USAGE no warehouse à função criada anteriormente. Comece com o menor tamanho de warehouse e, em seguida, experimente o tamanho, dependendo do número de tabelas sendo replicadas e da quantidade de dados transferidos. Os números de tabelas grandes normalmente são mais bem dimensionados com warehouses multicluster, em vez de warehouses maiores.

Configuração do conector

Como engenheiro de dados, execute as seguintes tarefas para instalar e configurar o conector:

Instalação do conector

  1. Navegue até a página Visão geral do Openflow. Na seção Featured connectors, selecione View more connectors.

  2. Na página de conectores do Openflow, localize o conector e selecione Add to runtime.

  3. Na caixa de diálogo Select runtime, selecione seu tempo de execução na lista suspensa Available runtimes.

  4. Selecione Add.

    Nota

    Antes de instalar o conector, verifique se você criou um banco de dados e um esquema no Snowflake para que o conector armazene os dados ingeridos.

  5. Autentique-se na implementação com as credenciais de sua conta Snowflake e selecione Allow quando solicitado para permitir que o aplicativo de tempo de execução acesse sua conta Snowflake. O processo de instalação do conector leva alguns minutos para ser concluído.

  6. Autentique-se no tempo de execução com as credenciais de sua conta Snowflake.

A tela do Openflow é exibida com o grupo de processos do conector adicionado a ela.

Configuração do conector

  1. Clique com o botão direito do mouse no grupo de processos importado e selecione Parameters.

  2. Preencha os valores dos parâmetros necessários conforme descrito em Parâmetros de fluxo.

Parâmetros de fluxo

Esta seção descreve os parâmetros de fluxo que podem ser configurados com base nos contextos de parâmetros a seguir:

Parâmetros de origem do Dataverse

Parâmetro

Descrição

URL do ambiente do Dataverse de origem

O principal identificador de um sistema de origem para buscar dados. O URL indica um namespace onde existem tabelas do Dataverse. Ele também permite que você crie um parâmetro de escopo para OAuth.

ID do locatário de origem do Microsoft Azure

O ID de locatário da Microsoft permite que você crie URLs de OAuth.

ID do cliente OAuth de origem

A Microsoft Dataverse Web API usa autenticação OAuth para proteger o acesso, e o conector usa o fluxo de credenciais do cliente. Para saber mais sobre o ID de cliente e como encontrá-lo no Microsoft Entra, consulte ID de aplicativo (ID de cliente).

Segredo do cliente de origem OAuth

A Microsoft Dataverse Web API usa autenticação OAuth para proteger o acesso, e o conector usa o fluxo de credenciais do cliente. Para saber mais sobre o segredo do cliente e como encontrá-lo no Microsoft Entra, consulte Certificados e segredos.

Parâmetros de destino do Dataverse

Parâmetro

Descrição

Banco de dados de destino

O banco de dados onde os dados serão mantidos. Ele já deve existir no Snowflake

Esquema de destino

O esquema em que os dados serão mantidos. Ele já deve existir no Snowflake

Identificador de conta Snowflake

Nome da conta Snowflake formatado como [organization-name]-[account-name] onde os dados serão mantidos

Estratégia de autenticação Snowflake

Estratégia de autenticação para o Snowflake. Valores possíveis: SNOWFLAKE_SESSION_TOKEN quando estivermos executando o fluxo em SPCS, e KEY_PAIR quando quisermos definir o acesso usando a chave privada

Chave privada Snowflake

A chave privada RSA utilizada para autenticação. A chave RSA deve ser formatada de acordo com os padrões PKCS8 e ter cabeçalhos e rodapés no padrão PEM. Observe que o arquivo de chave privada do Snowflake ou a chave privada do Snowflake devem ser definidos

Arquivo de chave privada Snowflake

O arquivo que contém a chave privada RSA usada para autenticação no Snowflake, formatado de acordo com os padrões PKCS8 e com cabeçalhos e rodapés no padrão PEM. A linha do cabeçalho começa com -----BEGIN PRIVATE. Marque a caixa de seleção Reference asset para carregar o arquivo de chave privada.

Senha de chave privada Snowflake

A senha associada ao arquivo de chave privada Snowflake

Função Snowflake

Função Snowflake usada durante a execução da consulta

Nome de usuário do Snowflake

Nome de usuário usado para se conectar à instância Snowflake

Warehouse Snowflake

Warehouse Snowflake usado para executar consultas

Parâmetros de ingestão do Dataverse

Parâmetro

Descrição

Intervalo de agendamento

O processador que está buscando uma lista de tabelas a serem ingeridas deve ser acionado de acordo com um cronograma. O intervalo é fornecido pelo usuário.

Estratégia de filtro de tabelas de origem

Estratégia de filtragem das tabelas a serem ingeridas. Pode ser REGEXP e LIST.

Valor do filtro de tabelas de origem

Valor do filtro de tabelas. Quando a Estratégia de filtro de tabelas de origem estiver definida como REGEXP – essa é a expressão regular que corresponderá às tabelas selecionadas. Quando LIST é fornecido, trata-se de uma lista de nomes de tabelas separados por vírgulas.

Execute o fluxo

  1. Clique com o botão direito do mouse no plano e selecione Enable all Controller Services.

  2. Clique com o botão direito do mouse no grupo de processos importado e selecione Start. O conector inicia a ingestão de dados.