Configure o Openflow Connector para o Microsoft Dataverse¶
Nota
O conector está sujeito aos termos do conector.
Este tópico descreve as etapas para configurar o Openflow Connector para o Microsoft Dataverse.
Pré-requisitos¶
Certifique-se de ter revisado Openflow Connector para Microsoft Dataverse.
Certifique-se de ter configurado o Openflow.
Obtenha as credenciais¶
Como administrador Microsoft Dataverse, execute as seguintes etapas:
Verifique se você tem um ambiente Dataverse para trabalhar e se tem acesso a esse ambiente por meio de https://admin.powerplatform.microsoft.com/.
Certifique-se de ter um aplicativo registrado em portal.azure.com. Esse aplicativo deve ter acesso ao locatário em que temos nosso ambiente de Dataverse disponível.
Gere e armazene o ClientID e segredo de cliente nesse aplicativo.
Acesse Power Apps Admin Center e configure seu ambiente de Dataverse para ser acessado por meio dos aplicativos registrados anteriormente. Para fazer isso, acesse Settings » Users & permissions » usuários de aplicativo. Os aplicativos criados anteriormente devem ser adicionados e receber os privilégios necessários para ler os dados do Microsoft Dataverse.
Copie e salve o URL do ambiente de Dataverse selecionado em https://admin.powerplatform.microsoft.com/.
Configure a conta Snowflake¶
Como administrador de conta Snowflake, execute as seguintes tarefas:
- Crie um usuário Snowflake com o tipo SERVICE.
Crie um banco de dados e um esquema para armazenar os dados replicados e configure privilégios para que o usuário do serviço crie tabelas no esquema de destino, concedendo os privilégios USAGE e CREATE TABLE.
CREATE DATABASE <destination_database>; CREATE SCHEMA <destination_database>.<destination_schema>; CREATE USER <openflow_user> TYPE=SERVICE COMMENT='Service user for automated access of Openflow'; CREATE ROLE <openflow_role>; GRANT ROLE <openflow_role> TO USER <openflow_user>; GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_role>; GRANT USAGE ON SCHEMA <destination_database>.<destination_schema> TO ROLE <openflow_role>; GRANT CREATE TABLE ON SCHEMA <destination_database>.<destination_schema> TO ROLE <openflow_role>; CREATE WAREHOUSE <openflow_warehouse> WITH WAREHOUSE_SIZE = 'SMALL' AUTO_SUSPEND = 300 AUTO_RESUME = TRUE; GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_role>;
Crie um par de chaves seguras (pública e privada). Armazene a chave privada do usuário em um arquivo para fornecer à configuração do conector. Atribua a chave pública ao usuário do serviço Snowflake:
ALTER USER <openflow_user> SET RSA_PUBLIC_KEY = 'thekey';
Para obter mais informações, consulte par de chaves.
A Snowflake recomenda enfaticamente essa etapa. Configure um gerenciador de segredos compatível com o Openflow, por exemplo, AWS, Azure e Hashicorp, e armazene as chaves públicas e privadas no armazenamento de segredos.
Nota
Se, por algum motivo, você não quiser usar um gerenciador de segredos, será responsável por proteger os arquivos de chave pública e chave privada usados para autenticação de pares de chaves de acordo com as políticas de segurança de sua organização.
Depois que o gerenciador de segredos estiver configurado, determine como você se autenticará nele. No AWS, é recomendável que você use a função de instância EC2 associada ao Openflow, pois dessa forma nenhum outro segredo precisa ser mantido.
No Openflow, configure um provedor de parâmetros associado a esse gerenciador de segredos, no menu de três traços no canto superior direito. Navegue até Controller Settings » Parameter Provider e, em seguida, busque os valores dos parâmetros.
Nesse momento, todas as credenciais podem ser referenciadas com os caminhos de parâmetros associados e nenhum valor sensível precisa ser mantido no Openflow.
Se qualquer outro usuário Snowflake precisar de acesso aos documentos e tabelas brutos ingeridos pelo conector (por exemplo, para processamento personalizado no Snowflake), conceda a esses usuários a função criada na etapa 1.
Designar um warehouse para o conector usar. Conceda o privilégio USAGE no warehouse à função criada anteriormente. Comece com o menor tamanho de warehouse e, em seguida, experimente o tamanho, dependendo do número de tabelas sendo replicadas e da quantidade de dados transferidos. Os números de tabelas grandes normalmente são mais bem dimensionados com warehouses multicluster, em vez de warehouses maiores.
Configuração do conector¶
Como engenheiro de dados, execute as seguintes tarefas para instalar e configurar o conector:
Instalação do conector¶
Navegue até a página Visão geral do Openflow. Na seção Featured connectors, selecione View more connectors.
Na página de conectores do Openflow, localize o conector e selecione Add to runtime.
Na caixa de diálogo Select runtime, selecione seu tempo de execução na lista suspensa Available runtimes.
Selecione Add.
Nota
Antes de instalar o conector, verifique se você criou um banco de dados e um esquema no Snowflake para que o conector armazene os dados ingeridos.
Autentique-se na implementação com as credenciais de sua conta Snowflake e selecione Allow quando solicitado para permitir que o aplicativo de tempo de execução acesse sua conta Snowflake. O processo de instalação do conector leva alguns minutos para ser concluído.
Autentique-se no tempo de execução com as credenciais de sua conta Snowflake.
A tela do Openflow é exibida com o grupo de processos do conector adicionado a ela.
Configuração do conector¶
Clique com o botão direito do mouse no grupo de processos importado e selecione Parameters.
Preencha os valores dos parâmetros necessários conforme descrito em Parâmetros de fluxo.
Parâmetros de fluxo¶
Esta seção descreve os parâmetros de fluxo que podem ser configurados com base nos contextos de parâmetros a seguir:
Parâmetros da fonte do Dataverse: usado para estabelecer conexão com o Dataverse.
Parâmetros de destino do Dataverse: usado para estabelecer conexão com o Snowflake.
Parâmetros de ingestão do Dataverse: usado para definir a configuração dos dados baixados do Dataverse.
Parâmetros de origem do Dataverse¶
Parâmetro |
Descrição |
---|---|
URL do ambiente do Dataverse de origem |
O principal identificador de um sistema de origem para buscar dados. O URL indica um namespace onde existem tabelas do Dataverse. Ele também permite que você crie um parâmetro de escopo para OAuth. |
ID do locatário de origem do Microsoft Azure |
O ID de locatário da Microsoft permite que você crie URLs de OAuth. |
ID do cliente OAuth de origem |
A Microsoft Dataverse Web API usa autenticação OAuth para proteger o acesso, e o conector usa o fluxo de credenciais do cliente. Para saber mais sobre o ID de cliente e como encontrá-lo no Microsoft Entra, consulte ID de aplicativo (ID de cliente). |
Segredo do cliente de origem OAuth |
A Microsoft Dataverse Web API usa autenticação OAuth para proteger o acesso, e o conector usa o fluxo de credenciais do cliente. Para saber mais sobre o segredo do cliente e como encontrá-lo no Microsoft Entra, consulte Certificados e segredos. |
Parâmetros de destino do Dataverse¶
Parâmetro |
Descrição |
---|---|
Banco de dados de destino |
O banco de dados onde os dados serão mantidos. Ele já deve existir no Snowflake |
Esquema de destino |
O esquema em que os dados serão mantidos. Ele já deve existir no Snowflake |
Identificador de conta Snowflake |
Nome da conta Snowflake formatado como [organization-name]-[account-name] onde os dados serão mantidos |
Estratégia de autenticação Snowflake |
Estratégia de autenticação para o Snowflake. Valores possíveis: SNOWFLAKE_SESSION_TOKEN quando estivermos executando o fluxo em SPCS, e KEY_PAIR quando quisermos definir o acesso usando a chave privada |
Chave privada Snowflake |
A chave privada RSA utilizada para autenticação. A chave RSA deve ser formatada de acordo com os padrões PKCS8 e ter cabeçalhos e rodapés no padrão PEM. Observe que o arquivo de chave privada do Snowflake ou a chave privada do Snowflake devem ser definidos |
Arquivo de chave privada Snowflake |
O arquivo que contém a chave privada RSA usada para autenticação no Snowflake, formatado de acordo com os padrões PKCS8 e com cabeçalhos e rodapés no padrão PEM. A linha do cabeçalho começa com |
Senha de chave privada Snowflake |
A senha associada ao arquivo de chave privada Snowflake |
Função Snowflake |
Função Snowflake usada durante a execução da consulta |
Nome de usuário do Snowflake |
Nome de usuário usado para se conectar à instância Snowflake |
Warehouse Snowflake |
Warehouse Snowflake usado para executar consultas |
Parâmetros de ingestão do Dataverse¶
Parâmetro |
Descrição |
---|---|
Intervalo de agendamento |
O processador que está buscando uma lista de tabelas a serem ingeridas deve ser acionado de acordo com um cronograma. O intervalo é fornecido pelo usuário. |
Estratégia de filtro de tabelas de origem |
Estratégia de filtragem das tabelas a serem ingeridas. Pode ser REGEXP e LIST. |
Valor do filtro de tabelas de origem |
Valor do filtro de tabelas. Quando a Estratégia de filtro de tabelas de origem estiver definida como REGEXP – essa é a expressão regular que corresponderá às tabelas selecionadas. Quando LIST é fornecido, trata-se de uma lista de nomes de tabelas separados por vírgulas. |
Execute o fluxo¶
Clique com o botão direito do mouse no plano e selecione Enable all Controller Services.
Clique com o botão direito do mouse no grupo de processos importado e selecione Start. O conector inicia a ingestão de dados.