Configuração de um contêiner Azure para carregamento de dados¶

Etapa 1: Criar uma integração de armazenamento em nuvem no Snowflake¶

Crie uma integração de armazenamento usando o comando CREATE STORAGE INTEGRATION. Uma integração de armazenamento é um objeto Snowflake que armazena uma entidade de segurança de serviço gerada para seu armazenamento em nuvem Azure, juntamente com um conjunto opcional de locais de armazenamento permitidos ou bloqueados (ou seja, contêineres). Os administradores do provedor de nuvem em sua organização concedem permissões para os locais de armazenamento à entidade de segurança de serviço gerada. Esta opção permite que os usuários evitem fornecer credenciais ao criar estágios ou carregar dados.

Uma única integração de armazenamento pode oferecer suporte a múltiplos estágios externos (ou seja, Azure). O URL na definição do estágio deve estar alinhado aos contêineres Azure (e caminhos opcionais) especificados para o parâmetro STORAGE_ALLOWED_LOCATIONS.

CREATE STORAGE INTEGRATION <integration_name>
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'AZURE'
  ENABLED = TRUE
  AZURE_TENANT_ID = '<tenant_id>'
  STORAGE_ALLOWED_LOCATIONS = ('azure://<account>.blob.core.windows.net/<container>/<path>/', 'azure://<account>.blob.core.windows.net/<container>/<path>/')
  [ STORAGE_BLOCKED_LOCATIONS = ('azure://<account>.blob.core.windows.net/<container>/<path>/', 'azure://<account>.blob.core.windows.net/<container>/<path>/') ]

Onde:

• integration_name é o nome da nova integração.

• tenant_id é a ID de seu locatário do Office 365 ao qual pertencem as contas de armazenamento permitidas e bloqueadas. Uma integração de armazenamento pode autenticar a somente um locatário e, portanto, os locais de armazenamento permitidos e bloqueados devem se referir às contas de armazenamento que pertencem a este locatário.

  Para encontrar sua ID de locatário, entre no portal Azure e clique em Azure Active Directory » Properties. A ID do locatário é exibida no campo Tenant ID.

• container é o nome de um contêiner Azure que armazena seus arquivos de dados (por exemplo, mycontainer). Os parâmetros STORAGE_ALLOWED_LOCATIONS e STORAGE_BLOCKED_LOCATIONS permitem ou bloqueiam o acesso a esses contêineres, respectivamente, quando estágios que fazem referência a essa integração são criados ou modificados.

• path é um caminho opcional que pode ser usado para fornecer controle granular sobre diretórios lógicos no contêiner.

O exemplo a seguir cria uma integração que limita explicitamente os estágios externos que utilizam a integração para fazer referência a um de dois contêineres ou caminhos. Em uma etapa posterior, criaremos um estágio externo que referencia um desses contêineres e caminhos. Os múltiplos estágios externos que utilizam essa integração podem fazer referência aos contêineres e caminhos permitidos:

CREATE STORAGE INTEGRATION azure_int
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'AZURE'
  ENABLED = TRUE
  AZURE_TENANT_ID = 'a123b4c5-1234-123a-a12b-1a23b45678c9'
  STORAGE_ALLOWED_LOCATIONS = ('azure://myaccount.blob.core.windows.net/mycontainer1/mypath1/', 'azure://myaccount.blob.core.windows.net/mycontainer2/mypath2/')
  STORAGE_BLOCKED_LOCATIONS = ('azure://myaccount.blob.core.windows.net/mycontainer1/mypath1/sensitivedata/', 'azure://myaccount.blob.core.windows.net/mycontainer2/mypath2/sensitivedata/');

Copy

Etapa 2: Conceder ao Snowflake acesso aos locais de armazenamento¶

1. Execute o comando DESCRIBE INTEGRATION para recuperar o URL de consentimento:

   DESC STORAGE INTEGRATION <integration_name>;
   

   Copy

   Onde:

   • integration_name é o nome da integração que você criou em Etapa 1: Criar uma integração de armazenamento em nuvem no Snowflake.

Observe os valores nas colunas seguintes:

AZURE_CONSENT_URL:

URL para a página de solicitação de permissões da Microsoft.

AZURE_MULTI_TENANT_APP_NAME:

Nome do aplicativo cliente do Snowflake criado para sua conta. Em uma etapa posterior desta seção, você precisará conceder a este aplicativo as permissões necessárias para obter um token de acesso para seus locais de armazenamento permitidos.

1. Em um navegador da Web, navegue até o URL na coluna AZURE_CONSENT_URL. A página exibe uma página de solicitação de permissões da Microsoft.

2. Clique no botão Accept. Esta ação permite que a entidade de segurança do serviço Azure criada para sua conta Snowflake tenha um token de acesso em recursos específicos dentro de seu locatário. A obtenção de um token de acesso só tem sucesso se você conceder à entidade de segurança de serviço as permissões apropriadas sobre o contêiner (consulte a próxima etapa).

   A página de solicitações de permissão da Microsoft é redirecionada para o site corporativo da Snowflake (snowflake.com).

3. Faça login no portal do Microsoft Azure.

4. Navegue até Azure Services » Storage Accounts. Clique no nome da conta de armazenamento à qual você está concedendo acesso à entidade de segurança do serviço Snowflake.

5. Clique em Access Control (IAM) » Add role assignment.

6. Selecione a função desejada para conceder à entidade de segurança do serviço Snowflake:

   • Storage Blob Data Reader concede acesso somente leitura. Isso permite o carregamento de dados de arquivos preparados na conta de armazenamento.

   • Storage Blob Data Contributor concede acesso para leitura e gravação. Isso permite carregar ou descarregar dados de ou para arquivos preparados na conta de armazenamento. A função também permite executar o comando REMOVE para remover arquivos preparados na conta de armazenamento.

7. Pesquise a entidade de segurança do serviço Snowflake. Esta é a identidade na propriedade AZURE_MULTI_TENANT_APP_NAME na saída DESC STORAGE INTEGRATION (na Etapa 1). Pesquise a cadeia de cadeia de caracteres antes do sublinhado na propriedade AZURE_MULTI_TENANT_APP_NAME.

   Importante

   • Pode levar uma hora ou mais para que o Azure crie a entidade de segurança do serviço Snowflake solicitada por meio da página de solicitação da Microsoft nesta seção. Se a entidade de segurança de serviço não estiver disponível imediatamente, recomendamos esperar uma ou duas horas e depois procurar novamente.

   • Se você excluir a entidade de segurança do serviço, a integração de armazenamento deixa de funcionar.

   

8. Clique no botão Review + assign.

   Nota

   • De acordo com a documentação do Microsoft Azure, as atribuições de funções podem levar até cinco minutos para se propagar.

   • O Snowflake armazena em cache as credenciais temporárias por um período que não pode exceder o tempo de expiração de 60 minutos. Se você revogar o acesso do Snowflake, os usuários podem ser capazes de listar arquivos e carregar dados a partir do local de armazenamento em nuvem até que o cache expire.

Etapa 3: criar um estágio externo¶

Crie um estágio externo (Azure) que faça referência à integração de armazenamento que você criou na Etapa 1: Criar uma integração de armazenamento em nuvem no Snowflake (neste tópico).

Crie o estágio usando o comando CREATE STAGE.

Por exemplo, defina mydb.public como o esquema e banco de dados atual para a sessão do usuário e depois crie um estágio chamado my_azure_stage. Neste exemplo, o estágio faz referência ao contêiner Azure e ao caminho mycontainer1/path1, que são compatíveis com a integração. O estágio também faz referência a um objeto de formato de arquivo nomeado chamado my_csv_format:

USE SCHEMA mydb.public;

CREATE STAGE my_azure_stage
  STORAGE_INTEGRATION = azure_int
  URL = 'azure://myaccount.blob.core.windows.net/container1/path1'
  FILE_FORMAT = my_csv_format;

Copy

Etapa 1: gerar o token SAS¶

As seguintes instruções passo a passo descrevem como gerar um token SAS para conceder ao Snowflake acesso limitado a objetos em sua conta de armazenamento:

1. Faça login no portal Azure.

2. No painel inicial, escolha Storage Accounts » <storage_account>. Em Security + networking, escolha Shared access signature.

   

3. Selecione o seguinte Serviços permitidos:

   • Blob

4. Selecione o seguinte Tipos de recursos permitidos:

   • Container (necessário para listar objetos na conta de armazenamento)

   • Object (necessário para ler/gravar objetos de/para a conta de armazenamento)

5. Selecione as seguintes permissões permitidas para carregar arquivos de dados dos recursos Azure:

   • Leitura

   • Lista

   As permissões Write, Add e Create também são necessárias se você planeja descarregar arquivos para um contêiner. Além disso, para usar a opção PURGE = TRUE, é necessária a permissão Permanent Delete.

6. Especifique as datas/horas de início e expiração do token SAS. Como parte de um plano de segurança geral, você pode gerar um token SAS diferente periodicamente.

7. Deixe em branco o campo Endereços IP permitidos e especifique HTTPS only ou HTTPS and HTTP sob Allowed protocols.

   

8. Clique no botão Generate SAS and connection string. Registre o valor completo no campo SAS token, começando com e incluindo ?. Este é seu token SAS. Você especificará esse token quando criar um estágio externo.

Etapa 2: criar um estágio externo¶

Crie um estágio externo (Azure) que faça referência ao token SAS gerado em Etapa 1: Gerar o token SAS (neste tópico).

O exemplo a seguir usa SQL para criar um estágio externo chamado my_azure_stage que inclui as credenciais Azure e uma chave mestra de criptografia. O estágio URL faz referência à conta Azure myaccount. Os arquivos de dados são armazenados no contêiner mycontainer e no caminho /load/files. O estágio faz referência a um objeto de formato de arquivo nomeado chamado my_csv_format. Observe que o exemplo trunca o valor MASTER_KEY:

CREATE OR REPLACE STAGE my_azure_stage
  URL='azure://myaccount.blob.core.windows.net/mycontainer/load/files'
  CREDENTIALS=(AZURE_SAS_TOKEN='?sv=2016-05-31&ss=b&srt=sco&sp=rwdl&se=2018-06-27T10:05:50Z&st=2017-06-27T02:05:50Z&spr=https,http&sig=bgqQwoXwxzuD2GJfagRg7VOS8hzNr3QLT7rhS8OFRLQ%3D')
  ENCRYPTION=(TYPE='AZURE_CSE' MASTER_KEY = 'kPx...')
  FILE_FORMAT = my_csv_format;

Copy

Observe que os valores AZURE_SAS_TOKEN e MASTER_KEY utilizados neste exemplo são apenas para fins ilustrativos.