Opção 1: Configuração de uma integração de armazenamento do Snowflake para acessar o Amazon S3¶

Etapa 1: Configurar permissões de acesso para o bucket S3¶

Etapa 2: Crie a função IAM na AWS¶

No Console de gerenciamento AWS, crie uma função AWS IAM para conceder privilégios para o bucket S3 que contém seus arquivos de dados.

1. Faça login no Console de gerenciamento AWS.

2. No painel inicial, escolha Identity & Access Management (IAM):

   

3. Escolha Roles no painel de navegação à esquerda.

4. Clique no botão Create role.

   

5. Selecione Another AWS account como o tipo de entidade confiável.

6. No campo Account ID, digite temporariamente sua própria ID de conta AWS. Mais tarde, você modificará a relação de confiança e concederá acesso ao Snowflake.

7. Selecione a opção Require external ID. Insira uma ID fictícia, como 0000. Mais tarde, você modificará a relação de confiança e especificará a ID externa para seu estágio do Snowflake. É necessário uma ID externa para conceder acesso a seus recursos AWS (ou seja, S3) a um terceiro (ou seja, Snowflake).

8. Clique no botão Next.

9. Localize a política que você criou na etapa 1: Configurar permissões de acesso para o bucket S3 (neste tópico) e selecione esta política.

10. Clique no botão Next.

    

11. Digite um nome e descrição para a função e clique no botão Create role.

    Agora você criou uma política IAM para um bucket, criou uma função IAM e anexou a política à função.

12. Registre o valor Role ARN localizado na página de resumo de funções. Na próxima etapa, você criará uma integração do Snowflake que faz referência a essa função.

    

Etapa 3: Criar uma integração de armazenamento em nuvem no Snowflake¶

Crie uma integração de armazenamento usando o comando CREATE STORAGE INTEGRATION. Uma integração de armazenamento é um objeto Snowflake que armazena um usuário gerado de gerenciamento de identidade e acesso (IAM) para seu armazenamento em nuvem S3, junto com um conjunto opcional de locais de armazenamento permitidos ou bloqueados (ou seja, buckets). Os administradores do provedor de nuvem em sua organização concedem permissões para os locais de armazenamento ao usuário gerado. Esta opção permite que os usuários evitem fornecer credenciais ao criar estágios ou carregar dados.

Uma única integração de armazenamento pode oferecer suporte a múltiplos estágios externos (ou seja, S3). A URL na definição do estágio deve estar alinhada com os buckets S3 (e caminhos opcionais) especificados para o parâmetro STORAGE_ALLOWED_LOCATIONS.

CREATE STORAGE INTEGRATION <integration_name>
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'S3'
  ENABLED = TRUE
  STORAGE_AWS_ROLE_ARN = '<iam_role>'
  STORAGE_ALLOWED_LOCATIONS = ('s3://<bucket>/<path>/', 's3://<bucket>/<path>/')
  [ STORAGE_BLOCKED_LOCATIONS = ('s3://<bucket>/<path>/', 's3://<bucket>/<path>/') ]

Onde:

• integration_name é o nome da nova integração.

• iam_role é o nome do recurso Amazon (ARN) da função que você criou em Etapa 2: Criar a função IAM na AWS (neste tópico).

• bucket é o nome de um bucket S3 que armazena seus arquivos de dados (por exemplo, mybucket). O parâmetro STORAGE_ALLOWED_LOCATIONS obrigatório e o parâmetro STORAGE_BLOCKED_LOCATIONS opcional restringem ou bloqueiam o acesso a estes buckets, respectivamente, quando os estágios que fazem referência a esta integração são criados ou modificados.

• path é um caminho opcional que pode ser usado para proporcionar um controle granular sobre objetos no bucket.

O exemplo a seguir cria uma integração que limita explicitamente os estágios externos que utilizam a integração para referenciar um de dois buckets ou caminhos. Em uma etapa posterior, criaremos um estágio externo que referencia um desses buckets e caminhos.

Os estágios externos adicionais que também utilizam esta integração podem fazer referência aos buckets e caminhos permitidos:

CREATE STORAGE INTEGRATION s3_int
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'S3'
  ENABLED = TRUE
  STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::001234567890:role/myrole'
  STORAGE_ALLOWED_LOCATIONS = ('s3://mybucket1/mypath1/', 's3://mybucket2/mypath2/')
  STORAGE_BLOCKED_LOCATIONS = ('s3://mybucket1/mypath1/sensitivedata/', 's3://mybucket2/mypath2/sensitivedata/');

Copy

Etapa 4: Recuperar o usuário AWS IAM para sua conta Snowflake¶

1. Execute o comando DESCRIBE INTEGRATION para recuperar o ARN para o usuário AWS IAM que foi criado automaticamente para sua conta Snowflake:

   DESC INTEGRATION <integration_name>;
   

   Copy

   Onde:

   • integration_name é o nome da integração que você criou em Etapa 3: Criar uma integração de armazenamento em nuvem no Snowflake (neste tópico).

   Por exemplo:

   DESC INTEGRATION s3_int;
   
   +---------------------------+---------------+--------------------------------------------------------------------------------+------------------+
   | property                  | property_type | property_value                                                                 | property_default |
   +---------------------------+---------------+--------------------------------------------------------------------------------+------------------|
   | ENABLED                   | Boolean       | true                                                                           | false            |
   | STORAGE_ALLOWED_LOCATIONS | List          | s3://mybucket1/mypath1/,s3://mybucket2/mypath2/                                | []               |
   | STORAGE_BLOCKED_LOCATIONS | List          | s3://mybucket1/mypath1/sensitivedata/,s3://mybucket2/mypath2/sensitivedata/    | []               |
   | STORAGE_AWS_IAM_USER_ARN  | String        | arn:aws:iam::123456789001:user/abc1-b-self1234                                 |                  |
   | STORAGE_AWS_ROLE_ARN      | String        | arn:aws:iam::001234567890:role/myrole                                          |                  |
   | STORAGE_AWS_EXTERNAL_ID   | String        | MYACCOUNT_SFCRole=2_a123456/s0aBCDEfGHIJklmNoPq=                               |                  |
   +---------------------------+---------------+--------------------------------------------------------------------------------+------------------+
   

   Copy

2. Registre os seguintes valores:

   Valor	Descrição
   STORAGE_AWS_IAM_USER_ARN	O usuário AWS IAM criado para sua conta Snowflake, arn:aws:iam::123456789001:user/abc1-b-self1234 neste exemplo. Nós fornecemos um único usuário IAM para toda a sua conta Snowflake. Todas as integrações de armazenamento S3 utilizam esse usuário IAM.
   STORAGE_AWS_EXTERNAL_ID	A ID externa que é necessária para estabelecer uma relação de confiança.

   Você fornecerá estes valores na próxima seção.

Etapa 5: Conceder ao usuário IAM permissões do usuário para acessar objetos de bucket¶

As seguintes instruções passo a passo descrevem como configurar as permissões de acesso IAM ao Snowflake em seu Console de gerenciamento AWS para que você possa usar um bucket S3 para carregar e descarregar dados:

1. Faça login no Console de gerenciamento AWS.

2. No painel inicial, escolha Identity & Access Management (IAM):

   

3. Escolha Roles no painel de navegação à esquerda.

4. Clique na função que criou na Etapa 2: Criar a função IAM na AWS (neste tópico).

5. Clique na guia Trust relationships.

6. Clique no botão Edit trust relationship.

7. Modifique o documento da política com os valores de saída DESC STORAGE INTEGRATION registrados na Etapa 4: Recuperar o usuário AWS IAM para sua conta Snowflake (neste tópico):

   Documento de política da função IAM

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "",
         "Effect": "Allow",
         "Principal": {
           "AWS": "<snowflake_user_arn>"
         },
         "Action": "sts:AssumeRole",
         "Condition": {
           "StringEquals": {
             "sts:ExternalId": "<snowflake_external_id>"
           }
         }
       }
     ]
   }
   

   Copy

   Onde:

   • snowflake_user_arn é o valor STORAGE_AWS_IAM_USER_ARN que você registrou.

   • snowflake_external_id é o valor STORAGE_AWS_EXTERNAL_ID que você registrou.

     Neste exemplo, o valor snowflake_external_id é MYACCOUNT_SFCRole=2_a123456/s0aBCDEfGHIJklmNoPq=.

     Nota

     Por razões de segurança, se você criar uma nova integração de armazenamento (ou recriar uma integração de armazenamento existente usando a sintaxe CREATE OR REPLACE STORAGE INTEGRATION), a integração resultante terá uma ID externa diferente e, portanto, não poderá resolver a relação de confiança a menos que a política de confiança seja modificada.

8. Clique no botão Update Trust Policy. As alterações são salvas.

Etapa 6: Criar um estágio externo¶

Crie um estágio externo (ou seja, S3) que faça referência à integração de armazenamento que você criou na Etapa 3: Criar uma integração de armazenamento em nuvem no Snowflake (neste tópico).

GRANT CREATE STAGE ON SCHEMA public TO ROLE myrole;

GRANT USAGE ON INTEGRATION s3_int TO ROLE myrole;

Crie o estágio usando o comando CREATE STAGE.

Por exemplo, defina mydb.public como o esquema e banco de dados atual para a sessão do usuário e depois crie um estágio chamado my_s3_stage. Neste exemplo, o estágio faz referência ao bucket S3 e ao caminho mybucket1/path1, que são compatíveis com a integração. O estágio também faz referência a um objeto de formato de arquivo nomeado chamado my_csv_format:

USE SCHEMA mydb.public;

CREATE STAGE my_s3_stage
  STORAGE_INTEGRATION = s3_int
  URL = 's3://bucket1/path1/'
  FILE_FORMAT = my_csv_format;

Copy

Próximo: Criptografia de arquivo de dados da AWS