Configuração de um volume externo para tabelas Iceberg¶

Etapa 1: configurar permissões de acesso para o bucket S3¶

Etapa 2: criar uma função IAM no AWS¶

No Console de gerenciamento AWS, crie uma função AWS IAM para conceder privilégios para o bucket S3 que contém seus arquivos de dados.

1. Faça login no AWS Management Console.

2. No painel inicial, selecione Identity & Access Management (IAM):

   

3. Selecione Roles no painel de navegação à esquerda.

4. Selecione Create role.

   

5. Para o tipo de entidade de confiança, selecione Another AWS account.

6. No campo Account ID, digite sua própria ID de conta AWS. Em uma etapa posterior, você modifica a relação de confiança e concede acesso ao Snowflake.

7. Selecione a opção Require external ID. Um ID externo é usado para conceder acesso aos seus recursos AWS (como buckets S3) a terceiros, como o Snowflake.

   Insira um ID de espaço reservado como 0000. Em uma etapa posterior, você modifica a relação de confiança para sua função IAM e especifica o ID externo para seu volume externo.

8. Selecione Next.

9. Localize a política que você criou em Etapa 1: configurar permissões de acesso para o bucket S3 e selecione-a.

10. Selecione Next.

    

11. Digite um nome e descrição para a função e selecione Create role. Agora você criou uma política IAM para um bucket, criou uma função IAM e anexou a política à função.

12. Na página de resumo da função, localize e registre o valor Role ARN. Você usa esse valor na próxima etapa para criar um volume externo do Snowflake que faça referência a essa função.

    

Etapa 3: conceder privilégios necessários para criptografia SSE-KMS à função IAM (opcional)¶

Para carregar um objeto criptografado com uma chave AWS KMS para o Amazon S3, a função IAM que você criou em Etapa 2: criar uma função IAM no AWS precisa de permissões kms:GenerateDataKey na chave. Para baixar um objeto criptografado com uma chave AWS KMS, a função IAM precisa de permissões kms:Decrypt na chave.

Se você quiser usar uma chave KMS para criptografia no lado do servidor, siga estas etapas para criar uma chave e referenciá-la.

1. No AWS Management Console, acesse o serviço KMS. Na navegação esquerda, selecione Customer managed keys e selecione Create key. Você deve criar uma chave na mesma região do seu bucket.

2. Crie um tipo de chave simétrica. Para o uso da chave, selecione Encrypt and decrypt. Selecione Next.

3. Na caixa Alias, crie um nome para a chave e selecione Next.

4. Se necessário, forneça um administrador para a chave e selecione Next.

5. Na etapa Define key usage permissions, insira o nome da sua função IAM. Marque a caixa de seleção ao lado da função e selecione Next.

6. Selecione Finish para criar a chave.

7. Encontre a chave na lista de chaves gerenciadas pelo cliente, selecione-a e registre seu ARN. A seguir está um exemplo de ARN para uma chave: arn:aws:kms:us-west-2:111111122222:key/1a1a11aa-aa1a-aaa1a-a1a1-000000000000.

   Ao criar seu volume externo, defina o valor KMS_KEY_ID como ARN da sua chave.

Etapa 4: criar um volume externo no Snowflake¶

Crie um volume externo usando o comando CREATE EXTERNAL VOLUME.

O exemplo a seguir cria um volume externo que define um local de armazenamento do Amazon S3 com criptografia:

CREATE OR REPLACE EXTERNAL VOLUME exvol
   STORAGE_LOCATIONS =
      (
         (
            NAME = 'my-s3-us-west-2'
            STORAGE_PROVIDER = 'S3'
            STORAGE_BASE_URL = 's3://MY_EXAMPLE_BUCKET/'
            STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::123456789012:role/myrole'
            ENCRYPTION=(TYPE='AWS_SSE_KMS' KMS_KEY_ID='arn:aws:kms:us-west-2:111111122222:key/1a1a11aa-aa1a-aaa1a-a1a1-000000000000')
         )
      );

Etapa 5: recuperar o usuário AWS IAM para sua conta Snowflake¶

1. Para recuperar o ARN do usuário AWS IAM que foi criado automaticamente para sua conta Snowflake, use o comando DESCRIBE EXTERNAL VOLUME. Especifique o nome do volume externo criado anteriormente.

   Por exemplo:

   DESC EXTERNAL VOLUME exvol;
   

   Copy

2. Registre os valores para as seguintes propriedades:

   Propriedade	Descrição
   STORAGE_AWS_IAM_USER_ARN	O usuário AWS IAM criado para sua conta Snowflake; por exemplo, arn:aws:iam::123456789001:user/abc1-b-self1234. O Snowflake fornece um único usuário IAM para toda a sua conta Snowflake. Todos os volumes externos S3 da sua conta usam esse usuário IAM.
   STORAGE_AWS_EXTERNAL_ID	O ID externo que o Snowflake usa para estabelecer uma relação de confiança com AWS. Se você não especificou um ID externo (STORAGE_AWS_EXTERNAL_ID) ao criar o volume externo, o Snowflake gerará um ID para você usar.

   Você fornece esses valores na próxima etapa.

Etapa 6: conceder ao usuário IAM permissões para acessar objetos de bucket¶

Nesta etapa, você configura permissões que permitem que o usuário IAM da sua conta Snowflake acesse objetos no seu bucket S3.

1. Faça login no AWS Management Console.

2. Selecione Identity & Access Management (IAM):

   

3. Selecione Roles no painel de navegação à esquerda.

4. Selecione a função que você criou em Etapa 2: criar uma função IAM no AWS.

5. Selecione a guia Trust relationships.

6. Selecione Edit trust relationship.

7. Modifique o documento de política com os valores de saída registrados em Etapa 5: recuperar o usuário AWS IAM para sua conta Snowflake:

   Documento de política da função IAM

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "",
         "Effect": "Allow",
         "Principal": {
           "AWS": "<snowflake_user_arn>"
         },
         "Action": "sts:AssumeRole",
         "Condition": {
           "StringEquals": {
             "sts:ExternalId": "<snowflake_external_id>"
           }
         }
       }
     ]
   }
   

   Copy

   Onde:

   • snowflake_user_arn é o valor STORAGE_AWS_IAM_USER_ARN que você registrou.

   • snowflake_external_id é o valor STORAGE_AWS_EXTERNAL_ID que você registrou.

   Nota

   Você deverá atualizar este documento de política se criar um novo volume externo (ou recriar um volume externo existente usando a sintaxe CREATE OR REPLACE EXTERNAL VOLUME) e não fornecer seu próprio ID externo. Por motivos de segurança, um volume externo novo ou recriado tem um ID externo diferente e não pode resolver a relação de confiança, a menos que você atualize esta política de confiança.

8. Selecione Update Trust Policy. As alterações são salvas.

Próximos passos¶

Depois de configurar um volume externo, você poderá criar uma tabela Iceberg.

• Para criar uma tabela Iceberg somente leitura que usa uma integração de catálogo, consulte Configuração de uma integração de catálogo para tabelas Iceberg.

• Para criar uma tabela Iceberg com suporte completo à plataforma Snowflake, consulte Criação de uma tabela Iceberg com Snowflake como catálogo.

Etapa 1: criar um volume externo no Snowflake¶

Crie um volume externo usando o comando CREATE EXTERNAL VOLUME.

O exemplo a seguir cria um volume externo que define um local de armazenamento GCS com criptografia:

CREATE EXTERNAL VOLUME exvol
  STORAGE_LOCATIONS =
    (
      (
        NAME = 'my-us-east-1'
        STORAGE_PROVIDER = 'GCS'
        STORAGE_BASE_URL = 'gcs://mybucket1/path1/'
        ENCRYPTION=(TYPE='GCS_SSE_KMS' KMS_KEY_ID = '1234abcd-12ab-34cd-56ef-1234567890ab')
      )
    );

Etapa 2: recuperar a conta de serviço de armazenamento em nuvem para sua conta Snowflake¶

Para recuperar o ID para a conta de serviço de armazenamento em nuvem que foi criada automaticamente para sua conta Snowflake, use o comando DESCRIBE EXTERNAL VOLUME. Especifique o nome do volume externo criado anteriormente.

Por exemplo:

DESC EXTERNAL VOLUME exvol;

Copy

Registre o valor da propriedade STORAGE_GCP_SERVICE_ACCOUNT na saída (por exemplo, service-account-id@project1-123456.iam.gserviceaccount.com).

O Snowflake fornece uma única conta de serviço de armazenamento em nuvem para toda a sua conta Snowflake. Todos os volumes externos do Google Cloud Storage usam essa conta de serviço.

Etapa 3: conceder as permissões da conta de serviço para acessar os objetos do bucket¶

Nesta etapa, você configura as permissões de acesso IAM para Snowflake no console do Google Cloud Platform.

Próximos passos¶

Depois de configurar um volume externo, você poderá criar uma tabela Iceberg.

• Para criar uma tabela Iceberg somente leitura que usa uma integração de catálogo, consulte Configuração de uma integração de catálogo para tabelas Iceberg.

• Para criar uma tabela Iceberg com suporte completo à plataforma Snowflake, consulte Criação de uma tabela Iceberg com Snowflake como catálogo.

Etapa 1: criar um volume externo no Snowflake¶

Crie um volume externo usando o comando CREATE EXTERNAL VOLUME.

O exemplo a seguir cria um volume externo que define um local de armazenamento do Azure com criptografia:

CREATE EXTERNAL VOLUME exvol
  STORAGE_LOCATIONS =
    (
      (
        NAME = 'my-azure-northeurope'
        STORAGE_PROVIDER = 'AZURE'
        STORAGE_BASE_URL = 'azure://exampleacct.blob.core.windows.net/my_container_northeurope/'
        AZURE_TENANT_ID = 'a123b4c5-1234-123a-a12b-1a23b45678c9'
      )
    );

Etapa 2: conceder ao Snowflake acesso aos locais de armazenamento¶

1. Para recuperar um URL para a página de solicitação de permissões da Microsoft, use o comando DESCRIBE EXTERNAL VOLUME. Especifique o nome do volume externo criado anteriormente.

   DESC EXTERNAL VOLUME exvol;
   

   Copy

   Registre os valores para as seguintes propriedades:

   Propriedade	Descrição
   AZURE_CONSENT_URL	URL para a página de solicitação de permissões da Microsoft.
   AZURE_MULTI_TENANT_APP_NAME	Nome do aplicativo cliente do Snowflake criado para sua conta. Em uma etapa posterior desta seção, você concede a este aplicativo a permissão para obter um token de acesso em seus locais de armazenamento permitidos.

   Você usa esses valores nas etapas a seguir.

2. Em um navegador da Web, navegue até a página de solicitação de permissões da Microsoft (o AZURE_CONSENT_URL).

3. Selecione Accept. Esta ação permite que a entidade de segurança do serviço Azure criada para sua conta Snowflake obtenha um token de acesso a qualquer recurso dentro de seu locatário. A obtenção de um token de acesso só tem sucesso se você conceder à entidade de segurança de serviço as permissões apropriadas sobre o contêiner (consulte a próxima etapa).

   A página de solicitações de permissão da Microsoft é redirecionada para o site corporativo da Snowflake (snowflake.com).

4. Entre no portal do Microsoft Azure.

5. Vá para Azure Services » Storage Accounts. Selecione o nome da conta de armazenamento à qual você deseja conceder acesso da entidade de segurança de serviço Snowflake.

   Nota

   Você deve definir as permissões IAM para um volume externo no nível da conta de armazenamento, não no nível do container.

6. Selecione Access Control (IAM) » Add role assignment.

7. Selecione a função Storage Blob Data Contributor para conceder acesso de leitura e gravação à entidade de segurança de serviço Snowflake.

   Nota

   A função Storage Blob Data Contributor concede acesso de gravação ao local do volume externo. Para configurar completamente o acesso de gravação, o parâmetro ALLOW_WRITES do volume externo deve ser definido como TRUE (o valor padrão).

8. Pesquise a entidade de segurança do serviço Snowflake. Esta é a identidade na propriedade AZURE_MULTI_TENANT_APP_NAME na saída DESC EXTERNAL VOLUME (na Etapa 1). Pesquise a cadeia de cadeia de caracteres antes do sublinhado na propriedade AZURE_MULTI_TENANT_APP_NAME.

   Importante

   • Pode levar uma hora ou mais para que o Azure crie a entidade de segurança do serviço Snowflake solicitada por meio da página de solicitação da Microsoft nesta seção. Se a entidade de segurança de serviço não estiver disponível imediatamente, aguarde uma ou duas horas e depois procure novamente.

   • Se você excluir a entidade de segurança de serviço, o volume externo deixa de funcionar.

   

9. Selecione Review + assign.

   Nota

   Pode levar até 10 minutos para que as alterações entrem em vigor quando você atribui uma função. Para obter mais informações, consulte Sintoma – não estão sendo detectadas alterações de atribuição de função na documentação do Microsoft Azure.

Próximos passos¶

Depois de configurar um volume externo, você poderá criar uma tabela Iceberg.

• Para criar uma tabela Iceberg somente leitura que usa uma integração de catálogo, consulte Configuração de uma integração de catálogo para tabelas Iceberg.

• Para criar uma tabela Iceberg com suporte completo à plataforma Snowflake, consulte Criação de uma tabela Iceberg com Snowflake como catálogo.

Exemplo¶

A instrução a seguir define um volume externo (my_s3_vol) para um banco de dados denominado my_database_1:

ALTER DATABASE my_database_1
  SET EXTERNAL_VOLUME = 'my_s3_vol';

Depois de definir um volume externo no nível do banco de dados, você poderá criar uma tabela Iceberg nesse banco de dados sem especificar um volume externo. A instrução a seguir cria uma tabela Iceberg em my_database_1 que usa Snowflake como catálogo e usa o volume externo padrão (my_s3_vol) definido para o banco de dados.

CREATE ICEBERG TABLE iceberg_reviews_table (
  id STRING,
  product_name STRING,
  product_id STRING,
  reviewer_name STRING,
  review_date DATE,
  review STRING
)
CATALOG = 'SNOWFLAKE'
BASE_LOCATION = 'my/product_reviews/';