Configuração de uma integração de catálogo para AWS Glue

Crie uma integração de catálogo para o AWS Glue e conceda ao Snowflake acesso restrito ao catálogo de dados do AWS Glue.

Nota

Para concluir as instruções nesta seção, você deve ter permissões na Amazon Web Services (AWS) para criar e gerenciar políticas e funções de IAM. Se você não for um administrador AWS, peça a seu administrador AWS que complete estas tarefas.

Etapa 1: configurar permissões de acesso para o catálogo de dados do AWS Glue

Como prática recomendada, crie uma nova política de IAM para o Snowflake acessar o catálogo de dados do AWS Glue. Você pode então anexar a política a uma função IAM e usar as credenciais de segurança que o AWS gera para aquela função para acessar os arquivos no catálogo. Para obter instruções, consulte Criação de políticas de IAM e Modificação de uma política de permissões de função no Guia do usuário do gerenciamento de identidade e acesso do AWS.

No mínimo, o Snowflake requer as seguintes permissões no catálogo de dados do AWS Glue para acessar informações sobre tabelas.

  • glue:GetTable

  • glue:GetTables

O exemplo de política a seguir (no formato JSON) fornece as permissões necessárias para acessar todas as tabelas em um banco de dados especificado.

{
   "Version": "2012-10-17",
   "Statement": [
      {
         "Sid": "AllowGlueCatalogTableAccess",
         "Effect": "Allow",
         "Action": [
            "glue:GetTable",
            "glue:GetTables"
         ],
         "Resource": [
            "arn:aws:glue:*:<accountid>:table/*/*",
            "arn:aws:glue:*:<accountid>:catalog",
            "arn:aws:glue:*:<accountid>:database/<database-name>"
         ]
      }
   ]
}
Copy

Nota

  • Você pode modificar o elemento Resource desta política para restringir ainda mais os recursos permitidos (por exemplo, catálogo, bancos de dados ou tabelas). Para obter mais informações, consulte Tipos de recursos definidos pelo AWS Glue.

  • Se você usar criptografia para o AWS Glue, deverá modificar a política para adicionar permissões do AWS Key Management Service (AWS KMS). Para obter mais informações, consulte Configuração de criptografia no AWS Glue.

Etapa 2: criar uma integração de catálogo no Snowflake

Crie uma integração de catálogo para o catálogo de dados do AWS Glue usando o comando CREATE CATALOG INTEGRATION (AWS Glue).

O exemplo a seguir cria uma integração de catálogo que usa uma fonte de catálogo de dados do AWS Glue. O exemplo especifica um valor para o parâmetro opcional GLUE_REGION.

CREATE CATALOG INTEGRATION glueCatalogInt
  CATALOG_SOURCE = GLUE
  CATALOG_NAMESPACE = 'my.catalogdb'
  TABLE_FORMAT = ICEBERG
  GLUE_AWS_ROLE_ARN = 'arn:aws:iam::123456789012:role/myGlueRole'
  GLUE_CATALOG_ID = '123456789012'
  GLUE_REGION = 'us-east-2'
  ENABLED = TRUE;
Copy

Etapa 3: recuperar o usuário AWS IAM e o ID externo para sua conta Snowflake

Para recuperar informações sobre o usuário AWS IAM e o ID externo que foram criados para sua conta Snowflake quando você criou a integração do catálogo, execute o comando DESCRIBE CATALOG INTEGRATION. Você fornece essas informações ao AWS na próxima seção para estabelecer uma relação de confiança.

O comando de exemplo a seguir descreve a integração do catálogo criada na etapa anterior:

DESCRIBE CATALOG INTEGRATION glueCatalogInt;
Copy

Registre os seguintes valores:

Valor

Descrição

GLUE_AWS_IAM_USER_ARN

O usuário AWS IAM criado para sua conta Snowflake, por exemplo, arn:aws:iam::123456789001:user/abc1-b-self1234. O Snowflake fornece um único usuário IAM para toda a sua conta Snowflake. Todas as integrações do catálogo do Glue em sua conta usam esse usuário IAM.

GLUE_AWS_EXTERNAL_ID

A ID externa que é necessária para estabelecer uma relação de confiança.

Você fornecerá estes valores na próxima seção.

Etapa 4: conceder ao usuário IAM permissões para acessar o catálogo de dados do AWS Glue

Atualize a política de confiança para a mesma função IAM especificada com o ARN ao criar a integração de catálogo (GLUE_AWS_ROLE_ARN). Adicione os valores registrados em Etapa 3: recuperar o usuário AWS IAM e o ID externo para sua conta Snowflake à política de confiança.

Para obter instruções, consulte Modificação de uma política de confiança.

O exemplo de política de confiança a seguir demonstra onde especificar os valores GLUE_AWS_IAM_USER_ARN e GLUE_AWS_EXTERNAL_ID:

{
   "Version": "2012-10-17",
   "Statement": [
      {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
         "AWS": "<glue_iam_user_arn>"
      },
      "Action": "sts:AssumeRole",
      "Condition": {
         "StringEquals": {
            "sts:ExternalId": "<glue_aws_external_id>"
         }
      }
      }
   ]
}
Copy

Onde:

  • glue_iam_user_arn é o valor GLUE_IAM_USER_ARN que você registrou.

  • glue_aws_external_id é o valor GLUE_AWS_EXTERNAL_ID que você registrou.

Nota

  • Por motivos de segurança, se você criar uma nova integração de catálogo (ou recriar uma integração de catálogo existente usando a sintaxe CREATE OR REPLACE CATALOG INTEGRATION), a nova integração de catálogo terá um ID externo diferente e não poderá resolver a relação de confiança, a menos que você modifique a política de confiança com o novo ID externo.

  • Para verificar se suas permissões estão configuradas corretamente, crie uma tabela Iceberg usando esta integração de catálogo. O Snowflake não verifica se suas permissões estão definidas corretamente até que você crie uma tabela Iceberg que faça referência a essa integração de catálogo.

Próximos passos

Depois de configurar uma integração de catálogo para o AWS Glue, você pode criar uma tabela Iceberg que usa o AWS Glue como catálogo.

Para atualizar a tabela e mantê-la sincronizada com as alterações no AWS Glue, use uma instrução ALTER ICEBERG TABLE … REFRESH. Para obter mais informações, consulte Atualizar os metadados de uma tabela.

Linguagem: Português