Configure uma integração de catálogo para AWS Glue Iceberg REST¶

Etapa 1: configurar permissões de acesso para o catálogo de dados do AWS Glue¶

Crie uma política IAM para que o Snowflake acesse o AWS Glue Data Catalog. Anexe a política a uma função IAM, que você especifica ao criar uma integração de catálogo. Para obter instruções, consulte Criação de políticas de IAM e Modificação de uma política de permissões de função no Guia do usuário do gerenciamento de identidade e acesso do AWS.

{
   "Version": "2012-10-17",
   "Statement": [
      {
         "Sid": "AllowGlueCatalogTableAccess",
         "Effect": "Allow",
         "Action": [
           "glue:GetCatalog",
           "glue:GetDatabase",
           "glue:GetDatabases",
           "glue:GetTable",
           "glue:GetTables"
         ],
         "Resource": [
            "arn:aws:glue:*:<accountid>:table/*/*",
            "arn:aws:glue:*:<accountid>:catalog",
            "arn:aws:glue:*:<accountid>:database/<database-name>"
         ]
      }
   ]
}

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowGlueCatalogTableAccess",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:PutObject",
        "glue:GetCatalog",
        "glue:GetDatabase",
        "glue:GetDatabases",
        "glue:CreateDatabase",
        "glue:DeleteDatabase",
        "glue:GetTable",
        "glue:GetTables",
        "glue:CreateTable",
        "glue:UpdateTable",
        "glue:DeleteTable"
      ],
      "Resource": [
        "arn:aws:glue:*:<accountid>:table/*/*",
        "arn:aws:glue:*:<accountid>:catalog",
        "arn:aws:glue:*:<accountid>:database/*",
        "arn:aws:s3:<external_volume_path>"
      ]
    }
  ]
}

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "lakeformation:GetDataAccess",
            "Resource": "*"
        }
    ]
}

Etapa 2: criar uma integração de catálogo no Snowflake¶

Crie uma integração de catálogo para o ponto de extremidade AWS Glue Iceberg REST usando o comando CREATE CATALOG INTEGRATION (Apache Iceberg™ REST). Especifique a função IAM que você configurou. Para CATALOG_NAME, use seu AWS de conta ID.

CREATE CATALOG INTEGRATION glue_rest_catalog_int
  CATALOG_SOURCE = ICEBERG_REST
  TABLE_FORMAT = ICEBERG
  CATALOG_NAMESPACE = 'rest_catalog_integration'
  REST_CONFIG = (
    CATALOG_URI = 'https://glue.us-west-2.amazonaws.com/iceberg'
    CATALOG_API_TYPE = AWS_GLUE
    CATALOG_NAME = '123456789012'
  )
  REST_AUTHENTICATION = (
    TYPE = SIGV4
    SIGV4_IAM_ROLE = 'arn:aws:iam::123456789012:role/my-role'
    SIGV4_SIGNING_REGION = 'us-west-2'
  )
  ENABLED = TRUE;

Onde:

• CATALOG_URI é o ponto de extremidade do servidor para o catálogo AWS Glue Iceberg REST.

• CATALOG_NAME é o ID de sua conta AWS.

Para obter mais informações, consulte CREATE CATALOG INTEGRATION (Apache Iceberg™ REST), que inclui instruções para configurar uma integração de catálogo para o AWS Glue.

Etapa 3: recuperar o usuário AWS IAM e o ID externo para sua conta Snowflake¶

Para recuperar informações sobre o usuário do AWS IAM e o ID externo para sua conta Snowflake, execute o comando DESCRIBE CATALOG INTEGRATION. Forneça essas informações à AWS na próxima etapa para estabelecer uma relação de confiança.

DESCRIBE CATALOG INTEGRATION glue_rest_catalog_int;

Registre os seguintes valores:

Valor	Descrição
GLUE_AWS_IAM_USER_ARN	O usuário AWS IAM criado para sua conta Snowflake, por exemplo, arn:aws:iam::123456789001:user/abc1-b-self1234. O Snowflake fornece um único usuário IAM para toda a sua conta Snowflake. Todas as integrações do catálogo do Glue em sua conta usam esse usuário IAM.
GLUE_AWS_EXTERNAL_ID	Um ID externo para estabelecer um relacionamento de confiança.

Etapa 4: Conceder ao usuário do IAM acesso ao Catálogo de dados do AWS Glue¶

Atualize a política de confiança para a mesma função IAM especificada com o ARN ao criar a integração de catálogo (GLUE_AWS_ROLE_ARN). Adicione os valores registrados na etapa anterior à política de confiança.

Para obter instruções, consulte Modificação de uma política de confiança.

O exemplo de política a seguir mostra onde especificar os valores GLUE_AWS_IAM_USER_ARN e GLUE_AWS_EXTERNAL_ID:

{
   "Version": "2012-10-17",
   "Statement": [
      {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
         "AWS": "<glue_iam_user_arn>"
      },
      "Action": "sts:AssumeRole",
      "Condition": {
         "StringEquals": {
            "sts:ExternalId": "<glue_aws_external_id>"
         }
      }
      }
   ]
}

Onde:

• glue_iam_user_arn é o valor GLUE_IAM_USER_ARN que você registrou.

• glue_aws_external_id é o valor GLUE_AWS_EXTERNAL_ID que você registrou.

Próximos passos¶

Após configurar uma integração de catálogo para o Iceberg REST do AWS Glue, você pode criar uma tabela Iceberg.