Utiliser des identifiants de connexion distribués par catalogue pour les tables Apache Iceberg™¶

Considérations¶

Tenez compte des éléments suivants lorsque vous utilisez des identifiants de connexion distribués par catalogue pour les tables Iceberg :

• Cette fonction n’est prise en charge que pour les tables qui stockent leurs données et métadonnées dans Amazon S3.

• Les fichiers de table doivent être stockés dans un seul compartiment ; ils ne peuvent pas être répartis dans plusieurs compartiments.

• Le principal de service configuré avec votre catalogue REST doit avoir l’autorisation de lire tous les emplacements qui contiennent vos fichiers de table dans votre compartiment. Si vous utilisez AWS Lake Formation avec AWS Glue, vous devrez peut-être prendre des mesures supplémentaires pour activer cet accès. Pour plus d’informations, consultez (Facultatif) Configurer le contrôle d’accès à Lake Formation.

• Snowflake s’attend à ce que votre catalogue fournisse un délai d’expiration pour les identifiants distribués, et recherche une paire clé-valeur dont la clé est expiration-time et la valeur est un horodatage spécifiant le délai d’expiration en millisecondes (par exemple, 1730234407000).

  Si votre catalogue ne fournit pas de délai d’expiration, Snowflake suppose que les identifiants expirent 60 minutes après leur réception.

• La création de la table échoue si votre catalogue fournit des identifiants de connexion non valides.

• Le partage de données n’est pas pris en charge.

Créer un catalogue d’intégration pour les identifiants de connexion distribués¶

Pour créer une intégration de catalogue pour les identifiants distribués, utilisez la commande CREATE CATALOG INTEGRATION (Apache Iceberg™ REST) avec la propriété ACCESS_DELEGATION_MODE définie sur VENDED_CREDENTIALS.

Où :

ACCESS_DELEGATION_MODE = {VENDED_CREDENTIALS | EXTERNAL_VOLUME_CREDENTIALS}

Spécifie le mode de délégation d’accès à utiliser pour accéder aux fichiers de la table Iceberg dans votre stockage Cloud externe.

• VENDED_CREDENTIALS spécifie que Snowflake doit utiliser des identifiants de connexion distribués.

• EXTERNAL_VOLUME_CREDENTIALS spécifie que Snowflake doit utiliser un volume externe.

Par défaut : EXTERNAL_VOLUME_CREDENTIALS

Vous pouvez spécifier la propriété ACCESS_DELEGATION_MODE dans la liste des propriétés REST_CONFIG dans n’importe quelle instruction CREATE CATALOG INTEGRATION (Apache Iceberg™ REST). Les rubriques suivantes fournissent des exemples pour les cas d’utilisation les plus courants :

• Snowflake Open Catalog. Ces instructions s’appliquent également à Apache Polaris™.

• AWS Glue

• Amazon API Gateway

• Tabular

• Unity Catalog

CREATE CATALOG INTEGRATION glue_rest_catalog_int
  CATALOG_SOURCE = ICEBERG_REST
  TABLE_FORMAT = ICEBERG
  CATALOG_NAMESPACE = 'rest_catalog_integration'
  REST_CONFIG = (
    CATALOG_URI = 'https://glue.us-west-2.amazonaws.com/iceberg'
    CATALOG_API_TYPE = AWS_GLUE
    CATALOG_NAME = '123456789012'
    ACCESS_DELEGATION_MODE = VENDED_CREDENTIALS
  )
  REST_AUTHENTICATION = (
    TYPE = SIGV4
    SIGV4_IAM_ROLE = 'arn:aws:iam::123456789012:role/my-role'
    SIGV4_SIGNING_REGION = 'us-west-2'
  )
  ENABLED = TRUE;

CREATE OR REPLACE CATALOG INTEGRATION my_s3_tables_catalog_integration
  CATALOG_SOURCE = ICEBERG_REST
  TABLE_FORMAT = ICEBERG
  CATALOG_NAMESPACE = 'my_namespace'
  REST_CONFIG = (
    CATALOG_URI = 'https://glue.us-west-2.amazonaws.com/iceberg'
    CATALOG_API_TYPE = AWS_GLUE
    CATALOG_NAME = '123456789012:S3tablescatalog/my_table_bucket'
    ACCESS_DELEGATION_MODE = VENDED_CREDENTIALS
  )
  REST_AUTHENTICATION = (
    TYPE = SIGV4
    SIGV4_IAM_ROLE = 'arn:aws:iam::123456789012:role/my_api_permissions_role'
  )
  ENABLED = TRUE;

Créez une table Iceberg qui utilise des identifiants de connexion distribués¶

Après avoir configuré le contrôle d’accès avec votre catalogue Iceberg REST tiers et créé une intégration de catalogue pour la distribution des identifiants de connexion, vous pouvez créer une table Iceberg.

Lorsque vous créez une table Iceberg qui utilise des identifiants distribués, vous spécifiez une intégration de catalogue configurée avec ACCESS_DELEGATION_MODE = VENDED_CREDENTIALS et vous excluez le paramètre EXTERNAL_VOLUME de l’instruction CREATE ICEBERG TABLE (catalogue Iceberg REST).

Par exemple :

CREATE ICEBERG TABLE my_iceberg_table
  CATALOG = open_catalog_int_vended_credentials
  CATALOG_TABLE_NAME = 'my_table'
  AUTO_REFRESH = TRUE;