AWS PrivateLink et Snowflake Open Catalog¶

Conditions préalables¶

• Votre compte Snowflake Open Catalog est hébergé sur AWS.

• Vous disposez des autorisations nécessaires pour configurer votre service AWS DNS avec l’URL de connexion privée pour votre compte Open Catalog. Pour obtenir des conseils, voir Comment configurer le service AWS DNS (Route 53) pour accéder à Snowflake via un PrivateLink dans la communauté Snowflake.

Étape 1 : Activer AWS PrivateLink¶

Dans cette procédure, vous activez AWS PrivateLink pour votre compte Open Catalog. Cette configuration permet au moteur de requête de se connecter à Open Catalog via une connexion privée. Vous aurez besoin de l’identificateur à 12 chiffres de votre compte Amazon Web Services (AWS) et de la valeur du jeton fédéré qui contient les identifiants d’accès pour un utilisateur fédéré.

1. Pour obtenir la valeur du jeton fédéré, exécutez la commande suivante en utilisant la syntaxe AWS CLI et copiez la valeur dans un éditeur de texte :

   aws sts get-federation-token --name sam
   

   Copy

2. Connectez-vous à Snowflake Open Catalog.

3. Dans le menu de navigation, sélectionnez Paramètres.

4. Sélectionnez Autoriser.

5. Dans la boîte de dialogue Autoriser Private Link, activez la connexion privée pour votre compte :

   1. Dans le champ ID, saisissez l’identificateur à 12 chiffres de votre compte Amazon Web Services (AWS).

   2. Pour Jeton fédéré, saisissez la valeur du jeton fédéré que vous avez copiée dans un éditeur de texte.

   3. Sélectionnez Enregistrer.

Étape 2 : Vérifier que votre compte est autorisé¶

Pour vérifier si votre compte Open Catalog est autorisé pour la connexion privée au service Snowflake Open Catalog, suivez cette procédure :

1. Connectez-vous à Snowflake Open Catalog.

2. Dans le menu de navigation, sélectionnez Paramètres.

3. Sélectionnez Obtenir.

4. Dans la boîte de dialogue Obtenir l’autorisation Private Link, vérifiez votre compte :

   1. Dans le champ ID, saisissez l’identificateur à 12 chiffres de votre compte Amazon Web Services (AWS).

   2. Dans le champ Jeton fédéré, entrez la valeur du jeton fédéré. Vous avez récupéré cette valeur lorsque vous avez activé AWS PrivateLink.

   3. Sélectionnez Enregistrer. Un message apparaît, indiquant si votre compte est autorisé.

Étape 3 : Récupération de vos paramètres de compte Open Catalog¶

Récupérez ces paramètres, dont vous aurez besoin ultérieurement pour créer et configurer un point de terminaison VPC et votre réseau VPC.

1. Connectez-vous à Snowflake Open Catalog.

2. Dans le menu de navigation, sélectionnez Paramètres.

3. Sur la page Paramètres, copiez les valeurs des paramètres suivants dans un éditeur de texte :

   • URL de compte PrivateLink

   • URL de PrivateLink sans région

   • PrivateLink OCSP URL

   • URL PrivateLink OCSP sans région

   • ID de service VPCE

Vous collez ces valeurs lorsque vous créez et configurez un point de terminaison VPC (VPCE), configurez votre réseau VPC, et vous connectez à Open Catalog via AWS PrivateLink.

Pour obtenir une description de chaque paramètre, voir Valeurs renvoyées pour la fonction système SYSTEM$GET_PRIVATELINK_CONFIG dans la documentation Snowflake. Dans ce chapitre, les noms des paramètres de compte sont au format JSON.

Étape 4 : Créer et configurer un point de terminaison VPC¶

Dans cette procédure, vous créez et configurez un point de terminaison VPC correspondant (VPCE) dans votre environnement AWS VPC.

Pour obtenir des instructions, voir [Créer et configurer un point de terminaison VPC (VPCE)] (https://docs.snowflake.com/en/user-guide/admin-security-privatelink#create-and-configure-a-vpc-endpoint-vpce) dans la documentation Snowflake, en commençant par l’étape 2.

Étape 5 : Configurer votre réseau VPC¶

Pour configurer votre réseau VPC, créez des enregistrements CNAME dans votre service DNS pour résoudre les valeurs de point de terminaison appropriées de vos Paramètres de compte Open Catalog pour la connexion privée vers le nom DNS de votre point de terminaison VPC.

Pour obtenir des instructions, voir Configurer votre réseau VPC dans la documentation Snowflake. N’oubliez pas que ces instructions concernent Snowflake, donc certaines des fonctionnalités mentionnées ne s’appliquent pas à Open Catalog. Par exemple, regionless-snowsight-privatelink-url est pour Snowsight, qui n’est pas pris en charge dans Open Catalog.

Pour obtenir de l’aide supplémentaire sur la configuration DNS, contactez votre administrateur AWS interne.

Étape 6 : Connexion à Open Catalog via AWS PrivateLink¶

• Pour enregistrer une connexion de service et connecter votre moteur de requête à Snowflake Open Catalog via AWS PrivateLink, utilisez le code :

  import pyspark
  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder.appName('iceberg_lab') \
    .config('spark.jars.packages', 'org.apache.iceberg:iceberg-spark-runtime-3.5_2.12:1.4.1,<maven_coordinate>') \
    .config('spark.sql.extensions', 'org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions') \
    .config('spark.sql.defaultCatalog', 'opencatalog') \
    .config('spark.sql.catalog.opencatalog', 'org.apache.iceberg.spark.SparkCatalog') \
    .config('spark.sql.catalog.opencatalog.type', 'rest') \
    .config('spark.sql.catalog.opencatalog.uri','https://<open_catalog_privatelink_account_url>/polaris/api/catalog') \
    .config('spark.sql.catalog.opencatalog.header.X-Iceberg-Access-Delegation','vended-credentials') \
    .config('spark.sql.catalog.opencatalog.credential','<client_id>:<client_secret>') \
    .config('spark.sql.catalog.opencatalog.warehouse','<catalog_name>') \
    .config('spark.sql.catalog.opencatalog.scope','PRINCIPAL_ROLE:<principal_role_name>') \
    .getOrCreate()
  

  Copy

Étape 7 (facultative) : Créer une intégration de catalogue pour Snowflake¶

Si vous utilisez Snowflake pour interroger des tables gérées par Open Catalog, créez un catalogue pour Snowflake qui utilise une adresse IP privée. Pour créer cette intégration de catalogue, votre compte Snowflake doit être dans le même déploiement que votre compte Open Catalog.

Pour un exemple, voir Exemple : Intégration de catalogue qui utilise une adresse IP privée <https://docs.snowflake.com/en/user-guide/tables-iceberg-open-catalog-query#example-catalog-integration-that-uses-a-private-ip-address>_ dans la documentation Snowflake.