Synchronisation d’une table gérée par Snowflake avec Snowflake Open Catalog¶

Étape 1 : Définir un BASE_LOCATION_PREFIX¶

Snowflake écrit les fichiers correspondant à chaque table Iceberg dans un répertoire qui comprend une chaîne générée dynamiquement (ID aléatoire).

Afin qu”Open Catalog puisse voir toutes les tables gérées par Snowflake que vous synchronisez, nous vous recommandons d’utiliser un paramètre BASE_LOCATION_PREFIX (tel que my-open-catalog-tables) au niveau du compte, de la base de données ou du schéma, et d’omettre le paramètre BASE_LOCATION dans vos instructions CREATE ICEBERG TABLE. Cette opération organise les fichiers de toutes les tables Iceberg que vous créez dans le compte, la base de données ou le schéma au sein d’un répertoire connu dont le nom correspond à ce préfixe. Pour plus d’informations, voir Répertoires de données et de métadonnées pour les tables gérées par Snowflake <label-tables_iceberg_configure_external_volume_base_location>.

L’instruction suivante permet de paramétrer un BASE_LOCATION_PREFIX pour un schéma nommé open_catalog :

ALTER SCHEMA open_catalog
  SET BASE_LOCATION_PREFIX = 'my-open-catalog-tables';

Étape 2 : Créer un volume externe¶

Si vous n’en avez pas déjà un, commencez par créer un volume externe dans Snowflake qui donne accès à l’emplacement de stockage Cloud où vous souhaitez stocker vos données de table et vos métadonnées.

Suivez les instructions relatives à votre service de stockage dans le Cloud :

• Amazon S3

• Google Cloud Storage

• Azure Storage

Étape 3 : Configurer les ressources Open Catalog¶

Ensuite, suivez les étapes de cette section pour créer un catalogue externe et une connexion de service dans votre compte Open Catalog.

1. Suivez les instructions dans Création d’un catalogue pour créer un catalogue externe dans votre compte Open Catalog. Assurez-vous que les paramètres suivants pour le catalogue externe sont configurés :

   • Le bouton bascule External est activé.

   • Le paramètre Default base location combine la valeur STORAGE_BASE_URL définie pour le volume externe que vous avez créé à l”Étape 2 : Créer un volume externe avec la valeur BASE_LOCATION_PREFIX que vous avez paramétrée pour le schéma ; par exemple : https://<storage_base_url>/<base_url_prefix>/.

   Open Catalog synchronise vos tables gérées par Snowflake avec ce catalogue externe.

2. Si vous ne disposez pas encore de connexion de service pour Snowflake, suivez les instructions dans Configuration d’une connexion de service pour créer une connexion pour le moteur Snowflake dans votre compte Open Catalog.

3. Configurez un rôle de catalogue pour votre catalogue externe avec des privilèges permettant d’accéder à votre catalogue externe. Pour obtenir des instructions, voir Octroi de privilèges pour un catalogue.

   Le rôle de catalogue doit disposer des privilèges suivants sur le catalogue :

   • TABLE_CREATE

   • TABLE_WRITE_PROPERTIES

   • TABLE_DROP

   • NAMESPACE_CREATE

   • NAMESPACE_DROP

   Vous pouvez soit accorder chacun de ces privilèges au rôle de catalogue, soit accorder le privilège CATALOG_MANAGE_CONTENT, qui inclut ces privilèges. Pour plus d’informations, voir Privilèges du catalogue pour Snowflake Open Catalog.

4. Joignez le rôle de catalogue au rôle principal de votre connexion de service. Cela permet à la connexion de service d’accéder au catalogue. Pour obtenir des instructions, voir Accorder un rôle de catalogue à un rôle principal.

Étape 4 : Créer une intégration de catalogue pour Open Catalog¶

Créez une intégration de catalogue pour Open Catalog via la commande CREATE CATALOG INTEGRATION (Snowflake Open Catalog).

Pour CATALOG_NAME, spécifiez le nom du catalogue externe que vous avez configuré dans votre compte Open Catalog. Snowflake synchronise la table et son espace de noms parent dans Snowflake avec ce catalogue externe dans Open Catalog. Par exemple, si vous avez une table Iceberg db1.public.table1 enregistrée dans Snowflake et que vous spécifiez catalog1 dans l’intégration du catalogue, Snowflake synchronise la table avec Open Catalog avec le nom pleinement qualifié suivant : catalog1.db1.public.table1.

Pour résoudre les problèmes liés à la création d’une intégration de catalogue, voir Impossible de créer une intégration de catalogue pour Open Catalog.

CREATE OR REPLACE CATALOG INTEGRATION my_open_catalog_int
  CATALOG_SOURCE = POLARIS
  TABLE_FORMAT = ICEBERG
  REST_CONFIG = (
    CATALOG_URI = 'https://<orgname>-<my-snowflake-open-catalog-account-name>.snowflakecomputing.com/polaris/api/catalog'
    CATALOG_NAME = 'myOpenCatalogExternalCatalogName'
  )
  REST_AUTHENTICATION = (
    TYPE = OAUTH
    OAUTH_CLIENT_ID = 'myClientId'
    OAUTH_CLIENT_SECRET = 'myClientSecret'
    OAUTH_ALLOWED_SCOPES = ('PRINCIPAL_ROLE:ALL')
  )
  ENABLED = TRUE;

Étape 5 : Paramétrer la synchronisation du catalogue¶

Pour que Snowflake synchronise les tables Iceberg gérées par Snowflake avec Open Catalog, vous devez spécifier le catalogue externe dans Open Catalog avec lequel Snowflake doit synchroniser les tables. Pour configurer cela, vous devez donner au paramètre CATALOG_SYNC le nom d’une intégration de catalogue pour Open Catalog.

• Paramétrer CATALOG_SYNC au niveau de la base de données

• Paramétrer CATALOG_SYNC au niveau du schéma

ALTER DATABASE db1 SET CATALOG_SYNC = 'my_open_catalog_int';

CREATE DATABASE db2
  CATALOG_SYNC = 'my_open_catalog_int';

ALTER SCHEMA public SET CATALOG_SYNC = 'my_open_catalog_int';

CREATE SCHEMA schema1
  CATALOG_SYNC = 'my_open_catalog_int';

Étape 6 : Créer une table gérée par Snowflake¶

Créez une table Iceberg gérée par Snowflake à l’aide de la commande CREATEICEBERGTABLE (Snowflake comme catalogue Iceberg).

USE SCHEMA open_catalog;

CREATE OR REPLACE ICEBERG TABLE my_iceberg_table (col1 INT)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'my_external_volume';

Pour l’emplacement BASE_LOCATION_PREFIX (my-open-catalog-tables) et le nom de table (my_iceberg_table) utilisés dans les instructions de l’exemple précédent, Snowflake écrit les fichiers de la table dans les chemins suivants :

• STORAGE_BASE_URL/my-open-catalog-tables/my_iceberg_table.randomId/data/

• STORAGE_BASE_URL/my-open-catalog-tables/my_iceberg_table.randomId/metadata/

Lorsque vous modifiez la table dans Snowflake, les modifications sont automatiquement synchronisées avec le catalogue externe de votre compte Open Catalog. D’autres moteurs tels qu’Apache Spark™ peuvent interroger la table en se connectant à Open Catalog.

Pour la résolution des problèmes liés à la création d’une table gérée par Snowflake, voir Impossible de créer une table gérée par Snowflake.