Tables Apache Iceberg™¶

Prise en main¶

Pour commencer à utiliser des tables Iceberg, consultez Tutoriel : Créez votre première table Apache Iceberg™.

Fonctionnement¶

Cette section fournit des informations spécifiques à l’utilisation de tables Iceberg dans Snowflake. Pour en savoir plus sur la spécification de format de table Iceberg, voir la documentation Apache Iceberg et les Spécifications des tables Iceberg officielles.

• Stockage de données

• Catalogue

• Métadonnées et instantanés

• Prise en charge inter-Cloud/interrégionale

• Facturation

Options de catalogue¶

Snowflake prend en charge les options de catalogue Iceberg suivantes :

• Utiliser Snowflake comme catalogue Iceberg

• Utiliser un catalogue Iceberg externe

Le tableau suivant résume les différences entre ces options de catalogue.

Utiliser Snowflake comme catalogue¶

Une table Iceberg qui utilise Snowflake comme catalogue Iceberg offre une prise en charge de plateforme Snowflake complète avec un accès en lecture et en écriture. Les données et métadonnées de la table sont stockées dans un stockage Cloud externe auquel Snowflake accède via un volume externe. Snowflake prend en charge la maintenance tout au long du cycle de vie de la table, comme le compactage.

Utiliser un catalogue externe¶

Une table Iceberg qui utilise un catalogue externe offre une prise en charge de plateforme Snowflake limitée, avec un accès en lecture seule. Avec ce type de table, Snowflake utilise une intégration de catalogue pour récupérer des informations sur les métadonnées et le schéma Iceberg.

Vous pouvez utiliser cette option pour créer une table Iceberg pour les sources suivantes :

• Catalogue de données AWS Glue

• Fichiers de métadonnées Iceberg dans le stockage d’objets

• Fichiers de tables Delta dans le stockage d’objets

• Open Catalog

• Catalogue REST Iceberg distant

Snowflake ne prend en charge aucune gestion du cycle de vie de la table.

Les données et métadonnées de la table sont stockées dans un stockage Cloud externe auquel Snowflake accède via un volume externe.

Le diagramme suivant montre comment une table Iceberg utilise une intégration de catalogue avec un catalogue Iceberg externe.

Considérations et limites¶

Les considérations et limites suivantes s’appliquent aux tables Iceberg et sont susceptibles d’être modifiées :

Clouds et régions

• Les tables Iceberg sont disponibles pour tous les comptes Snowflake, sur toutes les plateformes Cloud et dans toutes les régions, à l’exception de la région Chine.

• Les tables inter-Cloud/interrégionales sont prises en charge lorsque vous utilisez un catalogue externe. Pour plus d’informations, voir Prise en charge inter-Cloud/interrégionale.

Iceberg

• Les versions 1 et 2 de la spécification Apache Iceberg sont prises en charge, à l’exception des `fonctions <https://iceberg.apache.org/spec/> suivantes`_:

  • Suppressions au niveau des lignes (suppressions de position ou d’égalité). Cependant, les tables qui utilisent Snowflake comme catalogue prennent en charge les instructions DELETE Snowflake.

  • Utilisation de la history.expire.min-snapshots-to-keep propriété de table pour spécifier le nombre minimal d’instantanés à conserver par défaut. Pour plus d’informations, voir Métadonnées et instantanés.

• Le partitionnement Iceberg avec la fonction de transformation bucket a un impact sur les performances des requêtes qui utilisent des clauses conditionnelles pour filtrer les résultats.

• Pour les tables Iceberg qui ne sont pas gérées par Snowflake, tenez compte des éléments suivants :

  • La fonction Time Travel vers n’importe quel instantané généré après la création de la table est prise en charge à condition que vous actualisiez périodiquement la table avant l’expiration de l’instantané.

  • La conversion d’une table dont la colonne de partition d’identité n’est pas matérialisée n’est pas prise en charge. Une colonne de partition d’identité non matérialisée est créée lorsqu’une table définit une transformation d’identité en utilisant une colonne source qui n’existe pas dans un fichier Parquet.

Formats de fichier

• Les tables Iceberg prennent en charge les fichiers Apache Parquet.

• Les fichiers Parquet qui utilisent le type logique d’entier non signé ne sont pas pris en charge.

Volumes externes

• Vous ne pouvez pas accéder aux emplacements de stockage dans le cloud dans les volumes externes à l’aide d’une intégration de stockage.

• Vous devez configurer une relation de confiance distincte pour chaque volume externe que vous créez.

Fichiers de métadonnées

• Les fichiers de métadonnées n’identifient pas l’instantané le plus récent d’une table Iceberg.

• Vous ne pouvez pas modifier l’emplacement des fichiers de données ou de l’instantané à l’aide de la commande ALTER ICEBERG TABLE. Pour modifier l’un ou l’autre de ces paramètres, vous devez recréer la table (via la syntaxe CREATE OR REPLACE ICEBERG TABLE).

• Pour les tables qui utilisent un catalogue externe :

  • Assurez-vous que les fichiers manifestes ne contiennent pas de doublons. Si des fichiers en double sont présents dans le même instantané, Snowflake renvoie une erreur qui inclut le chemin du fichier en double.

  • Vous ne pouvez pas créer une table si les métadonnées Parquet contiennent des caractères UTF-8 non valides. Assurez-vous que vos métadonnées Parquet contiennent des caractères UTF-8 conformes.

• Snowflake détecte les corruptions et les incohérences dans les métadonnées Parquet produites en dehors de Snowflake et signale les problèmes par des messages d’erreur.

  Il est possible de créer, d’actualiser ou d’interroger des tables gérées en externe (ou converties), même si les métadonnées de la table sont incohérentes. Lorsque vous écrivez des données Iceberg, assurez-vous que les statistiques de métadonnées de la table (par exemple, RowCount ou NullCount) correspondent au contenu des données.

• Pour les tables qui utilisent Snowflake comme catalogue, Snowflake traite les instructions DDL individuellement et génère des métadonnées d’une manière qui peut différer des autres catalogues. Pour plus d’informations, voir Instructions DDL.

Clustering

La prise en charge du clustering dépend du type de table Iceberg.

Type de table	Remarques
Tables qui utilisent Snowflake comme catalogue Iceberg	Définissez une clé de clustering via la commande CREATE ICEBERG TABLE ou ALTER ICEBERG TABLE. Pour définir ou gérer une clé de clustering, voir CREATEICEBERGTABLE (Snowflake comme catalogue Iceberg) et ALTER ICEBERG TABLE.
Tables utilisant un catalogue externe	Le clustering n’est pas pris en charge.
Tables converties	Snowflake ne met les fichiers en cluster que s’ils ont été créés après la conversion de la table, ou si les fichiers ont été modifiés depuis à l’aide d’une instruction DML.

Delta

• Les flux Snowflake ne sont pas pris en charge pour les tables Iceberg créées à partir de fichiers de table Delta avec des colonnes de partition. Cependant, les flux d’insertion uniquement pour les tables créées à partir de fichiers Delta sans colonnes de partition sont pris en charge.

• Les tables dynamiques ne sont pas prises en charge sur les tables Iceberg créées à partir de fichiers de table Delta.

• Snowflake ne prend pas en charge la création de tables Iceberg à partir de définitions de table Delta dans le catalogue de données AWS Glue.

• Les fichiers Parquet (fichiers de données pour les tables Delta) qui utilisent l’une des fonctionnalités ou l’un des types de données suivants ne sont pas pris en charge :

  • IDs de champ.

  • Le type de données est INTERVAL.

  • Le type de données DECIMAL avec une précision supérieure à 38.

  • Types LIST ou MAP avec représentation à un ou deux niveaux.

  • Types d’entiers non signés (INT(signé = faux)).

  • Le type de données est FLOAT16.

  Pour plus d’informations sur les types de données Delta et les tables Iceberg, voir Types de données Delta.

• L’actualisation des opérations pendant CREATE et ALTER … REFRESH peut traiter un maximum de 1 000 fichiers de validation Delta par opération.

  Note

  Snowflake utilise des fichiers de point de contrôle Delta lors de la création d’une table Iceberg. La limite de 1 000 fichiers de validation s’applique uniquement aux validations effectuées après le dernier point de contrôle.

• La génération de métadonnées Iceberg à l’aide de la fonction SYSTEM$GET_ICEBERG_TABLE_INFORMATION n’est pas prise en charge.

• Les fonctionnalités suivantes de Delta Lake ne sont actuellement pas prises en charge : suivi des lignes, suppression de fichiers vectoriels, modification de fichiers de données, modification de métadonnées, DataChange, CDC, évolution du protocole.

Actualisation automatique

• Lorsque l’actualisation automatique est activée, vous ne pouvez pas actualiser manuellement les métadonnées de la table. Pour effectuer une actualisation manuelle, commencez par désactiver l’actualisation automatique.

• Pour les intégrations de catalogue créées avant la version 8.22 de Snowflake, vous devez définir manuellement le paramètre REFRESH_INTERVAL_SECONDS avant d’activer l’actualisation automatique sur les tables qui dépendent de cette intégration de catalogue. Pour obtenir des instructions, voir ALTER CATALOG INTEGRATION … SET AUTO_REFRESH.

• Assurez-vous que le nouvel instantané de table est un enfant direct de l’instantané de table actuel. Dans le cas contraire, l’actualisation automatique est définie sur l’état STOPPED. Pour reprendre l’actualisation automatique lorsque cela se produit, voir Reprise en cas d’erreur.

  • Si votre table est vide, effectuez une actualisation manuelle avant d’activer l’actualisation automatique pour éviter un comportement indéfini.

• L’actualisation automatique n’est pas prise en charge lorsque vous utilisez une intégration de catalogue pour le stockage d’objets.

• Les manifestes Iceberg version 1 sans colonne de numéro de séquence ne sont actuellement pas pris en charge.

Accès par des clients tiers aux données et métadonnées Iceberg

• Les clients tiers ne peuvent pas ajouter, supprimer ou appliquer d’opération upsert à des données dans les tables Iceberg qui utilisent Snowflake comme catalogue.

Fonctionnalités non prises en charge

Les fonctionnalités Snowflake suivantes ne sont actuellement pas prises en charge pour toutes les tables Iceberg :

• Les pilotes suivants :

  • Pilote .NET

  • Pilote PHP PDO de Snowflake

  • Pilote Node.js

• Fail-safe

• Tables hybrides

• Annonces qui permettent l”Exécution automatique inter-Cloud.

• Service Query Acceleration

• Réplication de tables Iceberg, de volumes externes ou d’intégrations de catalogue

• Service d’optimisation de la recherche

• Chiffrement Snowflake

• Snowflake Native App Framework

• Évolution du schéma Snowflake

• Snowpipe Streaming

  • Snowflake Connector for Kafka Connector avec Snowpipe Streaming

  • Snowflake Ingest SDK

  • Snowpipe Streaming API

• Balisage à l’aide de la ASSOCIATE_SEMANTIC_CATEGORY_TAGS procédure stockée

• Tables temporaires et transitoires

Les fonctionnalités suivantes ne sont pas prises en charge pour les tables Iceberg qui utilisent un catalogue externe :

• Clonage

• Clustering

• Flux standard et flux d’ajout uniquement Les flux à insertion uniquement sont pris en charge.