Métadonnées et conservation des tables Apache Iceberg™¶

Création¶

Snowflake génère périodiquement des métadonnées pour la version 2 de la spécification Apache Iceberg et les écrit dans des fichiers sur votre volume externe. Chaque nouveau fichier de métadonnées contient l’ensemble des modifications DML ou DDL depuis la création du dernier fichier de métadonnées généré par Snowflake.

Vous pouvez également créer des métadonnées à la demande à l’aide de la fonction SYSTEM$GET_ICEBERG_TABLE_INFORMATION. Pour obtenir des instructions, voir Générer des instantanés des modifications DML.

Pour plus d’informations sur la localisation des fichiers de métadonnées, voir Répertoires de données et de métadonnées.

Affichage de l’historique de création des métadonnées¶

Pour accéder à un historique complet des tentatives de génération de métadonnées, affichez l’historique des requêtes de votre compte et filtrez les résultats. Recherchez le nom de la fonction SYSTEM$GET_ICEBERG_TABLE_INFORMATION dans le texte SQL.

Snowflake utilise en interne la même fonction SYSTEM$GET_ICEBERG_TABLE_INFORMATION pour générer des métadonnées de table. Les tentatives effectuées par Snowflake apparaissent sous l’utilisateur appelé SYSTEM dans l’historique des requêtes. La colonne STATUS de l’historique des requêtes indique si les métadonnées ont été générées avec succès.

Pour les options d’affichage, voir Surveillance de l’activité des requêtes avec l’historique des requêtes.

Suppression¶

Snowflake supprime les métadonnées Iceberg de votre stockage Cloud externe lorsque les événements suivants se produisent :

• Après la suppression d’une table.

• Lorsque les métadonnées Iceberg font référence à des instantanés ou à des données de table qui ont expiré.

La suppression n’a pas lieu immédiatement après l’expiration de la période de conservation des données. Par conséquent, le stockage des métadonnées pourrait entraîner des coûts auprès de votre fournisseur de stockage cloud pour une durée plus longue que la durée de vie d’une table.

Tables basées sur Delta¶

Pour les tables Iceberg créées à partir des fichiers de table Delta, Snowflake écrit automatiquement les métadonnées Iceberg sur votre stockage externe si vous configurez votre volume externe avec un accès en écriture (voir ALLOW_WRITES). Pour plus d’informations sur l’emplacement d’écriture, voir Répertoires de données et de métadonnées.

Pour empêcher Snowflake d’écrire des métadonnées Iceberg, vous pouvez donner au paramètre ALLOW_WRITES la valeur FALSE sur votre volume externe tant qu’aucune table Iceberg gérée par Snowflake n’utilise le même volume externe.

Matrice de prise en charge du partitionnement¶

Le tableau suivant montre les fonctionnalités et actions prises en charge pour chaque type de table Iceberg partitionnée et indique la conformité à la version 2 de la spécification Apache Iceberg.

Remarques relatives au partitionnement¶

Tenez compte des points suivants avant d’utiliser des écritures partitionnées pour les tables Iceberg :

• Si vous utilisez un moteur externe pour ajouter, détruire ou remplacer un champ de partition dans une table gérée en externe, Snowflake écrit les données conformément à la dernière spécification de partition.

• Snowflake utilise un fichier cible de 16 MB pour les tables partitionnées. Si la taille du fichier par défaut est plus importante, Snowflake réduit automatiquement la taille cible à 16 MB lorsque vous écrivez dans une table partitionnée.

• La fonction GET_DDL n’inclut pas la clause PARTITION BY dans sa sortie.

• La somme des tailles des sorties pour toutes les transformations de partitions ne peut pas dépasser 1 024 octets pour une seule ligne.

• Étant donné que l’évolution des partitions n’est pas prise en charge pour les tables gérées par Snowflake, vous devez supprimer la table et en créer une nouvelle avec le partitionnement.

• Les paramètres de transformation des partitions DAY(), MONTH() et YEAR, que vous spécifiez dans la clause PARTITION BY sous les propriétés de la table, font partie de la spécification Iceberg. Pendant plusieurs jours, mois ou années, le paramètre d’expression de partition renvoie une partition pour chaque jour, mois ou année calendaire. Par exemple, lorsque la transformation DAY() est utilisée sur une colonne d’horodatage qui possède 2 mois de données, 61 partitions sont créées.

  En revanche, les fonctions DAY(), MONTH() et YEAR dans Snowflake font partie du SQL standard. Pendant plusieurs jours, mois ou années, ces fonctions extraient la partie correspondante du jour, du mois ou de l’année à partir d’une date ou d’un horodatage. Par exemple, lorsque la fonction DAY() est utilisée sur une colonne d’horodatage qui possède plusieurs mois de données, cette fonction renvoie un jour du mois allant de 1 à 31.