Gestion du cycle de vie complet des tables Apache Iceberg™ converties (Prévisualisation)¶

Lorsque vous convertissez une table Apache Iceberg™ gérée en externe en une table qui utilise Snowflake comme catalogue Iceberg, Snowflake prend en charge l’ensemble de la gestion du cycle de vie de la table convertie. Cette gestion comprend la gestion des fichiers de données et de métadonnées qui ont été créés avant que vous n’ayez converti la table.

Avant la modification:

Lorsque vous convertissez une table Iceberg gérée en externe pour utiliser Snowflake comme catalogue, Snowflake ne supprime pas les fichiers de données et de métadonnées qui ont été créés pour la table avant que vous ne l’ayez convertie.

Après la modification:

Lorsque vous convertissez une table Iceberg gérée en externe pour utiliser Snowflake comme catalogue, Snowflake gère la suppression des fichiers de données et de métadonnées qui ont été créés pour la table avant que vous ne l’ayez convertie. Snowflake supprime ces fichiers lorsqu’ils expirent, c’est-à-dire lorsqu’ils dépassent leur période de conservation.

Les fichiers de métadonnées supprimés par Snowflake incluent metadata.json, les fichiers manifestes et les fichiers de liste manifestes.

Cette modification affecte à la fois les tables converties existantes et les tables qui sont converties après l’activation de la modification.

Avant que la modification ne prenne effet, procédez comme suit :

1. Vérifiez si des charges de travail ou des pipelines dépendent de fichiers Iceberg sous l’emplacement de stockage de la table qui ont été créés avant que vous n’ayez converti la table. Vérifiez également les instantanés et les fichiers Iceberg qui sont plus anciens que la période de conservation définie sur la table.

2. Si vous trouvez l’un de ces fichiers et que vous en avez toujours besoin en dehors de Snowflake après l’application de la modification, copiez-les dans un emplacement de stockage distinct que vous gérez.

Cette modification permet à Snowflake de gérer le cycle de vie complet des tables Iceberg converties. Par conséquent, cette modification empêche la consommation inutile de stockage résultant des fichiers de données et de métadonnées de pré-conversion qui restent dans le stockage après leur expiration.

Réf : 2219