変換後の|iceberg-tm|テーブルの完全なライフサイクル管理(プレビュー)¶
外部で管理されている|iceberg-tm|テーブルを、IcebergカタログとしてSnowflakeを使用するテーブルに変換すると、Snowflakeにより変換されたテーブルの完全なライフサイクル管理が処されます。この管理には、テーブルを変換する前に作成されたデータとメタデータファイルの管理が含まれます。
- 変更前:
Snowflakeをカタログとして使用するように、外部管理Icebergテーブルを変換する場合、テーブル変換の前にテーブルに作成されたデータやメタデータファイルについては、Snowflakeでは削除されません。
- 変更後:
Snowflakeをカタログとして使用するように、外部管理Icebergテーブルを変換する場合、テーブル変換の前にテーブルに作成されたデータやメタデータファイルの削除については、Snowflakeで管理されます。これらのファイルは、期限切れになるとSnowflakeにより削除されます。つまり、保持期間を超えた時点で、これらのファイルは削除されます。
Snowflakeが削除するメタデータファイルには、metadata.json、マニフェストファイル、マニフェストリストファイルが含まれます。
この変更は、既存の変換テーブルと、変更が有効になった後に変換されるテーブルの両方に影響します。
変更が有効になる前に、次を実行してください。
ワークロードやパイプラインが、テーブルを変換する前に作成された、テーブルのストレージの場所にあるIcebergファイルに依存しているかどうかを確認します。また、テーブルに設定されている保持期間よりも古いIcebergスナップショットとファイルを確認してください。
これらのファイルを見つけて、変更が有効になった後もSnowflakeの外部でまだ必要な場合は、管理している別のストレージの場所にコピーします。
この変更により、Snowflakeは変換されたIcebergテーブルの完全なライフサイクルを管理できるようになります。その結果、この変更により、期限切れ後もストレージに残っている変換前のデータやメタデータファイルによる、不要なストレージ消費が防止されます。
参照:2219