Gerenciamento completo do ciclo de vida para tabelas Apache Iceberg™ convertidas (versão preliminar)¶

Quando você converte uma tabela Apache Iceberg™ gerenciada externamente em uma tabela que usa o Snowflake como catálogo Iceberg, o Snowflake gerencia todo o ciclo de vida da tabela convertida. Esse gerenciamento inclui o gerenciamento dos arquivos de dados e metadados criados antes da conversão da tabela.

Antes da mudança:

Quando você converte uma tabela Iceberg gerenciada externamente para usar o Snowflake como catálogo, o Snowflake não exclui os arquivos de dados e metadados criados para a tabela antes da conversão.

Após a mudança:

Quando você converte uma tabela Iceberg gerenciada externamente para usar o Snowflake como catálogo, o Snowflake gerencia a exclusão dos arquivos de dados e metadados criados para a tabela antes da conversão. O Snowflake exclui esses arquivos quando eles expiram, ou seja, quando excedem o período de retenção.

Os arquivos de metadados que o Snowflake exclui incluem arquivos metadata.json, de manifesto e de lista de manifesto.

Essa alteração afeta tanto as tabelas convertidas existentes quanto as tabelas que forem convertidas após a ativação da alteração.

Antes que a alteração entre em vigor, faça o seguinte:

1. Verifique se alguma carga de trabalho ou pipeline depende de arquivos Iceberg no local de armazenamento da tabela que foram criados antes da conversão da tabela. Verifique também snapshots e arquivos Iceberg que sejam mais antigos que o período de retenção definido na tabela.

2. Se você encontrar algum desses arquivos e ainda precisar deles fora do Snowflake após a entrada em vigor da alteração, copie-os para um local de armazenamento separado que você gerencie.

Essa alteração permite que o Snowflake gerencie todo o ciclo de vida das tabelas Iceberg convertidas. Como resultado, essa alteração evita o consumo desnecessário de armazenamento resultante de arquivos de metadados e dados pré-conversão que permanecem no armazenamento após expirarem.

Ref: 2219