Metadados e retenção para tabelas Apache Iceberg™¶

Criação¶

O Snowflake gera metadados para a versão 2 da especificação Apache Iceberg periodicamente e grava os metadados em arquivos no seu volume externo. Cada novo arquivo de metadados contém todas as alterações DML ou DDL feitas desde a criação do último arquivo de metadados gerado pelo Snowflake.

Você também pode criar metadados sob demanda usando a função SYSTEM$GET_ICEBERG_TABLE_INFORMATION. Para obter instruções, consulte Geração de instantâneos de alterações de DML.

Para obter informações sobre como localizar arquivos de metadados, consulte Diretórios de dados e metadados.

Visualização do histórico de criação de metadados¶

Para acessar um histórico completo de tentativas de geração de metadados, exiba o histórico de consulta da sua conta e filtre os resultados. Procure o nome da função SYSTEM$GET_ICEBERG_TABLE_INFORMATION no texto SQL.

O Snowflake usa internamente a mesma função SYSTEM$GET_ICEBERG_TABLE_INFORMATION para gerar metadados da tabela. As tentativas feitas pelo Snowflake aparecem no usuário chamado SYSTEM no histórico de consulta. A coluna STATUS no histórico de consulta indica se os metadados foram gerados com sucesso.

Para opções de exibição, consulte Monitoramento da atividade de consulta com o Histórico de consultas.

Exclusão¶

O Snowflake exclui metadados Iceberg do seu armazenamento em nuvem externo quando os seguintes eventos ocorrem:

• Depois de você descartar uma tabela.

• Quando os metadados Iceberg se referem a snapshots ou dados de tabela que expiraram.

A exclusão não ocorre imediatamente após o término do período de retenção de dados. Como resultado, o armazenamento de metadados pode incorrer em custos com seu provedor de armazenamento em nuvem por mais tempo do que a vida útil de uma tabela.

Tabelas baseadas em Delta¶

Para tabelas Iceberg criadas a partir de arquivos de tabela Delta, o Snowflake grava automaticamente os metadados Iceberg em seu armazenamento externo se você configurar o volume externo com acesso de gravação (consulte ALLOW_WRITES). Para obter mais informações sobre o local de gravação, consulte Diretórios de dados e metadados.

Para evitar que o Snowflake grave metadados Iceberg, você pode definir o parâmetro ALLOW_WRITES como FALSE no volume externo, desde que nenhuma tabela Iceberg gerenciada pelo Snowflake use o mesmo volume externo.

Matriz de suporte para particionamento¶

A tabela a seguir mostra quais recursos e ações são compatíveis com cada tipo de tabela Iceberg particionada e indica a conformidade com a versão 2 da especificação Apache Iceberg.

Considerações sobre particionamento¶

Considere o seguinte antes de usar gravações particionadas para tabelas Iceberg:

• Se você usar um mecanismo externo para adicionar, excluir ou substituir um campo de partição em uma tabela gerenciada externamente, o Snowflake gravará os dados de acordo com a especificação de partição mais recente.

• O Snowflake usa um tamanho de arquivo de destino de 16 MB para tabelas particionadas. Se o tamanho do arquivo padrão for maior, o Snowflake diminuirá automaticamente o tamanho de destino para 16 MB quando você gravar em uma tabela particionada.

• A função GET_DDL não inclui a cláusula PARTITION BY em sua saída.

• A soma dos tamanhos das saídas de todas as transformações de partição não pode exceder 1.024 bytes para uma única linha.

• Como a evolução de partição não é compatível com tabelas gerenciadas pelo Snowflake, descarte a tabela e crie outra com particionamento.

• Os parâmetros de transformação de partição DAY(), MONTH() e YEAR(), que você especifica dentro da cláusula PARTITION BY nas propriedades de tabela, fazem parte da especificação Iceberg. Por vários dias, meses ou anos, o parâmetro de expressão de partição retorna uma partição para cada dia, mês ou ano do calendário. Por exemplo, quando a transformação DAY() é usada em uma coluna de carimbo de data/hora que tem 2 meses de dados, 61 partições são criadas.

  Em comparação, as funções DAY(), MONTH() e YEAR() no Snowflake são parte do padrão SQL. Para vários dias, meses ou anos, essas funções extraem a parte do dia, mês ou ano correspondente de uma data ou carimbo de data/hora. Por exemplo, quando a função DAY() é usada em uma coluna de carimbo de data/hora com vários meses de dados, essa função retorna um dia do mês que varia de 1 a 31.