Tabelas Apache Iceberg™¶

Introdução¶

Para começar com as tabelas Iceberg, consulte Tutorial: Crie sua primeira tabela Apache Iceberg™.

Como funciona¶

Esta seção fornece informações específicas para trabalhar com tabelas Iceberg no Snowflake. Para saber mais sobre a especificação do formato da tabela Iceberg, consulte a documentação oficial do Apache Iceberg e as Especificações da tabela Iceberg.

• Armazenamento de dados

• Catálogo

• Metadados e instantâneos

• Suporte entre nuvens/entre regiões

• Faturamento

Opções de catálogo¶

O Snowflake oferece suporte às seguintes opções de catálogo Iceberg:

• Uso do Snowflake como o catálogo Iceberg

• Usar um catálogo externo do Iceberg

A tabela a seguir resume as diferenças entre essas opções de catálogo.

Usar o Snowflake como catálogo¶

Uma tabela Iceberg que usa o Snowflake como catálogo Iceberg (tabela Iceberg gerenciada pelo Snowflake) oferece suporte completo à plataforma Snowflake com acesso de leitura e gravação. Os dados e metadados da tabela são armazenados em armazenamento em nuvem externo, que o Snowflake acessa usando um volume externo. Snowflake cuida de toda a manutenção do ciclo de vida, como compactação, da tabela.

Use um catálogo externo¶

Uma tabela Iceberg que use um catálogo externo oferece suporte limitado à plataforma Snowflake com acesso somente leitura. Com esse tipo de tabela, o Snowflake usa uma integração de catálogo para recuperar informações sobre os metadados e o esquema Iceberg.

Você pode usar essa opção para criar uma tabela Iceberg para as seguintes fontes:

• Catálogo de dados do AWS Glue

• Arquivos de metadados do Iceberg no armazenamento de objetos

• Arquivos de tabela delta no armazenamento de objetos

• Open Catalog

• Catálogo REST remoto Iceberg

Snowflake não assume nenhum gerenciamento de ciclo de vida.

Os dados e metadados da tabela são armazenados em armazenamento em nuvem externo, que o Snowflake acessa usando um volume externo.

Nota

Se quiser suporte total à plataforma Snowflake para uma tabela Iceberg que usa um catálogo externo, poderá convertê-la para usar o Snowflake como catálogo. Para obter mais informações, consulte Converter uma tabela Apache Iceberg™ para usar o Snowflake como catálogo.

O diagrama a seguir mostra como uma tabela Iceberg usa uma integração de catálogo com um catálogo Iceberg externo.

Considerações e limitações¶

As seguintes considerações e limitações se aplicam às tabelas Iceberg e estão sujeitas a alterações:

Nuvens e regiões

• As tabelas Iceberg estão disponíveis para todas as contas Snowflake, em todas as plataformas de nuvem e em todas as regiões.

• Há suporte para tabelas entre nuvens e entre regiões. Para obter mais informações, consulte Suporte entre nuvens/entre regiões.

Iceberg

• As versões 1 e 2 da especificação Apache Iceberg são suportadas, excluindo os seguintes recursos:

  • Exclusões em nível de linha (exclusões de posição ou exclusões de igualdade). No entanto, tabelas que usam o Snowflake como catálogo oferecem suporte a instruções DELETE do Snowflake.

  • Usando a history.expire.min-snapshots-to-keep propriedade da tabela para especificar o número mínimo padrão de instantâneos a serem mantidos. Para obter mais informações, consulte Metadados e instantâneos.

• O particionamento Iceberg com a função de transformação bucket afeta o desempenho de consultas que usam cláusulas condicionais para filtrar resultados.

• Para tabelas Iceberg que não são gerenciadas pelo Snowflake, esteja ciente do seguinte:

  • O Time Travel para qualquer instantâneo gerado após a criação da tabela é compatível, desde que você atualize periodicamente a tabela antes que o instantâneo expire.

  • Não há suporte para a conversão de uma tabela que tenha uma coluna de partição de identidade não materializada. Uma coluna de partição de identidade não materializada é criada quando uma tabela define uma transformação de identidade usando uma coluna de origem que não existe em um arquivo Parquet.

  • Para , o nível de linha exclui:

    • O Snowflake apenas oferece suporte à exclusão por posição.

    • Para obter o melhor desempenho de leitura ao usar exclusões em nível de linha, execute a compactação regular e a manutenção da tabela para remover arquivos de exclusão antigos. Para obter mais informações, consulte Manter tabelas que usam um catálogo externo.

    • Atualmente, os recursos a seguir não são compatíveis quando você usa exclusões em nível de linha:

      • Atualização automatizada

      • Criação de exibições materializadas, otimização de pesquisa ou fluxos em tabelas dinâmicas, tabelas Iceberg dinâmicas ou tabelas Iceberg com exclusões de posição existentes.

      • Tabelas dinâmicas

      • Atualização do instantâneo Iceberg com exclusões de posição em tabelas dinâmicas, tabelas dinâmicas Iceberg ou tabelas Iceberg com exibições materializadas ativas ou excluídas, otimização de pesquisa ou fluxos.

      • Otimização de pesquisa

      • Fluxos

Formatos de arquivo

• As tabelas Iceberg são compatíveis com arquivos Apache Parquet.

• Arquivos Parquet que usam o tipo lógico inteiro não assinado não são aceitos.

• Para arquivos Parquet que usam o tipo lógico LIST, esteja ciente do seguinte:

  • A estrutura de anotação de três níveis com a palavra-chave element é compatível. Para obter mais informações, consulte Definições do tipo lógico Parquet. Se o arquivo Parquet usar um formato obsoleto com a palavra-chave array, você deverá gerar novamente os dados com base no formato compatível.

Volumes externos

• Você não pode acessar os locais de armazenamento em nuvem em volumes externos usando uma integração de armazenamento.

• Você deve configurar uma relação de confiança separado para cada volume externo que criar.

• É possível usar a conectividade privada saída para acessar tabelas Iceberg gerenciadas pelo Snowflake e tabelas Iceberg que usam uma integração de catálogo para armazenamento de objetos, mas não é possível usá-la para acessar tabelas Iceberg que usam outras integrações de catálogo.

• Depois que você cria uma tabela gerenciada pelo Snowflake, o caminho para seus arquivos no armazenamento externo não muda, mesmo que você renomeie a tabela.

• O Snowflake não é compatível com volumes externos com nomes de bucket S3 que contenham pontos (por exemplo, my.s3.bucket). O S3 não oferece suporte a SSL para buckets do tipo de hospedam virtual com pontos no nome, e o Snowflake usa caminhos do tipo de hospedam virtual e HTTPS para acessar dados no S3.

Arquivos de metadados

• Os arquivos de metadados não identificam o instantâneo mais recente de uma tabela Iceberg.

• Você não pode modificar o local dos arquivos de dados ou instantâneos usando o comando ALTER ICEBERG TABLE. Para modificar qualquer uma dessas configurações, você deve recriar a tabela (usando a sintaxe CREATE OR REPLACE ICEBERG TABLE).

• Para tabelas que usam um catálogo externo:

  • Certifique-se de que os arquivos de manifesto não contenham duplicatas. Se houver arquivos duplicados no mesmo instantâneo, o Snowflake retornará um erro que inclui o caminho do arquivo duplicado.

  • Não é possível criar uma tabela se os metadados Parquet contiverem caracteres UTF-8 inválidos. Certifique-se de que seus metadados Parquet sejam compatíveis com UTF-8.

• O Snowflake detecta corrupções e inconsistências nos metadados do Parquet produzidos fora do Snowflake e revela problemas por meio de mensagens de erro.

  É possível criar, atualizar ou consultar tabelas gerenciadas externamente (ou convertidas), mesmo que os metadados da tabela sejam inconsistentes. Ao escrever dados Iceberg, certifique-se de que as estatísticas de metadados da tabela (por exemplo, RowCount ou NullCount) correspondam ao conteúdo dos dados.

• Para tabelas que usam o Snowflake como catálogo, o Snowflake processa instruções DDL individualmente e produz metadados de uma maneira que pode ser diferente de outros catálogos. Para obter mais informações, consulte Instruções DDL.

Clustering

O suporte ao clustering depende do tipo de tabela Iceberg.

Tipo de tabela	Notas
Tabelas que usam Snowflake como catálogo Iceberg	Defina uma chave de clustering usando o comando CREATE ICEBERG TABLE ou ALTER ICEBERG TABLE. Para definir ou gerenciar uma chave de clustering, consulte CREATE ICEBERG TABLE (Snowflake como o catálogo Iceberg) e ALTER ICEBERG TABLE.
Tabelas que usam um catálogo externo	Clustering não é suportado.
Tabelas convertidas	O Snowflake apenas clusteriza arquivos se eles tiverem sido criados após a conversão da tabela ou se os arquivos tiverem sido modificados usando uma instrução DML.

Delta

• O Snowflake oferece suporte ao leitor Delta versão 2 e pode ler todas as tabelas escritas por mecanismos que usam o Delta Lake versão 2.2.0.

• Os fluxos Snowflake não são compatíveis com tabelas Iceberg criadas a partir de arquivos de tabela Delta com colunas de partição. No entanto, os fluxos apenas de inserção para tabelas criadas a partir de arquivos Delta sem colunas de partição são compatíveis.

• Tabelas dinâmicas não são compatíveis com tabelas Iceberg criadas a partir de arquivos de tabela Delta.

• Snowflake não oferece suporte à criação de tabelas Iceberg a partir de definições de tabela Delta no AWS Glue Data Catalog.

• Arquivos Parquet (arquivos de dados para tabelas Delta) que usam qualquer um dos seguintes recursos ou tipos de dados não são compatíveis:

  • Campo IDs.

  • O tipo de dados INTERVAL.

  • O tipo de dados DECIMAL com precisão maior que 38.

  • Os tipos LIST ou MAP com representação de um ou dois níveis.

  • Tipos inteiros sem sinal (INT(signed = false)).

  • O tipo de dados FLOAT16.

• Você pode usar o tipo físico Parquet int96 para TIMESTAMP, mas o Snowflake não oferece suporte a int96 para TIMESTAMP_NTZ.

• Para obter mais informações sobre os tipos de dados Delta e tabelas Iceberg, consulte Tipos de dados Delta.

• O Snowflake processa um máximo de 1.000 arquivos de confirmação Delta cada vez que você atualiza uma tabela usando CREATE/ALTER … REFRESH. Se sua tabela tiver mais de 1.000 arquivos de confirmação, é possível fazer atualizações manuais adicionais. A cada vez, o processo de atualização continua de onde o último parou.

  Nota

  O Snowflake usa arquivos de ponto de verificação Delta ao criar uma tabela Iceberg. O limite de 1.000 arquivo de confirmação se aplica somente a confirmações após o último ponto de verificação.

  Quando você atualiza uma tabela existente, o Snowflake processa os arquivos de confirmação Delta, mas não os arquivos de ponto de verificação. Se a manutenção da tabela remover arquivos de log e de dados obsoletos da tabela Delta de origem, você deverá atualizar as tabelas Iceberg baseadas em Delta no Snowflake com mais frequência do que o período de retenção dos logs e arquivos de dados do Delta.

• Os seguintes recursos do Delta Lake não são compatíveis no momento: rastreamento de linhas, arquivos vetoriais de exclusão, arquivos de dados de alteração, metadados de alteração, DataChange, CDC e evolução de protocolo.

Atualização automática

• Quando a atualização automática está habilitada, você não pode atualizar manualmente os metadados da tabela. Para executar uma atualização manual, primeiro desative a atualização automática.

• Para integrações de catálogo criadas antes da versão 8.22 do Snowflake (ou 9.2 para tabelas baseadas em Delta), você deve definir manualmente o parâmetro REFRESH_INTERVAL_SECONDS antes de ativar a atualização automática em tabelas que dependem dessa integração de catálogo. Para obter instruções, consulte ALTER CATALOG INTEGRATION … SET AUTO_REFRESH.

• Se a tabela estiver vazia, insira dados na tabela e, em seguida, faça uma atualização manual no Snowflake antes de ativar a atualização automática para evitar comportamentos indefinidos.

• Para as integrações de catálogo para armazenamento de objetos, a atualização automatizada só é compatível com as integrações com TABLE_FORMAT = DELTA.

• Para tabelas com atualizações frequentes, o uso de um intervalo de pesquisa mais curto (REFRESH_INTERVAL_SECONDS) pode causar degradação do desempenho.

Acesso de clientes terceiros aos dados e metadados do Iceberg

• Clientes de terceiros não podem anexar, excluir ou atualizar dados em tabelas Iceberg que usam o Snowflake como catálogo.

Recursos não compatíveis

Os seguintes recursos do Snowflake não são aceitos atualmente para todas as tabelas Iceberg:

• Agrupamento

• Fail-safe

• Tabelas híbridas

• Listagens que permitem o Preenchimento automático entre nuvens

• Serviço de aceleração de consultas

• Replicação de de tabelas Iceberg, volumes externos ou integrações de catálogo.

• Criptografia do Snowflake

• Snowflake Native App Framework

• Evolução do esquema Snowflake

• Uso de tags usando o procedimento armazenado ASSOCIATE_SEMANTIC_CATEGORY_TAGS

• Tabelas temporárias e transitórias

Os seguintes recursos não são aceitos para tabelas Iceberg que usam um catálogo externo:

• Clonagem

• Clustering

• Fluxos padrão e apenas para anexação. Fluxos apenas de inserção são aceitos.