Tabelas Apache Iceberg™¶

Introdução¶

Para começar com as tabelas Iceberg, consulte Tutorial: Crie sua primeira tabela Apache Iceberg™.

Como funciona¶

Esta seção fornece informações específicas para trabalhar com tabelas Iceberg no Snowflake. Para saber mais sobre a especificação do formato da tabela Iceberg, consulte a documentação oficial do Apache Iceberg e as Especificações da tabela Iceberg.

• Armazenamento de dados

• Catálogo

• Metadados e instantâneos

• Suporte entre nuvens/entre regiões

• Faturamento

Opções de catálogo¶

O Snowflake oferece suporte às seguintes opções de catálogo Iceberg:

• Uso do Snowflake como o catálogo Iceberg

• Usar um catálogo externo do Iceberg

A tabela a seguir resume as diferenças entre essas opções de catálogo.

Usar o Snowflake como catálogo¶

Uma tabela Iceberg que usa Snowflake como catálogo Iceberg fornece suporte completo à plataforma Snowflake com acesso de leitura e gravação. Os dados e metadados da tabela são armazenados em armazenamento em nuvem externo, que o Snowflake acessa usando um volume externo. Snowflake cuida de toda a manutenção do ciclo de vida, como compactação, da tabela.

Use um catálogo externo¶

Uma tabela Iceberg que use um catálogo externo oferece suporte limitado à plataforma Snowflake com acesso somente leitura. Com esse tipo de tabela, o Snowflake usa uma integração de catálogo para recuperar informações sobre os metadados e o esquema Iceberg.

Você pode usar essa opção para criar uma tabela Iceberg para as seguintes fontes:

• Catálogo de dados do AWS Glue

• Arquivos de metadados do Iceberg no armazenamento de objetos

• Arquivos de tabela delta no armazenamento de objetos

• Open Catalog

• Catálogo REST remoto Iceberg

Snowflake não assume nenhum gerenciamento de ciclo de vida.

Os dados e metadados da tabela são armazenados em armazenamento em nuvem externo, que o Snowflake acessa usando um volume externo.

O diagrama a seguir mostra como uma tabela Iceberg usa uma integração de catálogo com um catálogo Iceberg externo.

Considerações e limitações¶

As seguintes considerações e limitações se aplicam às tabelas Iceberg e estão sujeitas a alterações:

Nuvens e regiões

• As tabelas Iceberg estão disponíveis para todas as contas Snowflake, em todas as plataformas de nuvem e em todas as regiões, exceto na região da China.

• As tabelas entre nuvens/regiões são compatíveis quando você usa um catálogo externo. Para obter mais informações, consulte Suporte entre nuvens/entre regiões.

Iceberg

• As versões 1 e 2 da especificação Apache Iceberg são suportadas, excluindo os seguintes recursos:

  • Exclusões em nível de linha (exclusões de posição ou exclusões de igualdade). No entanto, tabelas que usam o Snowflake como catálogo oferecem suporte a instruções DELETE do Snowflake.

  • Usando a history.expire.min-snapshots-to-keep propriedade da tabela para especificar o número mínimo padrão de instantâneos a serem mantidos. Para obter mais informações, consulte Metadados e instantâneos.

• O particionamento Iceberg com a função de transformação bucket afeta o desempenho de consultas que usam cláusulas condicionais para filtrar resultados.

• Para tabelas Iceberg que não são gerenciadas pelo Snowflake, esteja ciente do seguinte:

  • O Time Travel para qualquer instantâneo gerado após a criação da tabela é compatível, desde que você atualize periodicamente a tabela antes que o instantâneo expire.

  • Não há suporte para a conversão de uma tabela que tenha uma coluna de partição de identidade não materializada. Uma coluna de partição de identidade não materializada é criada quando uma tabela define uma transformação de identidade usando uma coluna de origem que não existe em um arquivo Parquet.

Formatos de arquivo

• As tabelas Iceberg são compatíveis com arquivos Apache Parquet.

• Arquivos Parquet que usam o tipo lógico inteiro não assinado não são aceitos.

Volumes externos

• Você não pode acessar os locais de armazenamento em nuvem em volumes externos usando uma integração de armazenamento.

• Você deve configurar uma relação de confiança separado para cada volume externo que criar.

Arquivos de metadados

• Os arquivos de metadados não identificam o instantâneo mais recente de uma tabela Iceberg.

• Você não pode modificar o local dos arquivos de dados ou instantâneos usando o comando ALTER ICEBERG TABLE. Para modificar qualquer uma dessas configurações, você deve recriar a tabela (usando a sintaxe CREATE OR REPLACE ICEBERG TABLE).

• Para tabelas que usam um catálogo externo:

  • Certifique-se de que os arquivos de manifesto não contenham duplicatas. Se houver arquivos duplicados no mesmo instantâneo, o Snowflake retornará um erro que inclui o caminho do arquivo duplicado.

  • Não é possível criar uma tabela se os metadados Parquet contiverem caracteres UTF-8 inválidos. Certifique-se de que seus metadados Parquet sejam compatíveis com UTF-8.

• O Snowflake detecta corrupções e inconsistências nos metadados do Parquet produzidos fora do Snowflake e revela problemas por meio de mensagens de erro.

  É possível criar, atualizar ou consultar tabelas gerenciadas externamente (ou convertidas), mesmo que os metadados da tabela sejam inconsistentes. Ao escrever dados Iceberg, certifique-se de que as estatísticas de metadados da tabela (por exemplo, RowCount ou NullCount) correspondam ao conteúdo dos dados.

• Para tabelas que usam o Snowflake como catálogo, o Snowflake processa instruções DDL individualmente e produz metadados de uma maneira que pode ser diferente de outros catálogos. Para obter mais informações, consulte Instruções DDL.

Clustering

O suporte ao clustering depende do tipo de tabela Iceberg.

Tipo de tabela	Notas
Tabelas que usam Snowflake como catálogo Iceberg	Defina uma chave de clustering usando o comando CREATE ICEBERG TABLE ou ALTER ICEBERG TABLE. Para definir ou gerenciar uma chave de clustering, consulte CREATE ICEBERG TABLE (Snowflake como o catálogo Iceberg) e ALTER ICEBERG TABLE.
Tabelas que usam um catálogo externo	Clustering não é suportado.
Tabelas convertidas	O Snowflake apenas clusteriza arquivos se eles tiverem sido criados após a conversão da tabela ou se os arquivos tiverem sido modificados usando uma instrução DML.

Delta

• Os fluxos Snowflake não são compatíveis com tabelas Iceberg criadas a partir de arquivos de tabela Delta com colunas de partição. No entanto, os fluxos apenas de inserção para tabelas criadas a partir de arquivos Delta sem colunas de partição são compatíveis.

• Tabelas dinâmicas não são compatíveis com tabelas Iceberg criadas a partir de arquivos de tabela Delta.

• Snowflake não oferece suporte à criação de tabelas Iceberg a partir de definições de tabela Delta no AWS Glue Data Catalog.

• Arquivos Parquet (arquivos de dados para tabelas Delta) que usam qualquer um dos seguintes recursos ou tipos de dados não são compatíveis:

  • Campo IDs.

  • O tipo de dados INTERVAL.

  • O tipo de dados DECIMAL com precisão maior que 38.

  • Os tipos LIST ou MAP com representação de um ou dois níveis.

  • Tipos inteiros sem sinal (INT(signed = false)).

  • O tipo de dados FLOAT16.

  Para obter mais informações sobre os tipos de dados Delta e tabelas Iceberg, consulte Tipos de dados Delta.

• As operações de atualização durante CREATE e ALTER … REFRESH podem processar no máximo 1.000 arquivos de confirmação Delta por operação.

  Nota

  O Snowflake usa arquivos de ponto de verificação Delta ao criar uma tabela Iceberg. O limite de 1.000 arquivo de confirmação se aplica somente a confirmações após o último ponto de verificação.

• Não há suporte para gerar metadados do Iceberg usando a função SYSTEM$GET_ICEBERG_TABLE_INFORMATION.

• Os seguintes recursos do Delta Lake não são compatíveis no momento: rastreamento de linhas, arquivos vetoriais de exclusão, arquivos de dados de alteração, metadados de alteração, DataChange, CDC e evolução de protocolo.

Atualização automática

• Quando a atualização automática está habilitada, você não pode atualizar manualmente os metadados da tabela. Para executar uma atualização manual, primeiro desative a atualização automática.

• Para integrações de catálogo criadas antes do Snowflake versão 8.22, você deve definir manualmente o parâmetro REFRESH_INTERVAL_SECONDS antes de habilitar a atualização automática em tabelas que dependem dessa integração de catálogo. Para obter instruções, consulte ALTER CATALOG INTEGRATION … SET AUTO_REFRESH.

• Certifique-se de que o novo snapshot da tabela seja um objeto secundário direto do snapshot da tabela atual. Caso contrário, a atualização automatizada entra no estado STOPPED. Para recuperar a atualização automatizada quando isso ocorrer, consulte Recuperação de erros.

  • Se sua tabela estiver vazia, execute uma atualização manual antes de habilitar a atualização automática para evitar comportamento indefinido.

• A atualização automatizada não é aceita quando você usa uma integração de catálogo para armazenamento de objeto.

• Manifestos da versão 1 do Iceberg sem uma coluna de número de sequência não são aceitos no momento.

Acesso de clientes terceiros aos dados e metadados do Iceberg

• Clientes de terceiros não podem anexar, excluir ou atualizar dados em tabelas Iceberg que usam o Snowflake como catálogo.

Recursos não compatíveis

Os seguintes recursos do Snowflake não são aceitos atualmente para todas as tabelas Iceberg:

• Os seguintes drivers:

  • Driver .NET

  • Driver PHP PDO para Snowflake

  • Driver Node.js

• Fail-safe

• Tabelas híbridas

• Listagens que permitem o Preenchimento automático entre nuvens

• Serviço de aceleração de consultas

• Replicação de de tabelas Iceberg, volumes externos ou integrações de catálogo.

• Serviço de otimização de pesquisa

• Criptografia do Snowflake

• Snowflake Native App Framework

• Evolução do esquema Snowflake

• Snowpipe Streaming:

  • Snowflake Connector para Kafka Connector com Snowpipe Streaming

  • SDK de ingestão do Snowflake

  • Snowpipe Streaming API

• Uso de tags usando o procedimento armazenado ASSOCIATE_SEMANTIC_CATEGORY_TAGS

• Tabelas temporárias e transitórias

Os seguintes recursos não são aceitos para tabelas Iceberg que usam um catálogo externo:

• Clonagem

• Clustering

• Fluxos padrão e apenas para anexação. Fluxos apenas de inserção são aceitos.