15 de novembro de 2024 — Tabelas Apache Iceberg™: carregamento em massa eficiente, ingestão contínua e fluxo de dados — Disponibilidade geral¶

Neste lançamento, a Snowflake tem o prazer de anunciar a disponibilidade geral dos seguintes recursos, que possibilitam o carregamento em massa eficiente, a ingestão contínua e o fluxo de dados em tabelas Iceberg gerenciadas pelo Snowflake.

Agora, você pode usar os mesmos recursos principais de ingestão do Snowflake, como COPY INTO <table>, Snowpipe e Snowpipe Streaming, para carregar dados em tabelas padrão do Snowflake e em tabelas Iceberg.

Para obter mais informações, consulte Carregamento dados nas tabelas do Apache Iceberg™.

COPY INTO <table> e ingestão contínua de arquivos do Snowpipe¶

Você pode usar as seguintes opções LOAD_MODE com o comando COPY INTO <tabela> e o carregamento automatizado do Snowpipe para carregar dados de arquivos em uma tabela Iceberg gerenciada pelo Snowflake:

FULL_INGEST: carrega dados de qualquer formato de arquivo suportado, converte-os em Parquet compatível com o Iceberg validado e, opcionalmente, permite que o usuário transforme ou filtre os dados antes de carregá-los.
ADD_FILES_COPY: carrega dados de arquivos de dados Parquet compatíveis com o Iceberg, realizando uma cópia dos arquivos no lado do servidor para o local de base da tabela e registrando rapidamente os arquivos na tabela.

Snowpipe Streaming¶

Com o Snowflake Ingest SDK versões 3.0.0 e posteriores, o Snowpipe Streaming pode transmitir linhas para tabelas Iceberg gerenciadas pelo Snowflake. Para ativar esse recurso, defina a propriedade ENABLE_ICEBERG_STREAMING=true no arquivo profile.json.

Para obter mais informações, consulte Carregamento dados nas tabelas do Apache Iceberg™.