Gerenciar tabelas Apache Iceberg™¶

Consulta a uma tabela¶

Para consultar uma tabela Iceberg, um usuário deve receber ou herdar os seguintes privilégios:

• O privilégio USAGE no banco de dados e no esquema com a tabela

• O privilégio SELECT na tabela

Você pode consultar uma tabela Iceberg usando uma instrução SELECT. Por exemplo:

SELECT col1, col2 FROM my_iceberg_table;

Usar comandos DML¶

As tabelas Iceberg que usam o Snowflake como catálogo oferecem suporte Comandos de linguagem de manipulação de dados (DML) completo, incluindo o seguinte:

• INSERT

• MERGE

• UPDATE

• DELETE

• TRUNCATE TABLE

As tabelas gerenciadas pelo Snowflake também oferecem suporte ao carregamento em massa eficiente usando recursos como COPY INTO <tabela> e Snowpipe. Para obter mais informações, consulte Carregamento dados nas tabelas do Apache Iceberg™.

INSERT INTO store_sales VALUES (-99);

UPDATE store_sales
  SET cola = 1
  WHERE cola = -99;

Geração de instantâneos de alterações de DML¶

Para tabelas que usam Snowflake como catálogo, o Snowflake gera automaticamente os metadados do Iceberg. O Snowflake grava os metadados em uma pasta chamada metadata em seu volume externo. Para localizar a pasta metadata, consulte Diretórios de dados e metadados.

Como alternativa, você pode chamar a função SYSTEM$GET_ICEBERG_TABLE_INFORMATION para gerar metadados do Iceberg para quaisquer novas alterações.

Para tabelas que não são gerenciadas pelo Snowflake, a função retorna informações sobre o instantâneo atualizado mais recente.

Por exemplo:

SELECT SYSTEM$GET_ICEBERG_TABLE_INFORMATION('db1.schema1.it1');

Saída:

+-----------------------------------------------------------------------------------------------------------+
| SYSTEM$GET_ICEBERG_TABLE_INFORMATION('DB1.SCHEMA1.IT1')                                                   |
|-----------------------------------------------------------------------------------------------------------|
| {"metadataLocation":"s3://mybucket/metadata/v1.metadata.json","status":"success"}                         |
+-----------------------------------------------------------------------------------------------------------+

Use as exclusões em nível de linha¶

O Snowflake oferece suporte à consulta de tabelas com exclusões em nível de linha e à gravação em tabelas usando exclusões em nível de linha.

Definir um tamanho de arquivo de destino¶

Para melhorar o desempenho das consultas para mecanismos Iceberg externos, como Spark ou Trino, você pode configurar um tamanho de arquivo de destino para tabelas Iceberg gerenciadas pelo Snowflake e externamente com suporte para gravação. Você pode definir um tamanho específico (16MB, 32MB, 64MB ou 128MB) ou usar a opção AUTO. AUTO funciona de modo diferente, dependendo do tipo de tabela:

• Tabelas gerenciadas pelo Snowflake: AUTO especifica que o Snowflake deve escolher o tamanho do arquivo para a tabela com base em características da tabela, como tamanho, DML padrões, carga de trabalho de ingestão e configuração de cluster. O Snowflake ajusta automaticamente o tamanho do arquivo, começando em 16 MB, para melhor desempenho de leitura e gravação no Snowflake.

• Tabelas gerenciadas externamente: AUTO especifica que o Snowflake deve escalar agressivamente para um tamanho de arquivo maior.

Você pode definir o tamanho do arquivo de destino ao criar uma tabela Iceberg ou executar o comando ALTER ICEBERG TABLE para alterar o tamanho do arquivo de destino para uma tabela Iceberg existente. O Snowflake tenta manter os tamanhos dos arquivos próximos ao tamanho de destino ao gravar arquivos Parquet para uma tabela.

Após definir um tamanho de arquivo de destino, o Snowflake começa imediatamente a criar arquivos maiores para novas operações da linguagem de manipulação de dados (DML). As operações de manutenção de tabelas do Snowflake alteram assincronamente os arquivos de tabela existentes de acordo com o tamanho do arquivo de destino.

O exemplo a seguir usa TARGET_FILE_SIZE para definir um tamanho de arquivo de destino de 128 MB para uma tabela gerenciada pelo Snowflake:

CREATE ICEBERG TABLE my_iceberg_table (col1 INT)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'my_external_volume'
  BASE_LOCATION = 'my_iceberg_table'
  TARGET_FILE_SIZE = '128MB';

Como alternativa, use ALTER ICEBERG TABLE para definir a propriedade TARGET_FILE_SIZE para uma tabela existente:

ALTER ICEBERG TABLE my_iceberg_table
  SET TARGET_FILE_SIZE = '32MB';

Para verificar o valor da propriedade TARGET_FILE_SIZE de uma tabela, use o comando SHOW PARAMETERS:

SHOW PARAMETERS LIKE 'target_file_size' FOR my_iceberg_table;

Otimização para tabelas Iceberg gerenciadas pelo Snowflake¶

A otimização de tabelas realiza automaticamente a manutenção para melhorar o desempenho e reduzir os custos de armazenamento das tabelas Iceberg gerenciadas pelo Snowflake.

O Snowflake oferece suporte aos recursos de otimização de tabela Iceberg resumidos a seguir:

_{[1] Ao contrário dos outros recursos de otimização de tabela, o clustering automático é faturado separadamente como um recurso autônomo.}

Manter tabelas que usam um catálogo externo¶

Você pode executar operações de manutenção em tabelas Iceberg que usam um catálogo externo.

As operações de manutenção incluem as seguintes:

• Instantâneos expirados

• Remoção de arquivos de metadados antigos

• Compactação de arquivos de dados

Para saber mais sobre a manutenção de tabelas Iceberg que não são gerenciadas pelo Snowflake, consulte Manutenção na documentação do Apache Iceberg.

Atualização dos metadados da tabela¶

Ao usar um catálogo Iceberg externo, você pode atualizar os metadados da tabela usando o comando ALTER ICEBERG TABLE … REFRESH. A atualização dos metadados da tabela sincroniza os metadados com as alterações mais recentes da tabela.

ALTER ICEBERG TABLE my_iceberg_table REFRESH;

ALTER ICEBERG TABLE my_iceberg_table SET AUTO_REFRESH = TRUE;

ALTER ICEBERG TABLE my_iceberg_table REFRESH 'metadata/v1.metadata.json';

Recuperar métricas de armazenamento¶

Snowflake não cobra de sua conta os custos de armazenamento da tabela Iceberg. No entanto, você pode acompanhar quanto armazenamento uma tabela Iceberg ocupa consultando as exibições TABLE_STORAGE_METRICS e TABLES no esquema Snowflake Information Schema ou Account Usage.

O exemplo de consulta a seguir une a exibição ACCOUNT_USAGE.TABLE_STORAGE_METRICS à exibição ACCOUNT_USAGE.TABLES, filtrando na coluna TABLES.IS_ICEBERG.

SELECT metrics.* FROM
  snowflake.account_usage.table_storage_metrics metrics
  INNER JOIN snowflake.account_usage.tables tables
  ON (
    metrics.id = tables.table_id
    AND metrics.table_schema_id = tables.table_schema_id
    AND metrics.table_catalog_id = tables.table_catalog_id
  )
  WHERE tables.is_iceberg='YES';

Definir compactação de dados¶

Você pode definir a compactação de dados em tabelas do Iceberg gerenciadas pelo Snowflake ao criar um banco de dados, esquema ou tabela, ou executar o comando ALTER para alterar a configuração de um banco de dados, esquema ou tabela existente. Você também pode definir a compactação de dados no nível da conta usando o comando ALTER ACCOUNT. Para mais informações sobre compactação de dados, consulte Compactação de dados.

O exemplo a seguir usa ENABLE_DATA_COMPACTION para desativar a compactação de dados para uma tabela gerenciada pelo Snowflake:

CREATE ICEBERG TABLE my_iceberg_table (col1 INT)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'my_external_volume'
  BASE_LOCATION = 'my_iceberg_table'
  ENABLE_DATA_COMPACTION = FALSE;

Como alternativa, use ALTER ICEBERG TABLE para desabilitá-la para uma tabela existente.

ALTER ICEBERG TABLE my_iceberg_table
  SET ENABLE_DATA_COMPACTION = FALSE;

Para obter mais informações, consulte:

• ENABLE_DATA_COMPACTION

• ALTER ACCOUNT

• CREATE DATABASE

• ALTER DATABASE

• CREATE SCHEMA

• ALTER SCHEMA

• CREATE ICEBERG TABLE (Snowflake como o catálogo Iceberg)

• ALTER ICEBERG TABLE