Atualizar tabelas Apache Iceberg™ automaticamente¶

Definir o intervalo de atualização em uma integração de catálogo¶

Ao executar o comando CREATE CATALOG INTEGRATION, você pode especificar um valor para o parâmetro REFRESH_INTERVAL_SECONDS. Caso contrário, o intervalo de atualização padrão é 30 segundos. O Snowflake só pesquisa o catálogo externo se houver tabelas Iceberg definidas com a integração do catálogo.

O exemplo a seguir cria uma integração de catálogo para o AWS Glue, especificando um intervalo de atualização de 60 segundos:

CREATE CATALOG INTEGRATION auto_refresh_catalog_integration
  CATALOG_SOURCE = GLUE
  CATALOG_NAMESPACE = 'my_catalog_namespace'
  TABLE_FORMAT = ICEBERG
  GLUE_AWS_ROLE_ARN = 'arn:aws:iam::123456789123:role/my-catalog-role'
  GLUE_CATALOG_ID = '123456789123'
  ENABLED = TRUE
  REFRESH_INTERVAL_SECONDS = 60;

Para atualizar o intervalo de atualização de uma integração de catálogo, use o comando ALTER CATALOG INTEGRATION.

Por exemplo:

ALTER CATALOG INTEGRATION auto_refresh_catalog_integration SET REFRESH_INTERVAL_SECONDS = 120;

Criar uma tabela Iceberg com atualização automatizada¶

Crie uma tabela Iceberg usando o comando CREATE ICEBERG TABLE. Para especificar que a tabela deve usar atualizações automatizadas de metadados, defina AUTO_REFRESH = TRUE.

O exemplo a seguir cria uma tabela Iceberg que usa o AWS Glue como catálogo, especificando a integração de catálogo criada anteriormente (auto_refresh_catalog_integration) e o CATALOG_TABLE_NAME do AWS Glue.

CREATE OR REPLACE ICEBERG TABLE auto_refresh_iceberg_table
  CATALOG_TABLE_NAME = 'myGlueTable'
  CATALOG = 'auto_refresh_catalog_integration'
  AUTO_REFRESH = TRUE;

Habilitar ou desabilitar a atualização automática¶

Use o comando ALTER ICEBERG TABLE para habilitar ou desabilitar a atualização automática de uma tabela Iceberg existente.

Por exemplo:

ALTER ICEBERG TABLE my_iceberg_table SET AUTO_REFRESH = FALSE;

Monitoramento do status da atualização automatizada¶

SHOW ICEBERG TABLES;

SELECT SYSTEM$AUTO_REFRESH_STATUS('my_iceberg_table');

SELECT *
FROM TABLE(INFORMATION_SCHEMA.ICEBERG_TABLE_SNAPSHOT_REFRESH_HISTORY(
  TABLE_NAME => 'my_iceberg_table'
));

ALTER ICEBERG TABLE <my_table_name> SET LOG_LEVEL = DEBUG;

SELECT record_type,
       record:"name" event_name,
       record:"severity_text" log_level,
       resource_attributes:"snow.database.name" database_name,
       resource_attributes:"snow.schema.name" schema_name,
       resource_attributes:"snow.table.name" table_name,
       resource_attributes:"snow.catalog.integration.name" catalog_integration_name,
       record_attributes:"snow.snapshot.id" snapshot_id,
       parse_json(value):metadata_file_location metadata_file_location,
       parse_json(value):snapshot_state snapshot_state
  FROM my_active_event_table
  WHERE record_type='EVENT' AND event_name='iceberg_auto_refresh_snapshot_lifecycle';

+-------------+-----------------------------------------+-----------+---------------+-------------+------------+--------------------------+---------------+------------------------+----------------+
| RECORD_TYPE | EVENT_NAME                              | LOG_LEVEL | DATABASE_NAME | SCHEMA_NAME | TABLE_NAME | CATALOG_INTEGRATION_NAME | SNAPSHOT_ID   | METADATA_FILE_LOCATION | SNAPSHOT_STATE |
+-------------+-----------------------------------------+-----------+---------------+-------------+------------+--------------------------+---------------+------------------------+----------------+
| EVENT       | iceberg_auto_refresh_snapshot_lifecycle | DEBUG     | TESTDB        | TESTSH      | TESTTABLE  | glue_integration         | 4281775564368 | metadata.json          | started        |
| EVENT       | iceberg_auto_refresh_snapshot_lifecycle | DEBUG     | TESTDB        | TESTSH      | TESTTABLE  | glue_integration         | 4281775564368 | metadata.json          | completed      |
+-------------+-----------------------------------------+-----------+---------------+-------------+------------+--------------------------+---------------+------------------------+----------------+

Recuperação de erros¶

Quando ocorre um erro durante o processo de atualização automatizada, o Snowflake atualiza o estado de execução para um dos seguintes valores:

• STALLED significa que o Snowflake está tentando se recuperar do erro. Se a recuperação for bem-sucedida, o processo de atualização automatizada continuará sendo executado conforme o esperado, e o estado de execução retornará ao estado RUNNING de integridade.

• STOPPED significa que o processo de atualização automatizada encontrou um erro irrecuperável e as atualizações automatizadas da tabela foram interrompidas.

  Um erro irrecuperável pode ocorrer, por exemplo, quando o Snowflake não consegue estabelecer uma linhagem direta entre o snapshot de destino e o snapshot atual.

  Para se recuperar de um estado STOPPED, execute as seguintes ações:

  1. Desative a atualização automática na tabela.

  2. Execute uma atualização manual de metadados. Para obter instruções, consulte Atualização dos metadados da tabela.

  3. Reative a atualização automatizada usando uma instrução ALTER ICEBERG TABLE … SET AUTO_REFRESH.

  4. Verifique se a atualização automatizada está no estado RUNNING chamando a função SYSTEM$AUTO_REFRESH_STATUS. Você também pode chamar a função várias vezes para confirmar que o número de snapshots enfileirados (pendingSnapshotCount) diminui gradualmente.

Faturamento¶

A Snowflake usa o Snowpipe para automatizar atualizações de tabelas Iceberg, então as cobranças por atualizações automatizadas aparecem no mesmo item de linha da sua fatura que as cobranças do Snowpipe. O uso de eventos para monitorar atualização automatizada também incorre em custos. Para obter mais informações, consulte Custos da coleta de dados de telemetria.

Não há cobrança de arquivo Snowpipe para esse recurso.

Você pode estimar as cobranças incorridas examinando o Account Usage Exibição PIPE_USAGE_HISTORY, que exibe o nome da tabela Iceberg na coluna pipe_name.

Para tabelas Iceberg baseadas em Delta, os canais de atualização automática exibem um nome de canal NULL.

Para obter mais informações sobre as cobranças da tabela Iceberg, consulte Faturamento da tabela Iceberg.

Considerações e limitações¶

Considere o seguinte ao trabalhar com tabelas Iceberg que usam atualização automática:

• Para integrações de catálogo criadas antes da versão 8.22 do Snowflake (ou 9.2 para tabelas baseadas em Delta), você deve definir manualmente o parâmetro REFRESH_INTERVAL_SECONDS antes de ativar a atualização automática em tabelas que dependem dessa integração de catálogo. Para obter instruções, consulte ALTER CATALOG INTEGRATION … SET AUTO_REFRESH.

• Para as integrações de catálogo para armazenamento de objetos, a atualização automatizada só é compatível com as integrações com TABLE_FORMAT = DELTA.

• Para tabelas com atualizações frequentes, o uso de um intervalo de pesquisa mais curto (REFRESH_INTERVAL_SECONDS) pode causar degradação do desempenho.