Atualizações automatizadas dos metadados da tabela de diretório

Você pode atualizar automaticamente os metadados de uma tabela de diretório em um estágio interno ou externo.

A operação de atualização sincroniza os metadados com o conjunto mais recente de arquivos associados no armazenamento e ocorre em resposta aos seguintes tipos de alterações:

  • Novos arquivos no caminho são adicionados aos metadados da tabela.

  • Os arquivos do caminho são atualizados nos metadados da tabela.

  • Os arquivos que não estão mais no caminho são removidos dos metadados da tabela.

Estágios internos

A atualização automática da tabela de diretórios em um estágio interno sincroniza os metadados com o conjunto mais recente de arquivos associados no estágio e no caminho interno nomeado quando ocorrer o seguinte:

  • Novos arquivos no caminho são adicionados aos metadados da tabela.

  • As mudanças nos arquivos do caminho são atualizadas nos metadados da tabela.

  • Os arquivos que não estão mais no caminho são removidos dos metadados da tabela.

Criar um estágio interno nomeado com uma tabela de diretório ativada

Crie um estágio interno nomeado com uma tabela de diretório ativada usando o comando CREATE STAGE. O Snowflake lê seus arquivos de dados preparados nos metadados da tabela de diretório.

CREATE STAGE my_int_stage
  DIRECTORY = (
    ENABLE = TRUE
    AUTO_REFRESH = TRUE
  );
Copy

Estágios externos

Você pode atualizar automaticamente os metadados de uma tabela de diretório usando os seguintes serviços de notificação de eventos:

Para definir atualizações automatizadas, consulte o tópico do serviço de armazenamento em nuvem onde seus arquivos estão localizados:

Suporte entre nuvens

O Snowflake oferece suporte a atualizações automatizadas de tabelas de diretório entre nuvens e regiões para estágios externos.

A tabela a seguir mostra as opções entre nuvens e o Snowflake oferece suporte para atualizações automatizadas de tabelas de diretório, com base na plataforma de nuvem que hospeda sua conta Snowflake.

Amazon S3

Google Cloud Storage

Armazenamento de blobs do Microsoft Azure

Microsoft Data Lake Storage Gen2

Microsoft Azure de uso geral v2

Contas hospedadas no AWS

✔

✔

✔

✔

✔

Contas hospedadas no GCP

✔

✔

✔

✔

✔

Contas hospedadas no Azure

✔

✔

✔

✔

✔

Considerações

  • Atualizações automatizadas são baseadas em evento e oferecem melhor desempenho que atualizações manuais para estágios grandes ou em rápido crescimento.

  • As atualizações automáticas para estágios internas estão disponíveis no momento para contas hospedadas no AWS. O Snowflake não oferece suporte à atualização dos metadados da tabela de diretório em um estágio interno quando sua conta está hospedada no Google Cloud ou Azure.

Próximos tópicos:

Linguagem: Português