Automate continuous data loading with cloud messaging

Os carregamentos automatizados de dados aproveitam as notificações de eventos para armazenamento em nuvem e informam o Snowpipe sobre a chegada de novos arquivos de dados a serem carregados. O Snowpipe copia os arquivos para uma fila, a partir da qual eles são carregados para a tabela de destino de forma contínua e sem servidor, com base em parâmetros definidos em um objeto de canal especificado.

Nota

  • O Snowpipe automatizado usa notificações de eventos para determinar quando novos arquivos chegam aos estágios externos monitorados no armazenamento em nuvem e estão prontos para serem carregados. As notificações identificam o evento de armazenamento em nuvem e incluem uma lista dos nomes dos arquivos. Elas não incluem os dados reais nos arquivos.

  • Quando um canal é pausado, as mensagens de eventos recebidas para o canal entram em um período de retenção limitado. O período é de 14 dias por padrão. Se um canal for pausado por mais de 14 dias, ele é considerado desatualizado.

    As notificações de eventos recebidas enquanto um canal está pausado são retidas por apenas um período limitado (14 dias). Quando cada notificação chega ao fim desse período, o Snowflake o programa para ser descartado dos metadados internos. Se o canal for retomado mais tarde, Snowpipe pode processar notificações mais antigas que 14 dias com base no melhor esforço. A Snowflake não pode garantir que essas notificações mais antigas sejam processadas.

    Para obter mais informações sobre como retomar canais desatualizados, consulte Gerenciamento do Snowpipe.

A tabela a seguir indica quais serviços de armazenamento em nuvem são compatíveis com o carregamento automático de dados em estágios externos na sua conta Snowflake usando notificações de eventos de armazenamento em nuvem, com base na plataforma de nuvem que hospeda sua conta:

Host da conta Snowflake

Amazon S3

Google Cloud Storage

Armazenamento de blobs do Microsoft Azure

Microsoft Data Lake Storage Gen2

Microsoft Azure de uso geral v2

Amazon Web Services

✔

✔

✔

✔

✔

Google Cloud

✔

✔

✔

✔

✔

Microsoft Azure

✔

✔

✔

✔

✔

Importante

O Snowflake recomenda que você habilite a filtragem de eventos da nuvem para o Snowpipe para reduzir custos, ruído de eventos e latência. Para obter mais informações sobre a configuração da filtragem de eventos para cada provedor de nuvem, consulte as seguintes páginas:

Próximos tópicos: