Automatização do carregamento contínuo de dados usando mensagens em nuvem¶
Os carregamentos automatizados de dados aproveitam as notificações de eventos para armazenamento em nuvem e informam o Snowpipe sobre a chegada de novos arquivos de dados a serem carregados. O Snowpipe copia os arquivos para uma fila, a partir da qual eles são carregados para a tabela de destino de forma contínua e sem servidor, com base em parâmetros definidos em um objeto de canal especificado.
Nota
O Snowpipe automatizado usa notificações de eventos para determinar quando novos arquivos chegam ao armazenamento em nuvem monitorado e estão prontos para serem carregados. As notificações identificam o evento de armazenamento em nuvem e incluem uma lista dos nomes dos arquivos. Elas não incluem os dados reais nos arquivos.
Quando um canal é pausado, as mensagens de eventos recebidas para o canal entram em um período de retenção limitado. O período é de 14 dias por padrão. Se um canal for pausado por mais de 14 dias, ele é considerado desatualizado.
As notificações de eventos recebidas enquanto um canal está pausado são retidas por apenas um período limitado (14 dias). Quando cada notificação chega ao fim desse período, o Snowflake o programa para ser descartado dos metadados internos. Se o canal for retomado mais tarde, Snowpipe pode processar notificações mais antigas que 14 dias com base no melhor esforço. A Snowflake não pode garantir que essas notificações mais antigas sejam processadas.
Para obter mais informações sobre como retomar canais desatualizados, consulte Gerenciamento do Snowpipe.
A tabela a seguir indica quais serviços de armazenamento em nuvem são compatíveis para o carregamento automático de dados em sua conta Snowflake usando notificações de eventos de armazenamento em nuvem, com base na plataforma de nuvem que hospeda sua conta:
Host da conta Snowflake |
Amazon S3 |
Google Cloud Storage |
Armazenamento de blobs do Microsoft Azure |
Microsoft Data Lake Storage Gen2 |
Microsoft Azure de uso geral v2 |
|---|---|---|---|---|---|
Amazon Web Services |
✔ |
✔ |
✔ |
✔ |
✔ |
Google Cloud Platform |
✔ |
✔ |
✔ |
✔ |
✔ |
Microsoft Azure |
✔ |
✔ |
✔ |
✔ |
✔ |
Importante
O Snowflake recomenda que você habilite a filtragem de eventos da nuvem para o Snowpipe para reduzir custos, ruído de eventos e latência. Para obter mais informações sobre a configuração da filtragem de eventos para cada provedor de nuvem, consulte as seguintes páginas:
Próximos tópicos: