Automatização do carregamento contínuo de dados usando mensagens em nuvem

Os carregamentos automatizados de dados aproveitam as notificações de eventos para armazenamento em nuvem e informam o Snowpipe sobre a chegada de novos arquivos de dados a serem carregados. O Snowpipe copia os arquivos para uma fila, a partir da qual eles são carregados para a tabela de destino de forma contínua e sem servidor, com base em parâmetros definidos em um objeto de canal especificado.

Nota

  • O Snowpipe automatizado usa notificações de eventos para determinar quando novos arquivos chegam ao armazenamento em nuvem monitorado e estão prontos para serem carregados. As notificações identificam o evento de armazenamento em nuvem e incluem uma lista dos nomes dos arquivos. Elas não incluem os dados reais nos arquivos.

  • Quando um canal é pausado, as mensagens de eventos recebidas para o canal entram em um período de retenção limitado. O período é de 14 dias por padrão. Se um canal for pausado por mais de 14 dias, ele é considerado desatualizado.

    As notificações de eventos recebidas enquanto um canal está pausado são retidas por apenas um período limitado (14 dias). Quando cada notificação chega ao fim desse período, o Snowflake o programa para ser descartado dos metadados internos. Se o canal for retomado mais tarde, Snowpipe pode processar notificações mais antigas que 14 dias com base no melhor esforço. A Snowflake não pode garantir que essas notificações mais antigas sejam processadas.

    Para obter mais informações sobre como retomar canais desatualizados, consulte Gerenciamento do Snowpipe.

A tabela a seguir indica quais serviços de armazenamento em nuvem são compatíveis para o carregamento automático de dados em sua conta Snowflake usando notificações de eventos de armazenamento em nuvem, com base na plataforma de nuvem que hospeda sua conta:

Host da conta Snowflake

Amazon S3

Google Cloud Storage

Armazenamento de blobs do Microsoft Azure

Microsoft Data Lake Storage Gen2

Microsoft Azure de uso geral v2

Amazon Web Services

Google Cloud Platform

Microsoft Azure

Importante

O Snowflake recomenda que você habilite a filtragem de eventos da nuvem para o Snowpipe para reduzir custos, ruído de eventos e latência. Para obter mais informações sobre a configuração da filtragem de eventos para cada provedor de nuvem, consulte as seguintes páginas:

Próximos tópicos: