Carregamento em massa a partir do Amazon S3

Se você já possui uma conta da Amazon Web Services (AWS) e usa buckets S3 para armazenar e gerenciar seus arquivos de dados, você pode fazer uso de seus buckets e caminhos de pastas existentes para carregamento em massa para o Snowflake. Este conjunto de tópicos descreve como usar o comando COPY para carregamento em massa de um bucket S3 para tabelas.

Como ilustrado no diagrama abaixo, o carregamento de dados de um bucket S3 é realizado em duas etapas:

Etapa 1:

O Snowflake assume que os arquivos de dados já tenham sido preparados em um bucket S3. Se eles ainda não tiverem sido preparados, use os utilitários/interfaces de upload fornecidos pela AWS para preparar os arquivos.

Etapa 2:

Use o comando COPY INTO <tabela> para carregar o conteúdo do(s) arquivo(s) preparado(s) em uma tabela do banco de dados Snowflake. Você pode carregar diretamente do bucket, mas a Snowflake recomenda que você crie um estágio externo que faça referência ao bucket e use o estágio externo.

Independentemente do método utilizado, esta etapa requer um warehouse virtual atual e em funcionamento para a sessão se você executar o comando manualmente ou dentro de um script. O warehouse fornece os recursos computacionais para realizar a inserção real de linhas na tabela.

Visão geral do carregamento de dados

Nota

O Snowflake utiliza os pontos de extremidade de gateway do Amazon S3 em cada instância do Amazon Virtual Private Cloud.

Se o bucket S3 referenciado por seu estágio externo estiver na mesma região que sua conta Snowflake, seu tráfego de rede não atravessa a internet pública. Os pontos de extremidade de gateway do Amazon S3 garantem que o tráfego regional permaneça dentro da rede AWS.

Dica

As instruções neste conjunto de tópicos supõem que você tenha lido Preparação para carregar dados e criado um formato de arquivo nomeado, se desejar.

Antes de começar, você também pode ler Considerações sobre o carregamento de dados para obter práticas recomendadas, dicas e outras orientações.

Próximos tópicos: