Carregamento em massa a partir do Amazon S3¶
Se você já possui uma conta da Amazon Web Services (AWS) e usa buckets S3 para armazenar e gerenciar seus arquivos de dados, você pode fazer uso de seus buckets e caminhos de pastas existentes para carregamento em massa para o Snowflake. Este conjunto de tópicos descreve como usar o comando COPY para carregamento em massa de um bucket S3 para tabelas.
Como ilustrado no diagrama abaixo, o carregamento de dados de um bucket S3 é realizado em duas etapas:
- Etapa 1:
O Snowflake assume que os arquivos de dados já tenham sido preparados em um bucket S3. Se eles ainda não tiverem sido preparados, use os utilitários/interfaces de upload fornecidos pela AWS para preparar os arquivos.
- Etapa 2:
Use o comando COPY INTO <tabela> para carregar o conteúdo do(s) arquivo(s) preparado(s) em uma tabela do banco de dados Snowflake. Você pode carregar diretamente do bucket, mas a Snowflake recomenda que você crie um estágio externo que faça referência ao bucket e use o estágio externo.
Independentemente do método utilizado, esta etapa requer um warehouse virtual atual e em funcionamento para a sessão se você executar o comando manualmente ou dentro de um script. O warehouse fornece os recursos computacionais para realizar a inserção real de linhas na tabela.
Nota
O Snowflake utiliza os pontos de extremidade de gateway do Amazon S3 em cada instância do Amazon Virtual Private Clouds.
Enquanto sua conta Snowflake estiver hospedada no AWS, seu tráfego de rede não atravessará a Internet pública. Isso é verdade independentemente da região em que seu bucket S3 está.
Dica
As instruções neste conjunto de tópicos supõem que você tenha lido Preparação para carregar dados e criado um formato de arquivo nomeado, se desejar.
Antes de começar, você também pode ler Considerações sobre o carregamento de dados para obter práticas recomendadas, dicas e outras orientações.
Próximos tópicos:
Tarefas de configuração (complete conforme necessário):
Tarefas de carregamento de dados (completas para cada conjunto de arquivos que você carrega):