Cópia de dados de um estágio interno¶

Carregamento de seus dados¶

Execute COPY INTO <tabela> para carregar seus dados preparados na tabela de destino.

COPY INTO mytable from @~/staged FILE_FORMAT = (FORMAT_NAME = 'my_csv_format');

COPY INTO mytable FILE_FORMAT = (TYPE = CSV FIELD_DELIMITER = '|' SKIP_HEADER = 1);

COPY INTO mytable from @my_stage;

Validação de seus dados¶

Antes de carregar seus dados, você pode validar se os dados nos arquivos carregados serão carregados corretamente.

Para validar dados em um arquivo carregado, execute COPY INTO <tabela> no modo de validação usando o parâmetro VALIDATION_MODE. O parâmetro VALIDATION_MODE retorna os erros encontrados em um arquivo. Você pode então modificar os dados no arquivo para garantir que eles sejam carregados sem erros.

Além disso, a opção de cópia ON_ERROR do comando COPY INTO <tabela> indica que ação executar se forem encontrados erros em um arquivo durante o carregamento.

Monitoramento de arquivos preparados internamente¶

O Snowflake mantém metadados detalhados para cada arquivo carregado no estágio interno (para usuários, tabelas e estágios), incluindo:

• Nome do arquivo

• Tamanho do arquivo (comprimido, se a compressão foi especificada durante o upload)

• Data LAST_MODIFIED, isto é, o carimbo de data/hora em que o arquivo de dados foi inicialmente preparado ou quando ele foi modificado pela última vez, o que tiver ocorrido por último

Além disso, o Snowflake retém dados históricos para os comandos COPY INTO executados dentro dos 14 dias anteriores. Os metadados podem ser usados para monitorar e gerenciar o processo de carregamento, incluindo a exclusão de arquivos após a conclusão do carregamento:

• Use o comando LIST para visualizar o status dos arquivos de dados que foram preparados.

• Monitore o status de cada comando COPY INTO <tabela> na página History de Classic Console.

• Use a função VALIDATE para validar os arquivos de dados que você carregou e recuperar quaisquer erros encontrados durante o carregamento.

• Use a LOAD_HISTORY exibição do Information Schema para recuperar o histórico dos dados carregados nas tabelas usando o comando COPYINTO.

Gerenciamento de arquivos de dados¶

Arquivos preparados podem ser excluídos de um estágio do Snowflake (estágio do usuário, estágio da tabela ou estágio nomeado) usando os seguintes métodos:

• Os arquivos que foram carregados com sucesso podem ser excluídos do estágio durante um carregamento especificando a opção de cópia PURGE no comando COPY INTO <tabela>.

• Após a conclusão do carregamento, use o comando REMOVE para remover os arquivos no estágio.

A remoção dos arquivos garante que eles não sejam carregados inadvertidamente novamente. Também melhora o desempenho de carregamento, pois reduz o número de arquivos que os comandos COPY devem examinar para verificar se os arquivos existentes em um estágio já foram carregados.

COPY FILES
  INTO @trg_stage
  FROM @src_stage;