Monitoramento da atividade de carregamento de dados usando o histórico de cópias

Você pode monitorar a atividade de carregamento de dados de todas as tabelas da sua conta ou de uma tabela específica usando Snowsight ou SQL.

Monitoramento do carregamento de dados de sua conta usando o histórico de cópias

Revise a atividade de carregamento de dados que ocorreu nos últimos 365 dias para todas as tabelas de sua conta usando a página Copy History em Snowsight ou o Exibição COPY_HISTORY no esquema ACCOUNT_USAGE do banco de dados SNOWFLAKE.

A atividade de carregamento de dados no nível da conta tem latência de até 2 horas e inclui carregamento de dados em massa realizado usando instruções COPY INTO, carregamento contínuo de dados usando canais e arquivos carregados por meio da interface da Web.

Pré-requisitos

  • Você deve usar uma função com acesso ao banco de dados SNOWFLAKE. Consulte Habilitação do uso do banco de dados SNOWFLAKE para outras funções.

  • Visualizar a página Copy History em Snowsight ou consultar o banco de dados SNOWFLAKE requer um warehouse. Se você tiver um warehouse padrão para seu usuário, Snowsight usará esse warehouse. Você pode trocar de warehouses a qualquer momento.

Revisão do histórico de cópia no nível de conta

Nota

Você deve usar uma função com acesso ao banco de dados SNOWFLAKE. Consulte Habilitação do uso do banco de dados SNOWFLAKE para outras funções.

  1. Entre em Snowsight.

  2. Selecione Monitoring » Copy History.

O gráfico Copies Over Time fornece uma visualização do carregamento de dados durante um determinado período de tempo. Por padrão, o gráfico mostra um histórico de 7 dias com cada barra do gráfico representando um dia.

Selecione uma barra no gráfico para filtrar a tabela Copies até aquele dia.

Para obter mais detalhes sobre a atividade de carregamento de dados, você pode revisar a tabela Copies. A tabela inclui as seguintes informações:

  • File Name exibe o nome do arquivo carregado.

  • Loaded exibe o carimbo de data/hora em seu fuso horário local de quando os dados foram carregados.

  • Status exibe o status do carregamento de dados. Você pode passar o mouse sobre os carregamentos de dados com status Failed para revisar os detalhes do erro.

  • Database exibe o banco de dados no qual os dados foram carregados.

  • Schema exibe o esquema no qual os dados foram carregados.

  • Table exibe a tabela na qual os dados foram carregados.

  • Pipe exibe o canal usado para carregar dados, se aplicável.

  • Size exibe o tamanho dos dados carregados, arredondado para o ponto decimal mais próximo em KB, MB, GB ou TB. Por exemplo, se você carregar 45.800 bytes, o tamanho será listado como 45.8KB.

  • Rows exibe o número de linhas carregadas, arredondado para a casa decimal mais próxima em milhares, milhões e assim por diante. Por exemplo, se você carregar 2.000 linhas de dados, as linhas serão listadas como 2K.

  • Location exibe um link para o local de onde os dados foram carregados. Por exemplo, um link para um bucket AWS S3 adicionado como um estágio externo ou um estágio nomeado interno. Passe o mouse sobre o link para ver o nome do estágio ou selecione o link para copiar o caminho para o estágio.

Para identificar mais facilmente atividades específicas de carregamento de dados, você pode pesquisar e filtrar a página Histórico de cópias.

Você pode filtrar pelo seguinte:

  • Período, até 365 dias (1 ano)

  • Status da atividade de carregamento de dados, como All (padrão), In progress, Loaded, Failed, Partially loaded e Skipped.

  • A localização dos dados:

    • Banco de dados

    • Esquema

    • Canal

Você também pode pesquisar os valores das colunas na tabela Copies para atividades específicas de carregamento de dados.

Selecione Abertura da consulta SQL subjacente na planilha (Open underlying SQL query in worksheet) para abrir a planilha que contém a consulta SQL usada para preencher a tabela. A consulta SQL é baseada nos filtros que você seleciona.

Quando você seleciona uma atividade de carregamento de dados específica na tabela Copies, Snowsight abre o nível de tabela Copy History. Consulte Monitoramento do carregamento de dados de uma tabela usando o histórico de cópias. Você poderá ver resultados mais recentes nessa tabela devido à latência reduzida, mas só poderá revisar 14 dias de atividade.

Monitoramento do carregamento de dados de uma tabela usando o histórico de cópias

Revise a atividade de carregamento de dados que ocorreu nos últimos 14 dias para uma tabela específica em um banco de dados usando os detalhes Copy History da tabela em Snowsight ou a função de tabela COPY_HISTORY.

A atividade de carregamento de dados no nível de tabela tem latência muito baixa e inclui carregamento de dados em massa realizado usando instruções COPY INTO, carregamento contínuo de dados usando canais e arquivos carregados por meio da interface da web.

Pré-requisitos

Você deve usar uma função que tenha um dos seguintes:

  • O privilégio MONITOR na sua conta Snowflake.

  • O privilégio USAGE no banco de dados e no esquema que contém a tabela, e qualquer privilégio na tabela.

Se você usar uma função que não tenha o privilégio MONITOR no canal, os detalhes do canal serão mascarados como NULL.

Visualizar os detalhes de Copy History para um banco de dados em Snowsight ou executar a função de tabela requer um warehouse. Se você tiver um warehouse padrão para seu usuário, Snowsight usará esse warehouse. Você pode trocar de warehouses a qualquer momento.

Revisão do histórico de cópias no nível de tabela

Para revisar o histórico de cópias de uma tabela, localize e abra a tabela cuja atividade você deseja revisar:

  1. Entre em Snowsight.

  2. Selecione Data » Databases.

  3. Localize e selecione o banco de dados com a tabela cuja atividade você deseja revisar.

  4. Selecione o esquema com a tabela cuja atividade você deseja revisar.

  5. Selecione Tables e selecione a tabela.

  6. Nos detalhes da tabela, selecione a guia Copy History.

O gráfico Copies Over Time fornece uma visualização do carregamento de dados durante um determinado período de tempo. Por padrão, o gráfico mostra um histórico de 7 dias com cada barra do gráfico representando um dia.

Selecione uma barra no gráfico para filtrar a tabela Copies até aquele dia.

Você pode filtrar pelo seguinte:

  • Intervalo, até 14 dias.

  • Status da atividade de carregamento de dados, como All (padrão), In progress, Loaded, Failed, Partially loaded e Skipped.

  • O canal usado para carregar os dados.

Você também pode pesquisar os valores das colunas na tabela Copies para atividades específicas de carregamento de dados.

Selecione Abertura da consulta SQL subjacente na planilha (Open underlying SQL query in worksheet) para abrir a planilha que contém a consulta SQL usada para preencher a tabela. A consulta SQL é baseada nos filtros que você seleciona.