Solução de problemas do Snowpipe¶

Notificações de erro¶

Configure notificações de erro do Snowpipe. Quando o Snowpipe encontra erros durante uma carga, o recurso envia uma notificação para um serviço de mensagens em nuvem configurado, permitindo a análise de seus arquivos de dados. Para obter mais informações, consulte Notificações de erro do Snowpipe.

Etapas gerais de solução de problemas¶

Complete as seguintes etapas para identificar a causa da maioria dos problemas que impedem o carregamento automático de arquivos.

Arquivos gerados no armazenamento do Microsoft Azure Data Lake Storage Gen2 não carregados¶

Atualmente, alguns clientes de terceiros não chamam FlushWithClose na API REST do ADLS Gen 2. Esta etapa é necessária para acionar eventos que notificam o Snowpipe para carregar os arquivos. Tente chamar a API REST manualmente para acionar o Snowpipe para carregar esses arquivos.

Para obter mais informações sobre o método Flush com o argumento close, consulte https://docs.microsoft.com/en-us/dotnet/api/azure.storage.files.datalake.datalakefileclient.flush. Para informações adicionais de referência da API REST sobre o carregamento do parâmetro close, consulte https://docs.microsoft.com/en-us/rest/api/storageservices/datalakestoragegen2/path/update.

O Snowpipe para de carregar arquivos depois que a assinatura do tópico do Amazon SNS é excluída¶

A primeira vez que um usuário cria um objeto de canal que faz referência a um tópico específico do Amazon Simple Notification Service (SNS), o Snowflake inscreve no tópico uma fila do Amazon Simple Queue Service (SQS) de propriedade do Snowflake. Se um administrador AWS apagar a assinatura SQS do tópico SNS, qualquer canal que faça referência ao tópico não receberá mais mensagens de eventos do Amazon S3.

Para resolver o problema:

1. Aguarde 72 horas a partir do momento em que a assinatura do tópico SNS foi excluída.

   Após 72 horas, o Amazon SNS apaga a assinatura excluída. Para obter mais informações, consulte a documentação do Amazon SNS.

2. Recrie canais que façam referência ao tópico (usando CREATE OR REPLACE PIPE). Faça referência ao mesmo tópico SNS na definição do canal. Para obter instruções, consulte Etapa 3: criar um canal com ingestão automática habilitada.

Todos os canais que funcionavam antes da exclusão da assinatura do tópico SNS devem agora começar a receber novamente mensagens de eventos do S3.

Para contornar a espera de 72 horas, você pode criar um tópico SNS com um nome diferente. Recrie canais que façam referência ao tópico usando o comando CREATE OR REPLACE PIPE e especifique o novo nome do tópico.

Carregamentos do Google Cloud Storage atrasados ou arquivos perdidos¶

Quando o carregamento automático de dados do Google Cloud Storage (GCS) usando mensagens Pub/Sub é configurado, a mensagem de evento para apenas um único arquivo preparado pode ser lida. Alternativamente, os carregamentos de dados do GCS podem ser atrasados de vários minutos a um dia ou mais. Em geral, qualquer um dos problemas é causado quando um administrador GCS não concedeu a função Monitoring Viewer à conta do serviço Snowflake.

Para instruções, consulte “Etapa 2: Conceder acesso do Snowflake à assinatura Pub/Sub” em Configuração de acesso seguro ao armazenamento em nuvem.

Notificações de erro¶

O suporte a notificações de erro do Snowpipe está disponível para contas Snowflake hospedadas na Amazon Web Services (AWS). Os erros encontrados durante um carregamento de dados acionam notificações que permitem a análise de seus arquivos de dados. Para obter mais informações, consulte Notificações de erro do Snowpipe.

Etapas gerais de solução de problemas¶

Complete as seguintes etapas para identificar a causa da maioria dos problemas que impedem o carregamento de arquivos.

snowflake.ingest.error.IngestResponseError: Http Error: 401, Vender Code: 390144, Message: JWT token is invalid.

Conjunto de arquivos não carregados¶

Dados duplicados nas tabelas de destino¶

Compare as instruções COPY INTO <tabela> nas definições de todos os canais da conta executando SHOW PIPES ou consultando a exibição PIPES no Account Usage ou a exibição PIPES no Information Schema. Se vários canais fizerem referência ao mesmo local de armazenamento em nuvem nas instruções COPY INTO <tabela>, verifique se os caminhos do diretório não se sobrepõem. Caso contrário, vários canais poderiam carregar o mesmo conjunto de arquivos de dados nas tabelas de destino. Por exemplo, esta situação pode ocorrer quando múltiplas definições de canais fazem referência ao mesmo local de armazenamento com diferentes níveis de granularidade, como <local_de_armazenamento>/path1/ e <local_de_armazenamento>/path1/path2/. Neste exemplo, se os arquivos fossem preparados em <local_armazenamento>/path1/path2/, ambos os canais carregariam uma cópia dos arquivos.

Incapaz de recarregar dados modificados, dados modificados carregados involuntariamente¶

O Snowflake usa metadados de carregamento de arquivos para evitar recarregar os mesmos arquivos (e duplicar dados) em uma tabela. O Snowpipe impede o carregamento de arquivos com o mesmo nome, mesmo que tenham sido modificados posteriormente (ou seja, tenham uma eTag diferente).

Os metadados de carregamento de arquivo estão associados ao objeto de canal e não à tabela. Como resultado:

• Arquivos preparados com o mesmo nome dos arquivos que já foram carregados são ignorados, mesmo que tenham sido modificados, por exemplo, se novas linhas tiverem sido adicionadas ou se erros no arquivo tiverem sido corrigidos.

• O truncamento da tabela usando o comando TRUNCATE TABLE não elimina o arquivo Snowpipe carregando metadados.

Entretanto, observe que os canais só mantêm os metadados do histórico de carregamento durante 14 dias. Portanto:

Arquivos modificados e preparados novamente dentro de 14 dias:

O Snowpipe ignora os arquivos modificados que são preparados novamente. Para recarregar arquivos de dados modificados, atualmente é necessário recriar o objeto de canal usando a sintaxe CREATE OR REPLACE PIPE.

O exemplo a seguir recria o canal mypipe com base no exemplo na Etapa 1 de Preparação para carregamento de dados usando a API REST Snowpipe:

create or replace pipe mypipe as copy into mytable from @mystage;

Copy

Arquivos modificados e preparados novamente após 14 dias:

O Snowpipe carrega novamente os dados, o que pode resultar em registros duplicados na tabela de destino.

Além disso, registros duplicados podem ser carregados na tabela de destino se forem executadas instruções COPY INTO <tabela> que façam referência ao mesmo bucket/contêiner, caminho e tabela de destino que em seus carregamentos ativos do Snowpipe. Os históricos de carregamento do comando COPY e Snowpipe são armazenados separadamente no Snowflake. Depois de ter carregado dados históricos preparados, se você precisar carregar dados manualmente usando a configuração do canal, execute uma instrução ALTER PIPE … REFRESH. Consulte Conjunto de arquivos não carregados neste tópico para obter mais informações.

Tempos de carregamento inseridos usando CURRENT_TIMESTAMP antes dos valores LOAD_TIME na exibição COPY_HISTORY¶

Os criadores de tabelas podem adicionar uma coluna de carimbo de data/hora que insere o carimbo de data/hora atual como o valor padrão à medida que os registros são carregados em uma tabela. A intenção é capturar o tempo em que cada registro foi carregado na tabela; entretanto, os carimbos de data/hora são anteriores aos valores da coluna LOAD_TIME retornados pela função COPY_HISTORY (Information Schema) ou a exibição COPY_HISTORY (Account Usage). O motivo é que CURRENT_TIMESTAMP é avaliado quando a operação de carregamento é compilada em serviços de nuvem e não quando o registro é inserido na tabela (ou seja, quando a transação para a operação de carregamento é confirmada).

Erro: Integration {0} associated with the stage {1} cannot be found¶

003139=SQL compilation error:\nIntegration ''{0}'' associated with the stage ''{1}'' cannot be found.

Esse erro pode ocorrer quando a associação entre o estágio externo e a integração de armazenamento vinculada ao estágio foi interrompida. Isso acontece quando o objeto de integração de armazenamento foi recriado (usando CREATE OR REPLACE STORAGE INTEGRATION). Um estágio se liga a uma integração de armazenamento usando uma ID oculta em vez do nome da integração de armazenamento. Nos bastidores, a sintaxe CREATE OR REPLACE descarta o objeto e o recria com uma ID oculta diferente.

Se você precisar recriar uma integração de armazenamento após ter sido vinculada a um ou mais estágios, será necessário restabelecer a associação entre cada estágio e a integração de armazenamento executando ALTER STAGE stage_name SET STORAGE_INTEGRATION = storage_integration_name, em que:

• stage_name é o nome do estágio.

• storage_integration_name é o nome da integração de armazenamento.

Erros do Snowpipe referenciando regiões governamentais¶

Você pode receber um erro quando o Snowpipe fizer referência a um bucket em uma região governamental enquanto a conta estiver em uma região comercial. Observe que as regiões governamentais dos provedores de nuvem não permitem o envio de notificações de eventos de ou para outras regiões comerciais. Para obter mais informações, consulte AWS GovCloud (US) e Azure Government.