Políticas de ciclo de vida de armazenamento¶
Nota
As políticas de ciclo de vida de armazenamento não estão disponíveis atualmente em regiões governamentais.
Uma política de ciclo de vida de armazenamento é um objeto de nível de esquema que gerencia automaticamente o ciclo de vida dos dados para tabelas Snowflake padrão. Use essas políticas para arquivar ou expirar linhas específicas da tabela com base em condições definidas por você, como a idade dos dados ou outros critérios. O Snowflake executa essas políticas automaticamente todos os dias, usando recursos de computação compartilhados.
Como funcionam as políticas de ciclo de vida de armazenamento¶
Para começar a usar as políticas de ciclo de vida de armazenamento, siga estas etapas:
Crie uma política com uma expressão que identifique as linhas a serem arquivadas ou expiradas.
Depois de anexar uma política de ciclo de vida de armazenamento a uma tabela, o Snowflake aguarda aproximadamente 24 horas antes de executar a política pela primeira vez. Após esse atraso inicial, o Snowflake executa a política diariamente de modo automático, usando recursos de computação compartilhados para identificar e processar as linhas que atendem às condições definidas.
Quando a política é executada, ela verifica cada linha em relação à sua expressão e arquiva os dados no armazenamento COOL ou COLD ou os expira (os exclui permanentemente). Você pode recuperar os dados arquivados usando o comando CREATE TABLE … FROM ARCHIVE OF antes que a expiração ocorra. O Snowflake aguarda até que passe o período de arquivamento especificado para expirar os dados do armazenamento de arquivamento.
Principais recursos¶
As políticas de ciclo de vida do armazenamento oferecem os seguintes benefícios para o gerenciamento de seus dados do Snowflake.
- Custos de armazenamento reduzidos
As políticas de ciclo de vida do armazenamento ajudam a otimizar os custos movendo automaticamente os dados mais antigos para camadas de arquivamento mais econômicas. Para dados que precisam ser retidos a longo prazo, mas acessados com pouca frequência, o armazenamento de arquivamento pode reduzir significativamente os custos de armazenamento em comparação com as camadas de armazenamento padrão.
- Conformidade regulatória
Atenda automaticamente aos requisitos de conformidade configurando políticas para arquivar ou expirar dados de acordo com os padrões regulatórios. Você pode arquivar dados por um período específico antes da expiração ou expirá-los diretamente sem arquivá-los. Isso garante que o gerenciamento de seus dados siga os padrões de governança da sua organização.
- Gerenciamento de dados simplificado
As políticas de ciclo de vida de armazenamento eliminam tarefas manuais de gerenciamento de dados, executando automaticamente regras de arquivamento e expiração. Para obter mais informações, consulte Monitoramento de políticas de ciclo de vida de armazenamento.
- Recuperação de dados flexível
Recupere dados arquivados com precisão criando uma nova tabela que contenha apenas as linhas necessárias. Use um comando simples com uma cláusula WHERE para especificar exatamente quais dados arquivados restaurar.
Camadas de armazenamento de arquivo¶
O Snowflake é compatível com o arquivamento de dados nas seguintes camadas de armazenamento:
Camada de arquivo |
Descrição |
|---|---|
COOL |
Oferece tempo de recuperação rápido, para que os dados estejam prontamente disponíveis. O período mínimo de arquivamento é de 90 dias. |
COLD |
Oferece maior economia de custos do que a camada COOL (quatro vezes mais barata). O período mínimo de arquivamento é de 180 dias. Em comparação com a camada COOL, a COLD tem um tempo de recuperação de dados mais longo (até 48 horas). As operações de recuperação de dados da camada de armazenamento COLD são compatíveis com no máximo um milhão de arquivos por operação de restauração. |
Escolha de uma camada de arquivamento¶
Ao selecionar uma camada de arquivamento, considere o seguinte:
Custos de arquivamento: o custo único para arquivar dados é o mesmo para ambas as camadas.
Custos de armazenamento: o armazenamento da camada COLD é mais barato do que o da camada COOL.
Custos de recuperação: a recuperação de dados da camada COLD é mais barata do que a da camada COOL.
Tempo de recuperação: a camada de armazenamento COOL oferece recuperação instantânea de dados, enquanto a recuperação da camada COLD pode levar até 48 horas.
Para obter informações detalhadas sobre preços, consulte as tabelas 3(e) e 4(f) na Tabela de consumo de serviços do Snowflake.
Para obter mais informações sobre arquivamento de dados, consulte Criar uma política de ciclo de vida de armazenamento e Considerações sobre armazenamento de arquivamento.
Considerações¶
Considere o seguinte ao trabalhar com políticas de ciclo de vida de armazenamento.
Suporte ao provedor de nuvem¶
Políticas de expiração: compatíveis com contas hospedadas em todos os provedores de nuvem (AWS, Azure e Google Cloud).
Políticas de arquivamento: atualmente disponíveis apenas para contas hospedadas na AWS.
Tabelas e recursos compatíveis¶
Tabelas compatíveis: as políticas de ciclo de vida de armazenamento são compatíveis com tabelas Snowflake padrão. Para avaliar e aplicar expressões da política de ciclo de vida de armazenamento, o Snowflake ignora as políticas de governança em uma tabela de maneira interna e temporária.
Replicação:
O Snowflake replica as políticas de ciclo de vida de armazenamento e as associações com tabelas para contas de destino, mas não executa as políticas.
Após o failover para uma conta de destino, o Snowflake pausa a execução da política de ciclo de vida de armazenamento na conta primária original. Após o failback para a conta primária original, o Snowflake retoma a execução da política.
O Snowflake nunca executa automaticamente políticas de ciclo de vida de armazenamento secundárias em tabelas secundárias, mesmo após um failover. No entanto, você pode usar políticas secundárias em uma conta de destino, anexando-as a novas tabelas. Para essas novas tabelas, o Snowflake executa as políticas.
Clonagem: o Snowflake não aplica automaticamente políticas de ciclo de vida de armazenamento a tabelas clonadas. Se você aplicar uma política de ciclo de vida de armazenamento a uma tabela em um grupo de clones, o Snowflake arquivará linhas apenas dessa tabela específica. A política não afeta clones. Isso cria cópias dos dados nas camadas de armazenamento padrão e de arquivo, e você paga pelo armazenamento em cada camada. Para obter informações sobre custos, consulte Cobrança para políticas de ciclo de vida de armazenamento.
Recursos não compatíveis
As políticas de ciclo de vida de armazenamento não são compatíveis com os seguintes itens:
Todos os tipos de objeto, exceto tabelas regulares do Snowflake e tabelas dinâmicas.
Instantâneos Write Once Read Many (WORM), que são instantâneos imutáveis (não podem ser modificados após a criação).
Tabelas compartilhadas pelo compartilhamento de dados do Snowflake (tabelas de provedor e consumidor).
Apps nativos.
Funções definidas pelo usuário (UDFs) com acesso externo e funções externas.
UDFs Python, Java ou Scala.
Comportamento e execução de políticas¶
As políticas de ciclo de vida de armazenamento usam diretrizes de desempenho semelhantes às diretrizes para políticas de acesso em nível de linha e operam automaticamente com as seguintes características:
Quando você associa uma política de ciclo de vida de armazenamento a uma tabela, o Snowflake aguarda aproximadamente 24 horas antes de executá-la pela primeira vez.
O Snowflake executa políticas de ciclo de vida de armazenamento diariamente utilizando recursos computacionais compartilhados. Para obter informações sobre o custo das políticas de ciclo de vida de armazenamento, consulte Cobrança para políticas de ciclo de vida de armazenamento.
Para evitar execuções de arquivamento ou expiração excessivamente longas, o Snowflake processa grandes operações de dados de modo incremental em partes menores. Uma grande operação pode ser concluída em várias execuções diárias em vez de em uma única execução diária.
Quando uma política de ciclo de vida de armazenamento está em execução em uma tabela, o Snowflake bloqueia as operações UPDATE, DELETE e MERGE. Você ainda pode executar operações INSERT e COPY durante esse período. Para obter mais informações, consulte Bloqueio de recursos.
Políticas de armazenamento de arquivos¶
Para trabalhar com tabelas que têm uma política de ciclo de vida de armazenamento de arquivos anexada:
Acesso a dados arquivados: depois que o Snowflake arquiva as linhas, você não pode consultá-las diretamente. Para acessá-las, use o comando CREATE TABLE … FROM ARCHIVE OF para criar uma nova tabela com uma cópia dos dados arquivados. Para obter mais informações, consulte Recuperação de dados arquivados.
Segurança: você pode usar Tri-Secret Secure (TSS) para proteger os dados arquivados com rotação regular de chaves.
Recodificação de chaves: o Snowflake não recodifica os dados arquivados. Se você suspeitar de comprometimento de chave, use a seguinte solução alternativa:
Recupere os dados arquivados para uma nova tabela com o comando CREATE TABLE … FROM ARCHIVE OF.
Arquive os dados na nova tabela quando necessário. Cada tabela tem a própria chave de criptografia; portanto, a nova tabela efetivamente usa uma nova chave.
Descarte o arquivo da tabela original na qual as chaves foram comprometidas.
Limitações da camada de arquivamento:
Você não pode alterar a camada de arquivamento de uma política de COOL para COLD (ou vice-versa). Crie uma nova política (consulte Recriar uma política de ciclo de vida de armazenamento).
Uma tabela só pode usar uma camada de arquivamento. Você não pode anexar uma política COLD a uma tabela que já usa arquivamento COOL.
Remoção de políticas: quando você remove uma política de uma tabela, os dados arquivados permanecem no armazenamento de arquivos e ainda podem ser recuperados.
Descarte ou truncamento de uma tabela:
Truncar uma tabela não afeta os dados arquivados dessa tabela. Você ainda poderá recuperar dados do armazenamento de arquivos após truncar a tabela.
Quando você usa UNDROP TABLE para restaurar uma tabela em um período de retenção de dados Time Travel aplicável, o Snowflake também restaura quaisquer dados no armazenamento de arquivo.
Quando uma tabela está dentro do período Fail-safe, os dados no armazenamento de arquivo podem ser recuperados com as etapas de recuperação de dados Fail-safe por meio do suporte Snowflake.
Os dados da tabela no armazenamento de arquivo que você excluir antes do período ARCHIVE_FOR_DAYS expirar estão sujeitos ao custo de armazenamento. Para obter mais informações, consulte Cobranças pela duração mínima de armazenamento.