Políticas de ciclo de vida de armazenamento¶
Uma política de ciclo de vida de armazenamento é um objeto no nível do esquema que gerencia automaticamente o ciclo de vida dos dados para tabelas padrão e interativas do Snowflake. Use essas políticas para arquivar ou expirar linhas específicas da tabela com base em condições definidas por você, como idade dos dados ou outros critérios. O Snowflake executa essas políticas automaticamente todos os dias usando recursos de computação compartilhados.
Como funcionam as políticas de ciclo de vida de armazenamento¶
Para começar a usar as políticas de ciclo de vida de armazenamento, conclua estas etapas:
Crie uma política com uma expressão que identifique as linhas a serem arquivadas ou expiradas.
Depois de anexar uma política de ciclo de vida de armazenamento a uma tabela, o Snowflake aguarda aproximadamente 24 horas antes de executar a política pela primeira vez. Após esse atraso inicial, o Snowflake executa a política diariamente de modo automático usando recursos de computação compartilhados para identificar e processar as linhas que atendem às condições definidas.
Quando a política é executada, ela verifica cada linha em relação à sua expressão e arquiva os dados em armazenamento COOL ou COLD ou os expira, o que os exclui permanentemente. Você pode recuperar os dados arquivados usando o comando CREATE TABLE … FROM ARCHIVE OF antes que a expiração ocorra. O Snowflake aguarda até que passe o período de arquivamento especificado para expirar os dados do armazenamento de arquivamento.
Principais recursos¶
As políticas de ciclo de vida do armazenamento oferecem os seguintes benefícios para o gerenciamento de seus dados do Snowflake.
- Custos de armazenamento reduzidos
As políticas de ciclo de vida do armazenamento ajudam a otimizar os custos movendo automaticamente os dados mais antigos para camadas de arquivamento mais econômicas. Para dados que precisam ser retidos a longo prazo, mas acessados com pouca frequência, o armazenamento de arquivos pode reduzir significativamente os custos de armazenamento em comparação com as camadas de armazenamento padrão.
- Conformidade regulatória
Atenda automaticamente aos requisitos de conformidade configurando políticas para arquivar ou expirar dados de acordo com os padrões regulatórios. Você pode arquivar dados por um período específico antes da expiração ou expirá-los diretamente sem arquivá-los. Isso garante que o gerenciamento de seus dados siga os padrões de governança da sua organização.
- Gerenciamento de dados simplificado
As políticas de ciclo de vida de armazenamento eliminam tarefas manuais de gerenciamento de dados, executando automaticamente regras de arquivamento e expiração. Para obter mais informações, consulte Monitor storage lifecycle policies.
- Recuperação de dados flexível
Recupere dados arquivados com precisão criando uma nova tabela que contenha apenas as linhas necessárias. Use um comando simples com uma cláusula WHERE para especificar exatamente quais dados arquivados restaurar.
Camadas de armazenamento de arquivo¶
O Snowflake é compatível com o arquivamento de dados nas seguintes camadas de armazenamento:
Camada de arquivo |
Descrição |
|---|---|
COOL |
Oferece tempo de recuperação rápido, para que os dados estejam prontamente disponíveis. O período mínimo de arquivamento é de 90 dias. |
COLD |
Oferece maior economia de custos do que a camada COOL, é quatro vezes mais barata. O período mínimo de arquivamento é de 180 dias. Em comparação com a camada COOL, a COLD tem um tempo de recuperação de dados mais longo, de até 48 horas. As operações de recuperação de dados da camada de armazenamento COLD são compatíveis com no máximo um milhão de arquivos por operação de restauração. |
Escolha de uma camada de arquivamento¶
Ao selecionar uma camada de arquivamento, considere os seguintes fatores:
Custos de arquivamento: o custo único para arquivar dados é o mesmo para ambas as camadas.
Custos de armazenamento: o armazenamento da camada COLD é mais barato do que o da camada COOL.
Custos de recuperação: a recuperação de dados da camada COLD é mais barata do que a da camada COOL.
Tempo de recuperação: a camada de armazenamento COOL oferece recuperação instantânea de dados, enquanto a recuperação da camada COLD pode levar até 48 horas.
Importante
Se você anexar uma política de armazenamento de arquivos a uma tabela, a tabela será permanentemente atribuída à camada de arquivos especificada. Não é possível alterar a camada de arquivos aplicando uma nova política. Por exemplo, não é possível especificar uma política criada com uma camada de arquivos COOL em ALTER TABLE…DROP STORAGE LIFECYCLE POLICY e, posteriormente, alterar a tabela para adicionar uma política criada com uma camada de arquivos COLD. Para alterar a camada de arquivos de uma tabela, entre em contato com o suporte Snowflake para solicitar a exclusão dos dados já arquivados. Para considerações adicionais, consulte Políticas de armazenamento de arquivos.
Para obter informações detalhadas sobre preços, consulte as tabelas 3(e) e 4(f) na Tabela de consumo de serviços do Snowflake.
Para obter mais informações sobre arquivamento de dados, consulte Criar uma política de ciclo de vida de armazenamento e Considerações sobre armazenamento de arquivos.
Considerações¶
Considere as informações a seguir ao trabalhar com políticas de ciclo de vida de armazenamento.
Suporte ao provedor de nuvem¶
Políticas de expiração: compatíveis com as contas hospedadas em todos os provedores de nuvem: Amazon Web Services (AWS), Microsoft Azure e Google Cloud.
Políticas de arquivamento:
Camada COOL: disponível para contas hospedadas na AWS e no Microsoft Azure.
Camada COLD: disponível somente para contas hospedadas na AWS.
Tabelas e recursos compatíveis¶
Tabelas compatíveis: as políticas de ciclo de vida de armazenamento são compatíveis com as tabelas padrão do Snowflake e com tabelas interativas sem atualização automática. Para avaliar e aplicar expressões da política de ciclo de vida de armazenamento, o Snowflake ignora interna e temporariamente qualquer política de governança em uma tabela.
Replicação:
O Snowflake replica as políticas de ciclo de vida de armazenamento e as associações com tabelas para contas de destino, mas não executa as políticas.
O Snowflake não replica dados arquivados nas camadas COOL ou COLD. Após o failover, os dados arquivados na sua conta de origem não estarão disponíveis na conta de destino.
Após o failover para uma conta de destino, o Snowflake pausa a execução da política de ciclo de vida de armazenamento na conta primária original. Após o failback para a conta primária original, o Snowflake retoma a execução da política.
O Snowflake nunca executa automaticamente políticas de ciclo de vida de armazenamento secundárias em tabelas secundárias, mesmo após um failover. No entanto, você pode usar políticas secundárias em uma conta de destino, anexando-as a novas tabelas. Para essas novas tabelas, o Snowflake executa as políticas.
Clonagem: o Snowflake não aplica automaticamente políticas de ciclo de vida de armazenamento a tabelas clonadas. Se você aplicar uma política de ciclo de vida de armazenamento a uma tabela em um grupo de clones, o Snowflake arquivará linhas apenas dessa tabela específica. A política não afeta clones. Isso cria cópias dos dados nas camadas de armazenamento padrão e de arquivo, e você paga pelo armazenamento em cada camada. Para obter informações sobre custos, consulte Cobrança para políticas de ciclo de vida de armazenamento.
Recursos não compatíveis
As políticas de ciclo de vida de armazenamento não são compatíveis com os seguintes recurso
Todos os tipos de objetos que não sejam tabelas regulares do Snowflake, tabelas dinâmicas e tabelas interativas sem atualização automática.
Instantâneos Write Once Read Many (WORM), que são imutáveis e não podem ser modificados após a criação.
Tabelas tanto de provedor quanto de consumidor compartilhadas pelo compartilhamento de dados do Snowflake.
Apps nativos.
Funções definidas pelo usuário (UDFs) com acesso externo e funções externas.
UDFs Python, Java ou Scala.
Comportamento e execução de políticas¶
As políticas de ciclo de vida de armazenamento usam diretrizes de desempenho semelhantes às diretrizes para políticas de acesso em nível de linha e operam automaticamente com as seguintes características:
Quando você associa uma política de ciclo de vida de armazenamento a uma tabela, o Snowflake aguarda aproximadamente 24 horas antes de executá-la pela primeira vez.
O Snowflake executa políticas de ciclo de vida de armazenamento diariamente utilizando recursos computacionais compartilhados. Para obter informações sobre o custo das políticas de ciclo de vida de armazenamento, consulte Cobrança para políticas de ciclo de vida de armazenamento.
Para evitar execuções de arquivamento ou expiração excessivamente longas, o Snowflake processa operações de grandes volumes de dados de forma incremental, em partes menores. Uma operação grande pode não ser concluída em uma execução diária e, em vez disso, pode ser concluída em várias execuções diárias.
Quando uma política de ciclo de vida de armazenamento está em execução em uma tabela, o Snowflake bloqueia as operações UPDATE, DELETE e MERGE. Você ainda pode executar operações INSERT e COPY durante esse período. Para obter mais informações, consulte Bloqueio de recursos.
Políticas de armazenamento de arquivos¶
Considere as seguintes informações ao trabalhar com tabelas que têm uma política de ciclo de vida de armazenamento de arquivos anexada:
Acesso a dados arquivados: depois que o Snowflake arquiva as linhas, você não pode consultá-las diretamente. Para acessá-las, use o comando CREATE TABLE … FROM ARCHIVE OF para criar uma nova tabela com uma cópia dos dados arquivados. Para obter mais informações, consulte Recuperação de dados arquivados.
Segurança: você pode usar Tri-Secret Secure (TSS) para proteger os dados arquivados com rotação regular de chaves.
Recodificação de chaves: o Snowflake não redefine a chave dos dados arquivados. Se você suspeitar de um comprometimento de chave, execute as seguintes etapas:
Recupere os dados arquivados para uma nova tabela com o comando CREATE TABLE … FROM ARCHIVE OF.
Arquive os dados na nova tabela quando necessário.
Cada tabela tem a própria chave de criptografia; portanto, a nova tabela efetivamente usa uma nova chave.
Descarte o arquivo da tabela original na qual as chaves foram comprometidas.
Limitações da camada de arquivamento:
Não é possível alterar a camada de arquivamento de uma política de COOL para COLD nem de COLD para COOL. Em vez disso, crie uma nova política. Para obter instruções, consulte Recriar uma política de ciclo de vida de armazenamento.
Uma tabela só pode usar uma camada de arquivamento durante sua vida útil. Por exemplo, não é possível anexar uma política que usa uma camada de arquivamento COLD a uma tabela que já usa uma camada de arquivamento COOL ou vice-versa. Além disso, não é possível alterar uma tabela para descartar uma política e, em seguida, anexar uma política que especifica uma camada de arquivamento diferente.
Remoção de políticas: quando você remove uma política de uma tabela, os dados arquivados permanecem no armazenamento de arquivos e ainda podem ser recuperados.
Descarte ou truncamento de uma tabela:
Truncar uma tabela não afeta os dados arquivados dessa tabela. Você ainda poderá recuperar dados do armazenamento de arquivos após truncar a tabela.
Quando você usa UNDROP TABLE para restaurar uma tabela em um período de retenção de dados Time Travel aplicável, o Snowflake também restaura quaisquer dados no armazenamento de arquivo.
Quando uma tabela está dentro do período Fail-safe, os dados no armazenamento de arquivo podem ser recuperados com as etapas de recuperação de dados Fail-safe por meio do suporte Snowflake.
Os dados da tabela no armazenamento de arquivo que você excluir antes do período ARCHIVE_FOR_DAYS expirar estão sujeitos ao custo de armazenamento. Para obter mais informações, consulte Cobranças pela duração mínima de armazenamento.