Políticas de ciclo de vida de armazenamento¶
Nota
As políticas de ciclo de vida de armazenamento não estão disponíveis atualmente em regiões governamentais.
A storage lifecycle policy is a schema-level object that automatically manages the data lifecycle for standard Snowflake tables. Use these policies to archive or expire specific table rows that are based on conditions that you define, such as data age or other criteria. Snowflake automatically executes these policies daily by using shared compute resources.
Como funcionam as políticas de ciclo de vida de armazenamento¶
To get started with storage lifecycle policies, complete the following steps:
Crie uma política com uma expressão que identifique as linhas a serem arquivadas ou expiradas.
After you attach a storage lifecycle policy to a table, Snowflake waits approximately 24 hours before running the policy for the first time. Following this initial delay, Snowflake automatically runs the policy daily by using shared compute resources to identify and process rows that meet your defined conditions.
When the policy runs, it checks each row against your expression, and then either archives the data to COOL or COLD storage or expires the data, which deletes it permanently. You can retrieve archived data by using the CREATE TABLE … FROM ARCHIVE OF command before expiration occurs. Snowflake waits until the specified archive period elapses before expiring the data from archive storage.
Principais recursos¶
As políticas de ciclo de vida do armazenamento oferecem os seguintes benefícios para o gerenciamento de seus dados do Snowflake.
- Custos de armazenamento reduzidos
Storage lifecycle policies help optimize costs by automatically moving older data to more cost-effective archival tiers. For data that must be retained long-term but accessed infrequently, archival storage can significantly reduce storage costs compared to standard storage tiers.
- Conformidade regulatória
Atenda automaticamente aos requisitos de conformidade configurando políticas para arquivar ou expirar dados de acordo com os padrões regulatórios. Você pode arquivar dados por um período específico antes da expiração ou expirá-los diretamente sem arquivá-los. Isso garante que o gerenciamento de seus dados siga os padrões de governança da sua organização.
- Gerenciamento de dados simplificado
As políticas de ciclo de vida de armazenamento eliminam tarefas manuais de gerenciamento de dados, executando automaticamente regras de arquivamento e expiração. Para obter mais informações, consulte Monitor storage lifecycle policies.
- Recuperação de dados flexível
Recupere dados arquivados com precisão criando uma nova tabela que contenha apenas as linhas necessárias. Use um comando simples com uma cláusula WHERE para especificar exatamente quais dados arquivados restaurar.
Camadas de armazenamento de arquivo¶
O Snowflake é compatível com o arquivamento de dados nas seguintes camadas de armazenamento:
Camada de arquivo |
Descrição |
|---|---|
COOL |
Oferece tempo de recuperação rápido, para que os dados estejam prontamente disponíveis. O período mínimo de arquivamento é de 90 dias. |
COLD |
Offers greater cost savings than the COOL tier; it is four times less expensive. The minimum archival period is 180 days. Compared to the COOL tier, COLD has a longer data retrieval time, which is up to 48 hours. Data retrieval operations from the COLD storage tier support a maximum of 1 million files per restore operation. |
Escolha de uma camada de arquivamento¶
When you select an archive tier, consider the following factors:
Custos de arquivamento: o custo único para arquivar dados é o mesmo para ambas as camadas.
Custos de armazenamento: o armazenamento da camada COLD é mais barato do que o da camada COOL.
Custos de recuperação: a recuperação de dados da camada COLD é mais barata do que a da camada COOL.
Tempo de recuperação: a camada de armazenamento COOL oferece recuperação instantânea de dados, enquanto a recuperação da camada COLD pode levar até 48 horas.
Para obter informações detalhadas sobre preços, consulte as tabelas 3(e) e 4(f) na Tabela de consumo de serviços do Snowflake.
For more information about archiving data, see Create a storage lifecycle policy and Archive storage considerations.
Considerações¶
Consider the following information when you work with storage lifecycle policies.
Suporte ao provedor de nuvem¶
Expiration policies: Supported for accounts hosted on all cloud providers (Amazon Web Services (AWS), Microsoft Azure, and Google Cloud).
Políticas de arquivamento: atualmente disponíveis apenas para contas hospedadas na AWS.
Tabelas e recursos compatíveis¶
Supported tables: Storage lifecycle policies are supported for standard Snowflake tables. To evaluate and apply storage lifecycle policy expressions, Snowflake internally and temporarily bypasses any governance policies on a table.
Replicação:
O Snowflake replica as políticas de ciclo de vida de armazenamento e as associações com tabelas para contas de destino, mas não executa as políticas.
Após o failover para uma conta de destino, o Snowflake pausa a execução da política de ciclo de vida de armazenamento na conta primária original. Após o failback para a conta primária original, o Snowflake retoma a execução da política.
O Snowflake nunca executa automaticamente políticas de ciclo de vida de armazenamento secundárias em tabelas secundárias, mesmo após um failover. No entanto, você pode usar políticas secundárias em uma conta de destino, anexando-as a novas tabelas. Para essas novas tabelas, o Snowflake executa as políticas.
Clonagem: o Snowflake não aplica automaticamente políticas de ciclo de vida de armazenamento a tabelas clonadas. Se você aplicar uma política de ciclo de vida de armazenamento a uma tabela em um grupo de clones, o Snowflake arquivará linhas apenas dessa tabela específica. A política não afeta clones. Isso cria cópias dos dados nas camadas de armazenamento padrão e de arquivo, e você paga pelo armazenamento em cada camada. Para obter informações sobre custos, consulte Cobrança para políticas de ciclo de vida de armazenamento.
Recursos não compatíveis
Storage lifecycle policies aren’t supported for the following features:
Todos os tipos de objeto, exceto tabelas regulares do Snowflake e tabelas dinâmicas.
Write once read many (WORM) snapshots, which are immutable snapshots that can’t be modified after creation.
Both provider and consumer tables shared through Snowflake data sharing.
Apps nativos.
Funções definidas pelo usuário (UDFs) com acesso externo e funções externas.
UDFs Python, Java ou Scala.
Comportamento e execução de políticas¶
As políticas de ciclo de vida de armazenamento usam diretrizes de desempenho semelhantes às diretrizes para políticas de acesso em nível de linha e operam automaticamente com as seguintes características:
Quando você associa uma política de ciclo de vida de armazenamento a uma tabela, o Snowflake aguarda aproximadamente 24 horas antes de executá-la pela primeira vez.
O Snowflake executa políticas de ciclo de vida de armazenamento diariamente utilizando recursos computacionais compartilhados. Para obter informações sobre o custo das políticas de ciclo de vida de armazenamento, consulte Cobrança para políticas de ciclo de vida de armazenamento.
To prevent excessively long archive or expiration runs, Snowflake processes large data operations incrementally in smaller chunks. A large operation might not complete in one daily run and might instead complete across multiple daily runs.
Quando uma política de ciclo de vida de armazenamento está em execução em uma tabela, o Snowflake bloqueia as operações UPDATE, DELETE e MERGE. Você ainda pode executar operações INSERT e COPY durante esse período. Para obter mais informações, consulte Bloqueio de recursos.
Políticas de armazenamento de arquivos¶
Consider the following information when you work with tables that have an archival storage lifecycle policy attached:
Acesso a dados arquivados: depois que o Snowflake arquiva as linhas, você não pode consultá-las diretamente. Para acessá-las, use o comando CREATE TABLE … FROM ARCHIVE OF para criar uma nova tabela com uma cópia dos dados arquivados. Para obter mais informações, consulte Recuperação de dados arquivados.
Segurança: você pode usar Tri-Secret Secure (TSS) para proteger os dados arquivados com rotação regular de chaves.
Rekeying: Snowflake doesn’t rekey archived data. If you suspect a key compromise, perform the following steps:
Recupere os dados arquivados para uma nova tabela com o comando CREATE TABLE … FROM ARCHIVE OF.
Archive data in the new table when needed.
Each table has its own encryption key, so the new table effectively uses a new key.
Descarte o arquivo da tabela original na qual as chaves foram comprometidas.
Limitações da camada de arquivamento:
You can’t change the archive tier for a policy from COOL to COLD or from COLD to COOL. Create a new policy instead. For instructions, see Recriar uma política de ciclo de vida de armazenamento.
Uma tabela só pode usar uma camada de arquivamento. Você não pode anexar uma política COLD a uma tabela que já usa arquivamento COOL.
Remoção de políticas: quando você remove uma política de uma tabela, os dados arquivados permanecem no armazenamento de arquivos e ainda podem ser recuperados.
Descarte ou truncamento de uma tabela:
Truncar uma tabela não afeta os dados arquivados dessa tabela. Você ainda poderá recuperar dados do armazenamento de arquivos após truncar a tabela.
Quando você usa UNDROP TABLE para restaurar uma tabela em um período de retenção de dados Time Travel aplicável, o Snowflake também restaura quaisquer dados no armazenamento de arquivo.
Quando uma tabela está dentro do período Fail-safe, os dados no armazenamento de arquivo podem ser recuperados com as etapas de recuperação de dados Fail-safe por meio do suporte Snowflake.
Os dados da tabela no armazenamento de arquivo que você excluir antes do período ARCHIVE_FOR_DAYS expirar estão sujeitos ao custo de armazenamento. Para obter mais informações, consulte Cobranças pela duração mínima de armazenamento.