Snowflake Feature Store¶

O Snowflake Feature Store permite que cientistas e engenheiros de ML criem, mantenham e usem recursos de ML em ciência de dados e cargas de trabalho de ML, tudo dentro do Snowflake.

De forma genérica, recursos são elementos de dados usados como entradas para um modelo de aprendizado de máquina. Muitas colunas em um conjunto de dados, como temperatura ou frequência, podem ser usadas como recursos no estado em que se encontram. Em outros casos, uma coluna pode se tornar mais útil para treinamento por meio de pré-processamento e transformação. Por exemplo, você pode derivar um recurso de dia da semana de um carimbo de data/hora para permitir que o modelo detecte padrões semanais. Outras transformações de recurso comuns envolvem agregação, diferenciação ou deslocamento de tempo de dados. Engenharia de recursos é o processo de decidir quais recursos são necessários para seus modelos e definir como eles serão derivados dos dados brutos.

Um repositório de recurso permite padronizar transformações de recurso comumente usados em um repositório central, permitindo a reutilização, ajudando a reduzir a duplicação de dados e esforços e melhorando a produtividade. Ele também ajuda a manter os recursos atualizando-os com novos dados de origem, sempre fornecendo recursos corretos, consistentes e novos em uma única fonte de verdade. Ao cultivar a consistência na forma como os recursos são extraídos de dados brutos, um repositório de recurso também pode ajudar a tornar seus pipelines de ML de produção mais robustos.

O Snowflake Feature Store foi projetado para tornar a criação, o armazenamento e o gerenciamento de recursos para cargas de trabalho de ciência de dados e aprendizado de máquina mais fáceis e eficientes. Hospedado nativamente no Snowflake, o Snowflake Feature Store oferece as seguintes vantagens:

• Seus dados permanecem seguros, completamente sob seu controle e governança, e nunca saem do Snowflake.

• A UI do Snowsight Feature Store facilita a busca e a descoberta de recursos.

• O acesso é gerenciado com controle de acesso detalhado baseado em funções.

Os principais benefícios do Snowflake Feature Store incluem suporte para:

• Dados em lote e streaming, com atualizações automáticas eficientes conforme novos dados chegam

• Recursos de preenchimento e correção de ponto no tempo com ASOF JOIN

• Transformações de recurso criadas em Python ou SQL

• Atualização e atualização automática de valores de recurso de dados de origem com exibições de recursos gerenciadas pelo Snowflake

• Capacidade de usar pipelines de recurso gerenciados pelo usuário com ferramentas externas, como dbt

O Snowflake Feature Store é totalmente integrado ao Snowflake Model Registry e outros recursos de ML Snowflake para ML de produção de ponta a ponta.

A ilustração a seguir mostra como o Snowflake Feature Store se encaixa em um pipeline de aprendizado de máquina:

• Dados brutos podem ser obtidos em lote a partir de tabelas ou exibições ou fontes de transferência de dados.

• Os dados brutos são então transformados por recursos definidos pelos engenheiros de dados, resultando em uma tabela de recurso.

• A tabela de recurso pode ser usada para gerar conjuntos de dados de treinamento usados para modelos de treinamento no Snowpark ML ou para enriquecer dados de teste usados pelo modelo para fazer previsões.