Snowflake Native SDK para conectores¶

O Snowflake Native SDK para conectores (fase 1) é um conjunto de modelos de aplicativo e guias de início rápido que mostram como criar um Snowflake Native App que ingere dados de uma fonte de dados externa no Snowflake. Esses modelos abrangem padrões de integração de dados baseados em pull e push.

Esses modelos não restringem nem limitam os desenvolvedores. Em vez disso, os modelos fornecem exemplos de como usar os principais recursos do Snowflake para ingerir dados e encapsular o código do aplicativo em um Snowflake Native App.

O Snowflake Native App Framework permite que os provedores publiquem e monetizem um Snowflake Native App no Snowflake Marketplace. Os desenvolvedores Snowflake Native App podem clonar o repositório de modelos, modificar o código padrão e criar seus próprios conectores Snowflake.

Modelos de conectores baseados em pull e guias de início rápido¶

Os padrões baseados em pull são eficazes quando o provedor de dados de origem não gerencia os dados do cliente no Snowflake e não está disposto a incorrer em COGS para um compartilhamento contínuo de dados no Snowflake. Esses padrões também são eficazes quando um provedor de dados de origem possui APIs bem documentadas que os clientes podem usar para replicar e consumir dados.

Como usar um padrão baseado em pull¶

Ao usar um padrão de conector baseado em pull, os provedores (Snowflake ou um provedor ETL de terceiros) podem publicar e distribuir um conector nativo com base em um Snowflake Native App usando o Snowflake Marketplace. Um conector nativo usa acesso externo direto para se conectar ao aplicativo de origem. Um conector nativo realiza autenticação de saída, busca dados da origem diretamente em uma conta do cliente, processa e persiste os dados com base na configuração especificada pelo usuário.

O gráfico a seguir mostra uma arquitetura possível ao usar um padrão baseado em pull para desenvolver um conector nativo:

Informações adicionais¶

Consulte os links a seguir para visualizar os modelos e guias de início rápido:

Modelo de conector baseado em push e guia de início rápido¶

Usar um padrão baseado em push é eficaz quando o acesso de entrada ao aplicativo de origem através do firewall do cliente não é viável devido a limitações de segurança, desempenho ou governança. Esse padrão usa um agente e um Snowflake Native Application para permitir que os clientes ingiram alterações de dados no Snowflake por trás de um firewall.

Como usar um padrão baseado em push¶

Um agente é um aplicativo independente, distribuído como uma imagem Docker, implantado em um ambiente do cliente e é responsável por enviar cargas iniciais e incrementais ao Snowflake lendo alterações de dados do fluxo CDC de origem.

Um Snowflake Native Application é executado no Snowflake e coordena a integração. O Snowflake Native Application é o principal responsável por gerenciar o processo de replicação, controlar o estado do agente e criar os objetos necessários, incluindo os bancos de dados de destino.

O gráfico a seguir mostra uma arquitetura possível ao usar um padrão baseado em push para desenvolver um conector nativo:

Informações adicionais¶

Consulte os links a seguir para visualizar os exemplos e o guia de início rápido:

Próximas etapas do Snowflake Native SDK para conectores¶

Com a fase 2 do Snowflake Native SDK para conectores, o Snowflake pretende adicionar exemplos adicionais que demonstram como gerenciar trabalhos de ingestão, como generalizar blocos de conectores comuns na forma de bibliotecas reutilizáveis e muito mais. Observe que exemplos específicos, novas bibliotecas ou outras adições e atualizações estão sujeitas a alterações.

Para se inscrever na versão preliminar da fase 2, consulte a página Snowflake Native SDK para conectores.