Sobre a Openflow - Snowflake Deployments¶

A Openflow - Snowflake Deployment é executada em Snowpark Container Services (SPCS) e fornece uma solução simplificada e integrada para integração de dados e conectividade em armazenamento interoperável, como Iceberg e armazenamento nativo do Snowflake. Como um serviço totalmente independente no Snowflake, é fácil de implantar e gerenciar, oferecendo um ambiente conveniente e econômico para executar seus fluxos de dados. Uma das principais vantagens é sua integração nativo com o modelo de segurança do Snowflake, que permite autenticação, autorização e segurança de rede perfeitas, além de operações simplificadas.

Embora os clientes possam ter tanto o BYOC quanto implantações do Snowflake, a lista a seguir casos de uso que são adequados para implantações do Snowflake:

Incorporação de dados de personalização total na camada Bronze: descarregamento de dados brutos de várias fontes diretamente no Snowflake e uso das implantações do Openflow Snowflake para extrair e carregar.
Enriquecimento de dados: execução de pipelines para enriquecer tabelas que já existem dentro do Snowflake.
Da ingestão ao insight em um só lugar: criação de aplicativos onde todo o ciclo de vida dos dados (ingestão, processamento e fornecimento) acontece dentro do ecossistema Snowflake.
Transformação de dados brutos em insights com AI: ingerir dados não estruturados e, por exemplo, usar o Snowflake Intelligence para pesquisar e entendê-los melhor, tudo em conjunto com os outros dados estruturados dos usuários.
Emprego de ETL reverso: fecha o loop na geração de insights compartilhando com sistemas operacionais externos via APIs, infraestrutura de mensagens e muito mais.

Compreensão das funções de tempo de execução e integrações de acesso externo¶

Openflow - Snowflake Deployments devem ser capazes de interagir com fontes e destinos de dados que normalmente estão fora do Snowflake. Além disso, essas implantações também devem ser capazes de se comunicar e acessar o próprio Snowflake. Funções de tempo de execução e integrações de acesso externo fornecem esse suporte.

O que é uma função de tempo de execução?¶

Uma função de tempo de execução é uma função tradicional do Snowflake, associada a um tempo de execução do Openflow específico e usada para as seguintes tarefas:

Conceder acesso a integrações de acesso externo (EAIs). Essas EAIs especificam regras que permitem que o tempo de execução acesse as fontes e destinos de dados de dentro do próprio Snowflake.
Conceder acesso aos recursos do Snowflake.
Conceder acesso a recursos específicos do conector

As funções de tempo de execução estão vinculadas aos tokens de sessão do Openflow, evitando a necessidade de os clientes criarem usuários de serviços separados e pares de chaves para autenticação no Snowflake.

O que é uma integração de acesso externo (EAI) no Openflow?¶

Uma integração de acesso externo (EAI) é um objeto Snowflake projetado para fornecer acesso seguro a recursos externos, como sistemas de origem dos quais os conectores Openflow extraem dados externos. As implantações Openflow Snowflake usam EAIs e regras de rede juntas para definir os pontos de extremidade que um conector Openflow pode ler ou gravar.

Os engenheiros de dados definem e configuram EAIs e funções de tempo de execução específicas para um determinado conector e seu tempo de execução subjacente.

Fluxo de trabalho típico do Openflow - Snowflake Deployment¶

As seções a seguir descrevem os conceitos e os fluxos de trabalho da Openflow - Snowflake Deployment.

Persona do usuário	Tarefa
Administrador do Snowflake	Configura o Snowflake principal e as integrações de acesso externo. Consulte Configuração do Openflow - Implantação do Snowflake - Visão geral da tarefa. Cria um conjunto de implantações no Snowflake. A UI do Openflow é usada para gerenciar implantações e a criação e a manutenção de tempos de execução. A UI do Openflow permite que os usuários criem, redimensionem, atualizem e excluam tempos de execução em todas as implantações.
Engenheiro de dados (autor do pipeline, responsável pela ingestão de dados)	Cria funções de tempo de execução, integrações externas e outros objetos que podem ser usados posteriormente pelos tempos de execução. Usa a tela de tempo de execução para criar fluxos completamente novos ou para configurar conectores implantados. Cria um fluxo completamente novo ou usa um conector existente como está ou como ponto de partida para personalizar. Os conectores são uma maneira simples de resolver para um caso de uso de integração específico, e usuários menos técnicos podem implantá-los sem assistência de um engenheiro de dados.
Engenheiro de dados (operador de pipeline)	Configura parâmetros de fluxo e executa o fluxo.
Engenheiro de dados (responsável pela transformação para as camadas Silver e Gold)	Responsável pela transformação de dados da camada Bronze que foi preenchida pelo pipeline para as camadas prata e ouro para análise.
Usuário corporativo	Utiliza objetos da camada Gold para análise.

Limitações¶

A Openflow - Snowflake Deployment não é compatível com as contas de avaliação.
Apenas uma única Openflow - Snowflake Deployment é aceita por conta. Entretanto, uma conta pode ter muitos tempos de execução da Openflow - Snowflake Deployment, cada um com uma função e acesso à rede separados, o que permite aos usuários separar a carga de trabalho.
Os clientes que exigem conectividade privada precisarão configurar um PrivateLink de saída. O PrivateLink está disponível somente para a Business Critical Edition.

Próximos passos¶

Configuração do Openflow - Implantação do Snowflake - Visão geral da tarefa