Sobre o Openflow¶

O Snowflake Openflow é um serviço de integração que conecta qualquer fonte de dados e qualquer destino com centenas de processadores que oferecem suporte a texto estruturado e não estruturado, imagem, áudio, vídeo e dados de sensores. Criado com base no Apache NiFi, o Openflow permite que você execute um serviço totalmente gerenciado em sua própria nuvem para ter controle total.

Nota

A plataforma Openflow está disponível para implantação nas próprias VPCs dos clientes, tanto AWS quanto Snowpark Container Services.

Este tópico descreve os principais recursos do Openflow, seus benefícios, arquitetura, fluxo de trabalho e casos de uso.

Principais recursos e benefícios¶

Aberto e extensível: Um serviço gerenciado extensível com tecnologia Apache NiFi, permitindo criar e estender processadores de qualquer fonte de dados para qualquer destino.
Plataforma de integração de dados unificada: O Openflow permite que engenheiros de dados lidem com extração e carregamento de dados complexos e bidirecionais por meio de um serviço totalmente gerenciado que pode ser implantado dentro da sua própria VPC ou dentro de sua implantação do Snowflake.
Preparado para Enterprise: O Openflow oferece segurança, conformidade e ganchos de observabilidade e manutenção prontos para uso para integração de dados.
Ingestão de alta velocidade de todos os tipos de dados: Uma plataforma unificada permite que você lide com dados estruturados e não estruturados, tanto em lote quanto em streaming, desde sua fonte de dados até Snowflake em praticamente qualquer escala.
Ingestão contínua de dados multimodais para processamento por AI: Uma ingestão de dados não estruturados em tempo real, para que você possa bate-papo imediatamente com seus dados provenientes de fontes como Sharepoint, Google Drive e assim por diante.

Openflow deployment types¶

O Openflow tem suporte tanto na forma de Traga sua própria nuvem (BYOC) quanto de Snowpark Container Services (SPCS).

Openflow - Snowflake Deployment

Openflow - Snowflake Deployment, using Snowpark Container Services (SPCS), provides a streamlined and integrated solution for connectivity. Because SPCS is a self-contained service within Snowflake, it’s easy to deploy and manage. SPCS offers a convenient and cost-effective environment for running your data flows. A key advantage of Openflow - Snowflake Deployment is its native integration with Snowflake’s security model, which allows for seamless authentication, authorization, network security and simplified operations.

Ao configurar a Openflow - Snowflake Deployments, siga o processo conforme descrito em Configuração da Implantação do Openflow - Snowflake.

Openflow - Bring Your Own Cloud

Openflow - Bring Your Own Cloud (BYOC) provides a connectivity solution that you can use to connect public and private systems securely and handle sensitive data preprocessing locally, within the secure bounds of your organization’s cloud environment. BYOC refers to a deployment option where the Openflow data processing engine, or data plane, runs within your own cloud environment while Snowflake manages the overall Openflow service and control plane.

Ao configurar as implantações de BYOC, siga o processo conforme descrito em Configuração do Openflow - BYOC.

Casos de uso¶

Use o Openflow se quiser buscar dados de qualquer origem e colocá-los em qualquer destino com o mínimo de gerenciamento, juntamente com a segurança e governança de dados integradas do Snowflake.

Os casos de uso do Openflow incluem:

Ingerir dados de fontes de dados não estruturadas, como o Google Drive e o Box, e deixe-os prontos para o bate-papo em seus assistentes do AI com o Snowflake Cortex ou use os dados para seu próprio processamento personalizado.
Replique a captura de dados de alteração (CDC) de tabelas de banco de dados no Snowflake para obter relatórios abrangentes e centralizados.
Faça a ingestão de eventos em tempo real de serviços de fluxo, como o Apache Kafka, no Snowflake, para obter análises quase em tempo real.
Ingestão de dados de plataformas SaaS, como LinkedIn Ads, para Snowflake com a finalidade de gerar relatórios, análises e insights.
Crie um fluxo de dados do Openflow usando processadores e serviços de controlador Snowflake e NiFi.

Segurança¶

O Openflow usa recursos de segurança líderes do setor que ajudam a garantir que você tenha os mais altos níveis de segurança para sua conta, e usuários, e todos os dados que você armazena no Snowflake. Alguns aspectos principais incluem:

Autenticação

Os tempos de execução usam OAuth2 para autenticação no Snowflake.

Autorização

O Openflow oferece suporte a funções refinadas para RBAC
ACCOUNTADMIN para conceder privilégios e poder criar implementações e tempos de execução

Criptografia em trânsito

Os conectores Openflow oferecem suporte ao protocolo TLS, usando clientes Snowflake padrão para ingestão de dados.
Todas as comunicações entre as implantações do Openflow e o ambiente de gerenciamento do Openflow são criptografadas usando o protocolo TLS.

Gerenciamento de segredos (BYOC)

Integração com o AWS Secrets Manager ou o Hashicorp Vault. Para obter mais informações, consulte Senhas criptografadas em arquivos de configuração.

Suporte a links privados

Os conectores Openflow são compatíveis com dados de leitura e gravação no Snowflake usando o AWS PrivateLink de entrada.

Suporte ao Tri-Secret Secure

Os conectores Openflow são compatíveis com o Tri-Secret Secure para gravação de dados no Snowflake.

Arquitetura¶

O diagrama a seguir ilustra a arquitetura do Openflow:

O agente de implantação instala e inicializa a infraestrutura de implantação do Openflow em sua VPC e sincronizar regularmente imagens de contêiner do registro de imagens do sistema Snowflake.

Os componentes do Openflow incluem:

Implantações: Uma implantação é onde seus fluxos de dados são executados, em tempos de execução individuais. Muitas vezes, você terá vários tempos de execução para isolar diferentes projetos, equipes ou por motivos de SDLC, todos associados a uma única implantação. As implantações são fornecidas em dois tipos, Traga sua própria nuvem (BYOC) e Openflow - Snowflake.
Ambiente de gerenciamento: O plano de controle é uma camada com todos os componentes usados para gerenciar e observar os tempos de execução do Openflow. Isso inclui o serviço e a API Openflow, com que os usuários interagem pela tela do Openflow ou pelas APIs Openflow. Em Openflow - Snowflake Deployments, o plano de controle é a infraestrutura e os serviços de nuvem pública do Snowflake, bem como o próprio aplicativo do plano de controle.
Implantações BYOC: Implantações BYOC atuam como contêineres para tempos de execução implantados no seu ambiente de nuvem. Eles são cobrados com base no uso de computação, infraestrutura e armazenamento. Consulte Considerações sobre custo e dimensionamento do Openflow BYOC para obter mais informações.
Openflow - Snowflake Deployments: Implantações Openflow - Snowflake são contêineres para tempos de execução implantados usando um pool de computação. São cobradas taxas de utilização com base no tempo de atividade e uso de computação. Consulte Custo de implantação do Snowflake e considerações sobre dimensionamento para mais informações.
Tempo de execução: Tempos de execução hospedam seus pipelines de dados com uma estrutura que proporciona segurança, simplicidade e escalabilidade. É possível implantar tempos de execução do Openflow em suaVPC usando o Openflow. Você pode implantar conectores Openflow em seus tempos de execução e também criar pipelines completamente novos usando processadores Openflow e serviços de controle.
Tempo de execução de Openflow - Snowflake Deployment: Tempos de execução de implantações Openflow - Snowflake são implantados como Snowpark Container Services para uma implantação Openflow - Snowflake Deployment, que é representada por um pool de computação subjacente. Os clientes solicitam um tempo de execução pela implantação, que executa um pedido para o serviço em nome do usuário. Depois de criado, os clientes o acessam pelo navegador da Web no URL gerado para esse serviço subjacente.