Sobre o Openflow¶

O Snowflake Openflow é um serviço de integração que conecta qualquer fonte de dados e qualquer destino com centenas de processadores que oferecem suporte a texto estruturado e não estruturado, imagem, áudio, vídeo e dados de sensores. Criado com base no Apache NiFi, o Openflow permite que você execute um serviço totalmente gerenciado em sua própria nuvem para ter controle total.

Nota

A plataforma Openflow está disponível para implantação nas próprias VPCs dos clientes, tanto AWS quanto Snowpark Container Services.

Este tópico descreve os principais recursos do Openflow, seus benefícios, arquitetura, fluxo de trabalho e casos de uso.

Principais recursos e benefícios¶

Aberto e extensível: Um serviço gerenciado extensível com tecnologia Apache NiFi, permitindo criar e estender processadores de qualquer fonte de dados para qualquer destino.
Plataforma de integração de dados unificada: O Openflow permite que engenheiros de dados lidem com extração e carregamento de dados complexos e bidirecionais por meio de um serviço totalmente gerenciado que pode ser implantado dentro da sua própria VPC ou dentro de sua implantação do Snowflake.
Preparado para Enterprise: O Openflow oferece segurança, conformidade e ganchos de observabilidade e manutenção prontos para uso para integração de dados.
Ingestão de alta velocidade de todos os tipos de dados: Uma plataforma unificada permite que você lide com dados estruturados e não estruturados, tanto em lote quanto em streaming, desde sua fonte de dados até Snowflake em praticamente qualquer escala.
Ingestão contínua de dados multimodais para processamento por AI: Uma ingestão de dados não estruturados em tempo real, para que você possa bate-papo imediatamente com seus dados provenientes de fontes como Sharepoint, Google Drive e assim por diante.

Tipos de implantação do Openflow¶

O Openflow tem suporte tanto na forma de Traga sua própria nuvem (BYOC) quanto de Snowpark Container Services (SPCS).

Openflow - Snowflake Deployment

Openflow - Snowflake Deployment, using Snowpark Container Services (SPCS), provides a streamlined and integrated solution for connectivity. Because SPCS is a self-contained service within Snowflake, it’s easy to deploy and manage. SPCS offers a convenient and cost-effective environment for running your data flows. A key advantage of Openflow - Snowflake Deployment is its native integration with Snowflake’s security model, which allows for seamless authentication, authorization, network security and simplified operations.

Ao configurar a Openflow - Snowflake Deployments, siga o processo conforme descrito em Configuração da Implantação do Openflow - Snowflake.

Openflow - Bring Your Own Cloud

Openflow - Bring Your Own Cloud (BYOC) provides a connectivity solution that you can use to connect public and private systems securely and handle sensitive data preprocessing locally, within the secure bounds of your organization’s cloud environment. BYOC refers to a deployment option where the Openflow data processing engine, or data plane, runs within your own cloud environment while Snowflake manages the overall Openflow service and control plane.

Ao configurar as implantações de BYOC, siga o processo conforme descrito em Configuração do Openflow - BYOC.

Casos de uso¶

Use o Openflow se quiser buscar dados de qualquer origem e colocá-los em qualquer destino com o mínimo de gerenciamento, juntamente com a segurança e governança de dados integradas do Snowflake.

Os casos de uso do Openflow incluem:

Ingerir dados de fontes de dados não estruturadas, como o Google Drive e o Box, e deixe-os prontos para o bate-papo em seus assistentes do AI com o Snowflake Cortex ou use os dados para seu próprio processamento personalizado.
Replique a captura de dados de alteração (CDC) de tabelas de banco de dados no Snowflake para obter relatórios abrangentes e centralizados.
Faça a ingestão de eventos em tempo real de serviços de fluxo, como o Apache Kafka, no Snowflake, para obter análises quase em tempo real.
Ingestão de dados de plataformas SaaS, como LinkedIn Ads, para Snowflake com a finalidade de gerar relatórios, análises e insights.
Crie um fluxo de dados do Openflow usando processadores e serviços de controlador Snowflake e NiFi.

Segurança¶

O Openflow usa recursos de segurança líderes do setor que ajudam a garantir que você tenha os mais altos níveis de segurança para sua conta, e usuários, e todos os dados que você armazena no Snowflake. Alguns aspectos principais incluem:

Autenticação

Os tempos de execução usam OAuth2 para autenticação no Snowflake.

Autorização

O Openflow oferece suporte a funções refinadas para RBAC
ACCOUNTADMIN para conceder privilégios e poder criar implementações e tempos de execução

Criptografia em trânsito

Os conectores Openflow oferecem suporte ao protocolo TLS, usando clientes Snowflake padrão para ingestão de dados.
Todas as comunicações entre as implantações do Openflow e o ambiente de gerenciamento do Openflow são criptografadas usando o protocolo TLS.

Gerenciamento de segredos (BYOC)

Integração com o AWS Secrets Manager ou o Hashicorp Vault. Para obter mais informações, consulte Senhas criptografadas em arquivos de configuração.

Suporte a links privados

Os conectores Openflow são compatíveis com dados de leitura e gravação no Snowflake usando o AWS PrivateLink de entrada.

Suporte ao Tri-Secret Secure

Os conectores Openflow são compatíveis com o Tri-Secret Secure para gravação de dados no Snowflake.

Arquitetura¶

O diagrama a seguir ilustra a arquitetura do Openflow:

O agente de implantação instala e inicializa a infraestrutura de implantação do Openflow em sua VPC e sincronizar regularmente imagens de contêiner do registro de imagens do sistema Snowflake.

Os componentes do Openflow incluem:

Deployments: A deployment is where your data flows execute, within individual runtimes. You will often have multiple runtimes to isolate different projects, teams, or for SDLC reasons, all associated with a single deployment. Deployments come in two types Bring Your Own Cloud (BYOC) and Openflow - Snowflake.
Ambiente de gerenciamento: The control plane is a layer containing all components used to manage and observe Openflow runtimes. This includes the Openflow service and API, which users interact with via the Openflow canvas or through interaction with Openflow APIs. On Openflow - Snowflake Deployments, the Control Plane consists of Snowflake-owned public cloud infrastructure and services as well as the control plane application itself.
BYOC deployments: Implantações BYOC atuam como contêineres para tempos de execução implantados no seu ambiente de nuvem. Eles são cobrados com base no uso de computação, infraestrutura e armazenamento. Consulte Considerações sobre custo e dimensionamento do Openflow BYOC para obter mais informações.
Openflow - Snowflake Deployments: Openflow - Snowflake Deployments are containers for runtimes and are deployed using a compute pool. They incur utilization charges based on their uptime and usage of compute. See Custo de implantação do Snowflake e considerações sobre dimensionamento for more information.
Tempo de execução: Runtimes host data pipelines, with the framework providing security, simplicity, and scalability. You can deploy Openflow runtimes in your VPC using Openflow. You can deploy Openflow connectors to your runtimes, and also build completely new pipelines using Openflow processors and controller services.
Tempo de execução de Openflow - Snowflake Deployment: Openflow - Snowflake Deployment Runtimes are deployed as Snowpark Container Services service to an Openflow - Snowflake Deployment deployment, which is represented by an underlying compute pool. Customers request a Runtime through the deployment, which executes a request on behalf of the user to service. Once created, customers access it via a web browser at the URL generated for that underlying service.