Sobre o Openflow¶

O Snowflake Openflow é um serviço de integração que conecta qualquer fonte de dados e qualquer destino com centenas de processadores que oferecem suporte a texto estruturado e não estruturado, imagem, áudio, vídeo e dados de sensores. Criado com base no Apache NiFi, o Openflow permite que você execute um serviço totalmente gerenciado em sua própria nuvem para ter controle total.

Nota

A plataforma Openflow está disponível para implantação nas próprias VPCs dos clientes, tanto AWS quanto Snowpark Container Services.

Este tópico descreve os principais recursos do Openflow, seus benefícios, arquitetura, fluxo de trabalho e casos de uso.

Principais recursos e benefícios¶

Aberto e extensível: Um serviço gerenciado extensível com tecnologia Apache NiFi, permitindo criar e estender processadores de qualquer fonte de dados para qualquer destino.
Plataforma de integração de dados unificada: O Openflow permite que engenheiros de dados lidem com extração e carregamento de dados complexos e bidirecionais por meio de um serviço totalmente gerenciado que pode ser implantado dentro da sua própria VPC ou dentro de sua implantação do Snowflake.
Preparado para Enterprise: O Openflow oferece segurança, conformidade e ganchos de observabilidade e manutenção prontos para uso para integração de dados.
Ingestão de alta velocidade de todos os tipos de dados: Uma plataforma unificada permite que você lide com dados estruturados e não estruturados, tanto em lote quanto em streaming, desde sua fonte de dados até Snowflake em praticamente qualquer escala.
Ingestão contínua de dados multimodais para processamento por AI: Near real-time unstructured data ingestion, so you can immediately chat with your data coming from sources such as Sharepoint, Google Drive, and so on.

Tipos de implantação do Openflow¶

O Openflow tem suporte tanto na forma de Traga sua própria nuvem (BYOC) quanto de Snowpark Container Services (SPCS).

Openflow - Snowflake Deployment

Openflow - Snowflake Deployment, using Snowpark Container Services (SPCS), provides a streamlined and integrated solution for connectivity. Because SPCS is a self-contained service within Snowflake, it’s easy to deploy and manage. SPCS offers a convenient and cost-effective environment for running your data flows. A key advantage of Openflow - Snowflake Deployment is its native integration with Snowflake’s security model, which allows for seamless authentication, authorization, network security and simplified operations.

Ao configurar a Openflow - Snowflake Deployments, siga o processo conforme descrito em Configuração da Implantação do Openflow - Snowflake.

Openflow - Bring Your Own Cloud

Openflow - Bring Your Own Cloud (BYOC) provides a connectivity solution that you can use to connect public and private systems securely and handle sensitive data preprocessing locally, within the secure bounds of your organization’s cloud environment. BYOC refers to a deployment option where the Openflow data processing engine, or data plane, runs within your own cloud environment while Snowflake manages the overall Openflow service and control plane.

Ao configurar as implantações de BYOC, siga o processo conforme descrito em Configuração do Openflow - BYOC.

Casos de uso¶

Use o Openflow se quiser buscar dados de qualquer origem e colocá-los em qualquer destino com o mínimo de gerenciamento, juntamente com a segurança e governança de dados integradas do Snowflake.

Os casos de uso do Openflow incluem:

Ingerir dados de fontes de dados não estruturadas, como o Google Drive e o Box, e deixe-os prontos para o bate-papo em seus assistentes do AI com o Snowflake Cortex ou use os dados para seu próprio processamento personalizado.
Replique a captura de dados de alteração (CDC) de tabelas de banco de dados no Snowflake para obter relatórios abrangentes e centralizados.
Faça a ingestão de eventos em tempo real de serviços de fluxo, como o Apache Kafka, no Snowflake, para obter análises quase em tempo real.
Ingestão de dados de plataformas SaaS, como LinkedIn Ads, para Snowflake com a finalidade de gerar relatórios, análises e insights.
Crie um fluxo de dados do Openflow usando processadores e serviços de controlador Snowflake e NiFi.

Segurança¶

O Openflow usa recursos de segurança líderes do setor que ajudam a garantir que você tenha os mais altos níveis de segurança para sua conta, e usuários, e todos os dados que você armazena no Snowflake. Alguns aspectos principais incluem:

Autenticação

Os tempos de execução usam Token gerenciado pelo Snowflake como padrão e método de autenticação recomendado.
O Token gerenciado pelo Snowflake funciona de forma consistente nos tipos de implantação SPCS e BYOC.
As implantações BYOC podem usar como alternativa a autenticação de par de chaves para gerenciamento explícito de credenciais.

Autorização

Openflow supports fine-grained roles for RBAC.
ACCOUNTADMIN to grant privileges to be able to create deployments and runtimes.

Criptografia em trânsito

Os conectores Openflow oferecem suporte ao protocolo TLS, usando clientes Snowflake padrão para ingestão de dados.
Todas as comunicações entre as implantações do Openflow e o ambiente de gerenciamento do Openflow são criptografadas usando o protocolo TLS.

Gerenciamento de segredos (BYOC)

Integração com o AWS Secrets Manager ou o Hashicorp Vault. Para obter mais informações, consulte Senhas criptografadas em arquivos de configuração.

Suporte a links privados

Os conectores Openflow são compatíveis com dados de leitura e gravação no Snowflake usando o AWS PrivateLink de entrada.

Suporte ao Tri-Secret Secure

Os conectores Openflow são compatíveis com o Tri-Secret Secure para gravação de dados no Snowflake.

Autenticação por Token gerenciado pelo Snowflake¶

O Token gerenciado pelo Snowflake é o método de autenticação recomendado e o padrão para tempos de execução do Openflow para conexão com o Snowflake. Esse método de autenticação funciona de forma consistente tanto em Openflow - Implantações do Snowflake quanto em Implantações BYOC. O Token gerenciado pelo Snowflake oferece uma experiência unificada e simplificada para configurar a conectividade com o Snowflake.

Key benefits¶

Configuração simplificada: O Token gerenciado pelo Snowflake elimina a necessidade de gerar, armazenar e rotacionar credenciais de longa duração, como pares de chaves. O token é gerenciado automaticamente pelo Snowflake, reduzindo a sobrecarga operacional.
Unified across deployment types: Se a sua implantação do Openflow é no Snowpark Container Services (SPCS) ou Bring Your Own Cloud (BYOC), você configura a autenticação da mesma maneira usando a estratégia de autenticação SNOWFLAKE_MANAGED.
Enhanced security: Os tokens são de curta duração e atualizados automaticamente, minimizando o risco associado à exposição de credenciais.

Como funciona¶

Ao configurar um conector ou processador para se conectar ao Snowflake, selecione SNOWFLAKE_MANAGED como a Estratégia de autenticação do Snowflake. O tempo de execução obtém e gerencia automaticamente o token usado para autenticação no Snowflake em seu nome.

O comportamento do Token gerenciado pelo Snowflake varia de acordo com o tipo de implantação:

Openflow - Snowflake Deployments: Ao ser executado em uma implantação gerenciada pelo Snowflake, o tempo de execução usa tokens de sessão SPCS fornecidos nativamente pelo ambiente SPCS. Esses tokens estão disponíveis em tempo de execução e não exigem configuração adicional.
BYOC deployments: Ao ser executado em uma implantação BYOC, o tempo de execução usa a federação de identidade de carga de trabalho para autenticação no Snowflake. O tempo de execução troca automaticamente sua identidade de provedor de nuvem (por exemplo, uma função do IAM da AWS) com um token do Snowflake.

Nota

Para usar o Token gerenciado pelo Snowflake em implantações BYOC, primeiro é necessário configurar funções de tempo de execução para sua implantação.

Quando usar o Token gerenciado pelo Snowflake¶

Use o Token gerenciado pelo Snowflake para:

Todas as novas configurações de conectores nas implantações SPCS e BYOC.
Migrações da autenticação de par de chaves para o modelo de autenticação simplificado e gerenciado.
Cenários em que você deseja evitar o gerenciamento de pares de chaves ou outras credenciais de longa duração.

Métodos alternativos de autenticação¶

O Token gerenciado pelo Snowflake é recomendado, mas as implantações BYOC também oferecem suporte à autenticação de par de chaves (KEY_PAIR) para casos em que você precisa de gerenciamento explícito de credenciais. Para obter mais informações sobre autenticação de par de chaves, consulte Autenticação de pares de chaves e rotação de pares de chaves.

Para obter informações sobre os mecanismos de autenticação subjacentes, consulte o seguinte:

Federação de identidades de carga de trabalho: informações sobre o mecanismo de autenticação utilizado nas implantações BYOC.
Snowpark Container Services: como trabalhar com serviços: informações sobre como os serviços SPCS fazem a autenticação no Snowflake.

Arquitetura¶

O diagrama a seguir ilustra a arquitetura do Openflow:

O agente de implantação instala e inicializa a infraestrutura de implantação do Openflow em sua VPC e sincronizar regularmente imagens de contêiner do registro de imagens do sistema Snowflake.

Os componentes do Openflow incluem:

Deployments: A deployment is where your data flows execute, within individual runtimes. You will often have multiple runtimes to isolate different projects, teams, or for SDLC reasons, all associated with a single deployment. Deployments come in two types Bring Your Own Cloud (BYOC) and Openflow - Snowflake.
Ambiente de gerenciamento: The control plane is a layer containing all components used to manage and observe Openflow runtimes. This includes the Openflow service and API, which users interact with via the Openflow canvas or through interaction with Openflow APIs. On Openflow - Snowflake Deployments, the Control Plane consists of Snowflake-owned public cloud infrastructure and services as well as the control plane application itself.
BYOC deployments: Implantações BYOC atuam como contêineres para tempos de execução implantados no seu ambiente de nuvem. Eles são cobrados com base no uso de computação, infraestrutura e armazenamento. Consulte Considerações sobre custo e dimensionamento do Openflow BYOC para obter mais informações.
Openflow - Snowflake Deployments: Openflow - Snowflake Deployments are containers for runtimes and are deployed using a compute pool. They incur utilization charges based on their uptime and usage of compute. See Custo de implantação do Snowflake e considerações sobre dimensionamento for more information.
Tempo de execução: Runtimes host data pipelines, with the framework providing security, simplicity, and scalability. You can deploy Openflow runtimes in your VPC using Openflow. You can deploy Openflow connectors to your runtimes, and also build completely new pipelines using Openflow processors and controller services.
Tempo de execução de Openflow - Snowflake Deployment: Openflow - Snowflake Deployment Runtimes are deployed as Snowpark Container Services service to an Openflow - Snowflake Deployment deployment, which is represented by an underlying compute pool. Customers request a Runtime through the deployment, which executes a request on behalf of the user to service. Once created, customers access it via a web browser at the URL generated for that underlying service.