Openflow 정보¶

Snowflake Openflow는 정형 및 비정형 텍스트, 이미지, 오디오, 비디오, 센서 데이터를 지원하는 수백 개의 프로세서를 통해 모든 데이터 소스와 모든 대상을 연결하는 통합 서비스입니다. Apache NiFi, Openflow를 사용하면 자체 클라우드에서 완전 관리형 서비스를 실행하여 완벽하게 제어할 수 있습니다.

참고

Openflow 플랫폼은 현재 AWS 및 Snowpark Container Services 에서 고객 소유의 VPCs에서 배포할 수 있습니다.

이 항목에서는 Openflow의 주요 기능, 장점, 아키텍처 및 워크플로, 사용 사례에 대해 설명합니다.

주요 기능 및 이점¶

개방형 및 확장 가능: Apache NiFi 기반의 확장 가능한 관리형 서비스로, 모든 데이터 소스에서 모든 대상으로 프로세서를 구축하고 확장할 수 있습니다.
통합된 데이터 통합 플랫폼: Openflow를 사용하면 데이터 엔지니어가 자체 VPC 또는 Snowflake 배포 내부에 배포할 수 있는 완전 관리형 서비스를 통해 복잡한 양방향 데이터 추출 및 로딩을 처리할 수 있습니다.
엔터프라이즈 지원: Openflow는 데이터 통합을 위해 즉시 사용 가능한 보안, 규정 준수, 통합 표시 여부 및 유지 관리 기능 후크를 제공합니다.
모든 유형의 데이터에 대한 고속 수집: 데이터 소스에서 거의 모든 규모의 정형 및 비정형 데이터를 배치 및 스트림 모드로 Snowflake로 처리할 수 있는 단일 통합 플랫폼입니다.
AI 처리에 대한 멀티모달 데이터의 연속 수집: Near real-time unstructured data ingestion, so you can immediately chat with your data coming from sources such as Sharepoint, Google Drive, and so on.

Openflow 배포 유형¶

Openflow는 BYOC(Bring Your own Cloud) 및 SPCS(Snowpark Container Services) 버전 둘 다에서 지원됩니다.

Openflow - Snowflake Deployment

Openflow - Snowflake Deployment, using Snowpark Container Services (SPCS), provides a streamlined and integrated solution for connectivity. Because SPCS is a self-contained service within Snowflake, it’s easy to deploy and manage. SPCS offers a convenient and cost-effective environment for running your data flows. A key advantage of Openflow - Snowflake Deployment is its native integration with Snowflake’s security model, which allows for seamless authentication, authorization, network security and simplified operations.

Openflow - Snowflake Deployments 를 구성할 때 :doc:`Openflow - Snowflake Deployment 설정<setup-openflow-spcs>`에 설명된 프로세스를 따릅니다.

Openflow - Bring Your Own Cloud

Openflow - Bring Your Own Cloud (BYOC) provides a connectivity solution that you can use to connect public and private systems securely and handle sensitive data preprocessing locally, within the secure bounds of your organization’s cloud environment. BYOC refers to a deployment option where the Openflow data processing engine, or data plane, runs within your own cloud environment while Snowflake manages the overall Openflow service and control plane.

BYOC 배포를 구성할 때 :doc:`setup-openflow-byoc`에 설명된 프로세스를 따릅니다.

사용 사례¶

최소한의 관리로 모든 소스에서 데이터를 가져와 모든 대상에 저장하고, Snowflake의 기본 제공 데이터 보안 및 거버넌스와 함께 사용하려는 경우 Openflow를 사용합니다.

Openflow 사용 사례는 다음과 같습니다.

Google Drive 및 Box 같은 비정형 데이터 소스에서 데이터를 수집하여 AI 어시스턴트에서 Snowflake Cortex로 채팅이 가능하도록 준비하거나 자체 사용자 지정 처리에 데이터를 사용하도록 할 수 있습니다.
데이터베이스 테이블의 변경 데이터 캡처(CDC)를 Snowflake로 복제하여 포괄적인 중앙 집중식 보고를 할 수 있습니다.
실시간에 가까운 분석을 위해 Apache Kafka와 같은 스트리밍 서비스의 실시간 이벤트를 Snowflake로 수집하십시오.
LinkedIn Ads와 같은 SaaS 플랫폼에서 Snowflake로 데이터를 수집하여 보고, 분석 및 인사이트를 얻을 수 있습니다.
Snowflake 및 NiFi :doc:`프로세서<processors/index>`와 :doc:`컨트롤러 서비스<controllers/index>`를 사용하여 Openflow 데이터 흐름을 만듭니다.

보안¶

Openflow는 업계 최고의 보안 기능을 사용하여 계정과 사용자는 물론 Snowflake에 저장하는 모든 데이터에 대해 최고 수준의 보안을 보장합니다. 몇 가지 주요 측면은 다음과 같습니다.

인증

런타임은 :ref:`Snowflake Managed Token<label-openflow_snowflake_managed_token>`을 기본 및 권장 인증 방법으로 사용합니다.
Snowflake Managed Token은 SPCS 및 BYOC 배포 유형에서 일관되게 작동합니다.
BYOC 배포에서는 명시적 자격 증명 관리를 위해 키 페어 인증을 사용할 수 있습니다.

인증

Openflow supports fine-grained roles for RBAC.
ACCOUNTADMIN to grant privileges to be able to create deployments and runtimes.

전송 중 암호화

Openflow 커넥터는 TLS 프로토콜을 지원하며, 데이터 수집을 위해 표준 Snowflake 클라이언트를 사용합니다.
Openflow 배포와 Openflow 컨트롤 플레인 간의 모든 통신은 TLS 프로토콜을 사용하여 암호화됩니다.

시크릿 관리(BYOC)

AWS 시크릿 관리자 또는 Hashicorp Vault와 통합. 자세한 내용은 구성 파일의 암호화된 비밀번호 섹션을 참조하십시오.

Private Link 지원

Openflow 커넥터는 인바운드 AWS PrivateLink를 사용한 Snowflake에 대한 데이터 읽기 및 쓰기와 호환됩니다.

Tri-Secret Secure 지원

Openflow Connector는 Tri-Secret Secure 와 호환되어 Snowflake에 데이터를 쓸 수 있습니다.

Snowflake Managed Token 인증¶

Snowflake Managed Token은 Openflow 런타임이 Snowflake에 연결할 때 권장되는 기본 인증 방법입니다. 이 인증 방법은 Openflow - Snowflake Deployments 및 BYOC 배포 모두에 걸쳐 일관되게 작동합니다. Snowflake Managed Token은 Snowflake 연결 구성을 위한 간소화된 통합 환경을 제공합니다.

Key benefits¶

간소화된 구성: Snowflake Managed Token을 사용하면 키 페어와 같이 수명이 긴 자격 증명을 생성, 저장, 순환할 필요가 없습니다. 토큰은 Snowflake에서 자동으로 관리되므로 운영 오버헤드가 줄어듭니다.
Unified across deployment types: Openflow를 |spcs|(SPCS)에 배포하든 또는 Bring Your Own Cloud (BYOC)에 배포하든 관계없이 SNOWFLAKE_MANAGED 인증 전략을 사용하여 동일한 방식으로 인증을 구성합니다.
Enhanced security: 토큰은 일시적이며 자동으로 새로 고쳐지므로 자격 증명 노출과 관련된 위험이 최소화됩니다.

작동 방법¶

Snowflake에 연결하도록 커넥터 또는 프로세서를 구성하는 경우 ``SNOWFLAKE_MANAGED``를 :guilabel:`Snowflake Authentication Strategy`로 선택합니다. 런타임은 사용자를 대신하여 Snowflake에 인증하는 데 사용되는 토큰을 자동으로 획득하고 관리합니다.

Snowflake Managed Token의 동작은 배포 유형에 따라 다릅니다.

Openflow - Snowflake Deployments: Snowflake 관리형 배포에서 실행할 때 런타임은 SPCS 환경에서 기본적으로 제공되는 :doc:`SPCS세션 토큰</developer-guide/snowpark-container-services/overview>`을 사용합니다. 이러한 토큰은 런타임에 사용할 수 있으며 추가 구성이 필요하지 않습니다.
BYOC deployments: BYOC 배포에서 실행할 때 런타임은 :doc:`워크로드 ID 페더레이션</user-guide/workload-identity-federation>`을 사용하여 Snowflake에 인증합니다. 런타임은 클라우드 공급자 ID(예: AWS IAM 역할)를 Snowflake 토큰으로 자동으로 교환합니다.

참고

BYOC 배포에서 Snowflake Managed Token을 사용하려면 먼저 배포를 위한 :ref:`런타임 역할<label-deployment_byoc_setup_runtime_role>`을 구성해야 합니다.

Snowflake Managed Token을 사용해야 하는 경우¶

다음의 경우 Snowflake Managed Token을 사용합니다.

SPCS 및 BYOC 배포 모두에서 새로운 모든 커넥터 구성.
키 페어 인증에서 간소화된 관리형 인증 모델로 마이그레이션.
키 페어 또는 기타 장기 자격 증명을 관리하지 않으려는 경우.

대체 인증 방법¶

Snowflake Managed Token이 권장되지만, BYOC 배포에서는 명시적 자격 증명 관리가 필요한 경우 키 페어 인증(KEY_PAIR)을 지원할 수도 있습니다. 키 페어 인증에 대한 자세한 내용은 키 페어 인증 및 키 페어 순환 섹션을 참조하십시오.

기본 인증 메커니즘에 대한 자세한 내용은 다음을 참조하세요.

워크로드 ID 페더레이션: BYOC 배포에 사용된 인증 메커니즘에 대한 정보입니다.
Snowpark Container Services: 서비스 사용하기: SPCS 서비스를 Snowflake에 인증하는 방법에 대한 정보입니다.

아키텍처¶

다음 다이어그램은 Openflow의 아키텍처를 보여줍니다.

배포 에이전트는 VPC에 Openflow 배포 인프라를 설치하고 부트스트랩할 뿐만 아니라 Snowflake 시스템 이미지 레지스트리에서 컨테이너 이미지를 정기적으로 동기화합니다.

Openflow 구성 요소에는 다음이 포함됩니다.

Deployments: A deployment is where your data flows execute, within individual runtimes. You will often have multiple runtimes to isolate different projects, teams, or for SDLC reasons, all associated with a single deployment. Deployments come in two types Bring Your Own Cloud (BYOC) and Openflow - Snowflake.
컨트롤 플레인: The control plane is a layer containing all components used to manage and observe Openflow runtimes. This includes the Openflow service and API, which users interact with via the Openflow canvas or through interaction with Openflow APIs. On Openflow - Snowflake Deployments, the Control Plane consists of Snowflake-owned public cloud infrastructure and services as well as the control plane application itself.
BYOC deployments: BYOC 배포`는 *사용자*의 클라우드 환경에 배포되는 런타임의 컨테이너 역할을 하는 배포입니다. 컴퓨팅, 인프라, 저장소 사용량에 따라 요금이 부과됩니다. 자세한 내용은 :doc:`cost-byoc 섹션을 참조하십시오.
Openflow - Snowflake Deployments: Openflow - Snowflake Deployments are containers for runtimes and are deployed using a compute pool. They incur utilization charges based on their uptime and usage of compute. See Openflow Snowflake Deployment 비용 및 확장 고려 사항 for more information.
런타임: Runtimes host data pipelines, with the framework providing security, simplicity, and scalability. You can deploy Openflow runtimes in your VPC using Openflow. You can deploy Openflow connectors to your runtimes, and also build completely new pipelines using Openflow processors and controller services.
Openflow - Snowflake Deployment 런타임: Openflow - Snowflake Deployment Runtimes are deployed as Snowpark Container Services service to an Openflow - Snowflake Deployment deployment, which is represented by an underlying compute pool. Customers request a Runtime through the deployment, which executes a request on behalf of the user to service. Once created, customers access it via a web browser at the URL generated for that underlying service.