Openflow 정보

Snowflake Openflow는 정형 및 비정형 텍스트, 이미지, 오디오, 비디오, 센서 데이터를 지원하는 수백 개의 프로세서를 통해 모든 데이터 소스와 모든 대상을 연결하는 통합 서비스입니다. Apache NiFi, Openflow를 사용하면 자체 클라우드에서 완전 관리형 서비스를 실행하여 완벽하게 제어할 수 있습니다.

참고

Openflow 플랫폼은 현재 AWS 의 고객 보유 VPC 에서 고객 자체적으로 배포할 수 있습니다.

이 항목에서는 Openflow의 주요 기능, 장점, 아키텍처 및 워크플로, 사용 사례에 대해 설명합니다.

주요 기능 및 이점

  • 개방형 및 확장 가능: Apache NiFi 기반의 확장 가능한 관리형 서비스로, 모든 데이터 소스에서 모든 대상으로 프로세서를 구축하고 확장할 수 있습니다.

  • 통합 데이터 통합 플랫폼: Openflow를 통해 데이터 엔지니어는 클라우드 또는 온프레미스의 고객 자체 VPC 내부에 배포할 수 있는 완전 관리형 서비스를 통해 복잡한 양방향 ETL 프로세스를 처리할 수 있습니다.

  • 엔터프라이즈 지원: Openflow는 데이터 통합을 위해 즉시 사용 가능한 보안, 규정 준수, 통합 표시 여부 및 유지 관리 기능 후크를 제공합니다.

  • 모든 데이터 타입의 고속 수집: 데이터 소스에서 거의 모든 규모의 정형 및 비정형 데이터를 배치 및 스트림 모드로 Snowflake로 처리할 수 있는 단일 통합 플랫폼입니다.

  • AI 처리를 위한 멀티모달 데이터의 지속적인 수집: 거의 실시간에 가까운 비정형 데이터 수집으로 Sharepoint, Google Drive 등의 소스에서 가져온 데이터와 즉시 채팅할 수 있습니다.

아키텍처

다음 다이어그램은 Openflow의 아키텍처를 보여줍니다.

Openflow 아키텍처

배포 에이전트는 VPC 에 Openflow 배포 인프라를 설치하고 부트스트랩할 뿐만 아니라 Snowflake 시스템 이미지 레지스트리에서 컨테이너 이미지를 정기적으로 동기화합니다.

Openflow의 일부 구성 요소는 다음과 같습니다.

  • 배포: 배포: 배포는 개별 런타임 내에서 데이터 플로우가 실행되는 곳입니다. 여러 프로젝트, 팀 또는 SDLC 등의 이유로 단일 배포와 관련된 여러 런타임을 격리해야 하는 경우가 종종 있습니다.

  • 런타임: 런타임은 보안, 단순성, 확장성을 제공하는 프레임워크로 데이터 파이프라인을 호스팅합니다. Openflow를 사용하여 VPC 에 Openflow 런타임을 배포할 수 있습니다. 런타임에 Openflow Connector를 배포하고 Openflow 프로세서 및 컨트롤러 서비스를 사용하여 처음부터 새 파이프라인을 빌드할 수도 있습니다.

  • 컨트롤 플레인: 컨트롤 플레인은 사용자가 Openflow UI 를 통해 또는 Openflow APIs 와 직접 상호 작용하는 Openflow 서비스 및 API 를 포함하여 관리 및 관찰에 사용되는 모든 구성 요소를 포함하는 아키텍처의 계층입니다.

워크플로

사용자 페르소나

작업

AWS 클라우드 엔지니어/관리자

AWS 클라우드 계정에 배포 세트를 생성합니다.

Openflow UI 는 배포와 런타임 생성 및 유지 관리를 관리하는 데 사용됩니다. Openflow UI 를 통해 사용자는 모든 배포에서 런타임을 생성, 크기 조정, 업그레이드 및 삭제할 수 있습니다.

Snowflake 로그인은 Openflow에 인증하는 데 사용되며 역할 및 권한은 Openflow 배포 및 런타임에 대한 액세스를 제어하는 데 사용됩니다.

데이터 엔지니어(데이터 파이프라인 승인자, 데이터 수집 책임자)

런타임 캔버스를 사용하여 처음부터 플로우를 빌드하거나 배포된 커넥터를 구성할 수 있습니다.

처음부터 새 플로우를 만들거나 기존 커넥터를 그대로 또는 시작점으로 사용하여 사용자 지정할 수 있습니다. Snowflake 계정(또는 다른 대상 시스템) 내의 브론즈 레이어에 데이터를 채웁니다.

커넥터는 특정 통합 사용 사례를 간단하게 해결할 수 있는 방법이며, 기술 수준이 낮은 사용자도 데이터 엔지니어 없이도 커넥터를 배포할 수 있습니다.

데이터 엔지니어(파이프라인 연산자)

플로우 매개 변수를 구성하고 플로우를 실행합니다

데이터 엔지니어(실버 및 골드 레이어로의 변환 담당)

데이터 파이프라인에 의해 채워진 브론즈 레이어에서 분석을 위해 실버 및 골드 레이어로 데이터를 변환하는 역할을 담당합니다.

비즈니스 사용자

분석을 위해 골드 레이어 오브젝트 사용

사용 사례

최소한의 관리로 모든 소스에서 데이터를 가져와 모든 대상에 저장하고, Snowflake의 기본 제공 데이터 보안 및 거버넌스와 함께 사용하려는 경우 Openflow를 사용하십시오.

Openflow의 몇 가지 사용 사례는 다음과 같습니다.

  • Google Drive 및 Box 같은 비정형 데이터 소스에서 데이터를 수집하여 AI 어시스턴트에서 Snowflake Cortex로 채팅이 가능하도록 준비하거나 자체 사용자 지정 처리에 데이터를 사용하도록 할 수 있습니다.

  • 데이터베이스 테이블의 변경 데이터 캡처(CDC)를 Snowflake로 복제하여 포괄적인 중앙 집중식 보고를 할 수 있습니다.

  • 실시간에 가까운 분석을 위해 Apache Kafka와 같은 스트리밍 서비스의 실시간 이벤트를 Snowflake로 수집하십시오.

  • LinkedIn Ads와 같은 SaaS 플랫폼에서 Snowflake로 데이터를 수집하여 보고, 분석 및 인사이트를 얻을 수 있습니다.

  • Snowflake 및 NiFi 프로세서 및 컨트롤러 를 사용한 Openflow를 사용하여 데이터 플로우 만들기.

보안

Openflow는 업계 최고의 보안 기능을 사용하여 계정과 사용자는 물론 Snowflake에 저장하는 모든 데이터에 대해 최고 수준의 보안을 보장합니다. 몇 가지 주요 측면은 다음과 같습니다.

  • 인증

    • 런타임은 OAuth2 를 사용하여 Snowflake에 인증합니다

  • 인증

    • Openflow는 RBAC 에 대해 세분화된 역할을 지원합니다.

    • ACCOUNTADMIN 을 사용하여 배포 및 런타임을 생성할 수 있는 권한을 부여합니다.

  • 전송 중 암호화

    • Openflow Connector는 TLS 프로토콜을 지원하며, 데이터 수집을 위해 표준 Snowflake 클라이언트를 사용합니다

    • Openflow 배포와 Openflow 컨트롤 플레인 간의 모든 통신은 TLS 프로토콜을 사용하여 암호화됩니다

  • 시크릿 관리(BYOC)

  • Private Link 지원

    • Openflow 커넥터는 인바운드 AWS PrivateLink 를 사용하여 Snowflake에 데이터 읽기 및 쓰기와 호환됩니다.

  • Tri-Secret Secure 지원

    • Openflow Connector는 Tri-Secret Secure 와 호환되어 Snowflake에 데이터를 쓸 수 있습니다.

리전 가용성

Openflow는 AWS 상업 리전 의 모든 계정에서 사용할 수 있습니다. 정부 리전에서는 Openflow를 사용할 수 없습니다.

제한 사항

  • Snowflake Openflow BYOC 약관 에 설명된 대로 Openflow BYOC 보안은 공동 책임 모델입니다.

  • Openflow 승인은 사용자에게 직접 부여되는 역할 및 관련 권한을 사용합니다. 현재 Openflow는 사용자의 역할 계층 구조 내에서 역할이 다른 역할에 연결된 경우 승인을 지원하지 않습니다.

다음 단계

Openflow 설정하기

언어: 한국어