Openflow - Snowflake Deployments 정보

|OFSFSPCS|는 :doc:`SPCS(Snowpark Container Services)</developer-guide/snowpark-container-services/overview>`에서 실행되고 Iceberg 및 Snowflake 네이티브 저장소와 같은 상호 운용 가능한 저장소 전체에서 데이터 통합 및 연결을 위한 간소화된 통합 솔루션을 제공합니다. Snowflake 내에서 완전 독립형 서비스로 제공되는 이 서비스는 배포 및 관리가 용이하여 데이터 흐름을 실행하기 위한 편리하고 비용 효율적인 환경을 제공합니다. 주요 이점은 Snowflake 보안 모델과의 네이티브 통합으로, 이를 통해 원활한 인증, 권한 부여, 네트워크 보안을 지원하고 운영을 간소화할 수 있습니다.

고객은 BYOC 및 Snowflake Deployment를 모두 사용할 수 있지만 다음에는 Snowflake Deployment에 적합한 사용 사례가 나와 있습니다.

  • 브론즈 계층에 원본 그대로의 데이터 통합: 다양한 소스의 원시 데이터를 Snowflake로 바로 전송하고 Openflow Snowflake Deployment를 사용하여 추출 및 로드합니다.

  • 데이터 보강: 파이프라인을 실행하여 Snowflake 내부에 이미 존재하는 테이블을 보강합니다.

  • 수집부터 인사이트까지 한 곳에서: 전체 데이터 수명 주기(수집, 처리, 제공)가 Snowflake 에코시스템 내에서 이루어지는 애플리케이션을 만듭니다.

  • AI를 사용하여 원시 데이터를 인사이트로 변환: 예를 들어, 비정형 데이터를 수집한 다음, Snowflake Intelligence를 사용하여 사용자의 다른 정형 데이터와 통합하여 해당 데이터를 검색하고 더 깊이 이해하는 것입니다.

  • 역방향 ETL 사용: APIs, 메시징 인프라 등을 통해 외부 운영 시스템과 공유하여 인사이트 생성 루프를 완료합니다.

런타임 역할 및 외부 액세스 통합 이해

|OFSFSPCS-plural|는 일반적으로 Snowflake 외부에 있는 데이터 소스 및 대상과 상호 작용할 수 있어야 합니다. 또한 이러한 배포는 직접 Snowflake와 통신하고 액세스할 수 있어야 합니다. 런타임 역할 및 외부 액세스 통합이 이러한 지원을 제공합니다.

런타임 역할이란 무엇입니까?

런타임 역할은 특정 Openflow 런타임과 연결되고 다음 작업에 사용되는 기존 Snowflake 역할입니다.

  • EAIs(외부 액세스 통합)에 대한 액세스 권한을 부여합니다. 이러한 EAIs는 런타임이 Snowflake 자체 내에서 데이터 소스 및 대상에 액세스할 수 있도록 허용하는 규칙을 지정합니다.

  • Snowflake 리소스에 대한 액세스 권한을 부여합니다.

  • 커넥터 특정 리소스에 대한 액세스 권한을 부여합니다.

런타임 역할은 Openflow 세션 토큰에 연결되므로 고객이 Snowflake 인증을 위해 별도의 서비스 사용자와 키 페어를 생성할 필요가 없습니다.

Openflow 내의 EAI(외부 액세스 통합)란 무엇입니까?

:doc:`EAI(외부 액세스 통합)</developer-guide/external-network-access/external-network-access-overview>`는 Openflow 커넥터가 외부 데이터를 가져오는 소스 시스템과 같이, 외부 리소스에 대해 보안 액세스를 제공하도록 설계된 Snowflake 오브젝트입니다. Openflow Snowflake Deployment는 EAIs 및 네트워크 규칙을 함께 사용하여 Openflow 커넥터 읽어오거나 쓸 수 있는 엔드포인트를 정의합니다.

데이터 엔지니어가 지정된 커넥터 및 해당 기본 런타임과 관련된 EAIs 및 런타임 역할을 정의하고 구성합니다.

일반 Openflow - Snowflake Deployment 워크플로

다음 섹션에서는 Openflow - Snowflake Deployment 개념 및 워크플로에 대해 설명합니다.

사용자 페르소나

작업

Snowflake 관리자

  • 핵심 Snowflake 및 외부 액세스 통합을 구성합니다.

    Openflow - Snowflake Deployment 설정 - 작업 개요 섹션을 참조하십시오.

  • Snowflake에서 배포 세트를 생성합니다.

    Openflow UI 는 배포와 런타임 생성 및 유지 관리를 관리하는 데 사용됩니다. Openflow UI를 통해 모든 배포에서 런타임을 생성, 크기 조정, 업그레이드 및 삭제할 수 있습니다.

데이터 엔지니어(데이터 파이프라인 승인자, 데이터 수집 책임자)

  • 런타임 역할, 외부 통합 및 나중에 런타임에서 사용할 수 있는 기타 오브젝트를 생성합니다.

  • 런타임 캔버스를 사용하여 완전히 새로운 흐름을 만들거나 배포된 커넥터를 구성합니다. 완전히 새로운 흐름을 만들거나 기존 커넥터를 그대로, 또는 시작점으로 사용하여 사용자 지정할 수 있습니다.

커넥터는 특정 통합 사용 사례를 해결할 수 있는 간단한 방법이며, 기술 수준이 낮은 사용자도 데이터 엔지니어 도움 없이 커넥터를 배포할 수 있습니다.

데이터 엔지니어(파이프라인 연산자)

흐름 매개 변수를 구성하고 흐름을 실행합니다.

데이터 엔지니어(실버 및 골드 계층으로 전환 담당)

데이터 파이프라인에 의해 채워진 브론즈 레이어에서 분석을 위해 실버 및 골드 레이어로 데이터를 변환하는 역할을 담당합니다.

비즈니스 사용자

분석을 위해 골드 계층 오브젝트를 사용합니다.

제한 사항

다음 단계

Openflow - Snowflake Deployment 설정 - 작업 개요