커넥터용 Snowflake Native SDK

커넥터용 Snowflake Native SDK(1단계)는 외부 데이터 원본의 데이터를 Snowflake로 수집하는 Snowflake Native App을 만드는 방법을 보여주는 애플리케이션 템플릿 및 빠른 시작 세트입니다. 이러한 템플릿은 풀 기반 및 푸시 기반 데이터 통합 패턴을 다룹니다.

이러한 템플릿은 개발자를 한정하거나 제한하지 않습니다. 대신 이러한 템플릿은 핵심 Snowflake 기능을 사용하여 데이터를 수집하고 Snowflake Native App 내에 애플리케이션 코드를 캡슐화하는 방법에 대한 예를 제공합니다.

공급자는 Snowflake Native App Framework 를 사용하여 Snowflake Marketplace 에서 Snowflake Native App 을 게시하고 수익을 창출할 수 있습니다. Snowflake Native App 개발자는 템플릿 리포지토리를 복제하고 상용구 코드를 수정하며 자체적인 Snowflake 커넥터를 만들 수 있습니다.

풀 기반 커넥터 템플릿 및 빠른 시작

풀 기반 패턴은 원본 데이터 공급자가 Snowflake에서 고객 데이터를 관리하지 않고 Snowflake에서 연속적인 데이터 공유에 대해 COGS를 발생시키고 싶지 않을 때 효과적입니다. 이러한 패턴은 고객이 데이터를 복제하고 소비하는 데 사용할 수 있는 API를 원본 데이터 공급자가 잘 문서화한 경우에도 효과적입니다.

풀 기반 패턴을 사용하는 방법

풀 기반 커넥터 패턴을 사용함으로써, 공급자(Snowflake 또는 서드 파티 ETL 공급자)는 Snowflake Marketplace를 사용하여 Snowflake Native App을 기반으로 네이티브 커넥터를 게시하고 배포할 수 있습니다. 네이티브 커넥터는 직접 외부 액세스를 사용하여 원본 애플리케이션과 연결합니다. 네이티브 커넥터는 아웃바운드 인증을 수행하고, 원본의 데이터를 고객 계정으로 직접 가져오고, 사용자가 지정한 구성을 기준으로 데이터를 처리하고 유지합니다.

다음 그래픽에서는 풀 기반 패턴을 사용하여 네이티브 커넥터를 개발할 때 가능한 아키텍처를 보여줍니다.

Pull-based connector architecture

추가 정보

템플릿과 빠른 시작을 보려면 다음 링크를 참조하십시오.

푸시 기반 커넥터 템플릿 및 빠른 시작

보안, 성능 또는 거버넌스 제한으로 인해 고객 방화벽을 통해 원본 애플리케이션에 대한 인바운드 액세스를 할 수 없을 때 푸시 기반 패턴을 사용하는 것이 효과적입니다. 이 패턴에서는 에이전트와 Snowflake Native Application을 사용하여 고객이 방화벽 뒤에서 Snowflake로 데이터 변경 사항을 수집할 수 있도록 합니다.

푸시 기반 패턴을 사용하는 방법

에이전트는 Docker 이미지로 배포되는 독립형 애플리케이션으로, 고객 환경에 배포되며 원본 CDC 스트림에서 데이터 변경 사항을 읽어 Snowflake에 초기 및 증분 로드를 전송하는 역할을 담당합니다.

Snowflake Native App은 Snowflake 내에서 실행되며 통합을 조정합니다. Snowflake Native App은 주로 복제 프로세스 관리, 에이전트 상태 제어, 대상 데이터베이스를 포함한 필수 오브젝트 생성을 담당합니다.

다음 그래픽에서는 푸시 기반 패턴을 사용하여 네이티브 커넥터를 개발할 때 가능한 아키텍처를 보여줍니다.

Pull-based connector architecture

추가 정보

예제와 빠른 시작을 보려면 다음 링크를 참조하십시오.

커넥터용 Snowflake Native SDK의 다음 단계

Snowflake는 커넥터용 Snowflake Native SDK의 2단계에서 수집 작업 관리 방법, 재사용 가능한 라이브러리 형식으로 공통 커넥터 블록을 일반화하는 방법 등을 보여주는 예제를 더 추가할 예정입니다. 특정 예제, 새로운 라이브러리 또는 기타 추가 사항과 업데이트는 변경될 수 있습니다.

2단계 미리 보기에 등록하려면 커넥터용 Snowflake Native SDK 페이지 를 참조하십시오.