Openflow Connector for Snowflake to Kafka 정보

참고

커넥터에는 커넥터 약관 이 적용됩니다.

이 항목에서는 Openflow Connector for Snowflake to Kafka 의 기본 개념과 제한 사항에 대해 설명합니다.

커넥터는 Snowflake 스트림을 소비하고 소비된 CDC 레코드를 Kafka 항목으로 보냅니다. Snowflake 스트림 오브젝트는 삽입, 업데이트, 삭제 등 테이블에 대한 데이터 조작 언어(DML)와 각 변경 사항에 대한 메타데이터를 기록하여 변경된 데이터를 사용해 작업을 수행할 수 있도록 합니다. 이러한 프로세스를 변경 데이터 캡처(CDC)라고 합니다.

다음 작업을 수행하려는 경우 이 커넥터를 사용하십시오.

  • 실시간 인사이트 배포 및 이벤트 기반 아키텍처를의 경우 CDC 를 사용하여 Snowflake 테이블을 Apache Kafka에 복제합니다

워크플로

CDC 데이터를 수신할 Kafka 브로커의 구성에 따라 워크플로가 약간 다를 수 있습니다.

  1. Snowflake 계정 관리자는 다음 작업을 수행합니다.

    1. CDC 데이터의 소스가 될 Snowflake 스트림을 만들거나 식별합니다.

    2. 커넥터가 사용할 웨어하우스를 지정합니다.

    3. 커넥터에서 사용하는 Snowflake 사용자와 이 사용자의 역할을 구성하거나 식별합니다. 사용자는 소스 Snowflake 스트림에 대한 적절한 권한이 있어야 합니다. 사용자는 최소한 Snowflake 스트림이 포함된 데이터베이스 및 스키마에 대한 USAGE 권한과 스트림 및 스트림의 기본 테이블 또는 뷰 오브젝트에 대한 SELECT 권한이 있어야 합니다.

  2. Kafka 관리자는 다음 작업을 수행합니다.

    1. Snowflake 스트림에서 캡처한 CDC 의 대상이 될 Kafka 브로커와 항목을 만들거나 식별합니다.

    2. 커넥터에서 사용할 Kafka 브로커의 인증 메커니즘을 설정합니다.

  3. 데이터 엔지니어는 다음 작업을 수행합니다.

    1. 커넥터를 설치하고 구성합니다.

    2. Snowflake 자격 증명 및 구성을 제공합니다.

    3. Kafka 자격 증명 및 구성을 제공합니다.

    4. 커넥터 매개 변수를 제공합니다.

스트림 메타데이터 열

스트림 메타데이터 열 METADATA$ROW_ID, METADATA$ISUPDATE, METADATA$ACTION 은 Kafka 항목으로 전송됩니다. 이러한 열의 이름은 Kafka로 전송되기 전에 수정됩니다. 전송되는 JSON 메시지 페이로드에서는 METADATA_ROW_ID, METADATA_ISUPDATE, METADATA_ACTION 이 됩니다.

자세한 내용은 스트림 열 섹션을 참조하십시오.

제한 사항

  • 1개의 커넥터는 1개의 Snowflake 스트림에서 CDCs 만 캡처할 수 있습니다.

  • 스키마를 제외한 메시지가 전송됩니다.

  • 스키마 진화는 지원되지 않습니다.

다음 단계

Openflow Connector for Snowflake to Kafka 설정

언어: 한국어