Openflow Connector for PostgreSQL 정보

참고

커넥터에는 커넥터 약관 이 적용됩니다.

이 항목에서는 Openflow Connector for PostgreSQL 의 기본 개념, 워크플로 및 제한 사항에 대해 설명합니다.

Openflow Connector for PostgreSQL 은 PostgreSQL 데이터베이스 인스턴스를 Snowflake에 연결하고 선택한 테이블의 데이터를 거의 실시간으로 또는 예약된 일정에 따라 복제합니다. 커넥터는 또한 복제된 테이블의 현재 상태에 따라 사용할 수 있는 모든 데이터 변경 사항의 로그를 생성합니다.

다음 작업을 수행하려는 경우 이 커넥터를 사용하십시오.

  • 포괄적인 중앙 집중식 보고를 위해 Snowflake를 사용한 PostgreSQL 테이블의 CDC 복제

워크플로

  1. 데이터베이스 관리자 가 PostgreSQL 복제 설정을 구성하고, 게시를 만들고, 커넥터에 대한 자격 증명을 생성합니다. 선택 사항으로 SSL 인증서를 제공합니다.

  2. Snowflake 계정 관리자 는 다음 작업을 수행합니다.

    1. 커넥터에 대한 서비스 사용자, 커넥터를 위한 웨어하우스, 복제할 대상 데이터베이스를 생성합니다.

    2. 설명서에 있는 커넥터 정의 파일을 다운로드하여 Snowflake Openflow 캔버스로 가져옵니다.

    3. 플로우 템플릿의 필수 매개 변수를 지정합니다.

    4. 플로우를 실행합니다. 커넥터는 Openflow에서 실행될 때 다음 작업을 수행합니다.

      1. 저널 테이블에 대한 스키마를 생성합니다.

      2. 복제를 위해 구성된 소스 테이블과 일치하는 스키마 및 대상 테이블을 생성합니다.

      3. 테이블 복제 수명 주기에 따라 복제를 시작합니다.

테이블 복제 수명 주기

  1. 스키마 검사: 커넥터는 소스 테이블의 열, 이름, 유형을 검색한 다음 Snowflake 및 커넥터의 제한 사항에 대해 유효성을 검사합니다. 유효성 검사에 실패하면 이 스테이지가 실패하고 사이클이 완료됩니다. 스키마 자가 분석을 성공적으로 완료한 후 커넥터는 빈 대상 테이블을 생성합니다.

  2. 스냅샷 로딩: 커넥터는 소스 테이블에서 사용 가능한 모든 데이터를 대상 테이블에 복사본으로 복사합니다. 이 스테이지가 실패하면 사이클이 종료되고 더 이상 데이터가 복제되지 않습니다. 성공적으로 완료되면 소스 테이블의 전체 데이터 세트를 대상 테이블에서 사용할 수 있습니다.

  3. 증분 로딩: 커넥터는 계속해서 원본 테이블의 변경 내용을 추적하고 대상 테이블에 복사합니다. 테이블이 복제에서 제거될 때까지 이 과정이 계속됩니다. 이 스테이지에서 실패하면 문제가 제거될 때까지 소스 테이블의 복제가 영구적으로 중지됩니다.

참고

연결 문제와 같은 임시 장애는 테이블 복제를 중지하지 않지만, 지원되지 않는 데이터 타입 매핑과 같은 영구 장애는 영향을 받는 테이블의 복제를 더 이상 중지하지만 구성된 다른 테이블은 변경 없이 계속 유지됩니다. 영향을 받는 테이블의 문제를 수정한 후에는 해당 테이블을 제거한 후 복제에 다시 추가할 수 있습니다.

지원되는 PostgreSQL 버전

지원되는 PostgresSQL 버전은 다음과 같습니다.

지원되는 PostgreSQL 버전

11

12

13

14

15

16

17

표준

AWS RDS

Amazon Aurora

GCP 클라우드 SQL

Azure Database

제한 사항

  • 커넥터는 PostgreSQL 버전 11 이상을 지원합니다.

  • 커넥터는 PostgreSQL 을 통한 사용자 이름과 비밀번호 인증만 지원합니다.

  • 커넥터는 PostgreSQL 읽기 복제본 인스턴스를 지원하지 않습니다.

  • 커넥터는 Snowflake의 타입 제한 을 초과하는 데이터가 있는 테이블은 복제하지 않습니다.

  • 커넥터는 TOAST 값 이 있는 테이블을 복제하지 않습니다.

  • 커넥터에는 복제된 모든 테이블에 기본 키가 있어야 하고 테이블의 복제본 ID는 기본 키와 동일해야 합니다.

  • 커넥터는 기본 키 정의 변경, 전체 자릿수 변경 또는 숫자 열의 스케일 변경을 제외한 소스 테이블 스키마 변경을 지원합니다.

  • 커넥터는 멀티 클러스터 Openflow 런타임을 지원하지 않습니다.

참고

특정 테이블 열에 영향을 미치는 제한은 이러한 특정 열을 복제에서 제외하여 우회할 수 있습니다.

다음 단계

Openflow Connector for PostgreSQL 설정