Openflow Connector for PostgreSQL 설정¶

wal_level 구성하기¶

Openflow Connector for PostgreSQL 에서는 wal_level 을 logical 로 설정해야 합니다.

PostgreSQL 서버가 호스팅되는 위치에 따라 다음과 같이 wal_level을 구성할 수 있습니다.

발행물 생성하기¶

Openflow Connector for PostgreSQL 에서는 복제를 시작하기 전에 발행물 을 만들고 PostgreSQL 에 구성해야 합니다. 전체 또는 테이블의 하위 집합은 물론 지정된 열만 있는 특정 테이블에 대해서도 생성할 수 있습니다. 복제할 계획인 모든 테이블과 열이 발행물에 포함되어 있는지 확인합니다. 커넥터가 실행되는 동안 나중에 게시를 수정할 수도 있습니다. 발행물을 생성하고 구성하려면 다음과 같이 하십시오.

1. 데이터베이스에서 CREATE 권한이 있는 사용자로 로그인한 후 다음 쿼리를 실행합니다.

   CREATE PUBLICATION <publication name>;
   

   Copy

2. 데이터베이스 에이전트가 사용할 수 있는 테이블을 정의합니다.

ALTER PUBLICATION <publication name> ADD TABLE <table name>;

Copy

중요

PostgreSQL 15 이상 에서는 지정된 테이블 열의 하위 집합에 대한 발행물 구성을 지원합니다. 커넥터가 이를 올바르게 지원하려면 열 필터링 설정 을 사용하여 발행물에 설정된 것과 동일한 열을 포함해야 합니다.

이 설정이 없으면 커넥터는 다음과 같이 작동합니다.

• 대상 테이블에서 필터에 포함되지 않은 열에는 __DELETED 접미사가 추가됩니다. 스냅샷 단계 동안 복제된 모든 데이터는 유지됩니다.

• 간행물에 새 열을 추가한 후에는 테이블이 영구적으로 실패하게 되며, 해당 복제를 다시 시작해야 합니다.

자세한 내용은 ALTER PUBLICATION 섹션을 참조하십시오.

실시간으로 테이블 세트 복제하기¶

1. 가져온 프로세스 그룹을 마우스 오른쪽 버튼으로 클릭하고 :ui:`Parameters`를 선택합니다.

2. 플로우 매개 변수 에 설명된 대로 필수 매개 변수 값을 채웁니다.

PostgreSQL 복제본 서버에서 테이블 복제¶

커넥터는 `논리적 복제<https://www.postgresql.org/docs/current/logical-replication.html>`_를 사용하여 기본 서버, `핫 대기 복제본<https://www.postgresql.org/docs/current/hot-standby.html>`_ 또는 구독자 서버에서 데이터를 수집할 수 있습니다. PostgreSQL 복제본에 연결하도록 커넥터를 구성하기 전에 기본 노드와 복제본 노드 간의 복제가 올바르게 작동하는지 확인합니다. 커넥터의 데이터 누락 문제를 조사할 때 먼저 커넥터에서 사용하는 복제본 서버에 누락된 행이 있는지 확인합니다.

대기 복제본에 연결할 때의 추가 고려 사항:

• 핫 대기 복제본에 연결하는 것만 지원됩니다. 웜 대기 복제본은 기본 인스턴스로 승격될 때까지 클라이언트의 연결을 허용할 수 없습니다.

• 서버의 PostgreSQL 버전은 16 이상이어야 합니다.

• 커넥터에 필요한 :ref:`게시<label-postgres_connector_create_a_publication>`는 대기 서버가 아닌 기본 서버에 생성해야 합니다. 대기 서버는 읽기 전용이며 게시 생성을 허용하지 않습니다.

핫 대기 인스턴스에 연결했으며 Openflow 게시판에 복제 슬롯 ‘<replication slot>’ 생성 시도 중 시간이 초과되었습니다. 대기 인스턴스에 연결하는 경우 기본 PostgreSQL 인스턴스에 트래픽이 있는지 확인하십시오. 그렇지 않으면 복제 슬롯을 생성하기 위한 호출이 결과를 반환하지 않습니다. 오류가 표시되거나 Read PostgreSQL CDC Stream 프로세서가 시작되지 않는 경우 기본 PostgreSQL 인스턴스에 로그인하고 다음 쿼리를 실행하십시오.

SELECT pg_log_standby_snapshot();

이 오류는 기본 서버에서 데이터가 변경되지 않을 때 발생합니다. 따라서 복제본 서버에 복제 슬롯을 생성하는 동안 커넥터가 중단될 수 있습니다. 이러한 문제는 복제본 서버가 복제 슬롯을 생성하려면 기본 서버에 실행 중인 트랜잭션에 대한 정보를 요구해야 하기 때문에 발생합니다. 기본 서버는 유휴 상태일 때는 정보를 보내지 않습니다. pg_log_standby_snapshot() 함수는 기본 서버가 실행 중인 트랜잭션에 대한 정보를 강제로 복제본 서버로 보내도록 합니다.

복제에 테이블을 제거했다가 다시 추가하기¶

복제에서 테이블을 제거하려면 복제 매개 변수 컨텍스트의 포함된 테이블 이름 또는 포함된 테이블 정규식 매개 변수에서 테이블이 제거되었는지 확인합니다.

나중에 복제에 테이블을 다시 추가하려면 먼저 Snowflake에서 해당 대상 테이블을 삭제하십시오. 그런 다음 테이블을 포함된 테이블 이름 또는 포함된 테이블 정규식 매개 변수에 다시 추가합니다. 이렇게 하면 테이블에 대한 복제 프로세스가 새로 시작됩니다.

이 접근법은 실패한 테이블 복제 시나리오에서 복구하는 데에도 사용할 수 있습니다.

테이블에서 열의 하위 집합 복제하기¶

커넥터는 테이블별로 복제된 데이터를 구성된 열의 하위 집합으로 필터링할 수 있습니다.

열에 필터를 적용하려면 복제 매개 변수 컨텍스트에서 열 필터 속성을 수정하여 필터를 적용하려는 모든 테이블에 대해 1개의 항목씩 구성 배열을 추가합니다.

열은 이름이나 패턴에 따라 포함하거나 제외할 수 있습니다. 테이블당 단일 조건을 적용하거나 여러 조건을 결합할 수 있으며, 제외가 항상 포함보다 우선합니다.

다음 예제는 사용할 수 있는 필드를 보여줍니다. schema 및 table 은 필수이며 included, excluded, includedPattern, excludedPattern 중 1개 이상이 필요합니다.

[
    {
        "schema": "<source table schema>",
        "table" : "<source table name>",
        "included": ["<column name>", "<column name>"],
        "excluded": ["<column name>", "<column name>"],
        "includedPattern": "<regular expression>",
        "excludedPattern": "<regular expression>",
    }
]

테이블의 데이터 변경 사항 추적¶

커넥터는 소스 테이블의 데이터의 현재 상태뿐만 아니라 모든 변경 집합의 모든 행의 모든 상태도 복제합니다. 이 데이터는 대상 테이블과 동일한 스키마로 생성된 저널 테이블에 저장됩니다.

저널 테이블 이름은 ``<source table name>_JOURNAL_<timestamp>_<schema generation> 형식입니다. 여기서 <timestamp>는 소스 테이블이 복제본에 추가된 시점의 epoch 초 값이며, <schema generation>``은 소스 테이블에서 스키마가 변경될 때마다 증가하는 정수입니다. 결과적으로, 스키마가 변경되는 원본 테이블에는 여러 저널 테이블이 포함되게 됩니다.

복제에서 테이블을 제거했다가 다시 추가하면 <타임스탬프> 값이 변경되고 <스키마 생성> 이 1 에서 다시 시작됩니다.

커넥터는 저널 테이블을 삭제하지 않으며, 복제된 모든 소스 테이블에 대해 최신 저널을 사용하여 저널 상단의 Append-only 스트림만 읽습니다. 저장소를 회수하려면 다음을 수행할 수 있습니다.

• 언제든지 모든 저널 테이블을 자를 수 있습니다.

• 복제에서 제거된 원본 테이블과 관련된 저널 테이블을 삭제할 수 있습니다.

• 능동적으로 복제된 테이블에 대한 최신 세대 저널 테이블을 제외한 모든 저널 테이블을 삭제할 수 있습니다.

예를 들어, 커넥터가 소스 테이블 orders 를 적극적으로 복제하도록 설정되어 있고 이전에 테이블 customers 를 복제에서 제거한 경우 다음과 같은 저널 테이블이 있을 수 있습니다. 이 경우 orders_5678_2 를 제외하고 모두 삭제할 수 있습니다.

customers_1234_1
customers_1234_2
orders_5678_1
orders_5678_2

병합 작업 예약 구성하기¶

커넥터는 데이터 웨어하우스를 사용하여 변경 데이터 캡처(CDC) 데이터를 대상 테이블에 병합합니다. 이 작업은 MergeSnowflakeJournalTable 프로세서에 의해 트리거됩니다. 새로운 변경 사항이 없거나 MergeSnowflakeJournalTable 큐에 대기 중인 새 플로우 파일이 없는 경우 병합이 트리거되지 않고 웨어하우스가 자동 일시 중단됩니다.

웨어하우스 비용을 제한하고 예약된 시간에만 병합을 제한하려면 병합 작업 일정 CRON 매개 변수에서 CRON 식을 사용하십시오. MergeSnowflakeJournalTable 프로세서로 수신 플로우 파일을 스로틀링하고 병합은 전용 기간에만 트리거됩니다. 예약에 대한 자세한 내용은 예약 전략 섹션을 참조하십시오.

커넥터 중지 또는 삭제하기¶

커넥터를 중지하거나 제거할 때는 커넥터가 사용하는 복제 슬롯 을 고려해야 합니다.

커넥터는 snowflake_connector_ 로 시작하는 이름 뒤에 임의의 접미사가 붙은 자체 복제 슬롯을 생성합니다. 커넥터가 복제 스트림을 읽으면 슬롯을 전진시켜 PostgreSQL 에서 WAL 로그를 트리밍하고 디스크 공간을 확보할 수 있도록 합니다.

커넥터가 일시 중지되면 슬롯이 진행되지 않고 소스 데이터베이스의 변경 사항으로 인해 WAL 로그 크기가 계속 증가합니다. 특히 트래픽이 많은 데이터베이스에서는 커넥터를 장시간 일시 중지해서는 안 됩니다.

커넥터를 Openflow 캔버스에서 삭제하거나 전체 Openflow 인스턴스를 삭제하는 등 다른 방법으로 커넥터를 제거해도 복제 슬롯은 그대로 유지되므로 수동으로 삭제해야 합니다.

동일한 PostgreSQL 데이터베이스에서 복제하는 커넥터 인스턴스가 여러 개 있는 경우 각 인스턴스는 고유한 이름의 복제 슬롯을 생성합니다. 복제 슬롯을 수동으로 삭제할 때는 올바른 슬롯인지 확인하십시오. CaptureChangePostgreSQL 프로세서의 상태를 확인하여 특정 커넥터 인스턴스가 어떤 복제 슬롯을 사용하는지 확인할 수 있습니다.