Openflow Connector for MySQL 설정¶

전제 조건¶

1. Openflow Connector for MySQL 정보 을 검토했는지 확인합니다.

2. Snowflake와 데이터를 동기화하려면 MySQL 8 이상 버전이 있어야 합니다.

3. Openflow를 설정 했는지 확인합니다.

4. 데이터베이스 관리자는 다음 작업을 수행합니다.

   1. 이진 로그 를 활성화한 다음 저장하고 다음과 같이 형식을 구성합니다.

      log_bin	on 으로 설정합니다. 이를 통해 구조 및 데이터 변경 사항을 기록하는 이진 로그를 활성화할 수 있습니다.
      binlog_format	row 로 설정합니다. 커넥터는 행 기반 복제만 지원합니다. MySQL 8.x 버전이 이 설정을 지원하는 마지막 버전일 수 있으며, 향후 버전에서는 행 기반 복제만 지원하게 됩니다. 올바른 값으로 수정된 GCP Cloud SQL 에서는 적용되지 않습니다.
      binlog_row_metadata	full 로 설정합니다. 커넥터가 작동하려면 모든 행 메타데이터, 가장 중요한 열 이름과 기본 키 정보가 필요합니다.
      binlog_row_image	full 로 설정합니다. 커넥터는 모든 열을 이진 로그에 기록할 것을 요구합니다. 올바른 값으로 수정된 Amazon Aurora에서는 적용되지 않습니다.
      binlog_row_value_options	비워 둡니다. 이 옵션은 JSON 열에 영향을 주며, UPDATE 문에 대해 JSON 문서의 수정된 부분만 포함하도록 설정할 수 있습니다. 커넥터는 전체 문서를 이진 로그에 기록할 것을 요구합니다.
      binlog_expire_logs_seconds	데이터베이스 에이전트가 장시간 일시 중지 또는 다운타임 후에도 증분 복제를 계속할 수 있도록 최소 몇 시간 이상으로 설정하십시오. 커넥터의 안정적인 작동을 위해 binary log expiration period(binlog_expire_logs_seconds) 을 최소 몇 시간으로 설정할 것을 권장합니다. 이진 로그 만료 기간이 끝나면 이진 로그 파일이 자동으로 제거될 수 있습니다. 예를 들어, 유지 관리 작업 등으로 인해 통합이 장기간 일시 중지되고 이 기간 동안 만료된 이진 로그 파일이 삭제되면 Openflow는 이러한 파일에서 데이터를 복제할 수 없습니다. 예약 복제를 사용하는 경우 이 값은 구성된 일정보다 길어야 합니다.

      다음 코드를 예시로 참조하십시오.

      log_bin = on
      binlog_format = row
      binlog_row_metadata = full
      binlog_row_image = full
      binlog_row_value_options =
      

      Copy

   2. sort_buffer_size 의 값을 늘립니다.

      sort_buffer_size = 4194304
      

      Copy

      sort_buffer_size 는 ORDER BY 같은 인메모리 정렬 작업을 위해 쿼리 스레드당 할당되는 메모리 양(바이트 단위)을 정의합니다. 값이 너무 작으면 커넥터가 다음과 같은 오류 메시지와 함께 실패할 수 있습니다.

      Out of sort memory, consider increasing server sort buffer size. 이는 sort_buffer_size 를 늘려야 함을 나타냅니다.

   3. Amazon RDS 데이터베이스를 사용 중인 경우 rds_set_configuration 을 사용하여 binlog_expire_logs_seconds 와 관련된 보존 기간을 늘립니다. 예를 들어, 24시간 동안 binlog를 저장하려면 mysql.rds_set_configuration('binlog retention hours', 24) 를 호출합니다.

   4. SSL 을 통해 연결합니다. MySQL 에 SSL 연결을 사용할 계획이라면 데이터베이스 서버에 대한 루트 인증서를 준비하십시오. 이는 구성 중에 필수입니다.

   5. 커넥터에 대한 사용자를 생성합니다. 커넥터가 이진 로그를 읽기 위해서는 REPLICATION_SLAVE 및 REPLICATION_CLIENT 권한이 있는 사용자가 필요합니다. 다음 권한 부여:

      GRANT REPLICATION SLAVE ON *.* TO '<username>'@'%'
      GRANT REPLICATION CLIENT ON *.* TO '<username>'@'%'
      

      Copy

   6. 복제된 모든 테이블에 SELECT 권한을 부여합니다.

      GRANT SELECT ON <schema>.* TO '<username>'@'%'
      GRANT SELECT ON <schema>.<table> TO '<username>'@'%'
      

      Copy

      복제 보안에 대한 자세한 내용은 이진 로그 를 참조하십시오.

5. Snowflake 계정 관리자는 다음 작업을 수행합니다.

   1. 유형이 SERVICE 인 Snowflake 사용자를 생성합니다. 복제된 데이터를 저장할 데이터베이스를 생성하고 USAGE 및 CREATE SCHEMA 권한 을 부여하여 해당 데이터베이스에 오브젝트를 생성할 수 있도록 Snowflake 사용자에게 권한을 설정합니다.

      CREATE DATABASE <destination_database>;
      CREATE USER <openflow_user> TYPE=SERVICE COMMENT='Service user for automated access of Openflow';
      CREATE ROLE <openflow_role>;
      GRANT ROLE <openflow_role> TO USER <openflow_user>;
      GRANT USAGE ON DATABASE <destination_database> TO ROLE <openflow_role>;
      GRANT CREATE SCHEMA ON DATABASE <destination_database> TO ROLE <openflow_role>;
      CREATE WAREHOUSE <openflow_warehouse>
           WITH
               WAREHOUSE_SIZE = 'MEDIUM'
               AUTO_SUSPEND = 300
               AUTO_RESUME = TRUE;
      GRANT USAGE, OPERATE ON WAREHOUSE <openflow_warehouse> TO ROLE <openflow_role>;
      

      Copy

   2. 한 쌍의 보안 키(공개 및 비공개)를 생성합니다. 사용자의 개인 키를 파일에 저장하여 커넥터의 구성에 제공합니다. Snowflake 서비스 사용자에게 공개 키를 할당합니다.

      ALTER USER <openflow_user> SET RSA_PUBLIC_KEY = 'thekey';
      

      Copy

      자세한 내용은 키 페어 섹션을 참조하십시오.

   3. 커넥터가 사용할 웨어하우스를 지정합니다. MEDIUM 데이터 웨어하우스 크기로 시작한 다음 복제되는 테이블의 수와 전송되는 데이터의 양에 따라 크기를 실험해 보십시오. 일반적으로 테이블 수가 많을수록 웨어하우스 크기보다는 멀티 클러스터 웨어하우스 에서 확장이 더 쉽습니다.

커넥터 설정하기¶

데이터 엔지니어는 다음 작업을 수행하여 커넥터를 설치하고 구성합니다.

[
    {
        "schema": "<source table schema>",
        "table" : "<source table name>",
        "included": ["<column name>", "<column name>"],
        "excluded": ["<column name>", "<column name>"],
        "includedPattern": "<regular expression>",
        "excludedPattern": "<regular expression>",
    }
]

customers_1234_1
customers_1234_2
orders_5678_1
orders_5678_2

플로우 실행¶

1. 평면을 마우스 오른쪽 버튼으로 클릭하고 Enable all Controller Services 를 선택합니다.

2. 가져온 프로세스 그룹을 마우스 오른쪽 버튼으로 클릭하고 Start 를 선택합니다. 커넥터가 데이터 수집을 시작합니다.