Openflow Connector for SQL Server 정보

참고

This connector is subject to the Snowflake Connector Terms.

This topic describes the basic concepts, workflow, and limitations of the Openflow Connector for SQL Server.

Use the Openflow Connector for SQL Server to connect multiple SQL Server databases in a single SQL Server instance to a Snowflake database and replicate data in near real-time or on a specified schedule.

The connector performs CDC replication of Microsoft SQL Server data with Snowflake for comprehensive, centralized reporting.

워크플로

다음 워크플로에서는 |Sqlserver|를 설정하고 실행하는 단계를 간략하게 설명합니다.

  1. SQL 서버 데이터베이스 관리자는 다음 작업을 수행합니다.

    1. Configures SQL Server replication settings and enables change tracking on the databases and tables being replicated.

    2. 커넥터에 대한 자격 증명을 생성합니다.

    3. (Optional) Provides the SSL certificate to connect to the SQL Server instance over SSL.

  2. Snowflake 계정 관리자는 다음 작업을 수행합니다.

    1. 커넥터에 대한 서비스 사용자, 복제된 데이터를 저장할 대상 데이터베이스, 커넥터에 대한 웨어하우스를 생성합니다.

    2. 커넥터를 설치합니다.

    3. 커넥터 플로우 정의의 필수 매개 변수를 지정합니다.

    4. 흐름을 실행합니다.

The connector does the following when run in Openflow:

  1. 복제를 위해 구성된 소스 테이블과 일치하는 스키마 및 대상 테이블을 생성합니다.

  2. Begins replication according to the table replication lifecycle.

    자세한 내용은 테이블이 복제되는 방법 섹션을 참조하십시오.

여러 SQL Server 데이터베이스의 테이블에서 데이터 복제하기

커넥터는 단일 SQL Server 인스턴스의 여러 SQL Server 데이터베이스에서 테이블 복제를 지원합니다. 커넥터는 대상 Snowflake 데이터베이스의 별도 스키마에 있는 다른 데이터베이스에서 복제된 테이블을 생성합니다.

소스 데이터베이스 이름, 소스 스키마 이름, 테이블 이름을 다음 형식으로 결합하여 복제된 테이블을 참조합니다.

<database_name>.<schema_name>.<table_name>

복제되는 각 소스 데이터베이스의 각 스키마에 대해 커넥터는 대상 Snowflake 데이터베이스에 별도의 스키마를 생성합니다. 대상 스키마의 이름은 소스 데이터베이스 이름과 소스 스키마 이름의 조합으로, 다음 예제와 같이 밑줄 문자(_)로 구분됩니다.

<source_database_name>_<source_schema_name>

커넥터는 다음 예제와 같이 소스 테이블 이름과 동일한 이름으로 대상 스키마에 테이블을 생성합니다.

<destination_database>_<destination_schema_name>.<source_table_name>

테이블이 복제되는 방법

The connector replicates tables in the following stages:

  1. Schema introspection: The connector discovers the columns in the source table, including the column names and types, then validates them against Snowflake’s and the connector’s limitations. Validation failures cause this stage to fail, and the cycle completes. After successful completion of this stage, the connector creates an empty destination table.

  2. Snapshot load: The connector copies all data available in the source table into the destination table. If this stage fails, the connector stops replicating data. After successful completion, the data from the source table is available in the destination table.

  3. 증분 로딩: 커넥터는 소스 테이블의 변경 사항을 추적하고 해당 변경 사항을 대상 테이블에 적용합니다. 이 프로세스는 테이블이 복제에서 제거될 때까지 계속됩니다. 이 스테이지에서 실패하면 문제가 해결될 때까지 소스 테이블의 복제가 영구적으로 중지됩니다.

    스냅샷 로드 우회 및 증분 로드 프로세스 사용에 대한 내용은 :doc:`증분 복제<incremental-replication>`를 참조하세요.

참고

Interim failures, such as connection errors, do not prevent table replication. However, permanent failures, such as unsupported data types, prevent table replication. If a permanent failure prevents table replication, remove the table from the list of tables to be replicated. After you address the problem that caused the failure, you can add the table back to the list of tables to be replicated.

지원되는 SQL 서버 버전

다음 테이블에는 테스트를 거쳐 공식적으로 지원되는 SQL 서버 버전이 나열되어 있습니다.

플랫폼

서비스 및 버전

에디션 및 티어

지원됨

온프레미스

Microsoft SQL Server 2022

Developer, Enterprise, Standard

✔ 지원

Microsoft SQL Server 2019

Developer, Enterprise, Standard

✔ 지원

Microsoft SQL Server 2017

Developer, Enterprise, Standard

✔ 지원

Microsoft SQL Server 2016

Developer, Enterprise, Standard

✔ 지원

Microsoft SQL Server 2014

모두

테스트되지 않음

Microsoft SQL Server 2012

모두

테스트되지 않음

Azure

`Azure SQL Database<https://learn.microsoft.com/azure/azure-sql/database/?view=azuresql>`_

모든 인스턴스 유형

Not yet supported

`Azure SQL Managed Instance<https://learn.microsoft.com/azure/azure-sql/managed-instance/?view=azuresql>`_

모든 인스턴스 유형

✔ 지원

Azure VM의 SQL Server

모두

테스트되지 않음

AWS

`SQL Server용 AWS RDS<https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/CHAP_SQLServer.html>`_

모든 인스턴스 유형

✔ 지원

Amazon EC2용 SQL Server

모두

✔ 지원

Google Cloud

SQL Server용 Google Cloud SQL

모두

테스트되지 않음

Openflow 요구사항

  • 런타임 크기는 중간 이상이어야 합니다. 대용량 데이터를 복제할 때는, 특히 행 크기가 클 경우 더 큰 런타임을 사용합니다.

  • 해당 커넥터는 다중 노드 Openflow 런타임을 지원하지 않습니다. 이 커넥터의 런타임을 구성할 때 Min nodes 및 :ui:`Max nodes`를 ``1``로 설정합니다.

제한 사항

  • 단일 런타임 인스턴스에서 동일한 유형의 여러 커넥터를 실행할 수 없습니다.

  • 커넥터는 SQL 서버를 통한 사용자 이름 및 비밀번호 인증만 지원합니다.

  • 커넥터는 Snowflake에서 지원하는 데이터 타입을 가진 테이블만 복제합니다. 이러한 데이터 타입의 목록은 데이터 타입 요약 섹션을 참조하십시오.

  • The connector only replicates database tables that contain primary keys.

  • The connector does not update existing records in the Snowflake database when a new NOT NULL column with a default value is added to one of the source databases.

  • 커넥터는 열 필터 JSON 에 포함된 목록에 새 열이 추가될 때 Snowflake 데이터베이스의 기존 레코드를 업데이트하지 않습니다.

  • After you delete a column in one of the source databases and add it back with the same name, additional deletes cause errors.

  • After you include a column in Column Filter JSON and exclude it, additional include attempts cause errors.

  • The connector supports source table schema changes, except for changing primary key definitions, changing the precision, or the scale of a numeric column.

  • 커넥터는 테이블 잘라내기 작업을 지원하지 않습니다.

  • The connector does not support re-adding a column after it is dropped.

참고

You can bypass limitations affecting certain table columns by excluding these specific columns from replication.

다음 단계

Openflow Connector for SQL Server 설정