Openflow Connector for Salesforce Bulk API: 커넥터 구성¶
참고
이 커넥터에는 `Snowflake Connector 약관<https://www.snowflake.com/legal/snowflake-connector-terms/>`_이 적용됩니다.
이 항목에서는 Openflow Connector for Salesforce Bulk API 를 구성하는 단계에 대해 설명합니다.
커넥터 설치하기¶
Openflow 런타임에서 Openflow Connector for Salesforce Bulk API 를 설치하려면 다음 단계를 따릅니다.
Openflow Overview 페이지로 이동합니다. Featured connectors 섹션에서 View more connectors 을 선택합니다.
Openflow 커넥터 페이지에서 :ui:`Openflow connector for Salesforce Bulk API`를 찾아 :ui:`Add to runtime`을 선택합니다.
Select runtime 대화 상자의 Available runtimes 드롭다운에서 런타임을 선택합니다.
커넥터 프로세스 그룹이 추가된 Openflow 캔버스가 표시됩니다.
커넥터 구성¶
커넥터를 구성하려면 다음 단계를 수행합니다.
가져온 프로세스 그룹을 마우스 오른쪽 버튼으로 클릭하고 Parameters 를 선택합니다.
아래의 테이블에 설명된 대로 필수 매개 변수 값을 채웁니다.
매개 변수 |
설명 |
|---|---|
Column Removal Strategy |
가장 최근에 수신된 스키마를 기반으로 대상 테이블에서 열을 제거해야 할 때 채택할 전략을 정의합니다. 가능한 값 3가지 값은
|
Connected App 키 |
Salesforce 설정 중에 생성된 |
Connected App 키 파일 |
참조 자산 확인란을 클릭하여 |
Connected App 키 비밀번호 |
Salesforce 설정 단계에서 개인 키 파일에 설정된 비밀번호입니다. |
대상 데이터베이스 |
Salesforce 데이터가 복제될 Snowflake의 데이터베이스 이름입니다. 커넥터를 시작하려면 데이터베이스가 존재해야 합니다. |
대상 스키마 |
위의 데이터베이스에서 커넥터가 Salesforce 데이터를 추가하기 위한 테이블을 생성할 스키마의 이름입니다. 커넥터를 시작하려면 스키마가 존재해야 합니다. |
필터 |
Salesforce에서 복제할 오브젝트의 쉼표로 구분된 목록 또는 모든 기존 오브젝트에 적용할 정규식입니다. 예를 들면 ``Account, Opportunity, Contact``입니다. 참고 비워두면 모든 오브젝트가 복제됩니다. Salesforce 인스턴스에는 일반적으로 수천 개의 오브젝트가 있으므로 이는 권장되지 않습니다. |
증분 오프로드 |
프로세서가 증분 오프로드를 수행해야 하는지 여부입니다. |
초기 로드 청크 |
이는 단일 쿼리에서 모든 과거 데이터를 로드하는 시간이 초과되거나, API 제한을 초과하거나, 런타임 콘텐츠 리포지토리의 저장소 크기를 초과할 수 있는 대규모 데이터 세트에 유용합니다. 해당 시간에 도달한 경우 프로세서는 정상적인 증분 오프로드 동작을 계속합니다. |
OAuth2 대상 그룹 |
JWT 토큰에서 설정할 대상 그룹입니다. 이는 일반적으로 ``https://login.salesforce.com``으로 설정됩니다. |
OAuth2 클라이언트 ID |
Salesforce 설정 단계 중에 검색된 Consumer Key 값으로 설정해야 합니다. |
OAuth2 주제 |
애플리케이션이 이 사용자를 대신하여 Salesforce APIs와 상호 작용하려면 관리자가 승인한 사용자의 사용자 이름으로 설정해야 합니다. |
OAuth2 토큰 엔드포인트 URL |
JWT 전달자 흐름을 통해 토큰을 협상하는 엔드포인트입니다. 예를 들면 ``https://myCompany.my.salesforce.com/services/oauth2/token``입니다. |
오브젝트 필드 필터 JSON |
Salesforce 오브젝트별로 포함하거나 제외해야 하는 필드와 필드 패턴을 지정하는 JSON입니다. 오브젝트당 하나의 항목이 있는 배열 형식을 취합니다. 예 1: 여기에는 ‘계정’ Salesforce 오브젝트에서 ‘이름’으로 끝나는 모든 필드가 포함됩니다.
예 2: 여기에는 ‘계정’ Salesforce 오브젝트의 ID, 이름 및 수익 필드가 포함됩니다.
|
오브젝트 식별자 확인 |
스키마/테이블/열 이름을 대/소문자를 구분하여 처리할지 또는 대/소문자 구분 없이 처리할지 결정합니다. 참고 이 매개 변수 값을 변경하려면 상태를 지우고 모든 오브젝트를 완전히 다시 로드해야 합니다. |
열 이름 접미사 제거 |
Column Removal Strategy 매개 변수를 |
실행 예약 |
커넥터가 Filter 매개 변수를 통해 구성된 오브젝트에 대해 Salesforce에서 업데이트를 확인하는 빈도입니다. 기본값: |
Salesforce 인스턴스 |
도메인 이름을 포함한 Salesforce 인스턴스의 호스트 이름입니다. 프로토콜 접두사( |
Snowflake 계정 식별자 |
데이터가 유지될 |
Snowflake 사용자 이름 |
커넥터가 Snowflake에 연결하는 데 사용하는 서비스 사용자의 이름입니다. 서비스 사용자는 |
Snowflake 개인 키 |
커넥터가 표준 PEM 머리글 및 바닥글을 포함하여 PKCS8 표준에 따라 형식이 지정된 Snowflake에 대한 인증에 사용하는 RSA 개인 키입니다. 헤더 라인은 다음 매개 변수를 사용하여 Openflow 런타임에 개인 키를 업로드할 수도 있습니다. |
Snowflake 개인 키 파일 |
커넥터가 표준 PEM 머리글 및 바닥글을 포함하여 PKCS8 표준에 따라 형식이 지정된 Snowflake에 대한 인증에 사용하는 RSA 개인 키가 포함된 파일입니다. 헤더 라인은 Reference asset 확인란을 선택하여 개인 키 파일을 업로드하고 Openflow 런타임에 안전하게 저장합니다. |
Snowflake 개인 키 비밀번호 |
Snowflake 개인 키 파일과 연결된 비밀번호입니다(암호화된 경우). |
Snowflake 역할 |
쿼리 실행 중에 사용되는 Snowflake 역할의 이름입니다. ``SNOWFLAKE_MANAGED``를 사용하는 경우 이는 Openflow Runtimes용 Snowflake 역할입니다. ``KEY_PAIR``(Openflow BYOC만 해당)를 사용하는 경우 이는 지정된 Snowflake 사용자 이름에 할당된 역할입니다. |
Snowflake Authentication Strategy |
커넥터가 Snowflake에 연결하기 위한 인증 전략입니다. ``SNOWFLAKE_MANAGED``(기본값)를 사용하면 지정된 Snowflake 런타임 역할과 연결된 Snowflake 관리 토큰을 사용합니다. Openflow BYOC를 사용하는 경우 사용자 지정 키 페어를 통해 특정 사용자 및 역할을 지정하기 위해 ``KEY_PAIR``를 사용할 수도 있습니다. |
Snowflake 웨어하우스 |
쿼리 실행에 사용되는 Snowflake 웨어하우스입니다. |
특수 오브젝트 필터 |
Salesforce에서 오프로드할 오브젝트의 쉼표로 구분된 목록(직접 API 액세스 사용) 또는 모든 기존 오브젝트에 적용할 정규식입니다. 이 필터는 지식 데이터와 같이 Salesforce Bulk API에서 지원되지 않는 오브젝트에만 사용해야 합니다. 이 매개 변수는 Filter 매개 변수와 겹치지 않아야 합니다. 예: |
커넥터 실행¶
커넥터를 시작하고 Salesforce에서 Snowflake로 데이터 복제를 시작하려면 다음 단계를 따릅니다.
오브젝트 복제 관리¶
커넥터가 시작되고 오브젝트가 복제된 후에는 새 오브젝트를 추가하거나 복제에서 기존 오브젝트를 제거할 수 있습니다.
복제에 새 오브젝트 추가¶
복제에 새 오브젝트를 추가하려면 Filter 매개 변수(또는 해당되는 경우 Special Objects Filter 매개 변수)를 새 오브젝트 이름으로 업데이트합니다. 커넥터를 중지할 필요는 없습니다. 새 오브젝트는 예약된 다음 실행 시 복제됩니다.
예를 들어, 현재 Filter 값이 Account, Opportunity``이고 ``Contact 오브젝트를 추가하려는 경우, 값을 ``Account, Opportunity, Contact``으로 변경합니다.
복제에서 오브젝트 제거¶
복제에서 오브젝트를 제거하려면 커넥터를 중지하고 Snowflake에서 커넥터 상태와 대상 테이블을 모두 정리해야 합니다.
커넥터 프로세스 그룹을 마우스 오른쪽 버튼으로 클릭하고 :ui:`Stop`을 선택하여 흐름의 모든 프로세서를 중지합니다.
진행 중인 FlowFiles가 처리 중이 아닌지 확인합니다.
캔버스를 마우스 오른쪽 버튼으로 클릭하고 Parameters`를 선택한 다음 :ui:`Filter 매개 변수(또는 해당하는 경우 Special Objects Filter 매개 변수)에서 오브젝트 이름을 제거합니다.
캔버스를 마우스 오른쪽 버튼으로 클릭하고 :ui:`Disable all controller services`를 선택합니다.
Controller services`로 이동하여 :ui:`Salesforce Bulk Jobs State 컨트롤러 서비스의 상태를 엽니다.
제거한 오브젝트 유형 옆의 휴지통 아이콘을 선택하여 상태 항목을 삭제합니다.
캔버스를 마우스 오른쪽 버튼으로 클릭하고 :ui:`Enable all controller services`를 선택한 다음, 모든 프로세서를 시작하여 커넥터를 재개합니다.
해당하는 경우 Snowflake 대상 데이터베이스에서 해당 테이블을 삭제하여 이전에 복제된 데이터를 정리합니다. 예:
DROP TABLE <database_name>.<schema_name>.<object_name>;
다음 단계¶
커넥터를 모니터링하고 문제를 해결하려면 Openflow Connector for Salesforce Bulk API: 문제 해결하기 섹션을 참조하세요.