Openflow Connector for Salesforce Bulk API: 커넥터 구성

참고

이 커넥터에는 `Snowflake Connector 약관<https://www.snowflake.com/legal/snowflake-connector-terms/>`_이 적용됩니다.

이 항목에서는 Openflow Connector for Salesforce Bulk API 를 구성하는 단계에 대해 설명합니다.

커넥터 설치하기

Openflow 런타임에서 Openflow Connector for Salesforce Bulk API 를 설치하려면 다음 단계를 따릅니다.

  1. Openflow Overview 페이지로 이동합니다. Featured connectors 섹션에서 View more connectors 을 선택합니다.

  2. Openflow 커넥터 페이지에서 :ui:`Openflow connector for Salesforce Bulk API`를 찾아 :ui:`Add to runtime`을 선택합니다.

  3. Select runtime 대화 상자의 Available runtimes 드롭다운에서 런타임을 선택합니다.

커넥터 프로세스 그룹이 추가된 Openflow 캔버스가 표시됩니다.

커넥터 구성

커넥터를 구성하려면 다음 단계를 수행합니다.

  1. 가져온 프로세스 그룹을 마우스 오른쪽 버튼으로 클릭하고 Parameters 를 선택합니다.

  2. 아래의 테이블에 설명된 대로 필수 매개 변수 값을 채웁니다.

매개 변수

설명

Column Removal Strategy

가장 최근에 수신된 스키마를 기반으로 대상 테이블에서 열을 제거해야 할 때 채택할 전략을 정의합니다. 가능한 값 3가지 값은 Drop Column, Rename Column, ``Ignore Column``입니다.

  • Drop Column: Snowflake 테이블에서 열을 삭제합니다.

  • Rename Column: Snowflake 테이블에서 열의 이름을 바꿉니다.

  • Ignore Column: 열을 무시하고 Snowflake 테이블에 그대로 둡니다.

Connected App 키

Salesforce 설정 중에 생성된 private.key 파일의 내용을 복사하여 붙여넣습니다. Openflow 런타임에 개인 키를 업로드하려는 경우 다음 매개 변수를 사용할 수도 있습니다.

Connected App 키 파일

참조 자산 확인란을 클릭하여 private.key 파일을 직접 업로드한 다음, 파일을 자산으로 업로드하고 매개 변수의 값으로 자산을 선택합니다.

Connected App 키 비밀번호

Salesforce 설정 단계에서 개인 키 파일에 설정된 비밀번호입니다.

대상 데이터베이스

Salesforce 데이터가 복제될 Snowflake의 데이터베이스 이름입니다. 커넥터를 시작하려면 데이터베이스가 존재해야 합니다.

대상 스키마

위의 데이터베이스에서 커넥터가 Salesforce 데이터를 추가하기 위한 테이블을 생성할 스키마의 이름입니다. 커넥터를 시작하려면 스키마가 존재해야 합니다.

필터

Salesforce에서 복제할 오브젝트의 쉼표로 구분된 목록 또는 모든 기존 오브젝트에 적용할 정규식입니다. 예를 들면 ``Account, Opportunity, Contact``입니다.

참고

비워두면 모든 오브젝트가 복제됩니다. Salesforce 인스턴스에는 일반적으로 수천 개의 오브젝트가 있으므로 이는 권장되지 않습니다.

증분 오프로드

프로세서가 증분 오프로드를 수행해야 하는지 여부입니다. true``인 경우, 프로세서는 적절한 타임스탬프 필드의 ``WHERE 절을 사용하여 마지막 쿼리 작업 제출 이후에 수정된 레코드만 가져옵니다. ``false``인 경우 커넥터가 실행될 때마다 모든 레코드를 가져옵니다.

초기 로드 청크

NONE 이외의 값으로 설정된 경우, 초기 데이터 로드는 이 간격에 따라 여러 작업으로 분할됩니다. 오브젝트를 처음 실행할 때 커넥터는 Salesforce를 쿼리하여 가장 오래된 레코드를 찾아 해당 레코드를 시작점으로 사용합니다. 각 후속 작업은 현재 시간에 도달할 때까지 다음 시간 청크를 쿼리합니다. NONE, MONTHLY, QUARTERLY, YEARLY 중 하나로 설정해야 합니다.

이는 단일 쿼리에서 모든 과거 데이터를 로드하는 시간이 초과되거나, API 제한을 초과하거나, 런타임 콘텐츠 리포지토리의 저장소 크기를 초과할 수 있는 대규모 데이터 세트에 유용합니다. 해당 시간에 도달한 경우 프로세서는 정상적인 증분 오프로드 동작을 계속합니다.

OAuth2 대상 그룹

JWT 토큰에서 설정할 대상 그룹입니다. 이는 일반적으로 ``https://login.salesforce.com``으로 설정됩니다.

OAuth2 클라이언트 ID

Salesforce 설정 단계 중에 검색된 Consumer Key 값으로 설정해야 합니다.

OAuth2 주제

애플리케이션이 이 사용자를 대신하여 Salesforce APIs와 상호 작용하려면 관리자가 승인한 사용자의 사용자 이름으로 설정해야 합니다.

OAuth2 토큰 엔드포인트 URL

JWT 전달자 흐름을 통해 토큰을 협상하는 엔드포인트입니다. 예를 들면 ``https://myCompany.my.salesforce.com/services/oauth2/token``입니다.

오브젝트 필드 필터 JSON

Salesforce 오브젝트별로 포함하거나 제외해야 하는 필드와 필드 패턴을 지정하는 JSON입니다. 오브젝트당 하나의 항목이 있는 배열 형식을 취합니다.

예 1: 여기에는 ‘계정’ Salesforce 오브젝트에서 ‘이름’으로 끝나는 모든 필드가 포함됩니다.

[ {"objectType":"Account", "includedPattern":".*name"} ]

예 2: 여기에는 ‘계정’ Salesforce 오브젝트의 ID, 이름 및 수익 필드가 포함됩니다.

[ {"objectType":"Account", "included": ["Id", "Name", "Revenue"]} ]

excluded``excludedPattern``은 필터를 구성하는 데도 사용할 수 있습니다.

오브젝트 식별자 확인

스키마/테이블/열 이름을 대/소문자를 구분하여 처리할지 또는 대/소문자 구분 없이 처리할지 결정합니다. CASE_INSENSITIVE/CASE_SENSITIVE 중 하나입니다.

참고

이 매개 변수 값을 변경하려면 상태를 지우고 모든 오브젝트를 완전히 다시 로드해야 합니다.

열 이름 접미사 제거

Column Removal Strategy 매개 변수를 Rename Column``으로 설정할 이름에 추가된 접미사입니다. 기본값: ``__deleted. 이 속성을 설정 해제하면 명령의 출력에서 ​

실행 예약

커넥터가 Filter 매개 변수를 통해 구성된 오브젝트에 대해 Salesforce에서 업데이트를 확인하는 빈도입니다. 기본값: 15 minutes. 이 속성을 설정 해제하면 15 minutes 명령의 출력에서 ​

Salesforce 인스턴스

도메인 이름을 포함한 Salesforce 인스턴스의 호스트 이름입니다. 프로토콜 접두사(https://)를 포함하지 마세요. 예를 들어 ``myCompany.my.salesforce.com``을 사용합니다.

Snowflake 계정 식별자

데이터가 유지될 [organization-name]-[account-name] 형식의 Snowflake 계정 이름입니다. 예를 들면 ``PM-CONNECTORS``입니다.

Snowflake 사용자 이름

커넥터가 Snowflake에 연결하는 데 사용하는 서비스 사용자의 이름입니다. 서비스 사용자는 KEY_PAIR 인증 전략(Openflow BYOC만 해당)을 사용하는 경우에만 필요합니다.

Snowflake 개인 키

커넥터가 표준 PEM 머리글 및 바닥글을 포함하여 PKCS8 표준에 따라 형식이 지정된 Snowflake에 대한 인증에 사용하는 RSA 개인 키입니다. 헤더 라인은 -----BEGIN PRIVATE``으로 시작합니다. ``KEY_PAIR 인증 전략(Openflow BYOC만 해당)을 사용하는 경우에만 필요합니다.

다음 매개 변수를 사용하여 Openflow 런타임에 개인 키를 업로드할 수도 있습니다.

Snowflake 개인 키 파일

커넥터가 표준 PEM 머리글 및 바닥글을 포함하여 PKCS8 표준에 따라 형식이 지정된 Snowflake에 대한 인증에 사용하는 RSA 개인 키가 포함된 파일입니다. 헤더 라인은 -----BEGIN PRIVATE``으로 시작합니다. ``KEY_PAIR 인증 전략(Openflow BYOC만 해당)을 사용하는 경우에만 필요합니다.

Reference asset 확인란을 선택하여 개인 키 파일을 업로드하고 Openflow 런타임에 안전하게 저장합니다.

Snowflake 개인 키 비밀번호

Snowflake 개인 키 파일과 연결된 비밀번호입니다(암호화된 경우). KEY_PAIR 인증 전략(Openflow BYOC만 해당)을 사용하는 경우에만 필요합니다.

Snowflake 역할

쿼리 실행 중에 사용되는 Snowflake 역할의 이름입니다. ``SNOWFLAKE_MANAGED``를 사용하는 경우 이는 Openflow Runtimes용 Snowflake 역할입니다. ``KEY_PAIR``(Openflow BYOC만 해당)를 사용하는 경우 이는 지정된 Snowflake 사용자 이름에 할당된 역할입니다.

Snowflake Authentication Strategy

커넥터가 Snowflake에 연결하기 위한 인증 전략입니다.

``SNOWFLAKE_MANAGED``(기본값)를 사용하면 지정된 Snowflake 런타임 역할과 연결된 Snowflake 관리 토큰을 사용합니다. Openflow BYOC를 사용하는 경우 사용자 지정 키 페어를 통해 특정 사용자 및 역할을 지정하기 위해 ``KEY_PAIR``를 사용할 수도 있습니다.

Snowflake 웨어하우스

쿼리 실행에 사용되는 Snowflake 웨어하우스입니다.

특수 오브젝트 필터

Salesforce에서 오프로드할 오브젝트의 쉼표로 구분된 목록(직접 API 액세스 사용) 또는 모든 기존 오브젝트에 적용할 정규식입니다.

이 필터는 지식 데이터와 같이 Salesforce Bulk API에서 지원되지 않는 오브젝트에만 사용해야 합니다. 이 매개 변수는 Filter 매개 변수와 겹치지 않아야 합니다.

예: Knowledge.*

커넥터 실행

커넥터를 시작하고 Salesforce에서 Snowflake로 데이터 복제를 시작하려면 다음 단계를 따릅니다.

  1. 캔버스의 빈 영역을 마우스 오른쪽 버튼으로 클릭하고 :ui:`Enable all Controller Services`를 선택합니다.

  2. 커넥터의 프로세스 그룹을 마우스 오른쪽 버튼으로 클릭하고 :ui:`Start`를 선택합니다.

오브젝트 복제 관리

커넥터가 시작되고 오브젝트가 복제된 후에는 새 오브젝트를 추가하거나 복제에서 기존 오브젝트를 제거할 수 있습니다.

복제에 새 오브젝트 추가

복제에 새 오브젝트를 추가하려면 Filter 매개 변수(또는 해당되는 경우 Special Objects Filter 매개 변수)를 새 오브젝트 이름으로 업데이트합니다. 커넥터를 중지할 필요는 없습니다. 새 오브젝트는 예약된 다음 실행 시 복제됩니다.

예를 들어, 현재 Filter 값이 Account, Opportunity``이고 ``Contact 오브젝트를 추가하려는 경우, 값을 ``Account, Opportunity, Contact``으로 변경합니다.

복제에서 오브젝트 제거

복제에서 오브젝트를 제거하려면 커넥터를 중지하고 Snowflake에서 커넥터 상태와 대상 테이블을 모두 정리해야 합니다.

  1. 커넥터 프로세스 그룹을 마우스 오른쪽 버튼으로 클릭하고 :ui:`Stop`을 선택하여 흐름의 모든 프로세서를 중지합니다.

  2. 진행 중인 FlowFiles가 처리 중이 아닌지 확인합니다.

  3. 캔버스를 마우스 오른쪽 버튼으로 클릭하고 Parameters`를 선택한 다음 :ui:`Filter 매개 변수(또는 해당하는 경우 Special Objects Filter 매개 변수)에서 오브젝트 이름을 제거합니다.

  4. 캔버스를 마우스 오른쪽 버튼으로 클릭하고 :ui:`Disable all controller services`를 선택합니다.

  5. Controller services`로 이동하여 :ui:`Salesforce Bulk Jobs State 컨트롤러 서비스의 상태를 엽니다.

  6. 제거한 오브젝트 유형 옆의 휴지통 아이콘을 선택하여 상태 항목을 삭제합니다.

  7. 캔버스를 마우스 오른쪽 버튼으로 클릭하고 :ui:`Enable all controller services`를 선택한 다음, 모든 프로세서를 시작하여 커넥터를 재개합니다.

  8. 해당하는 경우 Snowflake 대상 데이터베이스에서 해당 테이블을 삭제하여 이전에 복제된 데이터를 정리합니다. 예:

    DROP TABLE <database_name>.<schema_name>.<object_name>;
    
    Copy

다음 단계