Openflow Connector for Kinesis 설정¶

전제 조건¶

1. Openflow Connector for Kinesis 정보 을 검토했는지 확인합니다.

2. Openflow를 설정 했는지 확인합니다.

Kinesis Stream 설정하기¶

AWS 계정 관리자는 AWS 계정에서 다음 작업을 수행합니다.

1. Kinesis Streams 및 DynamoDB 에 액세스할 수 있는 IAM 권한이 있는 AWS 계정 이 있는지 확인하십시오.

2. 선택 사항으로 배달 못한 편지 큐(DLQ) Kinesis Stream을 생성합니다. 성공적으로 구문 분석할 수 없는 메시지는 지정된 DLQ 로 리디렉션될 수 있습니다.

Snowflake 계정 설정하기¶

Snowflake 계정 관리자는 다음 작업을 수행합니다.

1. 새 역할을 생성하거나 기존 역할을 사용하여 데이터베이스 권한 권한을 부여합니다.

2. 데이터를 저장할 대상 데이터베이스와 대상 테이블을 생성하는 데 사용할 대상 스키마를 생성합니다.

   1. 대상 테이블이 없는 경우 커넥터의 기능을 사용하여 대상 테이블을 자동으로 생성할 계획이라면 사용자에게 Snowflake 오브젝트를 생성하고 관리하는 데 필요한 권한이 있는지 확인하십시오.

      오브젝트	권한	참고
      데이터베이스	USAGE
      스키마	USAGE . CREATE TABLE .	스키마 수준 오브젝트가 생성된 후 CREATE object 권한이 취소될 수 있습니다.
      테이블	OWNERSHIP	Kinesis 커넥터를 사용하여 기존 테이블로 데이터를 수집할 때만 필수입니다. . 커넥터가 Kinesis 스트림의 레코드에 대한 새 대상 테이블을 생성하는 경우 구성에 지정된 사용자의 기본 역할이 테이블 소유자가 됩니다.

      다음 스크립트를 사용하여 사용자 지정 역할을 생성하고 구성할 수 있습니다(SECURITYADMIN 또는 이와 동등한 요구 사항 필요):

      USE ROLE SECURITYADMIN;
      
      CREATE ROLE kinesis_connector_role_1;
      GRANT USAGE ON DATABASE kinesis_db TO ROLE kinesis_connector_role_1;
      GRANT USAGE ON SCHEMA kinesis_schema TO ROLE kinesis_connector_role_1;
      GRANT CREATE TABLE ON SCHEMA kinesis_schema TO ROLE kinesis_connector_role_1;
      
      -- Only for existing tables
      GRANT OWNERSHIP ON TABLE existing_table1 TO ROLE kinesis_connector_role_1;
      

      Copy

3. 유형이 SERVICE 인 새 Snowflake 서비스 사용자를 생성합니다.

4. Snowflake 서비스 사용자에게 이전 단계에서 생성한 역할을 부여합니다.

   GRANT ROLE kinesis_connector_role_1 TO USER kinesis_connector_user_1;
   ALTER USER kinesis_connector_user_1 SET DEFAULT_ROLE = kinesis_connector_role_1;
   

   Copy

5. 3단계의 Snowflake SERVICE 사용자에 대해 키 페어 인증 으로 구성합니다.

6. Snowflake는 이 단계를 강력히 권장합니다. Openflow에서 지원하는 시크릿 관리자(예: AWS, Azure, Hashicorp)를 구성하고 공개 및 개인 키를 시크릿 스토어에 저장합니다.

   참고

   어떤 이유로든 시크릿 관리자를 사용하지 않으려면 조직의 보안 정책에 따라 키 페어 인증에 사용되는 공개 키와 개인 키 파일을 보호할 책임이 있습니다.

   1. 시크릿 관리자가 구성되면 인증 방법을 결정합니다. AWS 에서는 다른 시크릿을 유지할 필요가 없으므로 Openflow와 연결된 EC2 인스턴스 역할을 사용하는 것이 좋습니다.

   2. Openflow에서 오른쪽 상단의 햄버거 메뉴에서 이 시크릿 관리자와 연결된 매개 변수 공급자를 구성합니다. Controller Settings » Parameter Provider 로 이동한 다음 매개 변수 값을 가져옵니다.

   3. 이 시점에서 모든 자격 증명은 연결된 매개 변수 경로로 참조할 수 있으며 민감한 값은 Openflow 내에서 유지될 필요가 없습니다.

7. 다른 Snowflake 사용자가 커넥터에서 수집한 원시 수집 문서 및 테이블에 대한 액세스가 필요한 경우(예: Snowflake에서 사용자 정의 처리를 위해), 해당 사용자에게 1단계에서 생성한 역할을 부여하십시오.

8. 커넥터가 사용할 웨어하우스를 지정합니다. 가장 작은 데이터 웨어하우스 크기로 시작한 다음 복제되는 테이블 수와 전송되는 데이터의 양에 따라 크기를 실험해 보십시오. 테이블 수가 많은 경우 일반적으로 더 큰 규모의 웨어하우스보다는 멀티 클러스터 웨어하우스 에서 확장이 더 쉽습니다.

커넥터 설정하기¶

데이터 엔지니어는 다음 작업을 수행하여 커넥터를 설치하고 구성합니다.

플로우 실행¶

1. 평면을 마우스 오른쪽 버튼으로 클릭하고 Enable all Controller Services 를 선택합니다.

2. 가져온 프로세스 그룹을 마우스 오른쪽 버튼으로 클릭하고 Start 를 선택합니다.

커넥터가 데이터 수집을 시작합니다.

{
    "id": 1,
    "name": "Steve",
    "body_temperature": 36.6,
    "approved_coffee_types": ["Espresso", "Doppio", "Ristretto", "Lungo"],
    "animals_possessed":
    {
        "dogs": true,
        "cats": false
    },
    "date_added": "2024-10-15"
}

알려진 문제¶

• 커넥터의 프로세스 그룹에는 “업로드 실패”라는 이름의 출력 포트가 하나 있습니다. Snowflake에 성공적으로 업로드되지 않은 FlowFiles 을 처리하는 데 사용할 수 있습니다. 이 포트가 커넥터의 프로세스 그룹 외부에 연결되어 있지 않으면 무시해도 되는 경고 표시가 표시됩니다.

• 모든 프로세서는 중지된 경우 한 번만 실행하도록 명령할 수 있습니다. ConsumeKinesisStream 프로세서는 내부 아키텍처로 인해 한 번만 실행하도록 명령해도 의미 있는 작업을 수행하지 않습니다. 프로세서가 작동을 시작하려면 프로세서를 시작하고 약 2분 동안 실행해야 합니다.