Openflow Connector for Kinesis 정보¶

참고

커넥터에는 커넥터 약관 이 적용됩니다.

이 항목에서는 Openflow Connector for Kinesis 의 기본 개념, 워크플로 및 제한 사항에 대해 설명합니다.

Amazon Kinesis Data Streams 을 사용하여 실시간으로 대규모 데이터 레코드 스트림을 수집하고 처리할 수 있습니다. 생성자는 지속적으로 데이터를 Kinesis Data Streams에 푸시하고, 컨슈머는 실시간으로 데이터를 처리합니다.

Kinesis 데이터 스트림은 shards 로 구성된 세트입니다. 각 shard에는 데이터 레코드의 시퀀스가 있습니다. 데이터 레코드는 Kinesis 데이터 스트림에 저장된 데이터의 단위입니다. 데이터 레코드는 시퀀스 번호, 파티션 키, 데이터 blob으로 구성되며, 변경이 불가능한 바이트 시퀀스입니다.

Openflow Connector for Kinesis 는 Kinesis 데이터 스트림에서 데이터를 읽고 Snowpipe Streaming 를 사용하여 Snowflake 테이블에 씁니다.

다음 작업을 수행하려는 경우 이 커넥터를 사용하십시오.

실시간에 가까운 데이터 분석을 위해 Amazon Kinesis Data Streams에서 Snowflake로 실시간 이벤트 수집

워크플로¶

AWS 관리자 는 다음 작업을 수행합니다.
1. 커넥터가 Kinesis Stream 및 연결된 DynamoDB 와 연결할 수 있는 자격 증명을 생성합니다.
2. KCL 컨슈머 애플리케이션의 필수 IAM 권한 에 나열된 권한이 있는 IAM정책을 설정합니다.
3. 스트림 이름과 애플리케이션 이름을 기록하여 Snowflake 계정 관리자에게 전달합니다. 런타임에서 커넥터를 설정할 때 필수입니다.
Snowflake 계정 관리자 는 다음 작업을 수행합니다.
1. 커넥터 정의 파일을 다운로드하여 Snowflake Openflow 캔버스로 가져옵니다.
2. 커넥터를 다음과 같이 구성합니다.
  1. AWS 및 Snowflake 자격 증명과 설정을 제공합니다.
  2. Kinesis Stream 이름을 제공합니다.
  3. Snowflake 계정의 데이터베이스 및 스키마 이름을 설정합니다.
  4. 다른 매개 변수를 사용자 지정합니다.
3. Openflow 캔버스에서 커넥터를 실행합니다. 실행할 때 커넥터는 다음 작업을 수행합니다.
  1. Kinesis Stream 체크포인트를 저장하기 위한 DynamoDB 테이블을 생성합니다.
  2. 스트림 데이터를 추출합니다.
  3. 스트림에서 1개 이상의 레코드가 수신된 경우 구성된 대상 데이터베이스 테이블을 Snowflake 데이터베이스에 생성합니다.
  4. 처리된 데이터를 지정된 Snowflake 테이블에 로드합니다.
비즈니스 사용자 는 Kinesis에서 대상 테이블로 다운로드한 데이터에 대해 작업을 수행할 수 있습니다.

제한 사항¶

단일 스트림만 지원됩니다.
개선된 팬아웃 모드는 지원되지 않습니다.
Kinesis Stream To Table Map 매개 변수가 설정되지 않은 경우:
- 테이블 이름은 보유하고 있는 데이터의 스트림과 정확히 일치해야 합니다.
- 테이블 이름은 대문자 형식이어야 합니다.
Kinesis Stream To Table Map 매개 변수가 설정된 경우 테이블 이름은 매핑에 지정된 테이블 이름과 일치해야 합니다. 테이블 이름은 따옴표로 묶지 않은 유효한 Snowflake 식별자여야 합니다. 유효한 테이블 이름에 대한 내용은 식별자 요구 사항 을 참조하십시오.
Iceberg 테이블의 경우 생성된 테이블은 메시지 모델을 반영해야 합니다. 메시지가 모델과 일치하지 않으면 커넥터가 실패합니다.
JSON 및 AVRO 메시지 형식만 지원됩니다.
Confluent Schema Registry만 지원됩니다.
Amazon IAM 인증만 지원됩니다.
테이블에 데이터 삽입에 실패한 경우 커넥터는 데이터를 실패 출력으로 라우팅하기 전에 세 번 연결을 시도합니다.

다음 단계¶

Openflow Connector for Kinesis 설정