Openflow Connector for Kinesis 정보¶
참고
This connector is subject to the Snowflake Connector Terms.
이 항목에서는 Openflow Connector for Kinesis 의 기본 개념, 워크플로 및 제한 사항에 대해 설명합니다.
Amazon Kinesis Data Streams 을 사용하여 실시간으로 대규모 데이터 레코드 스트림을 수집하고 처리할 수 있습니다. 생성자는 지속적으로 데이터를 Kinesis Data Streams에 푸시하고, 컨슈머는 실시간으로 데이터를 처리합니다.
Kinesis 데이터 스트림은 shards 로 구성된 세트입니다. 각 shard에는 데이터 레코드의 시퀀스가 있습니다. 데이터 레코드는 Kinesis 데이터 스트림에 저장된 데이터의 단위입니다. 데이터 레코드는 시퀀스 번호, 파티션 키, 데이터 blob으로 구성되며, 변경이 불가능한 바이트 시퀀스입니다.
Openflow Connector for Kinesis 는 Kinesis 데이터 스트림에서 데이터를 읽고 Snowpipe Streaming 를 사용하여 Snowflake 테이블에 씁니다.
다음 작업을 수행하려는 경우 이 커넥터를 사용하십시오.
실시간에 가까운 데이터 분석을 위해 Amazon Kinesis Data Streams에서 Snowflake로 실시간 이벤트 수집
워크플로¶
AWS 관리자 는 다음 작업을 수행합니다.
커넥터가 Kinesis Stream 및 연결된 DynamoDB 와 연결할 수 있는 자격 증명을 생성합니다.
KCL 컨슈머 애플리케이션의 필수 IAM 권한 에 나열된 권한이 있는 IAM정책을 설정합니다.
스트림 이름과 애플리케이션 이름을 기록하여 Snowflake 계정 관리자에게 전달합니다. 런타임에서 커넥터를 설정할 때 필수입니다.
Snowflake 계정 관리자 는 다음 작업을 수행합니다.
커넥터를 설치합니다.
커넥터를 다음과 같이 구성합니다.
AWS 및 Snowflake 자격 증명과 설정을 제공합니다.
Kinesis Stream 이름을 제공합니다.
Snowflake 계정의 데이터베이스 및 스키마 이름을 설정합니다.
다른 매개 변수를 사용자 지정합니다.
Openflow 캔버스에서 커넥터를 실행합니다. 실행할 때 커넥터는 다음 작업을 수행합니다.
Kinesis Stream 체크포인트를 저장하기 위한 DynamoDB 테이블을 생성합니다.
스트림 데이터를 추출합니다.
스트림에서 1개 이상의 레코드가 수신된 경우 구성된 대상 데이터베이스 테이블을 Snowflake 데이터베이스에 생성합니다.
처리된 데이터를 지정된 Snowflake 테이블에 로드합니다.
비즈니스 사용자 는 Kinesis에서 대상 테이블로 다운로드한 데이터에 대해 작업을 수행할 수 있습니다.
제한 사항¶
단일 스트림만 지원됩니다.
Enhanced fan-out mode is always enabled.
If a manually created table is used:
A table name must precisely match the stream of the data it holds.
A table name must be in uppercase format.
Only JSON message format is supported.
Only Amazon Access Key IAM authentication is supported.
Failed messages are logged to the Snowflake logs and not routed to a DLQ stream.