Openflow Connector for Kinesis 정보

참고

This connector is subject to the Snowflake Connector Terms.

This topic describes the basic concepts of Openflow Connector for Kinesis, including its workflow and limitations.

Amazon Kinesis Data Streams 을 사용하여 실시간으로 대규모 데이터 레코드 스트림을 수집하고 처리할 수 있습니다. 생성자는 지속적으로 데이터를 Kinesis Data Streams에 푸시하고, 컨슈머는 실시간으로 데이터를 처리합니다.

Kinesis 데이터 스트림은 shards 로 구성된 세트입니다. 각 shard에는 데이터 레코드의 시퀀스가 있습니다. 데이터 레코드는 Kinesis 데이터 스트림에 저장된 데이터의 단위입니다. 데이터 레코드는 시퀀스 번호, 파티션 키, 데이터 blob으로 구성되며, 변경이 불가능한 바이트 시퀀스입니다.

Openflow Connector for Kinesis 는 Kinesis 데이터 스트림에서 데이터를 읽고 Snowpipe Streaming 를 사용하여 Snowflake 테이블에 씁니다.

사용 사례

Use this connector if you want to ingest real‐time events from Amazon Kinesis Data Streams into Snowflake for near real-time analytics.

워크플로

AWS 관리자 작업

  1. Create credentials for the connector to connect with Kinesis Stream and the associated DynamoDB.

  2. Set up IAM policies that have the permissions listed in IAM permissions required for KCL consumer applications.

  3. Record the stream name and application name and provide them to your Snowflake account administrator. These are required when setting up the connector in the runtime.

Snowflake 계정 관리자 작업 ————————————————————————————————===

  1. Install the connector.

  2. Configure the connector:

    1. Provide the AWS and Snowflake credentials and settings.

    2. Provide the Kinesis stream name.

    3. Set the database and schema names in the Snowflake account.

    4. Customize other parameters.

  3. Run the connector in the Openflow canvas. Upon execution, the connector performs the following actions:

    1. Kinesis Stream 체크포인트를 저장하기 위한 DynamoDB 테이블을 생성합니다.

    2. 스트림 데이터를 추출합니다.

    3. 스트림에서 1개 이상의 레코드가 수신된 경우 구성된 대상 데이터베이스 테이블을 Snowflake 데이터베이스에 생성합니다.

    4. 처리된 데이터를 지정된 Snowflake 테이블에 로드합니다.

비즈니스 사용자 작업 ————————————————————————————————===

Perform operations on the data downloaded from Kinesis into the destination table.

제한 사항

  • 커넥터는 단일 스트림만 지원합니다.

  • If you use a manually created table:

    • The table name must match the stream of the data it holds precisely.

    • The table name must be uppercase.

  • 커넥터는 JSON 메시지 형식만 지원합니다.

  • The connector supports only Amazon Access Key IAM authentication.

  • The connector logs failed messages to the Snowflake logs and does not route them to a DLQ stream.

다음 단계

커넥터 설정 방법에 대한 자세한 내용은 다음 항목을 참조하세요.