Openflow Connector for Kinesis 정보

참고

이 커넥터에는 `Snowflake Connector 약관<https://www.snowflake.com/legal/snowflake-connector-terms/>`_이 적용됩니다.

이 항목에서는 해당 워크플로 및 제한 사항을 포함하여 |Kinesis|의 기본 개념에 대해 설명합니다.

Amazon Kinesis Data Streams 을 사용하여 실시간으로 대규모 데이터 레코드 스트림을 수집하고 처리할 수 있습니다. 생성자는 지속적으로 데이터를 Kinesis Data Streams에 푸시하고, 컨슈머는 실시간으로 데이터를 처리합니다.

Kinesis 데이터 스트림은 shards 로 구성된 세트입니다. 각 shard에는 데이터 레코드의 시퀀스가 있습니다. 데이터 레코드는 Kinesis 데이터 스트림에 저장된 데이터의 단위입니다. 데이터 레코드는 시퀀스 번호, 파티션 키, 데이터 blob으로 구성되며, 변경이 불가능한 바이트 시퀀스입니다.

Openflow Connector for Kinesis 는 Kinesis 데이터 스트림에서 데이터를 읽고 Snowpipe Streaming 를 사용하여 Snowflake 테이블에 씁니다.

사용 사례

실시간에 가까운 분석을 위해 Amazon Kinesis Data Streams에서 Snowflake로 실시간 이벤트를 수집하려면 이 커넥터를 사용합니다.

워크플로

AWS 관리자 작업

  1. 커넥터가 Kinesis Stream 및 연결된 DynamoDB와 연결할 수 있는 자격 증명을 생성합니다.

  2. `KCL 컨슈머 애플리케이션에 필요한 IAM 권한<https://docs.aws.amazon.com/streams/latest/dev/kcl-iam-permissions.html>`_에 나열된 권한이 있는 IAM 정책을 설정합니다.

  3. 스트림 이름과 애플리케이션 이름을 기록하여 Snowflake 계정 관리자에게 제공합니다. 런타임에서 커넥터를 설정할 때 필수입니다.

Snowflake 계정 관리자 작업 ————————————————————————————————===

  1. 커넥터를 설치합니다.

  2. 커넥터를 구성합니다.

    1. AWS 및 Snowflake 자격 증명과 설정을 제공합니다.

    2. Kinesis Stream 이름을 제공합니다.

    3. Snowflake 계정의 데이터베이스 및 스키마 이름을 설정합니다.

    4. 다른 매개 변수를 사용자 지정합니다.

  3. Openflow 캔버스에서 커넥터를 실행합니다. 실행할 때 커넥터는 다음 작업을 수행합니다.

    1. Kinesis Stream 체크포인트를 저장하기 위한 DynamoDB 테이블을 생성합니다.

    2. 스트림 데이터를 추출합니다.

    3. 스트림에서 1개 이상의 레코드가 수신된 경우 구성된 대상 데이터베이스 테이블을 Snowflake 데이터베이스에 생성합니다.

    4. 처리된 데이터를 지정된 Snowflake 테이블에 로드합니다.

비즈니스 사용자 작업 ————————————————————————————————===

Kinesis에서 대상 테이블로 다운로드한 데이터에 대해 작업을 수행합니다.

제한 사항

  • 커넥터는 단일 스트림만 지원합니다.

  • 수동으로 생성된 테이블을 사용하는 경우 다음을 수행합니다.

    • 테이블 이름은 보유하고 있는 데이터의 스트림과 정확히 일치해야 합니다.

    • 테이블 이름은 대문자여야 합니다.

  • 커넥터는 JSON 메시지 형식만 지원합니다.

  • 커넥터는 Amazon 액세스 키 IAM 인증만 지원합니다.

  • 커넥터는 실패한 메시지를 Snowflake 로그에 기록하고 DLQ 스트림으로 라우팅하지 않습니다.

다음 단계

커넥터 설정 방법에 대한 자세한 내용은 다음 항목을 참조하세요.