ConsumeKinesisStream 2025.5.31.15

번들

org.apache.nifi | nifi-aws-nar

설명

지정된 AWS Kinesis Stream에서 데이터를 읽고 처리된 모든 레코드(원시)에 대해 FlowFile, Record Reader와 Record Writer가 구성된 경우 처리된 레코드 배치에 대해 FlowFile 을 출력합니다. 프로세서가 실행되는 동안 스트림 내의 모든 Kinesis 레코드를 한 번 이상 전송합니다. AWS Kinesis Client Library가 데이터 가져오기를 시작하기 전에 초기화하는 데에는 몇 초가 걸릴 수 있습니다. 체크 포인팅에는 DynamoDB, 메트릭에는 CloudWatch (선택 사항)을 사용합니다. 제공된 자격 증명으로 DynamoDB 및 CloudWatch (선택 사항)에 액세스할 수 있는지 확인하고 Kinesis와 함께 사용하십시오.

태그

amazon, aws, consume, kinesis, stream

입력 요구 사항

FORBIDDEN

민감한 동적 속성 지원

false

속성

속성

설명

AWS 자격 증명 공급자 서비스

AWS 자격 증명 공급자를 획득하는 데 사용되는 컨트롤러 서비스

Amazon Kinesis Stream Name

Kinesis Stream의 이름

Application Name

Kinesis Stream 리더 애플리케이션 이름입니다.

Checkpoint Interval

Kinesis 체크포인트 사이의 간격

통신 시간 제한

DynamoDB Override

DynamoDB 는 AWS 배포가 아닌 배포를 사용하도록 재정의합니다

Endpoint Override URL

스키마, 호스트, 포트, 경로 등 기본값인 AWS 대신 사용할 엔드포인트 URL 을 설정합니다. AWS 라이브러리는 AWS 리전을 기반으로 엔드포인트 URL 을 선택하지만, 이 속성은 선택한 엔드포인트 URL 을 재정의하여 다른 S3 호환 엔드포인트와 함께 사용할 수 있도록 합니다.

Failover Timeout

Kinesis 클라이언트 라이브러리 장애 조치 시간 제한

Graceful Shutdown Timeout

Kinesis 클라이언트 라이브러리 유예 종료 시간 제한

Initial Stream Position

Kinesis Stream을 읽을 초기 위치입니다.

Output Strategy

Kinesis 레코드를 FlowFile 레코드로 출력하는 데 사용되는 형식입니다.

Record Reader

수신된 메시지를 읽는 데 사용할 Record Reader입니다. Kinesis Stream 이름은 식 언어 ‘${kinesis.name}’으로 참조하여 스키마에 액세스할 수 있습니다. Record Reader/Writer가 지정되지 않은 경우, 각 Kinesis 레코드는 FlowFile 을 생성합니다.

Record Writer

레코드를 출력 FlowFile 로 직렬화할 때 사용할 Record Writer입니다. Kinesis Stream 이름은 식 언어 ‘${kinesis.name}’으로 참조하여 스키마에 액세스할 수 있습니다. Record Reader/Writer가 지정되지 않은 경우, 각 Kinesis 레코드는 FlowFile 을 생성합니다.

리전

Report Metrics to CloudWatch

Kinesis 사용량 메트릭을 CloudWatch 로 보고할지 여부입니다.

Retry Count

Kinesis 작업 재시도 횟수(프로세스 레코드, 체크포인트, 종료)

Retry Wait

Kinesis 작업 재시도 간격(프로세스 레코드, 체크포인트, 종료)

Stream Position Timestamp

Kinesis 레코드 읽기를 시작할 스트림의 타임스탬프 위치입니다. Kinesis 스트림을 읽을 초기 위치가 AT_TIMESTAMP 인 경우 필수입니다. 타임스탬프 형식을 사용하여 값을 날짜로 구문 분석합니다.

타임스탬프 형식

스트림 위치 타임스탬프를 날짜로 구문 분석하고 Kinesis 레코드의 대략적인 도착 타임스탬프를 FlowFile 특성으로 변환하는 데 사용할 형식입니다.

프록시 구성 서비스

네트워크 요청을 프록시할 프록시 구성 컨트롤러 서비스를 지정합니다.

관계

이름

설명

성공

FlowFiles 은 성공 관계로 라우팅됩니다

Writes 특성

이름

설명

aws.kinesis.partition.key

Shard에서 읽은 (마지막) Kinesis 레코드의 파티션 키

aws.kinesis.shard.id

Kinesis 레코드를 읽은 Shard ID

aws.kinesis.sequence.number

Shard 내 (마지막) Kinesis 레코드의 고유 식별자

aws.kinesis.approximate.arrival.timestamp

스트림에서 읽은 (마지막) Kinesis 레코드의 대략적인 도착 타임스탬프

mime.type

Mime.type 특성을 Record Writer가 지정한 MIME 유형으로 설정합니다(구성된 경우)

record.count

Record Writer가 FlowFiles 에 작성한 레코드 수(구성된 경우)

record.error.message

이 특성은 실패 시 Record Reader 또는 Record Writer(구성된 경우)에서 발생한 오류 메시지를 제공합니다

참고 항목