ConsumeKinesisStream 2025.10.2.19¶
번들¶
org.apache.nifi | nifi-aws-nar
설명¶
지정된 AWS Kinesis 스트림에서 데이터를 읽고 처리된 모든 레코드(원시)에 대한 FlowFile 또는 Record Reader 및 Record Writer가 구성된 경우 처리된 레코드 배치에 대한 FlowFile을 출력합니다. 프로세서가 실행되는 동안 스트림 내의 모든 Kinesis 레코드를 한 번 이상 전달합니다. AWS Kinesis Client Library는 데이터 가져오기를 시작하기 전에 초기화하는 데 몇 초가 걸릴 수 있습니다. 체크포인트에는 DynamoDB를 사용하고, 메트릭에는 CloudWatch(선택 사항)를 사용합니다. 제공된 자격 증명으로 Kinesis와 함께 DynamoDB 및 CloudWatch(선택 사항)에 액세스할 수 있는지 확인합니다.
입력 요구 사항¶
FORBIDDEN
민감한 동적 속성 지원¶
false
속성¶
속성 |
설명 |
|---|---|
AWS 자격 증명 공급자 서비스 |
AWS 자격 증명 공급자를 획득하는 데 사용되는 컨트롤러 서비스 |
Amazon Kinesis Stream Name |
Kinesis Stream의 이름 |
Application Name |
Kinesis Stream 리더 애플리케이션 이름입니다. |
Checkpoint Interval |
Kinesis 체크포인트 사이의 간격 |
통신 시간 제한 |
|
DynamoDB Override |
DynamoDB 는 AWS 배포가 아닌 배포를 사용하도록 재정의합니다 |
Endpoint Override URL |
스키마, 호스트, 포트, 경로 등 기본값인 AWS 대신 사용할 엔드포인트 URL 을 설정합니다. AWS 라이브러리는 AWS 리전을 기반으로 엔드포인트 URL 을 선택하지만, 이 속성은 선택한 엔드포인트 URL 을 재정의하여 다른 S3 호환 엔드포인트와 함께 사용할 수 있도록 합니다. |
Failover Timeout |
Kinesis 클라이언트 라이브러리 장애 조치 시간 제한 |
FlowFile Handling On Schema Difference |
Kinesis Stream의 레코드가 단일 배치에서 스키마를 변경할 때 사용되는 전략입니다. |
Graceful Shutdown Timeout |
Kinesis 클라이언트 라이브러리 유예 종료 시간 제한 |
Initial Stream Position |
Kinesis Stream을 읽을 초기 위치입니다. |
Output Strategy |
Kinesis 레코드를 FlowFile 레코드로 출력하는 데 사용되는 형식입니다. |
Record Reader |
수신된 메시지를 읽는 데 사용할 Record Reader입니다. Kinesis Stream 이름은 식 언어 ‘${kinesis.name}’으로 참조하여 스키마에 액세스할 수 있습니다. Record Reader/Writer가 지정되지 않은 경우, 각 Kinesis 레코드는 FlowFile 을 생성합니다. |
Record Writer |
레코드를 출력 FlowFile 로 직렬화할 때 사용할 Record Writer입니다. Kinesis Stream 이름은 식 언어 ‘${kinesis.name}’으로 참조하여 스키마에 액세스할 수 있습니다. Record Reader/Writer가 지정되지 않은 경우, 각 Kinesis 레코드는 FlowFile 을 생성합니다. |
리전 |
|
Report Metrics to CloudWatch |
Kinesis 사용량 메트릭을 CloudWatch 로 보고할지 여부입니다. |
Retry Count |
Kinesis 작업 재시도 횟수(프로세스 레코드, 체크포인트, 종료) |
Retry Wait |
Kinesis 작업 재시도 간격(프로세스 레코드, 체크포인트, 종료) |
Stream Position Timestamp |
Kinesis 레코드 읽기를 시작할 스트림의 타임스탬프 위치입니다. Kinesis 스트림을 읽을 초기 위치가 AT_TIMESTAMP 인 경우 필수입니다. 타임스탬프 형식을 사용하여 값을 날짜로 구문 분석합니다. |
타임스탬프 형식 |
스트림 위치 타임스탬프를 날짜로 구문 분석하고 Kinesis 레코드의 대략적인 도착 타임스탬프를 FlowFile 특성으로 변환하는 데 사용할 형식입니다. |
프록시 구성 서비스 |
네트워크 요청을 프록시할 프록시 구성 컨트롤러 서비스를 지정합니다. |
관계¶
이름 |
설명 |
|---|---|
성공 |
FlowFiles 은 성공 관계로 라우팅됩니다 |
Writes 특성¶
이름 |
설명 |
|---|---|
aws.kinesis.partition.key |
Shard에서 읽은 (마지막) Kinesis 레코드의 파티션 키 |
aws.kinesis.shard.id |
Kinesis 레코드를 읽은 Shard ID |
aws.kinesis.sequence.number |
Shard 내 (마지막) Kinesis 레코드의 고유 식별자 |
aws.kinesis.approximate.arrival.timestamp |
스트림에서 읽은 (마지막) Kinesis 레코드의 대략적인 도착 타임스탬프 |
mime.type |
Mime.type 특성을 Record Writer가 지정한 MIME 유형으로 설정합니다(구성된 경우) |
record.count |
Record Writer가 FlowFiles 에 작성한 레코드 수(구성된 경우) |
record.error.message |
이 특성은 실패 시 Record Reader 또는 Record Writer(구성된 경우)에서 발생한 오류 메시지를 제공합니다 |