ConsumeKinesisStream 2025.10.2.19¶
번들¶
org.apache.nifi | nifi-aws-nar
설명¶
Reads data from the specified AWS Kinesis stream and outputs a FlowFile for every processed Record (raw) or a FlowFile for a batch of processed records if a Record Reader and Record Writer are configured. At-least-once delivery of all Kinesis Records within the Stream while the processor is running. AWS Kinesis Client Library can take several seconds to initialise before starting to fetch data. Uses DynamoDB for check pointing and CloudWatch (optional) for metrics. Ensure that the credentials provided have access to DynamoDB and CloudWatch (optional) along with Kinesis.
입력 요구 사항¶
FORBIDDEN
민감한 동적 속성 지원¶
false
속성¶
속성 |
설명 |
|---|---|
AWS 자격 증명 공급자 서비스 |
AWS 자격 증명 공급자를 획득하는 데 사용되는 컨트롤러 서비스 |
Amazon Kinesis Stream Name |
Kinesis Stream의 이름 |
Application Name |
Kinesis Stream 리더 애플리케이션 이름입니다. |
Checkpoint Interval |
Kinesis 체크포인트 사이의 간격 |
통신 시간 제한 |
|
DynamoDB Override |
DynamoDB 는 AWS 배포가 아닌 배포를 사용하도록 재정의합니다 |
Endpoint Override URL |
스키마, 호스트, 포트, 경로 등 기본값인 AWS 대신 사용할 엔드포인트 URL 을 설정합니다. AWS 라이브러리는 AWS 리전을 기반으로 엔드포인트 URL 을 선택하지만, 이 속성은 선택한 엔드포인트 URL 을 재정의하여 다른 S3 호환 엔드포인트와 함께 사용할 수 있도록 합니다. |
Failover Timeout |
Kinesis 클라이언트 라이브러리 장애 조치 시간 제한 |
FlowFile Handling On Schema Difference |
Kinesis Stream의 레코드가 단일 배치에서 스키마를 변경할 때 사용되는 전략입니다. |
Graceful Shutdown Timeout |
Kinesis 클라이언트 라이브러리 유예 종료 시간 제한 |
Initial Stream Position |
Kinesis Stream을 읽을 초기 위치입니다. |
Output Strategy |
Kinesis 레코드를 FlowFile 레코드로 출력하는 데 사용되는 형식입니다. |
Record Reader |
수신된 메시지를 읽는 데 사용할 Record Reader입니다. Kinesis Stream 이름은 식 언어 ‘${kinesis.name}’으로 참조하여 스키마에 액세스할 수 있습니다. Record Reader/Writer가 지정되지 않은 경우, 각 Kinesis 레코드는 FlowFile 을 생성합니다. |
Record Writer |
레코드를 출력 FlowFile 로 직렬화할 때 사용할 Record Writer입니다. Kinesis Stream 이름은 식 언어 ‘${kinesis.name}’으로 참조하여 스키마에 액세스할 수 있습니다. Record Reader/Writer가 지정되지 않은 경우, 각 Kinesis 레코드는 FlowFile 을 생성합니다. |
리전 |
|
Report Metrics to CloudWatch |
Kinesis 사용량 메트릭을 CloudWatch 로 보고할지 여부입니다. |
Retry Count |
Kinesis 작업 재시도 횟수(프로세스 레코드, 체크포인트, 종료) |
Retry Wait |
Kinesis 작업 재시도 간격(프로세스 레코드, 체크포인트, 종료) |
Stream Position Timestamp |
Kinesis 레코드 읽기를 시작할 스트림의 타임스탬프 위치입니다. Kinesis 스트림을 읽을 초기 위치가 AT_TIMESTAMP 인 경우 필수입니다. 타임스탬프 형식을 사용하여 값을 날짜로 구문 분석합니다. |
타임스탬프 형식 |
스트림 위치 타임스탬프를 날짜로 구문 분석하고 Kinesis 레코드의 대략적인 도착 타임스탬프를 FlowFile 특성으로 변환하는 데 사용할 형식입니다. |
프록시 구성 서비스 |
네트워크 요청을 프록시할 프록시 구성 컨트롤러 서비스를 지정합니다. |
관계¶
이름 |
설명 |
|---|---|
성공 |
FlowFiles 은 성공 관계로 라우팅됩니다 |
Writes 특성¶
이름 |
설명 |
|---|---|
aws.kinesis.partition.key |
Shard에서 읽은 (마지막) Kinesis 레코드의 파티션 키 |
aws.kinesis.shard.id |
Kinesis 레코드를 읽은 Shard ID |
aws.kinesis.sequence.number |
Shard 내 (마지막) Kinesis 레코드의 고유 식별자 |
aws.kinesis.approximate.arrival.timestamp |
스트림에서 읽은 (마지막) Kinesis 레코드의 대략적인 도착 타임스탬프 |
mime.type |
Mime.type 특성을 Record Writer가 지정한 MIME 유형으로 설정합니다(구성된 경우) |
record.count |
Record Writer가 FlowFiles 에 작성한 레코드 수(구성된 경우) |
record.error.message |
이 특성은 실패 시 Record Reader 또는 Record Writer(구성된 경우)에서 발생한 오류 메시지를 제공합니다 |