ListAzureBlobStorage_v12 2025.10.9.21¶
번들¶
org.apache.nifi | nifi-azure-nar
설명¶
Azure Blob Storage 컨테이너에 있는 Blob을 목록으로 표시합니다. 목록 세부 정보는 FetchAzureBlobStorage 에서 사용할 수 있도록 빈 FlowFile 에 첨부됩니다. 이 프로세서는 클러스터의 기본 노드에서만 실행되도록 설계되었습니다. 기본 노드가 변경되면 새 기본 노드는 모든 데이터를 복제하지 않고 이전 노드가 중단한 부분을 이어받습니다. 프로세서는 Azure Blob Storage 클라이언트 라이브러리 v12를 사용합니다.
입력 요구 사항¶
FORBIDDEN
민감한 동적 속성 지원¶
false
속성¶
속성 |
설명 |
|---|---|
Blob 이름 접두사 |
목록의 검색 접두사 |
컨테이너 이름 |
Azure Storage 컨테이너의 이름입니다. PutAzureBlobStorage 프로세서의 경우 컨테이너가 존재하지 않으면 컨테이너를 생성할 수 있습니다. |
엔터티 추적 초기 목록 대상 |
초기 목록을 처리하는 방법을 지정합니다. ‘엔터티 추적’ 전략에서 사용됩니다. |
엔터티 추적 상태 캐시 |
나열된 엔터티는 지정된 캐시 저장소에 저장되므로 NiFi 재시작 시 또는 기본 노드가 변경되는 경우 이 프로세서가 나열을 재개할 수 있습니다. ‘엔터티 추적’ 전략에서는 마지막 ‘추적 시간 윈도우’ 내에 나열된 모든 엔터티의 추적 정보가 필요합니다. 많은 수의 엔터티를 지원하기 위해 이 전략에서는 관리되는 상태 대신 DistributedMapCache를 사용합니다. 캐시 키 형식은 ‘ListedEntities::{processorId}(::{nodeId})’입니다. 노드별로 나열된 엔터티를 추적하는 경우 상태를 별도로 관리하기 위해 선택적 ‘::{nodeId}’ 부분이 추가됩니다. 예를 들면 클러스터 전체 캐시 키 =’ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b’, 노드당 캐시 키 =’ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b::nifi-node3’과 같습니다. 저장된 캐시 내용은 Gzip으로 압축된 JSON 문자열입니다. 대상 목록 구성이 변경되면 캐시 키가 삭제됩니다. ‘엔터티 추적’ 전략에서 사용됩니다. |
엔터티 추적 시간 윈도우 |
이 프로세서가 이미 나열된 엔터티를 추적해야 하는 기간을 지정합니다. ‘엔터티 추적’ 전략은 타임스탬프가 지정된 시간 윈도우 내에 있는 모든 엔터티를 선택할 수 있습니다. 예를 들어, ‘30 minutes’로 설정하면 이 프로세서가 실행될 때 최근 30분 동안의 타임스탬프가 있는 모든 엔터티가 목록 대상이 됩니다. 나열된 엔터티는 ‘new/updated’로 간주되며 FlowFile은 다음 조건 중 하나가 충족될 경우 내보내집니다. 1. 이미 나열된 엔터티에 존재하지 않음, 2. 캐시된 엔터티보다 최신 타임스탬프를 포함함, 3. 캐시된 엔터티와는 크기가 다름. 캐시된 엔터티의 타임스탬프가 지정된 기간보다 오래되면 해당 엔터티는 캐시된 이미 나열된 엔터티에서 제거됩니다. ‘Tracking Entities’ 전략에서 사용됩니다. |
목록 전략 |
신규/업데이트된 엔터티를 확인하는 방법을 지정합니다. 자세한 내용은 각 전략 설명을 참조하십시오. |
최대 파일 수명 |
파일을 가져올 수 있는 최대 기간으로, 이 기간보다 오래된 파일(마지막 수정 날짜 기준)은 무시됩니다 |
최대 파일 크기 |
파일을 가져올 수 있는 최대 크기입니다 |
최소 파일 보관 기간 |
파일을 가져오기 위해 필요한 최소 수명; 이보다 오래된 파일(마지막 수정 날짜 기준)은 무시됩니다 |
최소 파일 크기 |
파일을 가져오기 위해 필요한 최소 크기입니다 |
Record Writer |
목록 작성에 사용할 Record Writer를 지정합니다. 지정하지 않으면 목록에 있는 각 엔터티에 대해 FlowFile 이 1개씩 생성됩니다. Record Writer를 지정하면 모든 엔터티는 개별 FlowFiles 에 특성을 추가하는 대신 단일 FlowFile 에 기록됩니다. |
저장소 자격 증명 |
Azure Blob Storage 자격 증명을 얻는 데 사용되는 컨트롤러 서비스입니다. |
프록시 구성 서비스 |
네트워크 요청을 프록시할 프록시 구성 컨트롤러 서비스를 지정합니다. SOCKS 의 경우 선택한 SOCKS 버전이 프로세서에서 사용된다는 보장은 없습니다. |
상태 관리¶
범위 |
설명 |
|---|---|
CLUSTER |
‘Tracking Timestamps’ Listing Strategy가 사용 중인 경우(기본적으로) blob 목록 성능을 수행한 후 최신 blob의 타임스탬프가 저장됩니다. 이렇게 하면 프로세서가 다음에 프로세서를 실행할 때 이 날짜 이후에 추가되거나 수정된 blob만 목록에 표시할 수 있습니다. 상태는 클러스터 전체에 저장되므로 이 프로세서는 기본 노드에서만 실행될 수 있으며, 새로운 기본 노드가 선택되면 새 노드는 데이터를 복제하지 않고 이전 노드가 중단한 부분을 이어받을 수 있습니다. |
관계¶
이름 |
설명 |
|---|---|
성공 |
수신된 모든 FlowFiles 은 성공으로 라우팅됩니다 |
Writes 특성¶
이름 |
설명 |
|---|---|
azure.container |
Azure Blob Storage 컨테이너의 이름 |
azure.blobname |
Azure Blob Storage의 Blob 이름 |
azure.primaryUri |
blob의 기본 위치 |
azure.etag |
blob의 ETag |
azure.blobtype |
blob의 유형(BlockBlob, PageBlob 또는 AppendBlob) |
mime.type |
내용의 MIME 유형 |
lang |
내용의 언어 코드 |
azure.timestamp |
blob의 타임스탬프 |
azure.length |
blob의 길이 |