PutSnowpipeStreaming 2025.5.31.15¶
번들¶
com.Snowflake.openflow.runtime | runtime-snowpipe-processors-nar
설명¶
레코드를 Snowflake 테이블로 스트림합니다. 테이블은 Snowflake 계정에서 미리 생성해야 합니다.
입력 요구 사항¶
REQUIRED
민감한 동적 속성 지원¶
false
속성¶
속성 |
설명 |
|---|---|
계정 |
조직 이름과 계정 이름이 [organization-name]-[account-name] 형식으로 지정된 Snowflake 계정 식별자 |
Authentication Strategy |
Snowflake 연결 인증 전략 |
클라이언트 지연 |
클라이언트가 레코드를 Snowflake로 플러시하기 전에 대기할 최대 시간입니다. 값이 클수록 Snowflake로 전송하는 동안 대기 시간이 늘어날 수 있지만, 지속적으로 업데이트되지 않는 테이블의 경우 쿼리 결과가 더 빠르고 비용 효율적일 수 있습니다. |
동시성 그룹 |
지정된 FlowFile 이 속한 ‘동시성 그룹’을 지정하여 지정된 그룹의 테이블에 쓰는 동시 작업의 수를 제한할 수 있습니다. |
Connection Strategy |
Snowflake Snowpipe Streaming 서비스에 연결하기 위한 전략 |
데이터베이스 |
처리된 레코드에 대한 Snowflake 데이터베이스 대상 |
전달 보장 |
Snowflake로 전송되는 레코드에 대한 전달 보장을 지정합니다. |
Iceberg 활성화됨 |
프로세서가 데이터를 Iceberg 테이블로 수집할지 여부를 지정합니다. 이 속성이 실제 테이블 유형과 일치하지 않으면 프로세서가 실패합니다. |
Max Batch Size |
한 번의 호출로 수집할 수 있는 최대 레코드 수입니다. 레코드 수가 최대 배치 크기를 초과하는 경우 여러 번의 수집 호출이 수행됩니다. 현재 지침에서는 16MB 보다 작은 배치 크기를 권장합니다. 최대 배치 크기는 일반적으로 배치가 16MB 보다 작도록 평균 레코드 크기를 기준으로 조정할 수 있습니다. |
그룹당 최대 작업 수 |
지정된 Snowpipe 채널 접두사에 대해 생성할 수 있는 최대 채널 수입니다. 이를 통해 지정된 Snowflake 테이블에 쓸 수 있는 동시 작업의 수를 제한할 수 있습니다. |
개인 키 서비스 |
연결 인증을 위한 RSA 개인 키 서비스 |
레코드 오프셋 |
FlowFile 에서 첫 번째 레코드의 오프셋을 결정하는 데 사용할 표현식 언어 표현식입니다. |
레코드 오프셋 레코드 경로 |
FlowFile 에서 첫 번째 레코드의 오프셋을 결정하는 데 사용할 레코드 경로 식입니다. |
Record Offset Strategy |
각 레코드의 오프셋을 결정하는 전략을 지정합니다. |
Record Reader |
입력을 읽는 데 사용할 Record Reader |
역할 |
사용자가 연결을 인증할 때 맡게 될 Snowflake 역할 |
스키마 |
처리된 레코드에 대한 Snowflake 스키마 대상 |
Snowpipe 채널 인덱스 |
Snowpipe 채널 이름에 사용할 인덱스입니다. 전체 채널 이름은 openflow.[prefix].[index]로 구성됩니다. 이는 이전에 사용한 것과 동일한 채널에 대해 재시도를 시도해야 하므로 정확히 한 번(Exactly Once) 전달을 Snowflake에 제공하기 위해 필요합니다. |
Snowpipe 채널 접두사 |
Snowpipe 채널 이름에 사용할 접두사입니다. 전체 채널 이름은 openflow.[prefix].[index]로 구성됩니다. 기본값은 ${hostname(false)} 로, 클러스터의 각 NiFi 노드가 NiFi 인스턴스의 호스트 이름을 채널 이름에 통합하여 고유한 채널에 쓰도록 합니다. |
테이블 |
처리된 레코드에 대한 Snowflake 테이블 대상 |
사용자 |
연결 인증을 위한 Snowflake 사용자 |
관계¶
이름 |
설명 |
|---|---|
실패 |
Snowflake에 업로드하지 못한 FlowFiles 의 경우 |
성공 |
Snowflake에 성공적으로 업로드된 FlowFiles 의 경우 |
사용 사례¶
가끔 중복이 발생할 가능성을 허용하면서 기록 지향 데이터를 가능한 한 빠르게 Snowflake 테이블에 기록합니다. |