JSON/AVRO 데이터 형식을 위한 Apache Kafka¶

커넥터 베리언트¶

특정 매개 변수¶

Kafka용 Openflow Connector 설정하기 에 설명된 일반적인 매개 변수 외에도 이러한 커넥터에는 특정 매개 변수 컨텍스트가 있습니다.

제한 사항¶

이러한 간소화된 커넥터는 모든 기능을 갖춘 DLQ 및 메타데이터 커넥터에 비해 다음과 같은 제한이 있습니다.

• RECORD_METADATA 열 없음 - Kafka 메타데이터가 대상 테이블에 저장되지 않습니다

• 데드 레터 큐(DLQ) 없음 - 실패한 메시지는 DLQ 항목으로 라우팅되지 않습니다

• Iceberg 테이블 지원 안 함 - 일반 Snowflake 테이블만 지원됩니다

• 스키마 수정 - 스키마 감지는 항상 활성화되어 있으며 비활성화할 수 없습니다

사용 사례¶

이 커넥터는 다음과 같은 경우에 이상적입니다.

간단한 데이터 수집

Kafka 메타데이터 없이 메시지 내용만 필요한 경우.

높은 처리량 시나리오

단순화된 데이터 구조가 성능을 향상시키는 경우.

스키마 진화 사용 사례

자동 테이블 스키마 업데이트가 필요한 경우

JSON 또는 AVRO 메시지 형식

일관된 스키마 사용

Kafka 메타데이터, DLQ 지원 또는 Iceberg 테이블 수집이 필요한 경우, DLQ 및 메타데이터가 포함된 Apache Kafka 커넥터를 대신 사용하십시오.

스키마 탐지 및 진화¶

이 커넥터는 자동 스키마 감지 및 진화를 지원합니다. Snowflake의 테이블 구조는 커넥터가 로딩하는 새로운 데이터의 구조를 지원하기 위해 자동으로 정의되고 진화합니다.

스키마 감지를 활성화하면(항상 이러한 커넥터의 경우), Snowflake는 스트리밍 데이터의 스키마를 감지하고 사용자 정의 스키마와 자동으로 일치하는 테이블에 데이터를 로드할 수 있습니다. 또한 Snowflake를 사용해 새로운 열을 추가하거나 새 데이터 파일에 누락된 열에서 NOT NULL 제약 조건을 삭제할 수도 있습니다.

커넥터를 통한 스키마 감지는 제공된 Schema Registry의 유무에 관계없이 지원됩니다. Schema Registry(Avro)를 사용하는 경우 제공된 Schema Registry에 정의된 데이터 타입으로 열이 생성됩니다. 스키마 레지스트리(JSON)가 없으면 제공된 데이터를 기반으로 데이터 타입이 유추됩니다.

추가적인 스키마화에는 JSON ARRAY가 지원되지 않습니다.