2023년 Snowflake Connector for Kafka 릴리스 정보¶

Snowpipe Streaming에 대한 JMX(Java Management Extensions) 메트릭을 활성화했습니다.

Snowpipe Streaming에 대한 삭제 표시 수집을 활성화했습니다.

Snowpipe Streaming을 사용하는 Kafka 커넥터용 Snowflake OAuth를 활성화했습니다.

특수 키워드 또는 예약된 키워드를 사용하여 스키마화 열을 활성화했습니다.

단일 클라이언트 구성 옵션이 기본적으로 활성화되지 않는 문제를 수정했습니다. 단일 클라이언트 구성 옵션 enable.streaming.client.optimization 은 이제 기본적으로 TRUE 입니다.

채널 명명 문제를 수정했습니다.

리밸런싱 시 스키마화 권한 확인 성능을 개선했습니다.

리밸런싱 중 내부 캐시 지우기 문제로 인해 테이블에서 데이터 누락을 발생시킨 버그를 수정했습니다.

이제 Kafka 커넥터를 사용하는 Snowpipe Streaming이 일반 공급됩니다.

없습니다.

단일 클라이언트 구성:

• 기본적으로 활성화되는 enable.streaming.client.optimization 옵션을 도입했습니다.

• 이 클라이언트 최적화를 사용하면 Kafka 커넥터당 여러 항목 파티션에 대해 클라이언트가 하나만 생성됩니다. 이 기능으로 더 큰 파일을 만들어 클라이언트 런타임을 줄이고 마이그레이션 비용을 절감할 수 있습니다.

• 처리량이 높은 시나리오(예: 커넥터당 50MB/s)에서 대기 시간이나 비용이 증가하는 경우 이 속성을 비활성화하는 것이 좋습니다.

권한 및 보안:

• 테이블 생성과 삽입을 위한 Snowpipe Streaming의 Snowflake 역할과 사용자를 통합했습니다.

• Guava 종속성을 32.0.1로 업그레이드했습니다.

• Snowpipe Streaming SDK 종속성을 2.0.1로 업그레이드했습니다.

스키마화가 활성화되면 오프셋을 건너뛰는 잘못된 결과가 발생하는 문제를 수정했습니다.

Snowpipe Streaming 채널은 리밸런스 시 닫히지 않습니다.

단일 Streaming Ingest 클라이언트를 사용하는 기능을 추가했습니다(기본값은 false임).

MDC 컨텍스트 로거를 사용하기 시작했습니다.

다음 버전으로 업그레이드했습니다.

• Ingest SDK 버전 1.1.4

• JDBC 버전 3.13.30

GCP에서 범위가 축소된 토큰을 사용할 때 GET 명령 사용과 관련된 문제를 수정했습니다.

Snowpipe 기반 KC의 커밋 오프셋 동작을 수정했습니다.