Snowpipe Streaming과 함께 Kafka용 Snowflake Connector 사용하기¶

필수 속성¶

Kafka 커넥터 속성 파일에서 연결 설정을 추가하거나 편집합니다. 자세한 내용은 Kafka 커넥터 구성하기 섹션을 참조하십시오.

snowflake.ingestion.method

Kafka 커넥터를 스트리밍 수집 클라이언트로 사용할 경우에만 필요합니다. Snowpipe Streaming 또는 표준 Snowpipe를 사용하여 Kafka 주제 데이터를 로드할지 여부를 지정합니다. 지원되는 값은 다음과 같습니다.

• SNOWPIPE_STREAMING

• SNOWPIPE (기본값)

주제 데이터를 큐에 넣고 로드할 백엔드 서비스를 선택하는 데 추가로 설정할 필요가 없습니다. 평소와 같이 Kafka 커넥터 속성 파일에서 추가 속성을 구성하면 됩니다.

snowflake.role.name

테이블에 행을 삽입할 때 사용할 액세스 제어 역할입니다.

클라이언트 최적화 속성¶

enable.streaming.client.optimization

단일 클라이언트 최적화를 활성화할지 여부를 지정합니다. 이 속성은 Kafka 커넥터 릴리스 버전 2.1.2 이상에서 지원됩니다. 이 속성은 기본적으로 활성화되어 있습니다.

단일 클라이언트 최적화를 사용하면 Kafka 커넥터당 여러 항목 파티션에 대해 클라이언트가 하나만 생성됩니다. 이 기능으로 더 큰 파일을 만들어 클라이언트 런타임을 줄이고 마이그레이션 비용을 절감할 수 있습니다.

값:

• true

• false

기본값:

true

처리량이 높은 시나리오에서(예: 커넥터당 50MB/s) 이 속성을 활성화하면 대기 시간이 늘고 비용이 높아질 수 있습니다. 처리량이 많은 시나리오에서는 이 속성을 비활성화하는 것이 좋습니다.

버퍼 및 폴링 속성¶

buffer.flush.time

버퍼 플러시 사이의 시간(초)으로, 플러시할 때마다 버퍼링된 레코드에 대한 삽입 작업이 발생합니다. Kafka 커넥터는 매번 플러시 후 한 번씩 Snowpipe Streaming API를 호출합니다.

buffer.flush.time 속성에 지원되는 최소값은 1 (초)입니다. 평균 데이터 흐름 속도를 더 높이려면 기본값을 줄여 지연 시간을 개선하는 것이 좋습니다. 지연 시간보다 비용이 더 큰 문제인 경우에는 버퍼 플러시 시간을 늘릴 수 있습니다. 메모리 부족 예외를 방지하려면 Kafka 메모리 버퍼가 가득 차기 전에 플러시하도록 주의하십시오.

값:

• 최소값: 1

• 최대값: 상한 없음

기본값:

10

Snowpipe Streaming은 1초마다 자동으로 데이터를 플러시하는데, 이는 Kafka 커넥터의 버퍼 플러시 시간과 다릅니다. Kafka 버퍼 플러시 시간에 도달하면 Snowpipe Streaming을 통해 1초의 대기 시간으로 데이터가 Snowflake로 전송됩니다. 자세한 내용은 Snowpipe Streaming 대기 시간 을 참조하십시오.

buffer.count.records

Snowflake로 수집하기 전에 Kafka 파티션당 메모리에 버퍼링된 레코드 수입니다.

값:

• 최소값: 1

• 최대값: 상한 없음

기본값:

10000

buffer.size.bytes

Snowflake에서 데이터 파일로 수집되기 전에 Kafka 파티션별로 메모리에 버퍼링된 레코드의 누적 크기(바이트)입니다.

레코드는 데이터 파일에 기록될 때 압축됩니다. 그 결과, 버퍼에 있는 레코드의 크기가 레코드에서 생성된 데이터 파일의 크기보다 클 수 있습니다.

값:

• 최소값: 1

• 최대값: 상한 없음

기본값:

20000000 (20MB)

snowflake.streaming.max.client.lag

Snowflake Ingest Java 가 데이터를 Snowflake로 플러시하는 빈도(초)를 지정합니다.

이 값이 낮으면 지연 시간은 낮게 유지되지만, 특히 snowflake.streaming.enable.single.buffer 가 활성화된 경우 쿼리 성능이 저하될 수 있습니다. 자세한 내용은 Snowpipe Streaming의 권장 대기 시간 구성 섹션을 참조하십시오.

값:

• 최소: 1 초

• 최대: 600 초

기본값:

버전 3.0.0 이상일 경우 120 초, 그렇지 않으면 1 초

snowflake.streaming.enable.single.buffer

Snowpipe Streaming에 대해 단일 버퍼를 활성화할지 여부와 커넥터의 내부 버퍼에서 데이터 버퍼링을 건너뛸지 여부를 지정합니다.

이 속성은 Kafka 커넥터 버전 2.3.1 이상에서 지원됩니다.

스트리밍 커넥터는 내부 버퍼와 Snowflake Ingest Java 에서 제공하는 버퍼를 함께 사용합니다. 이 속성을 true 로 설정하면 지연 시간을 줄이기 위해 Kafka 커넥터가 내부 버퍼를 건너뛰게 됩니다.

이 속성을 true 로 설정하면 buffer.flush.time 및 buffer.count.records 가 서로 관련되지 않습니다.

값:

• true

• false

기본값:

버전 3.0.0 이상의 경우 false, 그렇지 않은 경우 true

Kafka 커넥터 속성 외에도, 단일 폴링에서 Kafka가 Kafka Connect에 반환하는 최대 레코드 수를 제어하는 Kafka 컨슈머 max.poll.records 속성에 유의하십시오. 500 의 기본값을 늘릴 수 있지만 메모리 제약 조건에 유의하십시오. 이 속성에 대한 자세한 내용은 Kafka 패키지 설명서를 참조하십시오.

• Apache Kafka

• Confluent

오류 처리 및 DLQ 속성¶

errors.tolerance

Kafka 커넥터에서 발생한 오류를 처리하는 방법을 지정합니다.

이 속성에서 지원되는 값은 다음과 같습니다.

값:

• NONE: 첫 번째 오류가 발생하면 데이터 로딩을 중지합니다.

• ALL: 모든 오류를 무시하고 데이터 로딩을 계속합니다.

기본값:

NONE

errors.log.enable

Kafka Connect 로그 파일에 오류 메시지를 기록할지 여부를 지정합니다.

이 속성에서 지원되는 값은 다음과 같습니다.

값:

• TRUE: 오류 메시지를 작성합니다.

• FALSE: 오류 메시지를 작성하지 마십시오.

기본값:

FALSE

errors.deadletterqueue.topic.name

Snowflake 테이블에 수집할 수 없는 메시지를 Kafka로 전달하기 위해 Kafka에서 DLQ(배달 못한 편지 큐) 주제의 이름을 지정합니다. 자세한 내용은 이 항목의 배달 못한 편지 큐 를 참조하십시오.

값:

사용자 지정 텍스트 문자열

기본값:

없음