Kafka용 Openflow Connector¶
참고
커넥터에는 커넥터 약관 이 적용됩니다.
이 항목에서는 Kafka용 Openflow Connector의 기본 개념과 제한 사항에 대해 설명합니다.
Apache Kafka 소프트웨어는 게시 및 구독 모델을 사용하여 메시지 큐 또는 엔터프라이즈 메시징 시스템과 유사한 레코드 스트림을 쓰고 읽습니다. Kafka를 사용하면 프로세스가 비동기적으로 메시지를 읽고 쓸 수 있습니다. 구독자는 게시자와 직접 연결할 필요가 없으며, 게시자는 구독자가 나중에 수신할 수 있도록 Kafka의 메시지를 큐에 추가할 수 있습니다.
애플리케이션이 항목에 메시지를 게시하면 애플리케이션이 해당 메시지를 수신하기 위해 항목을 구독합니다. Kafka는 메시지를 처리하고 전송할 수 있지만, 이와 관련한 설명은 이 문서의 범위를 벗어납니다. 항목를 파티션으로 나누어 확장성을 높일 수 있습니다.
Kafka용 Openflow Connector는 Kafka 항목에서 데이터를 읽고 Snowpipe Streaming 메커니즘을 사용하여 Snowflake 테이블에 씁니다.
다음 작업을 수행하려는 경우 이 커넥터를 사용하십시오.
실시간에 가까운 분석을 위해 Apache Kafka에서 Snowflake로 실시간 이벤트 수집
제한 사항¶
Topic To Table Map매개 변수가 설정되어 있지 않은 경우:테이블 이름은 해당 테이블이 보유한 데이터의 항목와 정확히 일치해야 합니다.
테이블 이름은 대문자 형식이어야 합니다.
Topic To Table Map매개 변수가 설정된 경우:테이블 이름은 매핑에 지정된 테이블 이름과 일치해야 합니다. 테이블 이름은 따옴표로 묶지 않은 유효한 Snowflake 식별자여야 합니다. 유효한 테이블 이름에 대한 내용은 식별자 요구 사항 을 참조하십시오.
JSON 및 AVRO 형식만 지원됩니다.
Confluent Schema Registry만 지원됩니다.
PLAINTEXT, SASL_PLAIN, SSL, SASL_SSL 보안 프로토콜이 지원됩니다.
PLAIN, SCRAM-SHA-256, SCRAM-SHA-512 및 AWS_MSK_IAM SASL 메커니즘이 지원됩니다.
mTLS 및 AWS MSK IAM 인증 방법은 서비스를 통해 추가 구성이 필요합니다. 자세한 내용은 Kafka용 Openflow Connector에 대한 다른 인증 방법 구성하기 섹션을 참조하십시오.
테이블에 데이터 삽입에 실패하는 경우 커넥터는 무한히 재시도를 계속합니다.