Kafka Connector 관리하기

이 항목에서는 Kafka 커넥터 관리와 관련된 관리 작업에 대해 설명합니다.

이 항목의 내용:

Kafka Connector에서 사용하는 Snowflake 오브젝트 삭제하기

Kafka 커넥터를 사용하여 Snowflake 테이블에 더 이상 데이터를 로드하지 않으려면 Kafka를 종료하고 커넥터에서 사용하는 Snowflake 오브젝트를 삭제할 수 있습니다.

데이터를 수집하기 위해 커넥터에서 사용하는 Snowflake 오브젝트의 타입은 다음과 같습니다.

  • 명명된 내부 스테이지

  • 파이프

  • 테이블

이 섹션에서는 Kafka 커넥터에서 사용하는 Snowflake 오브젝트를 찾고 삭제하는 방법에 대한 지침을 제공합니다.

스테이지 삭제하기

커넥터는 각 Kafka 항목에 대해 1개의 명명된 내부 스테이지를 생성합니다. 스테이지 이름의 형식은 다음과 같습니다.

SNOWFLAKE_KAFKA_CONNECTOR_connector_name_STAGE_table_name

각 내부 스테이지에는 테이블에 로드할 파일뿐만 아니라 Kafka에서 테이블에 행을 전달하기 위한 용도로 사용되는 《상태》 정보도 저장됩니다.

스테이지 및 스테이징된 정보가 보존되는 경우 커넥터를 중지한 후 다시 시작하면 커넥터는 자동으로 중단된 지점에서 재개됩니다. 그러나 스테이지가 제거되면 커넥터는 중단된 위치에서 재개될 수 없습니다.

Kafka 커넥터에서 사용하는 스테이지를 삭제하려면:

  1. 스테이지 소유자(즉, 스테이지에 대한 OWNERSHIP 권한의 역할. 이 역할은 Kafka 커넥터를 실행하기 위해 Kafka 구성 파일에 정의된 사용자의 기본 역할이어야 함)로 SHOW STAGES 를 실행하여 스테이지의 이름을 찾습니다

  2. DROP STAGE 를 실행하여 시스템에서 제거할 각 스테이지를 삭제합니다.

파이프 삭제하기

커넥터는 Kafka 주제의 각 파티션 에 대하여 1개의 파이프를 만듭니다. 파이프 이름의 형식은 다음과 같습니다.

SNOWFLAKE_KAFKA_CONNECTOR_connector_name_PIPE_table_name_partition_number

Kafka 커넥터에서 사용하는 파이프를 삭제하려면:

  1. 파이프 소유자(즉, 파이프에 대한 OWNERSHIP 권한의 역할. 이 역할은 Kafka 커넥터를 실행하기 위해 Kafka 구성 파일에 정의된 사용자의 기본 역할이어야 함)로 SHOW PIPES 를 실행하여 파이프의 이름을 찾습니다

  2. DROP PIPE 를 실행하여 시스템에서 제거할 각 파이프를 삭제합니다.

테이블 삭제하기

대상 테이블에 로드된 데이터가 더 이상 필요하지 않은 경우 해당 테이블을 삭제할 수도 있습니다.

Kafka 구성 속성 에서 snowflake.topic2table.map 매개 변수를 사용하여 Kafka 항목을 테이블에 매핑하지 않은 경우 Kafka 커넥터는 항목 이름을 사용하여 새 테이블을 생성합니다. 테이블 이름은 대문자이지만 항목 이름과 동일합니다. 단, 항목 이름이 Snowflake 오브젝트 명명 규칙을 위반하는 경우는 제외입니다. 예를 들어, Snowflake는 이름이 temperature_data 인 Kafka 항목에 대하여 TEMPERATURE_DATA 라는 테이블 이름을 생성합니다.

Kafka 커넥터에서 사용하는 테이블을 삭제하려면:

  1. 테이블 소유자(즉, 테이블에 대한 OWNERSHIP 권한의 역할. 이 역할은 Kafka 커넥터를 실행하기 위해 Kafka 구성 파일에 정의된 사용자의 기본 역할이어야 함)로 SHOW TABLES 를 실행하여 테이블의 이름을 찾습니다

  2. DROP TABLE 를 실행하여 시스템에서 제거할 각 테이블을 삭제합니다.

언어: 한국어