JMX(Java Management Extensions)를 사용하여 Kafka 커넥터 모니터링하기¶

Kafka 커넥터에서 JMX 구성하기¶

JMX는 Snowflake Kafka 커넥터에서 기본적으로 활성화됩니다. Kafka에서 JMX를 활성화하려면 다음을 수행하십시오.

1. Kafka 설치에 연결할 JMX 활성화:

   • 원격 서버에서 실행 중인 Kafka 설치에 JMX를 연결하려면 다음과 같이 Kafka Connect 시작 스크립트에 KAFKA_JMX_OPTS 환경 변수를 설정하십시오.

     export KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote=true
         -Dcom.sun.management.jmxremote.authenticate=false
         -Dcom.sun.management.jmxremote.ssl=false
         -Djava.rmi.server.hostname=<ip_address>
         -Dcom.sun.management.jmxremote.port=<jmx_port>"
     

     Copy

     여기서:

     • ip_address: Kafka Connect 설치의 IP 주소를 지정합니다.

     • jmx_port: Kafka Connect가 JMX 연결을 수신하는 JMX 포트를 지정합니다.

   • 같은 서버에서 실행 중인 Kafka에 JMX를 연결하려면 다음과 같이 Kafka 시작 스크립트에 JMX_PORT 환경 변수를 설정하십시오.

     export JMX_PORT=<port_number>
     

     Copy

     여기서 port_number 는 Kafka 설치의 JMX 포트입니다.

2. Kafka 커넥터를 다시 시작합니다.

Snowflake Kafka 커넥터 MBeans(Managed Beans) 사용하기¶

JMX는 MBeans를 사용해 모니터링할 수 있는 Kafka 내의 오브젝트를 나타냅니다(예: 스레드 수, CPU 부하 등). Snowflake Kafka 커넥터는 커넥터에서 관리하는 오브젝트에 액세스하기 위해 MBeans를 제공합니다. 이러한 MBeans를 사용하여 모니터링 대시보드를 만들 수 있습니다.

Kafka 커넥터 MBean 오브젝트 이름의 일반적인 형식은 다음과 같습니다.

snowflake.kafka.connector:connector=connector_name,pipe=pipe_name,category=category_name,name=metric_name

여기서:

• connector=connector_name 은 Kafka 구성 파일에 정의된 커넥터의 이름을 지정합니다.

• pipe=pipe_name 은 데이터 수집에 사용되는 Snowpipe 오브젝트를 지정합니다. Kafka 커넥터는 각 파티션에 대한 Snowpipe 오브젝트를 정의합니다.

• category=category_name 은 MBean의 카테고리를 지정합니다. 각 카테고리에는 메트릭 세트가 포함됩니다.

• name=metric_name 은 메트릭의 이름을 지정합니다.

다음 섹션에는 Snowflake Kafka 커넥터에서 제공하는 카테고리와 메트릭의 이름이 나열되어 있습니다.