Java Management Extensions（JMX）を使用したKafkaコネクタのモニター¶

Kafkaコネクタでの JMX の構成¶

JMX は、Kafka用Snowflakeコネクタではデフォルトで有効になっています。Kafkaで JMX を有効にするには、次を実行します。

1. JMX を有効にしてKafkaインストールに接続します。

   • リモートサーバーで実行されているKafkaインストールに JMX 接続するには、KafkaConnect起動スクリプトで KAFKA_JMX_OPTS 環境変数を設定します。

     export KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote=true
         -Dcom.sun.management.jmxremote.authenticate=false
         -Dcom.sun.management.jmxremote.ssl=false
         -Djava.rmi.server.hostname=<ip_address>
         -Dcom.sun.management.jmxremote.port=<jmx_port>"
     

     Copy

     条件:

     • ip_address: Kafka Connectインストールの IP アドレスを指定します。

     • jmx_port: Kafka Connectが JMX 接続をリッスンする JMX ポートを指定します。

   • 同じサーバーで実行されているKafkaに JMX 接続するには、Kafka起動スクリプトで JMX_PORT 環境変数を設定します。

     export JMX_PORT=<port_number>
     

     Copy

     ここで、 port_number はKafkaインストールの JMX ポートです。

2. Kafkaコネクタを再起動します。

Snowflake KafkaコネクタManaged Beansの使用（MBeans）¶

JMX は MBeans を使用して、モニターできるKafka内のオブジェクト（例: スレッド数、CPU負荷など）を表します。Snowflake Kafkaコネクタは、コネクタによって管理されるオブジェクトにアクセスするための MBeans を提供します。これらの MBeans を使用して、モニターダッシュボードを作成できます。

Kafkaコネクタ MBean オブジェクト名の一般的な形式は次のとおりです。

snowflake.kafka.connector:connector=connector_name,pipe=pipe_name,category=category_name,name=metric_name

条件:

• connector=connector_name は、Kafka構成ファイルで定義されているコネクタの名前を指定します。

• pipe=pipe_name は、データのインジェストに使用されるSnowpipeオブジェクトを指定します。Kafkaコネクタは、各パーティションのSnowpipeオブジェクトを定義します。

• category=category_name は、 MBean のカテゴリを指定します。各カテゴリには、一連のメトリックが含まれています。

• name=metric_name は、メトリックの名前を指定します。

次のセクションでは、Snowflake Kafkaコネクタによって提供されるカテゴリとメトリックの名前をリストします。