Apache Kafka のデフォルトチェックとポリシー

  • リリースバージョン: Xanadu
  • 更新日 2024年08月01日
  • 所要時間：8分

    • エージェントクライアントコレクター は、Apache Kafka ヘルスモニタリングのための以下のポリシーを提供します。ポリシーには、指定されたテーブルで指定されたチェックが付属しています。ポリシーとチェックは Windows と Linux の両方で使用できます。

    表 : 1. Apache Kafka トピックイベント
    チェック 説明 使用法 出力
    kafka.check-zookeeper-status ホストされている Kafka ZooKeeper が停止していると、重大なイベントを発生させます。 commonchecks check-kafka-zk-status [フラグ]

    フラグは次のとおりです。

    -p, --port = ZooKeeper ポート (デフォルトは「2181」)

    使用例：commonchecks check-kafka-zk-status -p 2181

    		 Kafka Zookeeper Status OK: Kafka Zookeeper is Up!
    kafka.check-topic-replicas 不明なレプリカを含むパーティションがトピックにある場合は、重大なイベントを発生させます。 commonchecks check-kafka-replicas [フラグ]

    フラグは次のとおりです。

    • -p, --port = ZooKeeper ポート (デフォルトは「2181」)
    • -d, --detailed = トピックの各パーティション内の不明なレプリカをリストします。
    • -i, --include_list = トピックを含めるためのカンマ区切りリスト (* ワイルド文字を使用可能)
    • -e, --exclude_list = トピックを除外するためのカンマ区切りリスト (* ワイルド文字を使用可能)
    使用例：commonchecks check-kafka-replicas -H localhost -p 2181 -i "test*" -e "accTopic,*offsets" -d

    <トピック> には不明なレプリカが含まれるパーティションがあります。不明なレプリカは {"0":["0"],"1":["0"],"2":["0"]} です。

    <トピック> には不明なレプリカが含まれるパーティションがあります。不明なレプリカは {"0":["0"]} です。
    kafka.check-topic-replication-factor 少なくとも 1 つのトピックのレプリケーションファクターが、指定されたレプリケーションレプリケーションファクターパラメーターを上回るか、下回ると重大なイベントを発生させます。 commonchecks check-kafka-rf [フラグ]

    フラグは次のとおりです。

    • -p, --port = ZooKeeper ポート (デフォルトは「2181」)
    • -d, --detailed = トピックの各パーティション内の不明なレプリカをリストします。
    • -i, --include_list = トピックを含めるためのカンマ区切りリスト (* ワイルド文字を使用可能)
    • -e, --exclude_list = トピックを除外するためのカンマ区切りリスト (* ワイルド文字を使用可能)
    • -r, --replication factor = トピックの予想されるレプリケーションファクター (デフォルトは 1)

    例：commonchecks check-kafka-partitions -H localhost -p 2181 -r 2 -i "accMetrics,*Topic" -e "testTopic"

    TestTopic のレプリケーションファクターは 1 です。これは予想 (2) を下回っています。

    accMetrics のレプリケーションファクターは 1 です。これは予想 (2) を下回っています。
    kafka.check-topic-leader 不明なリーダーまたはリーダーとして好ましくないレプリカを含むパーティションがトピックにあると、重大なイベントを発生させます。 commonchecks check-kafka-leader [フラグ]

    フラグは次のとおりです。

    • -p, --port = ZooKeeper ポート (デフォルトは「2181」)
    • -d, --detailed = 不明なリーダーまたは好ましくないレプリカを含む各トピックのパーティションのリスト
    • -i, --include_list = トピックを含めるためのカンマ区切りリスト (* ワイルド文字を使用可能)
    • -e, --exclude_list = トピックを除外するためのカンマ区切りリスト (* ワイルド文字を許使用可能)

    例：

    commonchecks check-kafka-leader -H localhost -p 2181 -d -e "*offsets"

    <トピック> は、リーダーとして好ましくないレプリカを含むパーティションを含みます (好ましくないレプリカを含むパーティションは [0])。

    <トピック> は、リーダーとして好ましくないレプリカを含むパーティションを含みます (好ましくないレプリカを含むパーティションは [0])。
    kafka.check-topic-partitions トピックのパーティション数が min_partitions パラメーターを下回ると、重大なイベントを発生させます。 commonchecks check-kafka-partitions [フラグ]

    フラグは次のとおりです。

    • -p, --port = ZooKeeper ポート (デフォルトは「2181」)
    • -P, --min_partitions = トピックの最小パーティション数 (デフォルトは 1)
    • -i, --include_list = トピックを含めるためのカンマ区切りリスト (* ワイルド文字を使用可能)
    • -e, --exclude_list = トピックを除外するためのカンマ区切りリスト (* ワイルド文字を許使用可能)

    使用例 1：commonchecks check-kafka-partitions -H localhost -p 2181 -P 3

    <トピック> には 1 つのパーティションがあり、少なくとも 3 つ必要です。

    <トピック> には 1 つのパーティションがあり、少なくとも 3 つ必要です。

    <トピック> には 1 つのパーティションがあり、少なくとも 3 つ必要です。
    使用例 2：commonchecks check-kafka-partitions -H localhost -p 2181 -P 3 -i "accMetrics,*Topic" -e "testTopic"

    <トピック> には 1 つのパーティションがあり、少なくとも 3 つ必要です。

    <トピック> には 1 つのパーティションがあり、少なくとも 3 つ必要です。
    注:
    include_list パラメーターおよび exclude_list パラメーターの値は、二重引用符で囲む必要があります。例："test1,*topic"
    表 : 2. Apache Kafka ブローカーイベント
    チェック 説明 使用法 出力
    kafka.check-broker-status ホスト上の Kafka ブローカーが停止すると、重大なイベントを発生させます。 commonchecks check-kafka-broker-status [フラグ]

    フラグは次のとおりです。

    -p, --port = Kafka ブローカーポート (デフォルトは「9092」)

    使用例：commonchecks check-kafka-broker-status -p 9092

    		 Kafka Broker Status OK: Kafka Broker ubuntu20:9092 is Up!
    表 : 3. Apache Kafka ブローカーメトリクス
    チェック 説明 使用法 出力
    kafka.metrics.broker ホストから Kafka ブローカーのメトリクスを収集します。 commonchecks metric-kafka-broker [フラグ]
    フラグは次のとおりです。
    • -J, --javapath = Java 実行可能パス (デフォルトは「java」)
    • -j, --jmxport = JMX ポート (デフォルトは「9999」)

    使用例：commonchecks metric-kafka-broker -J "/usr/bin/java" -j 9999

    hostname.Kafka.Broker.ReplicaManager.IsrExpandsPerSec.OneMinuteRate 0.000

    hostname.Kafka.Broker.DelayedOperationPurgatory.PurgatorySize.Fetch.Value 627.000

    hostname.Kafka.Broker.ControllerStats.UncleanLeaderElectionsPerSec.OneMinuteRate 0.000

    hostname.Kafka.Broker.RequestMetrics.RequestsPerSec.Produce.OneMinuteRate 0.000
    表 : 4. Apache Kafka ZooKeeper のメトリクス
    チェック 説明 使用法 出力
    kafka.metrics.zookeeper ホストから ZooKeeper のメトリクスを収集します。 commonchecks metric-kafka-zookeeper [フラグ]

    フラグ：-p、--adminserverport =アドミンサーバーポート (デフォルトは「8085」)

    使用例：commonchecks metric-kafka-zookeeper -p 8085

    hostname.Kafka.Zookeeper.outstanding_requests 2.000 1648183249

    hostname.Kafka.Zookeeper.avg_latency 1.05 1648183249

    hostname.Kafka.Zookeeper.num_alive_connections 1.000 1648183249

    hostname.Kafka.Zookeeper.open_file_descriptor_count 124.000 1648183249