Apache Kafka 기본 검사 및 정책

  • 릴리스 버전: Xanadu
  • 업데이트 날짜 2024년 08월 01일
  • 소요 시간: 7분

    • 에이전트 클라이언트 수집기는 Apache Kafka 상태 모니터링에 대해 다음과 같은 정책을 제공합니다. 정책은 표시된 테이블에 지정된 검사와 함께 제공됩니다. 정책과 검사는 Windows 및 Linux에서 모두 사용할 수 있습니다.

    표 1. Apache Kafka 주제 이벤트
    검사 설명 사용법 출력
    kafka.check-zookeeper-status 호스팅된 Kafka Zookeeper가 다운되면 중요 이벤트가 발생합니다. commonchecks check-kafka-zk-status [플래그]

    플래그 위치:

    -p, --port = Zookeeper 포트(기본값 "2181").

    사용 예: commonchecks check-kafka-zk-status -p 2181

    		 Kafka Zookeeper 상태 정상: Kafka Zookeeper가 작동 중입니다!
    kafka.check-topic-replicas 주제에 알 수 없는 복제본이 있는 파티션이 있는 경우 중요 이벤트가 발생합니다. commonchecks check-kafka-replicas [플래그]

    플래그 위치:

    • -p, --port = Zookeeper 포트(기본값 "2181").
    • -d, --detailed = 주제의 각 파티션에 알 수 없는 복제본을 나열합니다.
    • -i, --include_list = 주제를 포함할 쉼표로 구분된 목록(* 와일드카드 문자 허용)
    • -e, --exclude_list = 주제를 제외할 쉼표로 구분된 목록(* 와일드카드 문자 허용)
    사용 예: commonchecks check-kafka-replicas -H localhost -p 2181 -i "test*" -e "accTopic,*offsets" -d

    <주제>에 알 수 없는 복제본이 있는 파티션이 있습니다. 알 수 없는 복제본은 {"0":["0"],"1":["0"],"2":["0"]}입니다.

    <주제>에 알 수 없는 복제본이 있는 파티션이 있습니다. 알 수 없는 복제본은 {"0":["0"]}입니다.
    kafka.check-topic-replication-factor 하나 이상의 주제의 복제 계수가 제공된 복제 계수 매개변수보다 높거나 낮으면 중요 이벤트가 발생합니다. commonchecks check-kafka-rf [플래그]

    플래그 위치:

    • -p, --port = Zookeeper 포트(기본값 "2181").
    • -d, --detailed = 주제의 각 파티션에 알 수 없는 복제본을 나열합니다.
    • -i, --include_list = 주제를 포함할 쉼표로 구분된 목록(* 와일드카드 문자 허용)
    • -e, --exclude_list = 주제를 제외할 쉼표로 구분된 목록(* 와일드카드 문자 허용)
    • -r, --replication factor = 주제에 대한 예상 복제 계수(기본값 1)

    예: commonchecks check-kafka-partitions -H localhost -p 2181 -r 2 -i "accMetrics,*Topic" -e "testTopic"

    TestTopic의 복제 계수는 1이며 예상한 2보다 작습니다.

    accMetrics의 복제 계수는 1이며 예상한 2보다 작습니다.
    kafka.check-topic-leader 주제에 알 수 없는 리더가 있는 파티션 또는 리더로서 기본 설정되지 않은 복제본이 있는 파티션이 있는 경우 중요 이벤트가 발생합니다. commonchecks check-kafka-leader [플래그]

    플래그 위치

    • -p, --port = Zookeeper 포트(기본값 "2181").
    • -d, --detailed = 알 수 없는 리더 또는 기본 설정되지 않은 복제본이 있는 각 주제의 파티션 목록.
    • -i, --include_list = 주제를 포함할 쉼표로 구분된 목록(* 와일드카드 문자 허용)
    • -e, --exclude_list = 주제를 제외할 쉼표로 구분된 목록(* 와일드카드 문자 허용)

    예시:

    commonchecks check-kafka-leader -H localhost -p 2181 -d -e "*offsets"

    <주제>는 리더로서 기본으로 설정되지 않은 복제본이 있는 파티션을 포함합니다(기본으로 설정되지 않은 복제본이 있는 파티션은 [0]임).

    <주제>는 리더로서 기본으로 설정되지 않은 복제본이 있는 파티션을 포함합니다(기본으로 설정되지 않은 복제본이 있는 파티션은 [0]임).
    kafka.check-topic-partitions 주제의 파티션 수가 min_partitions 매개변수보다 적으면 중요 이벤트가 발생합니다. commonchecks check-kafka-partitions [플래그]

    플래그 위치:

    • -p, --port = Zookeeper 포트(기본값 "2181").
    • -P, --min_partitions = 주제의 최소 파티션 수(기본값 1).
    • -i, --include_list = 주제를 포함할 쉼표로 구분된 목록(* 와일드카드 문자 허용)
    • -e, --exclude_list = 주제를 제외할 쉼표로 구분된 목록(* 와일드카드 문자 허용)

    사용 예시 1: commonchecks check-kafka-partitions -H localhost -p 2181 -P 3

    <주제>에 파티션이 1개 있으며, 3개 이상 예상됩니다.

    <주제>에 파티션이 1개 있으며, 3개 이상 예상됩니다.

    <주제>에 파티션이 1개 있으며, 3개 이상 예상됩니다.
    사용 예 2: commonchecks check-kafka-partitions -H localhost -p 2181 -P 3 -i "accMetrics,*Topic" -e "testTopic"

    <주제>에 파티션이 1개 있으며, 3개 이상 예상됩니다.

    <주제>에 파티션이 1개 있으며, 3개 이상 예상됩니다.
    주:
    include_list 및 exclude_list 매개변수의 값은 큰 따옴표로 감싸야 합니다. 예: "test1,*topic".
    표 2. Apache Kafka 브로커 이벤트
    검사 설명 사용법 출력
    kafka.check-broker-status 호스트의 Kafka 브로커가 다운되면 중요 이벤트가 발생합니다. commonchecks check-kafka-broker-status [플래그]

    플래그 위치:

    -p, --port = Kafka 브로커 포트(기본값 "9092").

    사용 예: commonchecks check-kafka-broker-status -p 9092

    		 Kafka 브로커 상태 정상: Kafka 브로커 ubuntu20:9092가 작동 중입니다!
    표 3. Apache Kafka 브로커 메트릭
    검사 설명 사용법 출력
    kafka.metrics.broker 호스트에서 Kafka 브로커 메트릭을 수집합니다. commonchecks metric-kafka-broker [플래그]
    플래그 위치:
    • -J, --javapath = Java 실행 파일 경로(기본값 "java").
    • -j, --jmxport = JMX 포트(기본값 "9999")

    사용 예: commonchecks metric-kafka-broker -J "/usr/bin/java" -j 9999

    hostname.Kafka.Broker.ReplicaManager.IsrExpandsPerSec.OneMinuteRate 0.000

    hostname.Kafka.Broker.DelayedOperationPurgatory.PurgatorySize.Fetch.Value 627.000

    hostname.Kafka.Broker.ControllerStats.UncleanLeaderElectionsPerSec.OneMinuteRate 0.000

    hostname.Kafka.Broker.RequestMetrics.RequestsPerSec.Produce.OneMinuteRate 0.000
    표 4. Apache Kafka Zookeeper 메트릭
    검사 설명 사용법 출력
    kafka.metrics.zookeeper 호스트에서 Zookeeper 메트릭을 수집합니다. commonchecks metric-kafka-zookeeper [플래그]

    플래그 위치: -p, --adminserverport = 관리 서버 포트(기본값 "8085")

    사용 예: commonchecks metric-kafka-zookeeper -p 8085

    hostname.Kafka.Zookeeper.outstanding_requests 2.000 1648183249

    hostname.Kafka.Zookeeper.avg_latency 1.05 1648183249

    hostname.Kafka.Zookeeper.num_alive_connections 1.000 1648183249

    hostname.Kafka.Zookeeper.open_file_descriptor_count 124.000 1648183249