Kafka 구독 및 통계 보기

  • 릴리스 버전: Xanadu
  • 업데이트 날짜 2024년 08월 01일
  • 읽기4분

    • 주제에 추가된 기록 수, 처리된 기록 수, 처리할 남아 있는 기록 수 등 Kafka 소비자 및 해당 성능에 대한 자세한 정보를 봅니다.

    구독은 소비자와 연결된 기록입니다. 여기에는 소비자에 대한 구성 및 성능 세부 정보가 저장됩니다. 구독은 Kafka 스트림이 활성화될 때 생성됩니다.

    각 구독 페이지에는 다음 섹션이 포함되어 있습니다.
    • Kafka 구독
    • 메트릭
    • Kafka 구독 파티션 그룹
    • 소비자 로그
    • Kafka 소비자 통계

    구독 기록을 보려면 다음으로 이동합니다. 통합 허브 > 스트림 커넥트 > 구독. 보려는 구독의 정보 아이콘( 정보 아이콘)을 선택한 다음 레코드 열기를 선택합니다.

    그림 1. Kafka 소비자를 위한 샘플 구독 페이지
    구독 상세 정보, 메트릭 및 파티션 그룹, 소비자 로그 및 소비자 통계에 대한 정보가 포함된 Kafka 구독 페이지입니다.

    Kafka 구독

    Kafka 구독 섹션에는 소비자 및 구독에 대한 구성 세부 정보가 표시됩니다.
    필드 설명
    번호 구독 기록의 수입니다.
    상태 소비자의 상태입니다. 옵션은 다음과 같습니다.
    • ACTIVE
    • REFRESHING
    • STOPPING
    주제 소비자가 메시지를 처리 중인 주제입니다.
    소비자 ID 소비자의 고유 식별자입니다.
    Kafka 자동 위치 정책 소비자가 주제에서 메시지 읽기를 시작하는 위치를 지정합니다. 옵션은 다음과 같습니다.
    • 가장 빠른: 소비자가 주제에서 사용 가능한 가장 빠른 메시지부터 읽기 시작합니다.
    • latest: 소비자는 소비자가 시작된 후 주제로 전달된 메시지만 읽습니다.
    오류 있음 구독에 오류가 있는지 나타냅니다.
    최대 동시 허용 사용자 수 메시지를 소비하는 데 사용되는 최대 병렬 프로세서 수와 파티션 그룹 수입니다.
    파티션 그룹 시간 초과 구독의 각 파티션 그룹에 할당되는 최대 시간(밀리초)입니다.
    Kafka 파티션 주제의 파티션 수입니다.
    최대 배치 크기 실행당 처리된 최대 메시지 수입니다. 옵션은 다음과 같습니다.
    • 자동으로 최적화됨: 시스템에서 메시지 수를 선택합니다.
    • a number: 사용자가 수동으로 숫자를 선택했습니다.

    메트릭

    각 메트릭은 이전 5분, 이전 시간 및 이전 24시간의 세 가지 시간 간격으로 측정됩니다.
    • 주제 입력 속도: 초당 주제에 추가된 평균 기록 수입니다.
    • 소비자 처리 속도: 초당 처리된 평균 기록 수입니다.
    • 주제 큐 깊이: 주제에서 처리되도록 남아 있는 평균 기록 수입니다.

    Kafka 구독 파티션 그룹

    Kafka 구독 파티션 그룹 탭에는 다음 세부 정보가 표시됩니다.
    필드 설명
    번호 파티션 그룹의 번호입니다.
    이 파티션 그룹의 소유자 파티션 그룹의 소유권 상태입니다. 옵션은 다음과 같습니다.
    • NONE: 파티션 그룹은 Kafka 소비자 작업에서 소유하지 않습니다. 이를 선택하여 처리할 수 있습니다.
    • 처리 중: 파티션 그룹은 Kafka 소비자 작업이 소유하며 메시지를 처리 중입니다.
    • 잠김: 파티션 그룹이 Kafka 소비자 작업에서 소유하지 않으며 선택할 수 없습니다.

    Kafka 소비자 작업이 활성화되면 소유자가 NONE인 가장 먼저 업데이트된 기록을 확인하고 하나를 선택합니다.

    그런 다음 소비자 작업은 소유자를 PROCESSING으로 변경하고 10초 동안 처리합니다.

    처리가 완료되면 상태가 다시 NONE으로 변경되므로 나중에 선택하여 다시 처리할 수 있습니다.

    소비자 작업이 모든 메시지를 처리하는 경우 소유자를 10초 동안 LOCKED로 설정한 후 다시 NONE으로 설정됩니다.
    업데이트됨 파티션 그룹이 마지막으로 업데이트된 날짜 및 시간입니다.
    소유권이 상실된 시점 소유권이 상실된 날짜 및 시간입니다.
    첫 번째 파티션 파티션 그룹의 첫 번째 파티션 번호입니다.
    마지막 파티션(포함) 파티션 그룹의 마지막 파티션 수입니다.
    입력 속도

    지난 5분, 지난 시간 및 지난 24시간 동안 주어졌습니다.

    		 초당 파티션 그룹에 추가된 평균 기록 수입니다.
    소비자 처리

    지난 5분, 지난 시간 및 지난 24시간 동안 주어졌습니다.

    		 초당 파티션 그룹에서 소비된 평균 메시지 수입니다.
    큐 깊이

    지난 5분, 지난 시간 및 지난 24시간 동안 주어졌습니다.

    		 파티션 그룹에서 처리할 남아 있는 평균 기록 수입니다.

    소비자 로그

    소비자 로그 탭에는 연결된 소비자에 대한 로그 항목이 표시됩니다. 각 항목이 생성된 시기, 로그 수준, 메시지 및 소스가 표시됩니다. 소비자 로그는 소비자 로그 [sys_consumer_log] 테이블에 저장됩니다.

    속성을 활성화 glide.ih.kafka.debug.consume 하여 소비자 로그에 추가되는 로그 메시지 수를 늘릴 수 있습니다.

    Kafka 소비자 통계

    Kafka 소비자 통계 탭에는 다음 상세 정보가 표시됩니다.
    필드 설명
    작성됨 소비자 통계 기록이 생성된 날짜 및 시간입니다.
    간격 소비자 통계 기록의 기간(초)입니다.

    속성을 사용하여 간격의 길이를 glide.ih.kafka.consumer.log_interval 변경할 수 있습니다. 기본값은 60초입니다.

    속성과 함께 glide.ih.kafka.consumer.log_empty_stats 간격 동안 생성되거나 소비된 Kafka 메시지가 없는 경우 소비자 로그에 메시지를 로그할지 여부를 지정할 수 있습니다. 기본값은 true입니다.
    생산된 메시지 간격 시간 동안 주제에 대해 생산된 메시지 수입니다.
    소비한 메시지 간격 시간 동안 소비자가 처리한 메시지 수입니다.
    소비한 바이트 간격 시간 동안 소비자가 처리한 바이트 수입니다.
    오프셋 파티션 그룹에 대한 모든 오프셋의 합계입니다.
    지연 메시지 끝 오프셋과 현재 오프셋 간의 차이입니다.
    종료 오프셋 파티션 그룹에 대한 모든 종료 오프셋의 합계입니다.
    파티션 그룹 파티션 그룹에 대한 기록입니다.