Kafka 구독 및 통계 보기

릴리스 버전: Washingtondc

업데이트 날짜 2024년 02월 01일

읽기4분

주제에 추가된 기록 수, 처리된 기록 수, 처리할 남아 있는 기록 수 등 Kafka 소비자 및 해당 성능에 대한 자세한 정보를 봅니다.

구독은 소비자와 연결된 기록입니다. 소비자에 대한 구성 및 성능 세부 정보를 저장합니다. Kafka 스트림이 활성화되면 구독이 생성됩니다.

각 구독 페이지에는 다음 섹션이 포함되어 있습니다.

Kafka 구독
메트릭
Kafka 구독 파티션 그룹
소비자 로그
Kafka 소비자 통계

구독 기록을 보려면 다음으로 이동합니다. 통합 허브 > 스트림 커넥트 > 구독. 보려는 구독의 정보 아이콘( )을 선택한 다음 Open Record를 선택합니다.

Kafka 구독

Kafka 구독 섹션에는 소비자 및 구독에 대한 구성 세부 정보가 표시됩니다.


필드	설명
번호	구독 기록의 수입니다.
상태	소비자의 상태입니다. 옵션은 다음과 같습니다. ACTIVE 상쾌한 중지
주제	소비자가 메시지를 처리 중인 주제입니다.
소비자 ID	소비자의 고유 식별자입니다.
Kafka 자동 위치 정책	소비자가 주제에서 메시지 읽기를 시작하는 위치를 지정합니다. 옵션은 다음과 같습니다. 가장 빠름: 소비자가 주제에서 사용 가능한 가장 빠른 메시지부터 읽기 시작합니다. latest: 소비자는 소비자가 시작된 후 주제로 전달된 메시지만 읽습니다.
오류 있음	구독에 오류가 있는지 나타냅니다.
최대 동시 허용 사용자 수	메시지를 사용하는 데 사용되는 최대 병렬 프로세서 수와 파티션 그룹 수입니다.
파티션 그룹 시간 제한	구독의 각 파티션 그룹에 할당되는 최대 시간(밀리초)입니다.
Kafka 파티션	주제의 파티션 수입니다.
최대 배치 크기	실행당 처리되는 최대 메시지 수입니다. 옵션은 다음과 같습니다. 자동으로 최적화됨: 시스템이 메시지 수를 선택합니다. a number: 사용자가 수동으로 숫자를 선택했습니다.

메트릭

각 메트릭은 이전 5분, 이전 1시간, 이전 24시간의 세 가지 시간 간격으로 측정됩니다.

주제 입력 속도: 초당 주제에 추가된 평균 기록 수입니다.
소비자 처리 속도: 초당 처리된 평균 기록 수입니다.
주제 큐 깊이: 주제에서 처리되도록 남아 있는 평균 기록 수입니다.

Kafka 구독 파티션 그룹

Kafka 구독 파티션 그룹 탭에는 다음 세부 정보가 표시됩니다.


필드	설명
번호	파티션 그룹의 번호입니다.
이 파티션 그룹의 소유자	파티션 그룹의 소유권 상태입니다. 옵션은 다음과 같습니다. NONE: 파티션 그룹은 Kafka 소비자 작업에서 소유하지 않습니다. 픽업하여 처리할 수 있습니다. 처리 중: 파티션 그룹은 Kafka 소비자 작업이 소유하며 메시지를 처리 중입니다. 잠김: 파티션 그룹이 Kafka 소비자 작업에서 소유하지 않으며 선택할 수 없습니다. Kafka 소비자 작업이 활성화되면 소유자가 NONE인 가장 먼저 업데이트된 기록을 확인하고 하나를 선택합니다. 그런 다음 소비자 작업은 소유자를 PROCESSING으로 변경하고 10초 동안 처리합니다. 처리가 완료되면 상태가 다시 NONE으로 변경되므로 나중에 선택하여 다시 처리할 수 있습니다. 소비자 작업이 모든 메시지를 처리하는 경우 10초 동안 소유자를 LOCKED로 설정한 후 다시 NONE으로 설정됩니다.
업데이트됨	파티션 그룹이 마지막으로 업데이트된 날짜 및 시간입니다.
소유권이 상실된 시점	소유권이 상실된 날짜 및 시간입니다.
첫 번째 파티션	파티션 그룹의 첫 번째 파티션 번호입니다.
마지막 파티션(포함)	파티션 그룹의 마지막 파티션 번호입니다.
입력 속도 지난 5분, 지난 1시간 및 지난 24시간 동안 제공됩니다.	초당 파티션 그룹에 추가된 평균 레코드 수입니다.
소비자 처리 지난 5분, 지난 1시간 및 지난 24시간 동안 제공됩니다.	초당 파티션 그룹에서 사용된 평균 메시지 수입니다.
큐 깊이 지난 5분, 지난 1시간 및 지난 24시간 동안 제공됩니다.	파티션 그룹에서 처리할 남아 있는 평균 기록 수입니다.

소비자 로그

소비자 로그 탭에는 연결된 소비자에 대한 로그 항목이 표시됩니다. 각 항목이 생성된 시기, 로그 수준, 메시지 및 소스가 표시됩니다. 소비자 로그는 소비자 로그[sys_consumer_log] 테이블에 저장됩니다.

속성을 활성화 glide.ih.kafka.debug.consume 하여 소비자 로그에 추가되는 로그 메시지 수를 늘릴 수 있습니다.

Kafka 소비자 통계

Kafka 소비자 통계 탭에는 다음 세부 정보가 표시됩니다.


필드	설명
생성됨	소비자 통계 기록이 생성된 날짜 및 시간입니다.
간격	소비자 통계 기록의 기간(초)입니다. 이 속성을 사용하여 간격의 길이를 glide.ih.kafka.consumer.log_interval 변경할 수 있습니다. 기본값은 60초입니다. 특성이 glide.ih.kafka.consumer.log_empty_stats 있는 간격 동안 생성되거나 이용된 Kafka 메시지가 없는 경우 소비자 로그에 메시지를 로그할지 여부를 지정할 수 있습니다. 기본값은 true입니다.
생산된 메시지	간격 시간 동안 주제에 대해 생성된 메시지 수입니다.
사용한 메시지	간격 시간 동안 소비자가 처리한 메시지 수입니다.
소비한 바이트	간격 시간 동안 소비자가 처리한 바이트 수입니다.
오프셋	파티션 그룹에 대한 모든 오프셋의 합계입니다.
지연 메시지	끝 간격띄우기와 현재 간격띄우기의 차이입니다.
종료 오프셋	파티션 그룹에 대한 모든 끝 오프셋의 합계입니다.
파티션 그룹	파티션 그룹에 대한 기록입니다.