최적화된 데이터 수집기에 대한 로그 세부 정보

  • 릴리스 버전: Zurich
  • 업데이트 날짜 2025년 07월 31일
  • 소요 시간: 7분
  • 릴리스부터 Tokyo 최적화된 새로운 데이터 수집기를 사용할 수 있습니다. 이 데이터 수집기의 로그 상세 정보는 클래식 데이터 수집기의 로그 상세 정보와 다릅니다.

    컬렉션 개요

    데이터 수집 작업에는 데이터 수집기를 사용하는 각 표시기 소스에 대한 SQL 쿼리 실행이 포함됩니다. 쿼리는 시작 날짜부터 종료 날짜까지 수집 시간에 반복됩니다. 그런 다음 다음 표시기 소스에 대한 쿼리가 실행됩니다. 쿼리를 실행하는 각 단계는 데이터 수집 작업 로그에 문서화됩니다.
    그림 1. 데이터 수집 작업의 상위 수준 뷰
    데이터 수집 작업에서 다양한 프로세스 수준 간의 관계를 보여주는 흐름도

    수집 작업 시작 및 완료

    로그 메시지에 표시된 대로 데이터 수집 프로세스를 따릅니다. 각 하위 프로세스의 로그 메시지는 자체 테이블로 구분되었습니다.

    주:
    이 로그는 설명된 대로 최적화된 HSQL 데이터 수집기용입니다.데이터 수집 최적화 "false"이면 com.snc.pa.dc.hsql 클래식 데이터 수집기를 사용하고 있는 것입니다. 그렇지 않으면 최적화된 데이터 수집기를 사용하고 있습니다. 해당 로그에 대한 자세한 내용은 다음 문서를 참조하십시오 클래식 데이터 수집기에 대한 로그 세부 정보.
    수집 작업 단계 결과 로그 항목의 예
    수집 작업 사용자로 실행의 도메인을 표시합니다. 사용자<admin>는 도메인 전역에 속합니다.
    수집이 시작됩니다. 작업 시작은 점수, 텍스트 인덱스 또는 둘 다 수집되는지 여부를 지정합니다. 메시지는 또한 최적화된 HSQL 데이터 수집기가 사용 중이고 디버그 로그가 사용 가능한지 여부를 지정합니다. 디버그 로그만 고객 서비스 및 지원 활성화할 수 있습니다. 점수와 텍스트 인덱스 모두의 수집을 시작합니다. 시스템의 속성 값 -

    HSQL 데이터 수집기 사용: 예

    디버그 로그 사용: 예

    노드 이름: vsr007

    점수가 수집되는 도메인을 표시합니다. 도메인에 대한 기타 관련 상세 정보도 표시합니다. DomainConfig: 도메인 구성 수집 로그 테스트 - 3d359877b77000106886e664de11a97c, 유형: conditions, RollUpType: roll_up_children, collectAggregate? 예, collectChildren?: 예, AggregateDomain: 이름: 3d359877b77000106886e664de11a97c - SysID: d1659c77b77000106886e664de11a91e, 도메인: 기본값,MSP,ACME,Cisco,Initech,Oceanic Airlines
    고유 ID를 포함하여 작업이 데이터를 수집하는 표시기 소스를 나열합니다. 수집할 표시기 소스: 인시던트.신규: b54f2c23d7030100b96d45a3ce61032f, 인시던트.오픈: b5cf2c23d7030100b96d45a3ce6103cc, 인시던트.종결됨: 2ac8dd31ff2302001e68ffffffffff3d, 인시던트.해결됨: 4c207c23d7030100b96d45a3ce610308
    작업과 관련된 각 표시기 및 데이터 수집과 관련된 표시기 속성을 나열합니다.
    • 기록이 스냅샷에 수집됩니까?
    • 세부 항목이 제외됩니까?
    • 표시기 소스의 수집 기간이 재정의되었습니까?
    • 세부 항목 매트릭스가 수집됩니까?
    • 세부 항목 매트릭스가 수집되는 경우 세부 항목 조합이 제외됩니까?
    JobIndicator: 오픈 인시던트 수 - de537dc3d7131100b96d45a3ce610305 작업 표시기 속성: collectIndicator?: 예, BreakdownCollectionType: WITH_EXCLUDE 제외된 세부 항목: 담당 그룹, 상태 표시기 속성 => CollectingRecords: 예, 재정의됨 수집 기간: 아니요, 스크립팅되었습니까?: 아니요, 세부 항목 조합?: 예, 제외된 세부 항목 조합: 조합이 제외되지 않습니다.
    각 표시기 소스에 대한 단계 반복 각 표시기 소스에 대해 반복된 단계 표를 참조하십시오.
    데이터 수집 작업에 대한 통계 표시 통계: 삽입 184, 업데이트 0, 삭제 92, 오류 0, 경고 0
    작업 완료 수집 종료

    각 표시기 소스에 대해 반복되는 단계

    수집 작업 단계 결과 로그 항목의 예
    표시기 소스를 검색합니다. 처리 표시기 소스 인시던트.오픈
    최적화된 HSQL 데이터 수집기가 사용 중임을 반복합니다.
    표시기 소스에서 상속된 조건 외에 추가 조건이 있는 표시기를 나열합니다. 표시기: 관리자 로그인 - [표시기의 sys_id], 추가 조건: ref_isc_login_event.login_type=login_admin, 기록 수집 여부: 예
    각 수집 기간에 대한 단계를 반복합니다. 수집 기간에 대해 반복되는 단계 표 참조
    다음 표시기 소스를 검색합니다. 처리 표시기 소스 인시던트.신규

    각 수집 기간에 대해 반복되는 단계

    수집 작업 단계 결과 로그 항목의 예
    수집 작업의 시작 날짜입니다. 표시기 소스에 대한 20191103 수집 중 인시던트.오픈
    다음 필드를 가져옵니다.
    • 세부 항목 소스의 고유 필드(일반적으로 sys_id)
    • 세부 항목 매핑에 사용되는 표시기 필드
    • 스크립팅된 세부 항목 매핑에 사용되는 테이블 필드
    • 텍스트 인덱스가 수집되는 경우 텍스트 분석에 사용되는 표시기 소스 필드(일반적으로 short_description 포함)
    "인시던트"에서 "short_description,sys_id, opened_at, assignment_group, 설명, 우선순위, 범주" 가져오는 중
    표시기 소스에 지정된 조건에 따라 SQL을 작성합니다.
    주:
    표시기 소스가 조건 중 하나에서 오늘을 지정하면 오늘은 데이터 수집 작업이 실행된 기간을 기준으로 고려됩니다. 예를 들어 Incidents.New 표시기 소스에는 [Opened][on][Today] 조건이 포함됩니다. 2019-10-28에 대한 데이터가 수집될 때 07:00:00에 시작하도록 정의된 일은 오른쪽에 SQL 스크립트를 생성합니다.
    SELECT task0.'sys_id' FROM task task0 WHERE task0.'sys_class_name' = 'incident' AND (task0.'opened_at' >= '2019-10-28 07:00:00' AND task0.'opened_at' <= '2019-10-29 06:59:59')
    SQL에서 가져온 기록 수를 표시합니다. 표시기 소스 Incidents.Open에서 150개 행 가져옴(팩트 테이블: 인시던트)
    이전 결과를 삭제합니다. 표시기의 이전 결과 1 삭제됨: 가장
    맵/감소 함수를 실행하여 표시기 점수를 계산합니다. 맵/축소 기능 단계 표 참조
    텍스트 인덱싱이 활성 상태이고 표시기 소스에 대해 구성된 경우 데이터 수집기는 결과 텍스트 인덱스를 저장합니다. 표시기 소스 인시던트.열림에 대한 텍스트 인덱스 저장
    텍스트 인덱스에서 사용한 바이트: 41,984: 인시던트.오픈
    다음 임계치 중 하나를 초과할 때마다 객체가 HSQL 데이터베이스로 오프로드됩니다.
    • 점수 수
    • 스냅샷 수
    • 총 카운트 고유 값 수

    객체의 각 범주에 대한 오프로드 한도를 초과한 횟수를 로그합니다. 한 카테고리에서 오프로드 한계를 초과할 때마다 모든 오브젝트가 HSQL 임시 데이터베이스 스토리지로 이동됩니다. 맵/축소 함수가 끝나면 나머지 기록은 모두 오프로드됩니다. 남은 기록 수는 일반적으로 임계치보다 적으며 이 오프로드도 로깅됩니다.

    오프로드 한도가 점수 임계치를 초과한 횟수: 275

    스냅샷에 대한 오프로드 한도가 임계치를 초과한 횟수: 0

    고유 값에 대한 오프로드 한도가 임계치를 초과한 횟수: 0

    임계치를 넘지 않은 기록의 배치 오프로드: 1

    표시기 소스에 대해 새로 수집된 결과를 저장하기 시작합니다. 표시기 소스에 대해 수집된 결과 저장 인시던트.해결됨
    null 값이 있는 모든 표시기가 기록됩니다. 표시기의 점수로 "nil일 때의 값": 0.0을 저장함: 지식에서 차단된 인시던트 수
    결과 저장을 마칩니다. 저장된 수집 결과
    데이터 수집기가 점수를 수집하지 않는 표시기를 지정합니다. 표시기에 대해 수집되지 않음: 제외된 미해결 인시던트의 합산 연령 세부 항목: 담당 그룹
    해당 기간 동안 해당 표시기 소스에 대한 데이터 수집을 마칩니다. 표시기 소스의 20200519 수집 인시던트.오픈 완료됨
    표시기에 설정된 추가 조건을 처리하기 위해 기록에 소요된 평균 시간을 표시합니다. 각 기록에 대한 추가 표시기 조건을 처리하는 데 걸린 평균 시간: 138ms

    맵/축소 기능 단계

    수집 작업 단계 결과 로그 항목의 예
    map/reduce 함수가 실행됩니다. 표시기 소스에 맵/축소 기능 적용 중 인시던트.오픈
    작업에 대해 텍스트 인덱싱이 활성 상태이지만 누락되거나 잘못된 텍스트 인덱스 구성으로 인해 실행할 수 없는 경우 경고입니다. 텍스트 인덱스 구성이 누락되었거나 잘못되었기 때문에 텍스트 인덱스 컬렉션을 건너뛰는 중
    표시기 소스의 각 기록을 처리하여 점수를 계산합니다. 로그 메시지는 처리된 기록의 누계를 추적합니다.

    결과 점수 또는 스냅샷 수가 제한을 초과할 때마다 모든 객체가 HSQL 데이터베이스로 오프로드됩니다. map/reduce 함수가 완료된 후 오프로드가 로깅됩니다.

    각 기록에 대한 처리에는 다음이 포함됩니다.

    • 스크립트를 실행하거나 평가합니다.
    • 표시기 조건을 확인합니다.
    • 표시기 점수를 계산합니다.
    • 각 세부 항목에 대해:
      1. 세부 항목 점수를 계산하거나 세부 항목 스크립트를 실행합니다.
      2. 모든 세부 항목 고유 값을 검색합니다.
      3. 점수 또는 스냅샷에 대한 배열을 만들거나 업데이트합니다. 배열: 표시기, 세부 항목 1, 아티팩트 1, 세부 항목 2, 아티팩트 2, 도메인, 값, [sys_id]의 배열
    15.8%(3)개의 기록 처리됨
    처리된 기록 31.6%(6개)
    47.4%(9)개의 기록을 처리함
    63.2%(12)개의 기록 처리
    78.9% (15)개의 기록 처리
    94.7%(18)개의 기록 처리됨
    100%(4)개 기록 처리, 결과 객체 크기: 20MB
    map/reduce 함수가 완료됩니다. 적용된 맵/축소 기능