최적화된 데이터 수집기에 대한 로그 상세 정보

  • 릴리스 버전: Yokohama
  • 업데이트 날짜 2025년 01월 30일
  • 읽기7분
  • 릴리스부터 Tokyo 최적화된 새 데이터 수집기를 사용할 수 있습니다. 이 데이터 수집기의 로그 상세 정보가 클래식 데이터 수집기의 로그 상세 정보와 다릅니다.

    컬렉션 개요

    데이터 수집 작업에는 데이터 수집기를 사용하는 각 표시기 소스에 대해 SQL 쿼리 실행이 포함됩니다. 쿼리는 시작 날짜부터 중지 날짜까지 모든 수집 시간에 대해 반복됩니다. 그런 다음 다음 표시기 소스에 대한 쿼리가 실행됩니다. 쿼리 실행의 각 단계는 데이터 수집 작업 로그에 문서화됩니다.
    그림 1. 데이터 수집 작업의 대략적인 뷰
    데이터 수집 작업에서 여러 프로세스 수준 간의 관계를 보여주는 흐름도

    수집 작업 시작 및 완료

    로그 메시지에 표시된 데이터 수집 프로세스를 따릅니다. 각 하위 프로세스의 로그 메시지는 자체 테이블로 분리되었습니다.

    주:
    이 로그는 에 데이터 수집 최적화설명된 대로 최적화된 HSQL 데이터 수집기에 대한 것입니다. 이 "false"인 경우 com.snc.pa.dc.hsql 클래식 데이터 수집기를 사용하고 있는 것입니다. 그렇지 않으면 최적화된 데이터 수집기를 사용하게 됩니다. 해당 로그에 대한 자세한 내용은 다음 문서를 참조하십시오 클래식 데이터 수집기에 대한 로그 상세 정보.
    수집 작업 단계 결과 로그 항목의 예
    사용자로 실행하는 수집 작업의 도메인을 표시합니다. 사용자 <admin>은(는) 전역 도메인에 속합니다.
    수집이 시작됩니다. 작업 시작은 점수, 텍스트 인덱스 또는 둘 다 수집되는지 여부를 지정합니다. 또한 메시지는 최적화된 HSQL 데이터 콜렉터가 사용 중인지와 디버그 로그가 사용 가능한지 여부를 지정합니다. 디버그 로그만 고객 서비스 및 지원 활성화할 수 있습니다. 점수와 텍스트 인덱스 모두의 수집 시작. 시스템의 속성 값 -

    HSQL 데이터 수집기 사용: true

    디버그 로그 활성화됨: 예

    노드 이름: vsr007

    점수가 수집되는 도메인을 표시합니다. 도메인에 대한 다른 관련 상세 정보도 표시합니다. DomainConfig: 도메인 구성 수집 로그 테스트 - 3d359877b77000106886e664de11a97c, 유형: 조건, RollUpType: roll_up_children, collectAggregate? 예, collectChildren?: 예, AggregateDomain: 이름: 3d359877b77000106886e664de11a97c - SysID: d1659c77b77000106886e664de11a91e, 도메인: Default,MSP,ACME,Cisco,Initech,Oceanic Airlines
    고유 ID를 포함하여 작업에서 데이터를 수집하는 표시기 소스를 나열합니다. 수집할 표시기 소스: Incidents.New: b54f2c23d7030100b96d45a3ce61032f, Incidents.Open: b5cf2c23d7030100b96d45a3ce6103cc, Incidents.Closed: 2ac8dd31ff2302001e68ffffffffff3d, Incidents.Resolved: 4c207c23d7030100b96d45a3ce610308
    작업과 관련된 각 표시기 및 데이터 수집과 관련된 표시기 속성을 나열합니다.
    • 스냅샷에서 기록이 수집됩니까?
    • 제외된 세분화가 있습니까?
    • 표시기 소스의 수집 기간이 재정의되었습니까?
    • 세부 항목 매트릭스가 수집됩니까?
    • 세부 항목 매트릭스가 수집되면 세부 항목 조합이 제외됩니까?
    JobIndicator: 오픈 인시던트 수 - de537dc3d7131100b96d45a3ce610305 작업 표시기 속성: collectIndicator?: 예, BreakdownCollectionType: WITH_EXCLUDE 제외된 세부 항목: 담당 그룹, 상태 표시기 속성 => CollectingRecords: 예, 재정의된 수집 기간: 아니요, 스크립팅됨?: 아니요, 세부 항목 조합?: 예, 제외됨 세부 항목 조합: 제외된 조합은 제외되지 않습니다.
    각 표시기 소스에 대한 단계 반복 각 표시기 소스에 대해 반복되는 단계 테이블을 참조하십시오.
    데이터 수집 작업에 대한 통계 표시 통계: 삽입 184, 업데이트 0, 삭제 92, 오류 0, 경고 0
    작업 완료 수집 종료

    각 표시기 소스에 대해 반복되는 단계

    수집 작업 단계 결과 로그 항목의 예
    표시기 소스를 검색합니다. 표시기 소스 처리 중 인시던트.오픈
    최적화된 HSQL 데이터 수집기가 사용 중임을 반복합니다.
    표시기 소스에서 상속된 조건 외에 추가 조건이 있는 표시기를 나열합니다. 표시기: 관리자 로그인 - [표시기 sys_id], 추가 조건: ref_isc_login_event.login_type=login_admin, 기록 수집 여부: 예
    각 수집 기간에 대해 단계를 반복합니다. 수집 기간에 대해 반복되는 단계 테이블 보기
    다음 표시기 소스를 검색합니다. 처리 표시기 소스 인시던트.신규

    각 수집 기간에 대해 반복되는 단계

    수집 작업 단계 결과 로그 항목의 예
    수집 작업의 시작 날짜입니다. 표시기 소스 인시던트.오픈에 대한 20191103 수집
    다음 필드를 가져옵니다.
    • 세부 항목 소스의 고유 필드(일반적으로 sys_id)
    • 세부 항목 매핑에 사용되는 표시기 필드
    • 스크립팅된 세부 항목 매핑에 사용되는 테이블 필드
    • 텍스트 인덱스가 수집되는 경우 텍스트 분석에 사용되는 표시기 소스 필드(일반적으로 short_description 포함)
    "인시던트"에서 "short_description, sys_id, opened_at, assignment_group, 설명, 우선순위, 범주"를 가져오는 중
    표시기 소스에 지정된 조건을 기반으로 SQL을 생성합니다.
    주:
    표시기 소스가 조건 중 하나에서 Today를 지정하면 Today는 데이터 수집 작업이 실행되는 기간을 기준으로 고려됩니다. 예를 들어 Incidents.New 표시기 소스에는 [Opened][on][Today] 조건이 포함됩니다. 07:00:00에 시작하도록 일을 정의한 상태에서 2019-10-28에 대한 데이터가 수집되면 이 작업은 오른쪽에 SQL 스크립트를 생성합니다.
    SELECT task0.'sys_id' FROM task task0 WHERE task0.'sys_class_name' = 'incident' AND (task0.'opened_at' >= '2019-10-28 07:00:00' AND task0.'opened_at' <= '2019-10-29 06:59:59')
    SQL에서 가져온 기록 수를 표시합니다. 표시기 소스 Incidents.Open에서 150개 행을 가져왔습니다(팩트 테이블: incident)
    이전 결과를 삭제합니다. 표시기: 가장 항목에 대한 이전 결과 1 삭제됨
    map/reduce 함수를 실행하여 표시기 점수를 계산합니다. map/reduce 함수의 단계 테이블을 참조하십시오.
    텍스트 인덱싱이 활성화되어 있고 표시기 소스에 대해 구성된 경우 데이터 수집기는 결과 텍스트 인덱스를 저장합니다. 표시기 소스 인시던트에 대한 텍스트 인덱스 저장.오픈
    텍스트 인덱스에서 사용된 바이트 수: 41,984 for: Incidents.Open
    다음 임계값 중 하나를 초과할 때마다 개체가 HSQL 데이터베이스로 오프로드됩니다.
    • 점수 수
    • 스냅샷 수
    • 고유 값 개수의 총 수

    각 개체 범주에 대한 오프로드 제한을 초과한 횟수를 기록합니다. 한 범주에서 오프로드 제한을 초과할 때마다 모든 개체가 HSQL 임시 데이터베이스 스토리지로 이동됩니다. 맵/축소 기능이 끝나면 나머지 기록이 오프로드됩니다. 남은 레코드 수는 일반적으로 임계치보다 적으며 이 오프로딩도 기록됩니다.

    점수의 오프로드 제한 임계값을 초과한 횟수: 275

    스냅샷의 오프로드 제한 임계값을 초과한 횟수: 0

    오프로드 제한이 고유 값에 대한 임계치를 초과한 횟수: 0

    임계치를 초과하지 않은 기록의 배치 오프로드: 1

    표시기 소스에 대해 새로 수집된 결과를 저장하기 시작합니다. 표시기 소스 인시던트.해결됨에 대해 수집된 결과 저장
    null 값이 있는 모든 표시기가 기록됩니다. "nil일 때의 값": 0.0을 표시기의 점수로 저장함: 지식에서 차단된 인시던트 수
    결과 저장을 마칩니다. 저장된 수집 결과
    데이터 수집기에서 점수를 수집하지 않는 표시기를 지정합니다. 표시기에 대해 수집하지 않음: 제외된 세부 항목을 포함한 오픈 인시던트의 합산 연령: 담당 그룹
    해당 기간 동안 해당 표시기 소스에 대한 데이터 수집을 마칩니다. 표시기 소스 인시던트의 20200519 컬렉션.오픈 완료
    표시기에 설정된 추가 조건을 처리하기 위해 기록에 소요된 평균 시간을 표시합니다. 각 기록에 대한 추가 표시기 조건을 처리하는 데 걸린 평균 시간: 138ms

    맵/축소 기능 단계

    수집 작업 단계 결과 로그 항목의 예
    map/reduce 함수가 실행됩니다. 표시기 소스 인시던트에 맵/축소 기능 적용 중
    작업에 대해 텍스트 인덱싱이 활성화되어 있지만 텍스트 인덱스 구성이 누락되거나 잘못되어 실행할 수 없는 경우 경고입니다. 텍스트 인덱스 구성이 누락되었거나 잘못되었기 때문에 텍스트 인덱스 컬렉션을 건너뛰는 중
    표시기 소스의 각 기록을 처리하여 점수를 계산합니다. 로그 메시지는 처리된 기록의 누계를 추적합니다.

    결과 점수 또는 스냅샷 수가 한도를 초과할 때마다 모든 개체가 HSQL 데이터베이스로 오프로드됩니다. 오프로드는 map/reduce 기능이 완료된 후 기록됩니다.

    각 기록에 대한 처리에는 다음이 포함됩니다.

    • 스크립트를 실행하거나 평가합니다.
    • 표시기 조건을 확인합니다.
    • 표시기 점수를 계산합니다.
    • 각 세부 항목에 대해:
      1. 세부 항목 점수를 계산하거나 세부 항목 스크립트를 실행합니다.
      2. 모든 세부 항목 고유 값을 검색합니다.
      3. 점수 또는 스냅샷에 대한 배열을 생성하거나 업데이트합니다. 배열은 표시기, 세부 항목 1, 아티팩트 1, 세부 항목 2, 아티팩트 2, 도메인, 값, [sys_id] 배열입니다.
    기록 15.8%(3개) 처리
    31.6% 처리(6) 레코드
    기록 47.4% 처리(9)
    기록 63.2%(12개) 처리
    기록 78.9% 처리(15개)
    기록 94.7% (18개) 처리
    기록 100% 처리(4개), 결과 객체 크기: 20MB
    map/reduce 함수가 완료됩니다. 적용된 맵/축소 기능