최적화된 데이터 수집기에 대한 로그 세부 정보

  • 릴리스 버전: Washingtondc
  • 업데이트 날짜 2024년 02월 01일
  • 읽기8분
  • 릴리스부터 Tokyo 최적화된 새 데이터 수집기를 사용할 수 있습니다. 이 데이터 수집기의 로그 세부 정보는 클래식 데이터 수집기의 로그 세부 정보와 다릅니다.

    컬렉션 개요

    데이터 수집 작업에는 데이터 수집기를 사용하는 각 표시기 소스에 대한 SQL 쿼리 실행이 포함됩니다. 쿼리는 시작 날짜부터 중지 날짜까지 모든 수집 시간에 대해 반복됩니다. 그런 다음, 다음 표시기 소스에 대한 쿼리가 실행됩니다. 쿼리 실행의 각 단계는 데이터 수집 작업 로그에 문서화됩니다.
    그림 1. 데이터 수집 작업의 상위 수준 뷰
    데이터 수집 작업에서 여러 프로세스 수준 간의 관계를 보여주는 흐름도

    수집 작업 시작 및 완료 중

    로그 메시지에 표시된 대로 데이터 수집 프로세스를 따릅니다. 각 하위 프로세스의 로그 메시지는 자체 테이블로 분리되었습니다.

    주:
    이 로그는 에 데이터 수집 최적화설명된 대로 최적화된 HSQL 데이터 수집기에 대한 것입니다. com.snc.pa.dc.hsql 이 "false"이면 클래식 데이터 수집기를 사용하고 있는 것입니다. 그렇지 않으면 최적화된 데이터 수집기를 사용하게 됩니다. 해당 로그에 대한 자세한 내용은 다음 문서를 참조하십시오 클래식 데이터 수집기에 대한 로그 상세 정보.
    수집 작업 단계 결과 로그 항목의 예
    사용자로 실행 수집 작업의 도메인을 표시합니다. 사용자<admin>이(가) 도메인 전역에 속함
    수집이 시작됩니다. 작업 시작은 점수, 텍스트 인덱스 또는 둘 다 수집되는지 여부를 지정합니다. 또한 메시지는 최적화된 HSQL 데이터 수집기가 사용 중인지와 디버그 로그를 사용할지 여부를 지정합니다. 디버그 로그만 고객 서비스 및 지원 사용하도록 설정할 수 있습니다. 점수와 텍스트 인덱스 모두의 수집을 시작합니다. 시스템의 속성 값 -

    HSQL 데이터 수집기 사용: 예

    디버그 로그 사용: true

    노드 이름 : vsr007

    점수가 수집되는 도메인을 표시합니다. 도메인에 대한 기타 관련 상세 정보도 표시합니다. DomainConfig: 도메인 구성 수집 로그 테스트 - 3d359877b77000106886e664de11a97c, 유형: 조건, RollUpType: roll_up_children, collectAggregate? 예, collectChildren?: 예, AggregateDomain: 이름: 3d359877b77000106886e664de11a97c - SysID: d1659c77b77000106886e664de11a91e, 도메인: Default,MSP,ACME,Cisco,Initech,Oceanic Airlines
    고유 ID를 포함하여 작업에서 데이터를 수집하는 표시기 소스를 나열합니다. 수집할 표시기 소스: Incidents.New: b54f2c23d7030100b96d45a3ce61032f, Incidents.Open: b5cf2c23d7030100b96d45a3ce6103cc, Incidents.Closed: 2ac8dd31ff2302001e68ffffffffff3d, Incidents.Resolved: 4c207c23d7030100b96d45a3ce610308
    작업과 관련된 각 표시기 및 데이터 수집과 관련된 표시기 속성을 나열합니다.
    • 스냅샷으로 기록이 수집됩니까?
    • 고장이 제외됩니까?
    • 표시기 소스의 수집 기간이 재정의되었습니까?
    • 세부 항목 매트릭스가 수집됩니까?
    • 세부 항목 매트릭스가 수집되면 제외되는 세부 항목 조합이 있습니까?
    JobIndicator: 오픈 인시던트 수 - de537dc3d7131100b96d45a3ce610305 작업 표시기 속성: collectIndicator?: 예, BreakdownCollectionType: WITH_EXCLUDE 제외된 세분화: 할당 그룹, 상태 표시기 속성 => CollectingRecords: 예, 재정의된 수집 기간: 아니요, 스크립트됨?: 아니요, 세부 항목 조합?: 예, 제외된 세부 항목 조합: 제외된 조합이 없습니다.
    각 표시기 소스에 대한 단계 반복 각 표시기 소스에 대해 반복되는 단계 표 참조
    데이터 수집 작업에 대한 통계 표시 통계: 삽입 184, 업데이트 0, 삭제 92, 오류 0, 경고 0
    작업 완료 수집 종료

    각 표시기 소스에 대해 반복되는 단계

    수집 작업 단계 결과 로그 항목의 예
    표시기 소스를 검색합니다. 표시기 소스 인시던트.오픈 처리 중
    최적화된 HSQL 데이터 콜렉터가 사용 중임을 반복하십시오.
    표시기 소스에서 상속된 조건 외에 추가 조건이 있는 표시기를 나열합니다. 표시기: 관리자 로그인 - [표시기의 sys_id], 추가 조건: ref_isc_login_event.login_type=login_admin, 기록 수집 여부: 예
    각 수집 기간에 대해 단계를 반복합니다. 각 수집 기간에 대해 반복되는 단계 표 참조
    다음 표시기 소스를 검색합니다. 표시기 소스 인시던트.신규 처리 중

    각 수집 기간에 대해 반복되는 단계

    수집 작업 단계 결과 로그 항목의 예
    수집 작업의 시작 날짜입니다. 표시기 소스 인시던트.오픈에 대한 20191103 수집 중
    다음 필드를 가져옵니다.
    • 세부 항목 소스의 고유 필드(일반적으로 sys_id)
    • 세부 항목 매핑에 사용되는 표시기 필드
    • 스크립팅된 세부 항목 매핑에 사용되는 테이블 필드
    • 텍스트 인덱스가 수집될 경우 텍스트 분석에 사용되는 표시기 소스 필드(일반적으로 short_description 포함)
    "인시던트"에서 "short_description, sys_id, opened_at, assignment_group, 설명, 우선순위, 범주"를 가져오는 중
    표시기 소스에 지정된 조건에 따라 SQL을 작성하십시오.
    주:
    표시기 소스가 조건 중 하나에서 오늘을 지정하면 오늘은 데이터 수집 작업이 실행되는 기간에 상대적인 것으로 간주됩니다. 예를 들어, Incidents.New 표시기 소스에는 [Opened][on][Today] 조건이 포함됩니다. 날짜가 07:00:00에 시작하도록 정의된 경우 2019-10-28에 대한 데이터가 수집되면 이 작업은 오른쪽에 SQL 스크립트를 생성합니다.
    SELECT task0.'sys_id' FROM task task0 WHERE task0.'sys_class_name' = 'incident' AND (task0.'opened_at' >= '2019-10-28 07:00:00' AND task0.'opened_at' <= '2019-10-29 06:59:59')
    SQL에서 가져온 레코드 수를 표시합니다. 표시기 소스에서 150개 행 가져왔습니다. Incidents.Open(팩트 테이블: incident)
    이전 결과를 삭제합니다. 표시기에 대해 삭제된 이전 결과 1: 가장
    map/reduce 함수를 실행하여 표시기 점수를 계산합니다. map / reduce 함수의 단계 표 참조
    텍스트 인덱싱이 활성 상태이고 표시기 소스에 대해 구성된 경우, 데이터 수집기는 결과 텍스트 인덱스를 저장합니다. 표시기 소스 인시던트.오픈에 대한 텍스트 인덱스 저장 중
    다음에 대한 텍스트 인덱스에서 사용된 바이트: 41,984 인시던트.오픈
    개체는 다음 임계값 중 하나를 초과할 때마다 HSQL 데이터베이스로 오프로드됩니다.
    • 점수 수
    • 스냅샷 수
    • 총 고유 값 수

    각 객체 범주에 대해 오프로드 제한을 초과한 횟수를 기록합니다. 한 범주에서 오프로드 제한이 초과될 때마다 모든 개체가 HSQL 임시 데이터베이스 스토리지로 이동됩니다. map/reduce 함수가 끝나면 나머지 모든 기록이 오프로드됩니다. 나머지 레코드 수는 일반적으로 임계값보다 작으며 이 오프로딩도 기록됩니다.

    점수에 대한 오프로드 제한 초과 횟수: 275

    스냅샷에 대한 오프로드 한도 초과 임계치 횟수: 0

    고유 값에 대한 오프로드 한도가 임계값을 초과한 횟수: 0

    임계치를 넘지 않은 기록 일괄 로드 오프로드: 1

    표시기 소스에 대해 새로 수집된 결과를 저장하기 시작합니다. 표시기 소스 Incidents.Resolved에 대해 수집된 결과 저장
    널(NULL) 값이 있는 모든 인디케이터가 기록됩니다. 'nil일 때의 값': 0.0을 표시기의 점수로 저장함: 지식에서 차단된 인시던트 수
    결과 저장을 완료합니다. 저장된 수집 결과
    데이터 수집기가 점수를 수집하지 않는 표시기를 지정합니다. 표시기에 대해 수집하지 않음: 제외된 미해결 인시던트의 합산 연령 세부 항목: 할당 그룹
    해당 기간에 대해 해당 표시기 소스에 대한 데이터 수집을 마칩니다. 표시기 소스 인시던트.오픈 완료에 대한 20200519 컬렉션
    표시기에 설정된 추가 조건을 처리하기 위해 기록에 소요된 평균 시간을 표시합니다. 각 기록에 대한 추가 표시기 조건을 처리하는 데 걸린 평균 시간: 138ms

    맵/축소 기능의 단계

    수집 작업 단계 결과 로그 항목의 예
    map/reduce 함수가 실행됩니다. 표시기 소스 Incidents.Open에 대한 맵/축소 기능 적용
    작업에 대한 텍스트 인덱싱이 활성 상태이지만 텍스트 인덱싱 구성이 누락되거나 잘못되어 실행할 수 없는 경우 경고입니다. 텍스트 인덱스 구성이 누락되었거나 잘못되었기 때문에 텍스트 인덱스 컬렉션을 건너뛰는 중
    표시기 소스의 각 기록을 처리하여 점수를 계산합니다. 로그 메시지는 처리된 기록의 누계를 추적합니다.

    결과 점수 또는 스냅숏 수가 제한을 초과할 때마다 모든 개체가 HSQL 데이터베이스로 오프로드됩니다. 오프로딩은 map/reduce 함수가 완료된 후에 기록됩니다.

    각 기록에 대한 처리에는 다음이 포함됩니다.

    • 스크립트를 실행하거나 평가합니다.
    • 표시기 조건을 확인합니다.
    • 표시기 점수를 계산합니다.
    • 각 세부 항목에 대해 다음 작업을 수행합니다.
      1. 세부 항목 점수를 계산하거나 세부 항목 스크립트를 실행합니다.
      2. 모든 세부 항목 고유 값을 검색합니다.
      3. 점수 또는 스냅샷에 대한 배열을 생성하거나 업데이트합니다. 배열: 표시기, 세부 항목 1, 아티팩트 1, 세부 항목 2, 아티팩트 2, 도메인, 값, 배열 [sys_id]
    15.8% 처리 (3) 기록
    31.6% (6) 기록 처리됨
    47.4% 처리 (9) 기록
    63.2% (12) 기록 처리
    78.9% (15) 기록 처리됨
    94.7% (18) 기록 처리
    100% (4) 기록 처리, 결과 객체 크기: 20MB
    map/reduce 함수가 완료됩니다. 적용된 맵/축소 기능