클래식 데이터 수집기에 대한 로그 상세 정보

  • 릴리스 버전: Washingtondc
  • 업데이트 날짜 2024년 02월 01일
  • 읽기8분
  • 퍼포먼스 분석 점수 수집은 여기에 설명된 프로세스를 따릅니다. 문제 해결에 도움이 되도록 작업 단계와 로그 항목 간의 매핑이 제공됩니다.

    컬렉션 개요

    데이터 수집 작업에는 데이터 수집기를 사용하는 각 표시기 소스에 대한 SQL 쿼리 실행이 포함됩니다. 쿼리는 시작 날짜부터 중지 날짜까지 모든 수집 시간에 대해 반복됩니다. 그런 다음, 다음 표시기 소스에 대한 쿼리가 실행됩니다. 쿼리 실행의 각 단계는 데이터 수집 작업 로그에 문서화됩니다.
    그림 1. 데이터 수집 작업의 상위 수준 뷰
    데이터 수집 작업에서 여러 프로세스 수준 간의 관계를 보여주는 흐름도

    로그에 표시되는 최적화 속성

    데이터 수집기에는 시스템 속성에서 켜거나 끌 수 있는 몇 가지 최적화가 있습니다. 작업 로그의 시작 부분에는 이러한 특성의 상태가 포함됩니다.

    주:
    이러한 최적화 속성을 최적화된 새 데이터 수집기와 혼동하지 마세요. 이러한 속성은 클래식 데이터 수집기에만 적용됩니다. 새 데이터 수집기는 보다 근본적인 수준에서 최적화됩니다.
    표 1. 데이터 수집 최적화 속성
    최적화 설명 시스템 속성
    중첩 컬렉션 플랫 매핑을 대체하여 중복 객체를 줄입니다. 예를 들어, 해당 표시기의 모든 세부 항목 및 요소에 대해 동일한 표시기 객체를 생성하는 대신 해당 표시기에 대해 하나의 객체만 생성됩니다. com.snc.pa.dc.nested_collection

    기본값: true

    스냅샷 플러시

    Now Platform 최대 개수의 퍼포먼스 분석 스냅숏을 메모리에 저장한 후 데이터베이스로 오프로드합니다.

    com.snc.pa.dc.flush_snapshot_count

    기본값: 1000

    고유 카운트에 해시 코드 사용 고유한 집계를 별도의 값이 아닌 해시 코드로 저장합니다. com.snc.pa.dc.use_hashcode_for_distinct

    기본값: true

    수집 작업 시작 및 완료 중

    로그 메시지에 표시된 대로 데이터 수집 프로세스를 따릅니다. 각 하위 프로세스의 로그 메시지는 자체 테이블로 분리되었습니다.

    주:
    이 로그는 원래 데이터 수집기용입니다. 인스턴스가 이 데이터 수집기를 사용하는 경우 시스템 매개변수 com.snc.pa.dc.hsql 가 존재하며 "false"입니다. 그렇지 않으면 에 데이터 수집 최적화설명된 대로 최적화된 데이터 수집기를 사용하게 됩니다. 해당 로그에 대한 자세한 내용은 다음 문서를 참조하십시오 최적화된 데이터 수집기에 대한 로그 세부 정보.
    수집 작업 단계 결과 로그 항목의 예
    사용자로 실행 수집 작업의 도메인을 표시합니다. 사용자<admin>이(가) 도메인 전역에 속함
    수집이 시작됩니다. 작업 시작은 점수, 텍스트 인덱스 또는 둘 다 수집되는지 여부를 지정합니다. 메시지는 데이터 수집 최적화 특성의 설정도 지정합니다. 점수와 텍스트 인덱스 모두의 수집을 시작합니다. 시스템의 속성 값 -

    플러시 스냅샷 수: 1,000

    중첩된 컬렉션: true

    고유 카운트에 해시 코드 사용: true

    점수가 수집되는 도메인을 표시합니다. 도메인에 대한 기타 관련 상세 정보도 표시합니다. DomainConfig: 도메인 구성 수집 로그 테스트 - 3d359877b77000106886e664de11a97c, 유형: 조건, RollUpType: roll_up_children, collectAggregate? 예, collectChildren?: 예, AggregateDomain: 이름: 3d359877b77000106886e664de11a97c - SysID: d1659c77b77000106886e664de11a91e, 도메인: Default,MSP,ACME,Cisco,Initech,Oceanic Airlines
    고유 ID를 포함하여 작업에서 데이터를 수집하는 표시기 소스를 나열합니다. 수집할 표시기 소스: Incidents.New: b54f2c23d7030100b96d45a3ce61032f, Incidents.Open: b5cf2c23d7030100b96d45a3ce6103cc, Incidents.Closed: 2ac8dd31ff2302001e68ffffffffff3d, Incidents.Resolved: 4c207c23d7030100b96d45a3ce610308
    작업과 관련된 각 표시기 및 데이터 수집과 관련된 표시기 속성을 나열합니다.
    • 스냅샷으로 기록이 수집됩니까?
    • 고장이 제외됩니까?
    • 표시기 소스의 수집 기간이 재정의되었습니까?
    • 세부 항목 매트릭스가 수집됩니까?
    • 세부 항목 매트릭스가 수집되면 제외되는 세부 항목 조합이 있습니까?
    JobIndicator: 오픈 인시던트 수 - de537dc3d7131100b96d45a3ce610305 작업 표시기 속성: collectIndicator?: 예, BreakdownCollectionType: WITH_EXCLUDE 제외된 세분화: 할당 그룹, 상태 표시기 속성 => CollectingRecords: 예, 재정의된 수집 기간: 아니요, 스크립트됨?: 아니요, 세부 항목 조합?: 예, 제외된 세부 항목 조합: 제외된 조합이 없습니다.
    각 표시기 소스에 대한 단계 반복 각 표시기 소스에 대해 반복되는 단계 표 참조
    데이터 수집 작업에 대한 통계 표시 통계: 삽입 184, 업데이트 0, 삭제 92, 오류 0, 경고 0
    작업 완료 수집 종료

    각 표시기 소스에 대해 반복되는 단계

    수집 작업 단계 결과 로그 항목의 예
    표시기 소스를 검색합니다. 표시기 소스 인시던트.오픈 처리 중
    표시기 소스에서 상속된 조건 외에 추가 조건이 있는 표시기를 나열합니다. 표시기: 할당된 미해결 인시던트 수 - ffb59561ff2302001e68ffffffffff33, 추가 조건: reassignment_count>0
    점수 수집이 플랫 매핑을 사용하는 대신 중첩된 데이터 구조를 따르는지 여부를 나타냅니다. 중첩 컬렉션은 메모리에 더 적은 수의 중복 개체를 만듭니다.

    중첩되지 않은 컬렉션은 점수 일괄 처리를 지원합니다.

    중첩 컬렉션 사용.

    참고 - 점수의 일괄 삽입은 중첩된 컬렉션에서 지원되지 않습니다.

    각 수집 기간에 대해 단계를 반복합니다. 각 수집 기간에 대해 반복되는 단계 표 참조
    다음 표시기 소스를 검색합니다. 표시기 소스 인시던트.신규 처리 중

    각 수집 기간에 대해 반복되는 단계

    수집 작업 단계 결과 로그 항목의 예
    수집 작업의 시작 날짜입니다. 표시기 소스 인시던트.오픈에 대한 20191103 수집 중
    다음 필드를 가져옵니다.
    • 세부 항목 소스의 고유 필드(일반적으로 sys_id)
    • 세부 항목 매핑에 사용되는 표시기 필드
    • 스크립팅된 세부 항목 매핑에 사용되는 테이블 필드
    • 텍스트 인덱스가 수집될 경우 텍스트 분석에 사용되는 표시기 소스 필드(일반적으로 short_description 포함)
    "인시던트"에서 "short_description, sys_id, opened_at, assignment_group, 설명, 우선순위, 범주"를 가져오는 중
    표시기 소스에 지정된 조건에 따라 SQL을 작성하십시오.
    주:
    표시기 소스가 조건 중 하나에서 오늘을 지정하면 오늘은 데이터 수집 작업이 실행되는 기간에 상대적인 것으로 간주됩니다. 예를 들어, Incidents.New 표시기 소스에는 [Opened][on][Today] 조건이 포함됩니다. 날짜가 07:00:00에 시작하도록 정의된 경우 2019-10-28에 대한 데이터가 수집되면 이 작업은 오른쪽에 SQL 스크립트를 생성합니다.
    SELECT task0.'sys_id' FROM task task0 WHERE task0.'sys_class_name' = 'incident' AND (task0.'opened_at' >= '2019-10-28 07:00:00' AND task0.'opened_at' <= '2019-10-29 06:59:59')
    SQL에서 가져온 레코드 수를 표시합니다. 표시기 소스에서 150개 행 가져왔습니다. Incidents.Open(팩트 테이블: incident)
    map/reduce 함수를 실행하여 표시기 점수를 계산합니다. map / reduce 함수의 단계 표 참조
    텍스트 인덱싱이 활성 상태이고 표시기 소스에 대해 구성된 경우, 데이터 수집기는 결과 텍스트 인덱스를 저장합니다. 표시기 소스 인시던트.오픈에 대한 텍스트 인덱스 저장 중
    다음에 대한 텍스트 인덱스에서 사용된 바이트: 41,984 인시던트.오픈
    표시기 소스에 대해 새로 수집된 결과를 저장하기 시작합니다. 저장할 점수: 374,842(표시기에 대해 느리게 평가된 수준 2 카운트 고유 점수 제외 - ID - 3개의 세부 항목이 모두 포함된 모든 인시던트)
    널(NULL) 값이 있는 모든 인디케이터가 기록됩니다. 'nil일 때의 값': 0.0을 표시기의 점수로 저장함: 지식에서 차단된 인시던트 수
    결과 저장을 완료합니다. 저장된 점수: 1,125,057
    저장된 수집 결과
    데이터 수집기가 점수를 수집하지 않는 표시기를 지정합니다. 표시기에 대해 수집하지 않음: 제외된 미해결 인시던트의 합산 연령 세부 항목: 할당 그룹
    해당 기간에 대해 해당 표시기 소스에 대한 데이터 수집을 마칩니다. 표시기 소스 인시던트.오픈 완료에 대한 20200519 컬렉션
    표시기에 설정된 추가 조건을 처리하기 위해 기록에 소요된 평균 시간을 표시합니다. 각 기록에 대한 추가 표시기 조건을 처리하는 데 걸린 평균 시간: 138ms

    맵/축소 기능의 단계

    수집 작업 단계 결과 로그 항목의 예
    map/reduce 함수가 실행됩니다. 표시기 소스 Incidents.Open에 대한 맵/축소 기능 적용
    작업에 대한 텍스트 인덱싱이 활성 상태이지만 텍스트 인덱싱 구성이 누락되거나 잘못되어 실행할 수 없는 경우 경고입니다. 텍스트 인덱스 구성이 누락되었거나 잘못되었기 때문에 텍스트 인덱스 컬렉션을 건너뛰는 중
    표시기 소스를 사용하는 표시기 및 세부 항목에 대한 이전 점수를 삭제합니다. 표시기 소스 인시던트.오픈에 대한 이전 결과 삭제 중
    표시기에 대한 이전 결과 38 삭제됨: 외부 로그인
    표시기에 대한 이전 결과 21 삭제됨: 실패한 로그인
    표시기 소스의 각 기록을 처리하여 점수를 계산합니다. 로그 메시지는 처리된 기록의 누계와 메모리 사용량을 추적합니다. 각 기록에 대한 처리에는 다음이 포함됩니다.
    • 스크립트를 실행하거나 평가합니다.
    • 표시기 조건을 확인합니다.
    • 표시기 점수를 계산합니다.
    • 각 세부 항목에 대해 다음 작업을 수행합니다.
      1. 세부 항목 점수를 계산하거나 세부 항목 스크립트를 실행합니다.
      2. 모든 세부 항목 고유 값을 검색합니다.
      3. 점수 또는 스냅샷에 대한 배열을 생성하거나 업데이트합니다. 배열: 표시기, 세부 항목 1, 아티팩트 1, 세부 항목 2, 아티팩트 2, 도메인, 값, 배열 [sys_id]
    18%% (1) 기록 처리, 결과 객체 크기: 5MB
    42% (2) 기록 처리, 결과 객체 크기: 9MB
    76% (3) 기록 처리, 결과 객체 크기: 14MB
    100% (4) 기록 처리, 결과 객체 크기: 20MB
    map/reduce 함수가 완료됩니다. 적용된 맵/축소 기능