클래식 데이터 수집기에 대한 로그 상세 정보

  • 릴리스 버전: Yokohama
  • 업데이트 날짜 2025년 01월 30일
  • 읽기8분
  • 퍼포먼스 분석 점수 수집은 여기에 설명된 프로세스를 따릅니다. 문제 해결을 지원하기 위해 작업 단계와 로그 항목 간의 매핑이 제공됩니다.

    컬렉션 개요

    데이터 수집 작업에는 데이터 수집기를 사용하는 각 표시기 소스에 대해 SQL 쿼리 실행이 포함됩니다. 쿼리는 시작 날짜부터 중지 날짜까지 모든 수집 시간에 대해 반복됩니다. 그런 다음 다음 표시기 소스에 대한 쿼리가 실행됩니다. 쿼리 실행의 각 단계는 데이터 수집 작업 로그에 문서화됩니다.
    그림 1. 데이터 수집 작업의 대략적인 뷰
    데이터 수집 작업에서 여러 프로세스 수준 간의 관계를 보여주는 흐름도

    로그에 표시되는 최적화 속성

    데이터 수집기에는 시스템 속성에서 켜거나 끌 수 있는 여러 최적화가 있습니다. 작업 로그의 시작에는 이러한 특성의 상태가 포함됩니다.

    주:
    이러한 최적화 속성을 최적화된 새 데이터 수집기와 혼동하지 마십시오. 이러한 속성은 클래식 데이터 수집기에만 적용됩니다. 새 데이터 수집기는 보다 근본적인 수준에서 최적화되었습니다.
    표 1. 데이터 수집 최적화 속성
    최적화 설명 시스템 속성
    중첩된 컬렉션 중복 객체를 줄이기 위해 플랫 매핑을 대체합니다. 예를 들어, 해당 표시기의 모든 세분화 및 요소에 대해 동일한 표시기 객체를 생성하는 대신 표시기에 대해 하나의 객체만 생성됩니다. com.snc.pa.dc.nested_collection

    기본값: true

    플러시 스냅샷

    Now Platform퍼포먼스 분석 최대 스냅숏 수를 메모리에 저장한 후 데이터베이스로 오프로드합니다.

    com.snc.pa.dc.flush_snapshot_count

    기본값: 1000

    고유 카운트에 해시 코드 사용 고유한 집계 수를 별도의 값이 아닌 해시 코드로 저장합니다. com.snc.pa.dc.use_hashcode_for_distinct

    기본값: true

    수집 작업 시작 및 완료

    로그 메시지에 표시된 데이터 수집 프로세스를 따릅니다. 각 하위 프로세스의 로그 메시지는 자체 테이블로 분리되었습니다.

    주:
    이 로그는 원래 데이터 수집기용입니다. 인스턴스에서 이 데이터 수집기를 사용하는 경우 시스템 매개변수 com.snc.pa.dc.hsql 가 존재하며 "false"입니다. 그렇지 않으면 설명된 대로 데이터 수집 최적화최적화된 데이터 수집기를 사용하게 됩니다. 해당 로그에 대한 자세한 내용은 다음 문서를 참조하십시오 최적화된 데이터 수집기에 대한 로그 상세 정보.
    수집 작업 단계 결과 로그 항목의 예
    사용자로 실행하는 수집 작업의 도메인을 표시합니다. 사용자 <admin>은(는) 전역 도메인에 속합니다.
    수집이 시작됩니다. 작업 시작은 점수, 텍스트 인덱스 또는 둘 다 수집되는지 여부를 지정합니다. 또한 메시지는 데이터 수집 최적화 속성의 설정을 지정합니다. 점수와 텍스트 인덱스 모두의 수집 시작. 시스템의 속성 값 -

    플러시 스냅샷 수: 1,000

    중첩된 수집: true

    고유 카운트에 해시 코드 사용: true

    점수가 수집되는 도메인을 표시합니다. 도메인에 대한 다른 관련 상세 정보도 표시합니다. DomainConfig: 도메인 구성 수집 로그 테스트 - 3d359877b77000106886e664de11a97c, 유형: 조건, RollUpType: roll_up_children, collectAggregate? 예, collectChildren?: 예, AggregateDomain: 이름: 3d359877b77000106886e664de11a97c - SysID: d1659c77b77000106886e664de11a91e, 도메인: Default,MSP,ACME,Cisco,Initech,Oceanic Airlines
    고유 ID를 포함하여 작업에서 데이터를 수집하는 표시기 소스를 나열합니다. 수집할 표시기 소스: Incidents.New: b54f2c23d7030100b96d45a3ce61032f, Incidents.Open: b5cf2c23d7030100b96d45a3ce6103cc, Incidents.Closed: 2ac8dd31ff2302001e68ffffffffff3d, Incidents.Resolved: 4c207c23d7030100b96d45a3ce610308
    작업과 관련된 각 표시기 및 데이터 수집과 관련된 표시기 속성을 나열합니다.
    • 스냅샷에서 기록이 수집됩니까?
    • 제외된 세분화가 있습니까?
    • 표시기 소스의 수집 기간이 재정의되었습니까?
    • 세부 항목 매트릭스가 수집됩니까?
    • 세부 항목 매트릭스가 수집되면 세부 항목 조합이 제외됩니까?
    JobIndicator: 오픈 인시던트 수 - de537dc3d7131100b96d45a3ce610305 작업 표시기 속성: collectIndicator?: 예, BreakdownCollectionType: WITH_EXCLUDE 제외된 세부 항목: 담당 그룹, 상태 표시기 속성 => CollectingRecords: 예, 재정의된 수집 기간: 아니요, 스크립팅됨?: 아니요, 세부 항목 조합?: 예, 제외됨 세부 항목 조합: 제외된 조합은 제외되지 않습니다.
    각 표시기 소스에 대한 단계 반복 각 표시기 소스에 대해 반복되는 단계 테이블을 참조하십시오.
    데이터 수집 작업에 대한 통계 표시 통계: 삽입 184, 업데이트 0, 삭제 92, 오류 0, 경고 0
    작업 완료 수집 종료

    각 표시기 소스에 대해 반복되는 단계

    수집 작업 단계 결과 로그 항목의 예
    표시기 소스를 검색합니다. 표시기 소스 처리 중 인시던트.오픈
    표시기 소스에서 상속된 조건 외에 추가 조건이 있는 표시기를 나열합니다. 표시기: 재할당된 오픈 인시던트 수 - ffb59561ff2302001e68ffffffffff33, 추가 조건: reassignment_count>0
    점수 수집이 플랫 매핑을 사용하는 대신 중첩된 데이터 구조를 따르는지 여부를 나타냅니다. 중첩된 컬렉션은 메모리에 더 적은 중복 개체를 만듭니다.

    중첩되지 않은 수집은 점수 일괄 처리를 지원합니다.

    중첩 컬렉션 사용.

    참고 - 중첩 수집에는 점수의 배치 삽입이 지원되지 않습니다.

    각 수집 기간에 대해 단계를 반복합니다. 수집 기간에 대해 반복되는 단계 테이블 보기
    다음 표시기 소스를 검색합니다. 처리 표시기 소스 인시던트.신규

    각 수집 기간에 대해 반복되는 단계

    수집 작업 단계 결과 로그 항목의 예
    수집 작업의 시작 날짜입니다. 표시기 소스 인시던트.오픈에 대한 20191103 수집
    다음 필드를 가져옵니다.
    • 세부 항목 소스의 고유 필드(일반적으로 sys_id)
    • 세부 항목 매핑에 사용되는 표시기 필드
    • 스크립팅된 세부 항목 매핑에 사용되는 테이블 필드
    • 텍스트 인덱스가 수집되는 경우 텍스트 분석에 사용되는 표시기 소스 필드(일반적으로 short_description 포함)
    "인시던트"에서 "short_description, sys_id, opened_at, assignment_group, 설명, 우선순위, 범주"를 가져오는 중
    표시기 소스에 지정된 조건을 기반으로 SQL을 생성합니다.
    주:
    표시기 소스가 조건 중 하나에서 Today를 지정하면 Today는 데이터 수집 작업이 실행되는 기간을 기준으로 고려됩니다. 예를 들어 Incidents.New 표시기 소스에는 [Opened][on][Today] 조건이 포함됩니다. 07:00:00에 시작하도록 일을 정의한 상태에서 2019-10-28에 대한 데이터가 수집되면 이 작업은 오른쪽에 SQL 스크립트를 생성합니다.
    SELECT task0.'sys_id' FROM task task0 WHERE task0.'sys_class_name' = 'incident' AND (task0.'opened_at' >= '2019-10-28 07:00:00' AND task0.'opened_at' <= '2019-10-29 06:59:59')
    SQL에서 가져온 기록 수를 표시합니다. 표시기 소스 Incidents.Open에서 150개 행을 가져왔습니다(팩트 테이블: incident)
    map/reduce 함수를 실행하여 표시기 점수를 계산합니다. map/reduce 함수의 단계 테이블을 참조하십시오.
    텍스트 인덱싱이 활성화되어 있고 표시기 소스에 대해 구성된 경우 데이터 수집기는 결과 텍스트 인덱스를 저장합니다. 표시기 소스 인시던트에 대한 텍스트 인덱스 저장.오픈
    텍스트 인덱스에서 사용된 바이트 수: 41,984 for: Incidents.Open
    표시기 소스에 대해 새로 수집된 결과를 저장하기 시작합니다. 저장할 점수: 374,842 (느리게 평가된 수준 2 표시기의 고유 점수 제외 - ID - 3개의 세부 항목이 모두 있는 모든 인시던트)
    null 값이 있는 모든 표시기가 기록됩니다. "nil일 때의 값": 0.0을 표시기의 점수로 저장함: 지식에서 차단된 인시던트 수
    결과 저장을 마칩니다. 저장된 점수: 1,125,057
    저장된 수집 결과
    데이터 수집기에서 점수를 수집하지 않는 표시기를 지정합니다. 표시기에 대해 수집하지 않음: 제외된 세부 항목을 포함한 오픈 인시던트의 합산 연령: 담당 그룹
    해당 기간 동안 해당 표시기 소스에 대한 데이터 수집을 마칩니다. 표시기 소스 인시던트의 20200519 컬렉션.오픈 완료
    표시기에 설정된 추가 조건을 처리하기 위해 기록에 소요된 평균 시간을 표시합니다. 각 기록에 대한 추가 표시기 조건을 처리하는 데 걸린 평균 시간: 138ms

    맵/축소 기능 단계

    수집 작업 단계 결과 로그 항목의 예
    map/reduce 함수가 실행됩니다. 표시기 소스 인시던트에 맵/축소 기능 적용 중
    작업에 대해 텍스트 인덱싱이 활성화되어 있지만 텍스트 인덱스 구성이 누락되거나 잘못되어 실행할 수 없는 경우 경고입니다. 텍스트 인덱스 구성이 누락되었거나 잘못되었기 때문에 텍스트 인덱스 컬렉션을 건너뛰는 중
    표시기 소스를 사용하는 표시기 및 세부 항목에 대한 이전 점수를 삭제합니다. 표시기 소스 인시던트에 대한 이전 결과 삭제 중.오픈
    표시기에 대한 이전 결과 38 삭제됨: 외부 로그인
    표시기에 대한 이전 결과 21 삭제됨: 실패한 로그인
    표시기 소스의 각 기록을 처리하여 점수를 계산합니다. 로그 메시지는 처리된 기록의 누계와 메모리 사용량을 추적합니다. 각 기록에 대한 처리에는 다음이 포함됩니다.
    • 스크립트를 실행하거나 평가합니다.
    • 표시기 조건을 확인합니다.
    • 표시기 점수를 계산합니다.
    • 각 세부 항목에 대해:
      1. 세부 항목 점수를 계산하거나 세부 항목 스크립트를 실행합니다.
      2. 모든 세부 항목 고유 값을 검색합니다.
      3. 점수 또는 스냅샷에 대한 배열을 생성하거나 업데이트합니다. 배열은 표시기, 세부 항목 1, 아티팩트 1, 세부 항목 2, 아티팩트 2, 도메인, 값, [sys_id] 배열입니다.
    18%%(1)개 기록 처리됨, 결과 객체 크기: 5MB
    기록 42%(2개) 처리, 결과 객체 크기: 9MB
    76%(3) 개 레코드 처리, 결과 객체 크기: 14MB
    기록 100% 처리(4개), 결과 객체 크기: 20MB
    map/reduce 함수가 완료됩니다. 적용된 맵/축소 기능