작업 인텔리전스 분석 보기
CSM용 작업 인텔리전스 분석 대시보드에서 시간에 따른 모델 성능을 모니터링하고, 비즈니스 가치를 추적하고, 에이전트가 사용한 예측과 사용하지 않은 예측을 확인할 수 있습니다.
대시보드는 시각적 표현을 사용하여 각 모델의 성능에 대한 개요를 제공합니다. 각 모델의 예측 수와 조직에서 케이스를 해결하는 데 걸리는 전체 평균 시간을 볼 수 있습니다.
다음 예제에서는 대시보드 내에서 개요 가져오기 및 교육된 모델이 어떻게 작동하고 있는지 확인 섹션을 보여줍니다.
개요 가져오기
대시보드에는 모델의 비즈니스 가치를 제공하는 시각적 표현이 포함되어 있습니다.- 예측 수
- 선 그래프는 결합된 모든 분류 모델에 대해 시간 경과에 따라 에이전트가 수락한 올바른 예측 수를 보여줍니다. 감정 및 언어 모델이 활성화되면 해당 모델에 대한 올바른 예측도 표시됩니다. 모델이 계속 학습하면서 에이전트가 수락하는 예측 수를 늘릴 수 있습니다.
- 평균 해결 시간(MTTR)
- 선 그래프는 시간 경과에 따라 케이스를 해결하는 데 걸리는 평균 시간을 보여줍니다. 모델이 더 많은 예측을 수행하면 예측이 에이전트에 도움이 되면서 MTTR이 감소합니다.
작업 인텔리전스 분석 페이지에는 예측 필드와 비즈니스에 미치는 영향에 대한 다음 데이터가 포함되어 있습니다.
- 예측된 필드 수
- 에이전트가 사용한 예측 수
- 에이전트가 변경한 예측 수
교육된 모델이 어떻게 작동하고 있는지 확인
대시보드는 시각적 표현을 사용하여 시간 경과에 따른 모델의 예측 사용률을 모니터링할 수 있도록 도와줍니다. 특정 모델과 출력 필드를 선택하면 에이전트가 수락하거나 대체한 예측 수를 보고 기준선과 비교할 수 있습니다.
- 예측 에이전트 수락됨
- 이 위젯은 시간에 따른 케이스 관리 중에 에이전트가 사용한 올바른 예측을 보여줍니다. 이 숫자가 하향 추세인 경우 모델 재교육이 필요할 수 있습니다.
- 예측 에이전트 대체됨
- 이 위젯은 시간에 따른 케이스 관리 중에 에이전트가 제거한 잘못된 예측을 보여줍니다. 이 숫자가 상향 추세인 경우 모델 재교육이 필요할 수 있습니다.
- 모델이 건너뛴 예측
- 이 위젯은 모델, 출력 필드 및 날짜 범위 선택에 따라 모델이 건너뛴 예측 수를 보여줍니다.
- 성과 개요
- 성과 개요 테이블에는 모델 및 출력 필드의 각 조합에 대한 올바른 데이터, 잘못된 데이터 및 건너뛴 데이터의 평균 백분율 값이 표시됩니다.
- 시간 경과에 따른 개별 필드 예측의 사용량 추적
- 막대형 차트를 사용하여 시간 경과에 따른 개별 필드의 사용량을 추적합니다. 차트의 각 막대는 수락된 예측, 대체된 예측 및 모델에서 건너뛴 예측의 세 가지 구성요소를 보여줍니다. 각 막대 주변의 빨간색 윤곽선은 각 날짜의 총 기록 수를 나타냅니다. 특정 구성요소를 비교하려면 범례로 이동한 후 제외시킬 구성요소를 선택 취소하여 사용자 기본 설정에 따라 보다 맞춤화되고 집중된 비교를 수행할 수 있습니다. 기본적으로 뷰에는 예측 수가 표시됩니다. 그러나 백분율 표시 옵션을 전환하여 백분율 뷰로 전환할 수 있는 옵션이 있습니다. 백분율 뷰에서는 교육 데이터에서 파생되어 대체 및 수락된 기준선에 대한 정보도 액세스할 수 있습니다. 이 옵션을 사용하면 기준선을 통해 모델의 성능에 대한 인사이트를 얻을 수 있습니다.
- 시간 경과에 따른 모델 예측의 사용량 추적
- 막대형 차트는 시간 경과에 따른 모델 사용량을 모니터링하며 "시간 경과에 따른 개별 필드 예측의 사용량 추적" 데이터의 막대형 차트와 유사합니다. 필드 선택을 통해 사용자는 최대 3개의 필드에서 시간 경과에 따른 예측을 비교할 수 있습니다.
주:
- 페이지를 새로 고치면 구성, 모델 선택, 필드, 사용 유형 및 백분율 표시 토글 선택이 유지됩니다.
- 모델 및 출력 필드 옵션은 다중 선택 기능을 지원하므로 평균 교육 기록 수를 비교하고 에이전트가 다양한 모델의 예측을 사용하는 방법을 분석할 수 있습니다. 여러 모델을 선택하면 에이전트가 모델의 예측을 사용한 방법 비교 섹션을 사용하여 에이전트가 다양한 사용 유형에서 선택한 모델을 비교할 수 있습니다. 차트에서는 개수와 백분율 간의 전환도 지원합니다. 또한 백분율 모델을 사용할 때 수락 예측과 대체된 예측의 기준선도 표시됩니다.
작업 인텔리전스 분석 사용
다음으로 이동 을 클릭하여 작업 인텔리전스 분석 페이지에 액세스합니다.
모든 모델 또는 각 개별 모델에 대한 분석을 볼 수 있습니다. 모델을 선택하려면 다음 작업을 수행합니다.
- 모델을 선택하여 개별 모델에 대한 분석에 액세스합니다.
- 작업 인텔리전스 관리 콘솔에서 생성된 모델 목록에서 모델을 선택합니다.
- 적용을 선택합니다.