평가 대시보드의 값 탭
평가 대시보드의 값 탭에 가상 에이전트의 값, 효율성 및 시간 절약이 표시됩니다. 이 탭의 정보는 가상 에이전트가 제공하는 가치에 대한 투명하고 신뢰할 수 있는 추정치를 제공하며, 사용자의 절약 시간을 품질 조정으로 계산하는 데 중점을 둡니다.
값 탭에는 가상 에이전트의 값에 대한 강력하고 현실적인 평가가 표시됩니다. 확장성을 위한 샘플링, 안정성을 위한 롤링 평균, 비즈니스 관련성을 위한 품질 가중치 프레임워크를 통합함으로써 결과 메트릭은 자동화에 미치는 영향과 조직에 절약된 시간을 제공합니다.
- 총 대화: 선택한 날짜 범위 동안 가상 에이전트와 시작된 총 대화의 양을 표시합니다. 이 메트릭은 사용자 참여 및 가상 에이전트 사용량을 직접 나타내는 지표입니다.
- 예상 총 시간: 사용자가 가상 에이전트와 상호작용하여 절약한 누적 품질 조정 시간을 표시합니다.
- 예상 VA 효율성(%): 모든 대화의 총 기간 대비 절약된 예상 총 시간의 비율로 계산됩니다(예상 절약 시간/총 대화 시간). 예상치는 대화 시간이 얼마나 효과적으로 값으로 변환되는지를 나타냅니다.
- 채팅 크기별 게이지: 게이지에는 대화의 크기(길게, 중간, 짧음)로 구분된 총 절약 예상 시간의 세부 항목이 표시됩니다.
대화는 규모에 따라 세분화되어 노력과 가치의 상관 관계를 정확하게 파악합니다. 원칙은 문제를 성공적으로 해결하는 더 길고 복잡한 채팅이 짧고 간단한 채팅보다 더 많은 시간을 절약한다는 것입니다.
- 대규모 대화: 사용자가 보낸 메시지가 10개 이상 포함된 대화입니다.
- 중간 크기 대화: 사용자가 보낸 메시지가 4개 이상 10개 미만인 대화입니다.
- 소규모 대화: 사용자가 보낸 메시지가 4개 이하인 대화입니다.
주:소대화, 중규모대화, 대규모 대화의 정의를 변경하려면 속성 sn_na_conv_eval.value_chat_classifier을 업데이트합니다. 자세한 내용은 평가 대시보드와 함께 설치되는 구성요소 문서를 참조하십시오. - 값 계산: 절약된 시간 수와 시간별 요금을 기준으로 절약한 금액을 표시합니다.
- 사용자 수용 점수: 대화 평가자에서 파생된 평균 만족도 점수로, 쉽게 해석할 수 있도록 100으로 조정됩니다. 이 점수는 가상 에이전트의 지원 품질에 대한 전반적인 사용자 인식을 반영합니다.
주간 사용자 수용 추세
꺾은선형 차트는 시간 경과에 따른 사용자 수용 점수를 추적하여 매주 사용자 만족도가 어떻게 변화하고 있는지에 대한 인사이트를 제공합니다.
- 주간 효율성 추세:
주간 효율성 추세 차트는 예상 효율성(%) 메트릭의 주간 추세를 표시하며, 대화 중에 사용된 채팅 크기 및 컨텐츠 유형(지식베이스 (KB) 문서 또는 서비스 카탈로그 항목)별로 세분화됩니다.
예상 총 시간 계산
계산된 예상 총 시간은 상호작용의 품질을 기반으로 원시 시간을 조정하도록 설계된 다단계 일일 프로세스의 결과입니다. 다음 단계를 통해 계산됩니다.
- 품질 평가를 위한 데이터 샘플링.
지원 수를 제한하기 위해 모든 대화는 평가되지 않습니다. 대신 일일 샘플링 프로세스가 사용됩니다.
- 샘플 크기: 전날의 평가를 위해 모든 대화의 10%를 선택했습니다.
- 일일 한도: 샘플은 매일 최대 50개의 대화로 제한됩니다.
- 분석 데이터 세트: 가상 에이전트 품질의 안정적인 패턴을 식별하기 위해 이러한 평가된 채팅에 롤링 30일 기간이 사용되며, 이는 분석을 위해 평가된 약 1,500개의 대화(30일 동안 하루 50개 채팅)의 데이터 세트를 생성합니다.
- 시간 계산을 위한 일일 샘플링입니다.품질 평가와는 별도로 시스템 성능에 영향을 주지 않고 대표적인 데이터 세트에 대한 시간 절약 계산을 위해 더 큰 샘플이 채취됩니다.
- 샘플 크기: 매일 1,000개의 대화 샘플이 무작위로 선택됩니다.
- 프로젝션: 이 샘플에서 계산된 시간 절약은 해당 날짜의 전체 대화 모집단을 나타내도록 확장됩니다.
- 대화 품질을 분류합니다.
30일 분석 데이터 세트의 각 ~1,500개의 대화에는 대화 평가자에 의해 품질 점수가 할당됩니다. 점수에 따라 대화는 5가지 만족도 수준 중 하나로 분류됩니다.
품질 범주 사용자 만족도 점수 범위 매우 만족 4.5–5.0 만족 3.5–4.5 평균 2.5–3.5 불만족 1.5–2.5 매우 불만족 1.0–1.5 - 일일 샘플에 품질 점수를 프로젝션합니다.
매일 1,000개의 채팅(2단계)에 대한 품질 점수가 없을 수도 있습니다. 이 문제를 해결하기 위해 30일 분석 데이터 세트의 품질 분포가 일일 샘플에 투영됩니다.
- 롤링 평균 계산: 평가된 ~1,500개의 채팅에서 각 세그먼트에 대한 5가지 품질 범주에 걸친 총 채팅 시간의 백분율 분포가 계산됩니다.
예를 들어, 모든 짧은 채팅 또는 KB 문서를 호출한 모든 채팅에 대해 수행됩니다. 짧은 채팅을 30일 동안 분석한 결과 총 지속 시간이 100분이라고 가정해 보겠습니다. 이 중 25분이 매우 만족으로 평가된 채팅에서 나왔다면 짧은 채팅에 대한 매우 만족 범주는 시간 기반 점수가 25%입니다.
- 일일 샘플에 평균 적용: 1,000개의 일일 샘플 채팅은 세그먼트(예: 채팅 크기)별로 그룹화됩니다. 그런 다음 롤링 평균 백분율이 이러한 그룹의 총 시간에 적용됩니다.
예를 들어, 1,000개의 일일 샘플 채팅에 총 기간이 4,000분인 400개의 짧은 채팅이 포함된 경우 계산된 롤링 평균을 사용하여 시간의 25%(1,000분 = 4,000분 * 25%)의 품질이 매우 만족스러웠다고 예측합니다. 모든 품질 수준과 모든 세그먼트에 대해 계산이 반복됩니다.
- 롤링 평균 계산: 평가된 ~1,500개의 채팅에서 각 세그먼트에 대한 5가지 품질 범주에 걸친 총 채팅 시간의 백분율 분포가 계산됩니다.
- 품질 조정 가중치 적용.
원시 대화 시간을 절약된 시간의 현실적인 측정값으로 변환하기 위해 각 품질 범주의 예상 시간에 가중치가 적용됩니다. 품질이 낮은 상호 작용으로 인한 시간은 절약에 거의 또는 전혀 기여하지 않는 반면, 고품질 상호 작용에서 발생하는 시간은 기간의 100%를 절약에 기여합니다.
대화 품질 범주 시간에 적용되는 가중치 매우 만족 1.0 (100%) 만족 0.5 (50%) 평균 0.25 (25%) 불만족 0.1 (1%) 매우 불만족 0.0 (0%) 예를 들어, 4단계에서 계산한 매우 만족스러운 시간 1,000분에 가중치 1.0을 곱하면 예상 시간이 1,000분 절약됩니다. 또 다른 500분이 충족될 것으로 예상되면 500 * 0.5 = 250분의 시간 절약에 기여합니다.
- 샘플 절약을 전체 모집단으로 확장합니다.
1,000개의 채팅 샘플에 대해 절약된 조정 시간이 계산됩니다. 최종 일일 예상치를 얻기 위해 이 숫자는 해당 날짜의 모든 대화를 반영하도록 확대됩니다.
배율 인수 = (해당 날짜의 총 대화 수) / (1000)
최종 일일 절약 시간 = (샘플에서 절약된 조정 시간) * (배율 계수)
- 주간 집계:
일일 최종 일일 절약 시간 수치는 대시보드의 추세 차트에 표시하기 위해 주별 수준으로 집계됩니다.
대시보드에서 데이터가 업데이트되지 않은 경우 다음 단계를 수행합니다.
필요한 역할: 관리자
- 다음으로 이동 .
- 예약된 작업을 검색하여 선택합니다 CE Populate Value Aggregates Chats - Daily .
- 활성으로 설정합니다.
- 예약된 작업을 실행합니다.
- 다음으로 이동 .
- "[대화 평가자] 평가 점수 일일 데이터 수집 예약된 작업을 검색하여 선택합니다.
- 작업을 실행합니다.
- 관련 목록 섹션에서 작업 로그 탭을 확인하여 데이터가 성공적으로 수집되었는지 확인합니다.