도우미 디자이너의 도우미 분석에 대한 음성 페이지에서 음성 도우미의 성능을 모니터링합니다.
음성 대시보드 페이지에는 총 대화, 편향률, 대화 결과, 만족도 점수, 응답시간, 도구 실행 성능, 음성 도우미가 호출한 AI 에이전트의 성능 등 음성 도우미 사용 및 성능과 관련된 주요 메트릭이 집계됩니다.그림 1. 도우미 분석의 음성 대시보드 페이지
음성 페이지의 시각화는 다음을 수행하는 데 도움이 됩니다.
음성 도우미 상호작용의 볼륨과 결과를 모니터링하여 채택을 평가하고 개선이 필요한 영역을 식별합니다.
추론된 고객 만족도(CSAT) 점수 및 참여 메트릭을 추적하여 사용자 경험과 효율성을 향상시키는 데 도움이 됩니다.
AI 에이전트 성능과 편향된 대화를 분석하여 음성 워크플로우를 최적화하고 라이브 에이전트에 대한 의존도를 줄입니다.
다음 옵션을 사용하여 대시보드 데이터를 필터링할 수 있습니다.
음성 도우미를 기준으로 필터링: 특정 음성 도우미에 대한 메트릭을 봅니다.
언어별 필터: 영어, 독일어, 스페인어 등의 대화 언어별로 메트릭을 봅니다
커뮤니케이션 채널 유형별 필터: 전화, 모바일 앱 - iOS, 모바일 앱 - Android 또는 웹 브라우저와 같은 채널별로 메트릭을 봅니다.
날짜 범위별 필터링: 특정 기간의 메트릭을 봅니다.
음성 도우미
편향된 음성 대화 비율
대시보드의 이 영역에는 LLM(대규모 언어 모델) 기록 분석을 통해 측정된 음성 도우미가 성공적으로 자체 처리한 음성 대화의 비율이 표시됩니다. 이 메트릭은 사용자 쿼리를 독립적으로 처리하는 음성 도우미의 효과를 측정합니다.그림 2. 편향된 음성 대화 비율
시간 경과에 따른 총 편향된 대화
대시보드의 이 영역에는 선택한 날짜 범위 동안 음성 도우미와의 편향된 대화 추세가 표시됩니다. 날짜 위로 마우스를 가져가면 도우미 이름, 편향된 대화 수, 편향된 대화의 백분율을 볼 수 있습니다.그림 3. 시간 경과에 따른 총 편향된 대화
총 대화
대시보드의 이 영역에는 선택한 날짜 범위에서 음성 도우미와의 총 대화 수가 표시됩니다. 이 메트릭을 사용하여 음성 상호작용의 증가를 추적하고 도우미 성능에 대한 벤치마크를 설정합니다.그림 4. 총 대화
시간에 따른 총 대화
대시보드의 이 영역에는 선택한 날짜 범위 동안의 음성 대화 추세가 표시됩니다. 날짜 위에 마우스를 올리면 도우미 이름, 해당 날짜에 도우미가 처리한 대화 수, 선택한 날짜 범위의 총 대화 대비 해당 날짜에 도우미가 처리한 대화의 백분율을 볼 수 있습니다.그림 5. 시간에 따른 총 대화
사용 중인 AI 음성 에이전트
대시보드의 이 영역에는 선택한 날짜 범위의 대화를 처리하기 위해 도우미가 호출한 AI 음성 에이전트 수가 표시됩니다.그림 6. 사용 중인 AI 음성 에이전트
시간 경과에 따라 사용 중인 AI 음성 에이전트
대시보드의 이 영역에는 선택한 날짜 범위 동안 대화를 적극적으로 처리하는 도우미와 연결된 AI 음성 에이전트의 추세가 표시됩니다. 날짜 위에 마우스를 올려놓으면 에이전트와 에이전트 발동 횟수가 포함된 도우미 이름을 볼 수 있습니다.그림 7. 시간 경과에 따라 사용 중인 AI 음성 에이전트
추가 대화 결과
라이브 에이전트로 이관된 대화
대시보드의 이 영역에는 추가 지원을 위해 음성 도우미에서 라이브 에이전트로 전송된 대화 수가 표시됩니다. 이 메트릭은 사용자가 음성 도우미가 제공할 수 있는 것 이상의 지원을 필요로 하는 빈도를 나타냅니다. 이 데이터를 사용하여 일반적인 에스컬레이션 트리거를 식별하고 도우미 워크플로우를 최적화하여 불필요한 이전을 줄입니다.그림 8. 라이브 에이전트로 이관된 대화
생성된 티켓 수
대시보드의 이 영역에는 대화 후 후속 작업을 위해 생성된 티켓 수(예: 인시던트 및 케이스 기록)가 표시됩니다. 이는 사용자 문제를 공식적인 추적 및 해결이 필요로 하는 인스턴스를 강조합니다. 티켓 생성 추세를 모니터링하여 도우미 효과를 평가하고 문제 해결 개선 영역을 식별합니다.그림 9. 생성된 티켓 수
끊어진 대화
대시보드의 이 영역에는 참여 전에 갑자기 종료되거나 연결이 끊긴 대화 수가 표시됩니다. 음성 상호작용에서 발생할 수 있는 마찰 지점 또는 기술적 문제를 파악합니다. 연결이 끊긴 대화를 조사하여 도우미 신뢰성과 사용자 경험을 개선합니다.그림 10. 끊어진 대화
대화 및 사용자 인사이트
즉각적인 라이브 에이전트 전송
대시보드의 이 영역에는 통화 시작 후 30초 이내에 사용자가 라이브 에이전트로 전송을 요청한 대화 수가 표시됩니다. 이 메트릭은 전화 통화에만 적용됩니다. 이 메트릭을 사용하면 라이브 에이전트로 거의 즉각적인 에스컬레이션을 유도하는 시나리오를 식별하는 데 도움이 됩니다.그림 11. 즉각적인 라이브 에이전트 전송
추론된 고객 만족도(CSAT) 점수
대시보드의 이 영역에는 LLM 대화록 분석을 통해 계산된 선택한 데이터 범위의 음성 대화에 대한 평균 추론 CSAT 점수가 표시됩니다. 5점 척도로 점수를 매겼으며, 1 = 가장 만족도, 5 = 가장 만족함. 이 메트릭은 음성 도우미 상호작용에 대한 사용자 감정을 추적합니다. CSAT 추세를 추적하여 도우미 업데이트의 영향을 평가하고 사용자 경험 개선을 안내합니다.그림 12. 추론된 고객 만족도(CSAT) 점수
평균 음성 대화 기간
대시보드의 이 영역에는 전송 후 라이브 에이전트와 소요한 시간을 제외한 평균 음성 대화 기간이 표시되므로 이 값은 AI가 처리한 통화 부분만 반영합니다. 이 메트릭은 음성 상호작용의 효율성을 평가하는 데 도움이 됩니다. 이 메트릭을 사용하여 대화를 간소화하고 해결 시간을 단축할 수 있는 기회를 식별합니다.그림 13. 평균 음성 대화 기간
응답 시간
응답시간은 사용자가 질문이나 요청을 마친 시점과 음성 도우미가 응답을 시작하는 시점 사이의 시간입니다.
50번째 백분위수 응답 시간
대시보드의 이 영역에는 응답의 50%가 완료된 응답시간이 표시됩니다. 응답의 50%만이 이 시간보다 오래 걸렸습니다. 그림 14. 50번째 백분위수 응답 시간
90번째 백분위수 응답 시간
대시보드의 이 영역에는 응답의 90%가 완료된 응답시간이 표시됩니다. 응답의 10%만이 이 시간보다 오래 걸렸습니다.그림 15. 90번째 백분위수 응답 시간
99번째 백분위수 응답 시간
대시보드의 이 영역에는 응답의 99%가 완료된 응답시간이 표시됩니다. 응답의 1%만이 이보다 오래 걸렸습니다.그림 16. 99번째 백분위수 응답 시간
도구 인사이트
도구 유형별 실행
대시보드의 이 영역에는 스크립트, 플로우 작업, 하위 플로우, RAG 기반 검색 등 유형별로 분류된 도구 실행 수가 표시됩니다. 도구 유형에 대한 자세한 내용은 문서를 참조하십시오 Add tools and information to an AI agent . 이 메트릭을 사용하면 음성 대화 중에 가장 자주 호출되는 도구를 파악하고 도구 성능을 최적화할 수 있습니다.그림 17. 도구 유형별 실행
50번째 백분위수 응답 시간
대시보드의 이 영역에는 실행의 50%가 완료되고 나머지 50%의 실행이 이 시간보다 오래 걸린 도구 실행 시간이 표시됩니다. 이 메트릭을 사용하여 음성 대화 중 일반적인 도구 실행 시간을 이해합니다.그림 18. 도구 50번째 백분위수 응답시간
90번째 백분위수 응답 시간
대시보드의 이 영역에는 실행의 90%가 완료된 도구 실행 시간이 표시됩니다. 실행의 10%만이 이 시간보다 오래 걸렸습니다. 이 메트릭을 사용하여 대화 플로우에 영향을 줄 수 있는 느린 도구 실행을 식별합니다.그림 19. 도구 90번째 백분위수 응답시간
99번째 백분위수 응답 시간
대시보드의 이 영역에는 실행의 99%가 완료된 도구 실행 시간이 표시됩니다. 실행의 1%만이 이 시간보다 오래 걸렸습니다. 이 메트릭을 사용하여 도구 성능에 최적화가 필요할 수 있는 이상값 케이스를 탐지합니다.그림 20. 도구 99번째 백분위수 응답시간
AI 에이전트의 사용
AI 음성 에이전트 요약
대시보드의 이 영역에는 해결 상태 및 에이전트당 총 대화 수를 포함하여 음성 대화 중에 호출된 AI 음성 에이전트의 성능 요약이 표시됩니다. 이 메트릭을 사용하여 성공적인 에이전트를 식별하고 실적이 저조한 에이전트를 개선합니다.그림 21. AI 음성 에이전트 요약
