대화 개선 테마 탐색

대화 개선 테마 애플리케이션은 대화 평가를 장기적인 성과 인사이트로 변환하는 데 도움이 됩니다.

대화 개선 테마 개요

대화 개선 테마는 시간 경과에 따른 대화 품질 데이터를 분석합니다. 이 접근 방식은 낮은 대화 품질(및 높음)과 관련된 반복 패턴을 식별하고 대규모 언어 모델(LLM)으로 구동되는 메타데이터 기반 분류를 사용하여 사용자 요청을 실행 가능한 테마로 분류하는 데 중점을 둡니다.

주:

대화 개선 테마는 OpenAI, Gemini 또는 Claude를 사용할 수 있습니다. 특정 경우에는 Gemini와 Claude가 지원을 최적으로 사용하는 것으로 관찰된 OpenAI 모델에 비해 더 많은 수의 지원을 소비할 수 있는 것으로 관찰되었습니다.

테마 생성 방법

테마를 생성하기 위해 지식베이스 문서, 카탈로그 항목, 가상 에이전트 주제, AI 에이전트와 같은 다양한 콘텐츠 유형에서 이름, 간단한 설명 등과 같은 메타데이터를 분석합니다. 테마 생성은 전체 문서 콘텐츠가 아닌 메타데이터에만 의존하는 LLM 기반 분류 프로세스를 사용하여 수행되므로 토큰 사용을 제한하고 처리 오버헤드를 줄이는 데 도움이 됩니다. 생성된 각 테마에 대해 LLM 기반 분류 프로세스의 태그가 지정된 콘텐츠를 사용하여 정의가 생성되며, 이는 대화에서 기본 요청에 태그를 지정하는 데 도움이 됩니다.

접근 방식:

1. 사용자 만족도 점수로 필터링합니다. 예를 들어 평가자 결과가 낮은 사용자 만족도 점수(<=1.5) 또는 높은 점수>= 4.5)와 연결된 대화를 선택합니다.
2. 기본 요청 추출 및 표준화:
   1. 사용자의 기본 요청을 구문 분석하여 다양한 쓰기 스타일이나 문구에서 노이즈를 제거합니다.
   2. 표준화를 적용하여 유사한 의도(예: 암호 재설정 및 로그인할 수 없음)가 일관되게 그룹화되도록 합니다.
3. 빈도 분석:
   1. 표준화된 각 요청을 테마에 연결합니다.
   2. 가상 에이전트의 성능이 저조하거나 성과가 좋을 때 각 테마가 나타나는 빈도를 계산합니다.
   3. 화면에서 가상 에이전트가 요청을 제대로 처리하지 못하거나 잘 처리하는 테마를 강조 표시합니다.