会話改善テーマの探索

会話改善テーマアプリケーションは、会話評価を長期的なパフォーマンスインサイトに変換するのに役立ちます。

会話改善テーマ の概要

会話改善テーマは、時間の経過に伴う会話品質データを分析します。このアプローチは、低会話品質 (および高) に関連する繰り返しパターンを特定し、大規模言語モデル (LLM) を利用したメタデータ駆動型分類を使用して、ユーザー要求を実行可能なテーマに分類することに重点を置いています。

注:

会話改善テーマでは、OpenAI、Gemini、または Claude を使用できます。特定の例では、アシストを最適に使用することが観察されている OpenAI モデルと比較して、Gemini と Claude がより多くのアシストを消費する可能性があることが観察されています。

テーマの作成方法

テーマを作成するために、ナレッジベース記事、カタログアイテム、仮想エージェントトピック、AI エージェントなどのさまざまなコンテンツタイプから、名前、簡単な説明などのメタデータが分析されます。テーマの生成は、記事のコンテンツ全体ではなくメタデータのみに依存する LLM ベースの分類プロセスを使用して実行されるため、トークンの使用量が制限され、処理のオーバーヘッドが削減されます。作成されたテーマごとに、LLM ベースの分類プロセスからのタグ付けされたコンテンツを使用して定義が作成されます。これは、会話からのプライマリ要求にタグ付けするのに役立ちます。

アプローチ:

1. ユーザー満足度スコアでフィルタリングします。たとえば、アバリュエーターの結果が低ユーザー満足度スコア (<=1.5) または高スコア >= 4.5) に関連付けられている会話を選択します。
2. プライマリ要求の抽出と標準化:
   1. ユーザーのプライマリ要求を解析し、さまざまな文体や表現からノイズを取り除きます。
   2. 標準化を適用して、パスワードのリセットやログインできないなど、類似するインテントが一貫してグループ化されるようにします。
3. 頻度分析:
   1. 標準化された各要求をテーマにリンクします。
   2. 仮想エージェントのパフォーマンスが低い場合、またはパフォーマンスが高い場合に、各テーマが表示される頻度をカウントします。
   3. 画面上で仮想エージェントが要求の処理が不十分または多いテーマをハイライト表示します。