評価ダッシュボードの [値] タブ
評価ダッシュボードの [ 値 ] タブには、仮想エージェントの価値、効率、および時間の節約が表示されます。このタブの情報は、ユーザーの節約時間の品質調整済み計算に焦点を当てて、仮想エージェントによって提供される価値の透過的で信頼性の高い見積もりを提供します。
[ 値 ] タブには、仮想エージェントの値の堅牢で現実的な評価が表示されます。スケーラビリティのためのサンプリング、安定性のためのローリング平均、およびビジネス関連性のための品質重み付けフレームワークを組み込むことで、結果のメトリクスは、組織に自動化の影響と時間の節約をもたらします。
- 合計会話数:選択した日付範囲で仮想エージェントと開始された会話の合計量を表示します。このメトリクスは、ユーザーエンゲージメントと仮想エージェントの使用状況を直接示す指標です。
- 推定合計時間:ユーザーが仮想エージェントとやり取りすることによって節約された、品質調整された累積時間を表示します。
- 推定 VA 効率 (%):すべての会話の合計時間に対する推定合計削減時間の比率として計算されます (推定削減時間/合計会話時間)。推定値は、会話時間がどれだけ効果的に価値に変換されるかを示します。
- チャットサイズ別のゲージ:ゲージには、推定合計削減時間のブレークダウンが、会話のサイズ (ロング、ミディアム、ショート) でセグメント化されて表示されます。
会話は、労力と価値を正確に関連付けるために、サイズに基づいてセグメント化されます。原則は、問題を正常に解決する、長くて複雑なチャットは、短くて単純なチャットよりも多くの時間を節約できるということです。
- 大規模な会話:ユーザーからのメッセージが 10 件を超える会話。
- 中規模の会話:ユーザーからのメッセージが 4 件以上 10 件未満の会話。
- 小規模な会話:ユーザーからのメッセージが 4 つ以下の会話。
注:小規模、中規模、大規模の会話の定義を変更するには、プロパティ [ sn_na_conv_eval.value_chat_classifier] を更新します。詳細については、「評価ダッシュボードとともにインストールされるコンポーネント」を参照してください。 - 値の計算:削減された時間数と時給に基づいて削減された金額を表示します。
- ユーザー受け入れスコア:会話エバリュエーターから導出された平均満足度スコア。解釈しやすいように 100 にスケーリングされています。このスコアは、仮想エージェントのサポート品質に対する全体的なユーザーの認識を反映しています。
週次のユーザー受け入れ傾向
折れ線グラフでは、ユーザー受容スコアを経時的に追跡し、ユーザー満足度が週次ベースでどのように変化しているかを把握できます。
- 週次の効率傾向:
週次効率トレンドチャートには、推定効率 (%) メトリクスの週次傾向が表示されます。さらに、チャットサイズと、会話中に使用されるコンテンツのタイプ (ナレッジベース (KB) 記事またはサービスカタログアイテム) の両方別に分類されます。
推定合計時間の計算
計算される推定合計時間は、インタラクションの品質に基づいて生時間を調整するように設計された複数ステップの日次プロセスの結果です。これは、次の手順で計算されます。
- 品質評価のためのデータサンプリング。
アシスト数を制限するため、すべての会話が評価されるわけではありません。代わりに、毎日のサンプリングプロセスが使用されます。
- サンプルサイズ:全会話の 10% が前日からの評価のために選択されます。
- 1 日の上限:サンプルの 1 日の会話数は最大 50 件に制限されています。
- 分析データセット:仮想エージェント品質の安定したパターンを特定するために、これらの評価されたチャットに 30 日間のローリングウィンドウが使用され、分析用に約 1,500 件の評価された会話 (30 日間で 1 日あたり 50 チャット) のデータセットが作成されます。
- 時間計算のための日次サンプリング。品質評価とは別に、システムのパフォーマンスに影響を与えることなく、代表的なデータセットの時間を節約するために、より大きなサンプルが採取されます。
- サンプル サイズ: 1,000 会話のサンプルが毎日ランダムに選択されます。
- 予測:このサンプルから計算された時間節約は、その日の会話の母集団全体を表すようにスケールアップされます。
- 会話の質の分類。
30 日間の分析データセット内の ~1,500 件の会話のそれぞれに、会話評価者によって品質スコアが割り当てられます。スコアに基づいて、会話は次の 5 つの満足度レベルのいずれかに分類されます。
品質カテゴリ ユーザー満足度スコア範囲 非常に満足 4.5–5.0 満足 3.5–4.5 平均 2.5–3.5 不満 1.5–2.5 非常に不満 1.0–1.5 - 品質スコアを日次サンプルに投影します。
1 日あたり 1,000 件のチャット (ステップ 2 以降) のすべてに品質スコアがあるとは限りません。この問題を解決するために、30日間の分析データセットの品質分布を毎日のサンプルに投影します。
- ローリング平均を計算:~1,500 件の評価されたチャットから、各セグメントの 5 つの品質カテゴリにわたる合計チャット時間の割合分布が計算されます。
たとえば、すべての短いチャットや、KB 記事を呼び出したすべてのチャットなどです。短いチャットの 30 日間の分析で、合計時間が 100 分であったことが示されたとします。そのうちの 25 分間が非常に満足していると評価されたチャットからのものである場合、短いチャットの非常に満足のカテゴリの時間ベースのスコアは 25% です。
- 日次サンプルに平均を適用する:1,000 件の日次サンプルチャットは、セグメント別 (チャットサイズなど) にグループ化されます。ローリング平均の割合は、これらのグループの合計時間に適用されます。
たとえば、1,000 件の日次サンプルチャットに合計 4,000 分の短いチャットが 400 件含まれている場合、計算されたローリング平均を使用して、25% の時間 (1,000 分 = 4,000 分 * 25%) が非常に満足した品質であったと予測します。計算は、すべての品質レベルとすべてのセグメントに対して繰り返されます。
- ローリング平均を計算:~1,500 件の評価されたチャットから、各セグメントの 5 つの品質カテゴリにわたる合計チャット時間の割合分布が計算されます。
- 品質調整の重み付けの適用。
生の会話時間を現実的な節約時間に変換するために、各品質カテゴリの予測時間に重み付けが適用されます。低品質のやり取りからの時間はほとんどまたはまったく節約に寄与しませんが、高品質のやり取りからの時間は、その期間の100%の節約に貢献します。
会話品質カテゴリ 時間に適用される重み付け 非常に満足 1.0 (100%) 満足 0.5 (50%) 平均 0.25 (25%) 不満 0.1 (1%) 非常に不満 0.0 (0%) (続き) たとえば、ステップ 4 で計算された 1,000 分の非常に満足した時間に重み付け 1.0 を乗算すると、推定 1,000 分の時間が短縮されます。さらに 500 分が満たされると予測された場合、500 * 0.5 = 250 分の時間の節約に貢献します。
- サンプル節減額を母集団全体にスケーリングします。
1,000 チャットのサンプルに対して、調整された削減時間が計算されます。最終的な日次推定値を取得するために、この数値はその日のすべての会話を反映するようにスケールアップされます。
スケーリング係数 = (その日の会話の合計数) / (1000)
最終的な日次削減時間 = (サンプルから調整された削減時間) * (スケーリング係数)
- 週次集計:
日次最終日次削減時間の数値は、ダッシュボードの傾向チャートに表示するために週次レベルで集計されます。
ダッシュボードでデータが更新されない場合は、次の手順を実行します。
必要なロール：admin
- 移動先 .
- CE Populate Value Aggregates Chats - Daily スケジュール済みジョブを検索して選択します。
- [アクティブ] に設定します。
- スケジュール済みジョブを実行します。
- 移動先 .
- 「[会話エバリュエーター] 評価スコア日次データ収集スケジュール済みジョブ」を検索して選択します。
- ジョブを実行します。
- [関連リスト] セクションで、[ ジョブ履歴 ] タブをチェックして、データが正常に収集されたかどうかを確認します。