評価の有効化

  • リリースバージョン: Zurich
  • 更新日 2025年09月02日
  • 所要時間:3分
  • 継続的な監視を有効にして、ランダムな会話を評価します。

    評価を有効にし、毎日実行する評価の数を設定します。
    1. 移動先 すべて > プロセス自動化 > フローデザイナー をクリックし、[ フロー] を選択します。
    2. [評価を実行] フローを選択します。
    3. [フローを編集する] を選択します。
    4. [Activate (アクティブ化)] を選択します。

      評価の実行フローをアクティブ化します。

    5. 移動先 すべて > システムプロパティ > すべてのプロパティ.
    6. プロパティ sn_na_conv_eval.maxEvaluateCount を検索して選択します。
    7. [ ] フィールドを更新して、毎日評価する会話の最大数を設定します。

      [値] フィールドを更新します。

    8. [Save (保存)] を選択します。
    注:
    • 要件に基づいて評価パラメーターの一部を設定する場合は、「 評価の構成」を参照してください。
    • 評価対象の履歴データをインポートする場合は、[バッチ評価を実行] フローを有効にしてバッチ評価を実行する必要があります。バッチ評価ワークフローの詳細については、「 バッチ評価の評価フロー」を参照してください。

    評価ダッシュボードと会話インサイト

    評価ダッシュボードと会話インサイト (CI) アプリケーションを組み合わせて使用すると、システムパフォーマンスからエンドユーザーの満足度まで、仮想エージェントの有効性の全体像を把握できます。

    会話インサイトの詳細については、「 会話インサイト」を参照してください。

    評価ダッシュボードによってキャプチャされたメトリクス 会話インサイトによってキャプチャされたメトリクス

    評価ダッシュボードには、仮想エージェントの設計、ダイアログフロー、およびモデルの精度の向上に役立つ詳細な診断の説明が表示されます。タスクの成功と信頼性に不可欠なディメンションに沿ってパフォーマンスを評価します。たとえば、「システムは適切に動作し、想定されるタスクを実行していますか?」などです。

    • インテント認識:仮想エージェントがユーザーの主要目標を正しく解釈しているかどうか。
    • スロット入力:タスクを完了するために必要な構造化入力を抽出する精度。
    • 簡潔さ:冗長または反復的な応答の回避。
    • 一貫性:仮想エージェントの応答の論理フローと構成。
    • 真実性:応答が幻ではなく、コンテキストまたは知識ソースに基づいていることを確認します。
    • コンテキストの保持:同じセッション内の以前のユーザー入力を記憶する仮想エージェントの機能。
    • デッドロック回避:仮想エージェントが質問または応答を繰り返すことでスタックするループを検出します。
    • ユーザー満足度 (プロキシ): 重大な障害 (インテント認識やスロット入力など) と、ユーザーの否定的な認識を関連付けます。

    会話インサイトは、顧客満足度と工数の測定に重点を置いています。推定顧客満足度 (CSAT) とサポートシグナルを使用して、エンドユーザーが仮想エージェントとのインタラクションをどのように認識しているかを示します。たとえば、「エンドユーザーは仮想エージェントのパフォーマンスに満足していますか?」などです。

    • 推定 CSAT:会話の全体的な満足度を推定する複合スコア (1 〜 5)。
    • 工数スコア:転送、エスカレーション、繰り返しのデータ収集、または待ち時間に基づいて、ユーザーが実行しなければならなかった作業量 (低/中/高) を測定します。
    • 解決:ユーザーの問題が完全に解決されたか、部分的に解決されなかったかを追跡します。
    • 不満:失礼な言葉遣い、皮肉、困難に関する苦情など、ユーザーの不満の露骨な兆候を検出します。
    • 混乱:ユーザーと仮想エージェントまたはライブエージェントの間の誤解を特定します。
    • 転送とエスカレーション:会話が別のエージェント、チーム、またはスーパーバイザーに渡されたときにフラグを付けます。
    • 共感:仮想エージェントまたはライブエージェントがどの程度礼儀正しく、人懐っこく、協力的であったかをスコアリングします (低/中/高)。
    • 次のステップ:仮想エージェントまたはライブエージェントが結果、指示、またはフォローアップアクション (低/中/高) をどの程度明確に説明したかを測定します。
    評価ダッシュボードと会話インサイトを組み合わせることで、仮想エージェントの実装を補完する価値が得られます。
    • 会話インサイトは、すべての会話で顧客エクスペリエンスを軽量かつコストフリーで表示します。
    • 評価ダッシュボードは、仮想エージェントの設計とパフォーマンスに的を絞った改善を可能にする、タスクに焦点を当てた詳細な診断を提供します。
    • AI エージェントアナリティクスと AI コントロールタワー ダッシュボードに統合されたこれらのメトリクスにより、仮想エージェントシステムの健全性とエンドユーザーの満足度を補完的に把握できます。