仮想エージェント 応答の 自然言語理解 (NLU)

仮想エージェント (VA) は、自然言語理解 (NLU) (NLU) サービスを使用して、ユーザー入力を理解します。[NLU 予測] タブを使用して、NLU がインテントをどの程度適切に予測しているかを確認し、NLU がより適切な予測を行うようにインテントを改善します。

会話型分析ダッシュボードの [NLU 予測 ] タブには、NLU がチャット会話でのユーザー入力をどの程度理解しているかが表示されます。 仮想エージェント には NLU モデルが付属していますが、 を有効にします。 NLU ワークベンチ をクリックして、新しいモデルを変更または作成します。

[NLU 予測] タブを使用するには、チャット分析ビューアー (chat_analytics_viewer) ロールが必要です。

NLU 予測グラフ

グラフには、NLU 予測の日次パフォーマンスが表示されます。グラフには、以下を表す最大 3 本の線を表示できます。

• 正しい予測：NLU は複数のインテントを予測してユーザーに表示しました。ユーザーがいずれかを選択しました。
• 誤った予測：NLU は複数のインテントを予測してユーザーに表示しました。ユーザーは探していたものがなかったことを示しました。
• 自動選択された予測：NLU は、ユーザーのチャット入力に基づいて単一のインテントを予測しました。NLU が複数のトピックをそれぞれ個別のインテントから返し、ユーザーがそのトピックを選択する場合があります。

サンプルのグラフには、自動選択された予測のみが表示されます。2021-01-27 に 1 つのインテントが自動選択され、2021-01-31 に 2 つのインテントが自動選択されました。

注:

縦軸は 10 きざみで増えるため、縦軸の値は重複する可能性があります。インテントの数が 10 未満の場合、縦軸の一部の値は複数回表示されます。たとえば、前の画像では、日付範囲内のすべての日のインテントの最大数は 5 です。したがって、縦軸には 1 が 2 つ、2 が 2 つ、3 が 2 つなどとなります。

これらの値はどのように決定されますか？ダッシュボードは、次のデータを収集します。

1. NLU 予測モデルによってインテントが決定されましたか？
2. 予測されたインテントは、モデルでインテントにバインドされたトピックと一致しましたか？
3. 予測スコアとは何ですか。そして、ダッシュボードには、エンドユーザーが正しいインテントを指定するための複数のオプションが表示されましたか、それとも 1 つのインテントに関連付けられたトピックのみが表示されましたか。
4. ユーザーに複数のインテントを表示した後、ユーザーは 1 つのインテントを選択しましたか？

会話ダッシュボードは、データに対して次のアルゴリズムを使用して、インテントリストに入力します。

• 正しい予測：1、2、3、および 4 が true。
• 誤った予測：4 が false でした。
• 自動選択された予測：3 が自動選択され、4 はありませんでした。

インテントは複数のカテゴリに表示される可能性があります。たとえば、NLU がインテントを正しく予測し、ユーザーに単一の応答しか提示しなかったため、[アカウントのアクティブ化 (Ben)] インテントは、[正しい予測] 列と [自動選択された予測] 列に表示されます。

NLU 予測の改善

グラフの任意の場所をクリックすると、[モデルのパフォーマンス] ページが開きます。グラフで指定された日付範囲で予測されたインテントと予測されなかったインテントのサマリーが表示されます。

「」を参照してください。 を有効にします。 NLU ワークベンチ NLU Workbench を使用して NLU 予測を改善する方法を確認します。

• モデルの変更
  仮想エージェント モデルをテストして変更し、ユーザーのインテントをより正確に予測できるようにします。