モデルをテスト
デフォルトのテストセットに対して 自然言語理解 (NLU) (NLU) モデルをテストします。テストは、現在のコンテンツでモデルのパフォーマンスを判断するのに役立ちます。
始める前に
- NLU Model Builder - Core プラグイン、NLU Model Builder プラグイン、 NLU ワークベンチ - 拡張機能型プラグイン、 予測インテリジェンス プラグインがすべてインストールされ、アクティブ化されていることを確認します。
- 仮想エージェント または AI 検索のトレーニング済みモデルがある。詳細については、「モデルの構築とトレーニング」を参照してください。
- モデルをテストするためのテストセットを用意します。詳細については、「テストセットの作成と管理」を参照してください。
- 必要なロール:nlu_editor、nlu_admin、または admin。エディターをモデルに割り当てる必要があります。
このタスクについて
テスト発言と想定されるインテントを含むデフォルトのテストセットを使用して、モデルのテストを実行します。
- テストセットで想定されるインテントがモデル内のどのインテントにも対応しない場合、それらのインテントを含む発話はテストに使用されません。これらはテスト結果に含まれません。
- ダイアログアクションの会話途中の応答は、 NLU ワークベンチでは試すことができません。
- 関連なしとしてマークされた発話についてモデルが予測を返さない場合、その結果は [正しい] としてカウントされます。
- テストセットがモデル内のインテントの少なくとも60%をカバーしていない場合、システムは信頼度しきい値を推奨しません。ただし、テストを実行することはできます。
このシナリオ例では、モデルをトレーニングし、パフォーマンスを評価します。
手順
-
[ 新しいテストの実行] を選択します。
注:テスト中は他のフェーズは利用できません。
-
[ 新しいテストの実行を確認] ダイアログ ボックスが開くので、 [ OK] を選択します。
テストが開始され、 テストが進行中です... ページがロードされます。
タスクの結果
テストが終了すると、[ モデルのテストと公開] ページが再読み込みされます。[テスト実行日] フィールドには、このテストの日時が反映されます。
[ 概要 ] タブには、テスト結果のグラフが表示されます。また、上位 5 つの誤ったインテントと上位 5 つの欠落したインテントのリストも表示されます。
[ 詳細な結果] タブには、すべてのテスト発言とその予測結果が一覧表示されます。
以前のテスト結果を確認するには、[テストと公開] でテスト履歴の表示をクリックするか、 .
次のタスク
結果を使用して、モデルのコンテンツを編集および改善します。満足のいく結果が得られたら、モデルを公開して、 仮想エージェント などの使用アプリケーションで使用できるようにします。