マルチモデルバッチテストの実行
テストセットに対して複数の 自然言語理解 (NLU) (NLU) モデルをテストします。モデルの品質を評価し、インテント予測を改善するために改良します。
始める前に
- NLU ワークベンチ - Core プラグイン、NLU ワークベンチ プラグイン、NLU ワークベンチ - 拡張機能型プラグイン、予測インテリジェンス プラグインがすべてインストールされ、アクティブ化されていることを確認します。
- 仮想エージェントまたはAI 検索用に 1 つ以上のトレーニング済みモデルを用意します。
- 想定されるインテントを持つテスト発言を含むテストセットを用意します。「テストセットの作成」または「テストセットの作成と管理」を参照してください。
- 必要なロール:nlu_admin または admin モデルにアサインされると、nlu_editorロールはテストを実行し、そのモデルのテスト発言を変更できます。
このタスクについて
マルチモデルバッチテストでは、モデルのデフォルトのテストセットではないテストセットを使用できます。
また、 マルチモデルバッチテストを使用して、一度に最大10個のモデルをテストできます。ただし、モデル数が少ないテストはより迅速に実行されます。
複数のモデルをテストする場合、テストセットはすべてのモデルのインテント全体の少なくとも25%をカバーする必要があります。モデルが 仮想エージェント または AI 検索で遭遇する可能性のある発話を含むテストセットを使用します。
注:
テストセット内の想定されるインテントがモデルのどのインテントとも一致しない場合、想定されるインテントとそのテスト発話はスキップされます。テスト結果はカウントされず、表示されません。
デフォルトのテストセットに対して 1 つのモデルをテストするには、モデルの概要ページで [ モデルをテストして公開] フェーズを使用します。詳細については、「モデルをテストおよび公開」を参照してください。
手順
-
[ 新しいバッチテストを実行 ] ウィンドウで、リストからモデルを選択します。
-
[Run (実行)] をクリックします。
新しいテストが [テスト結果 ] リストに [ テスト中... ステータス。
次のタスク
バッチテストが終了すると、ステータスが [完了] に変わります。テストセットの名前をクリックすると、テスト結果を表示できます。
結果を使用して、モデルを調整および改善します。その後、テストを再度実行してパフォーマンスを評価します。
バッチテストは、信頼度しきい値の推奨事項に影響を与える可能性があります。詳細については、「NLU モデル設定」を参照してください。