マルチモデルバッチテストの実行
テストセットに対して複数 自然言語理解 (NLU) (NLU) モデルをテストします。モデルの品質を評価し、インテント予測を改善するために改善します。
始める前に
- NLU ワークベンチ - Core プラグイン、NLU ワークベンチ プラグイン、NLU ワークベンチ - Advanced Features プラグイン、および 予測インテリジェンス プラグインがすべてインストールされ、アクティブ化されていることを確認します。
- 仮想エージェントまたはAI 検索用に 1 つ以上のトレーニング済みモデルを用意します。
- 想定されるインテントのテスト発言を含むテストセットを用意します。「テストセットの作成」または「テストセットの作成と管理」を参照してください。
- 必要なロール:nlu_admin または admin モデルにアサインされると、nlu_editorロールはそのモデルのテストを実行し、テスト発言を変更できます。
このタスクについて
マルチモデルバッチテストでは、モデルのデフォルトのテストセットではないテストセットを使用できます。
また、 マルチモデルバッチテストを使用して、一度に最大 10 個のモデルをテストできます。ただし、モデル数が少ないテストはより迅速に実行されます。
複数のモデルをテストする場合、テストセットはすべてのモデルの合計インテントの少なくとも 25% をカバーする必要があります。モデルが 仮想エージェント または AI 検索で遭遇する可能性が高い発言を含むテストセットを使用します。
注:
テストセットで想定されるインテントがモデルのどのインテントとも一致しない場合、その想定されるインテントとそのテスト発言はスキップされます。これらはテスト結果にカウントされず、表示されません。
デフォルトのテストセットに対して単一のモデルをテストするには、モデルの概要ページで モデルのテストと公開 フェーズを使用します。詳細については、「モデルをテストおよび公開」を参照してください。
手順
-
[ 新しいバッチテストを実行 ] ウィンドウで、リストからモデルを選択します。
-
[Run (実行)] をクリックします。
新しいテスト が [テスト結果 ] リストに表示され、[ テスト中... ステータス。
次のタスク
バッチテストが終了すると、ステータスが [完了] に変わります。テストセットの名前をクリックすると、テスト結果を表示できます。
その結果を使用して、モデルを調整および改善します。次に、テストを再度実行してパフォーマンスを評価します。
バッチテストは、信頼度しきい値の推奨事項に影響を与える可能性があります。詳細については、「NLU モデル設定」を参照してください。