モデルをテストおよび公開
モデルのパフォーマンスを評価して、改善が必要な領域を特定します NLU 。次に、モデルを公開して、などの 仮想エージェント他のアプリケーションで使用できるようにします。
使用方法の概要
仮想エージェントデフォルトのテストセットに対して OR AI 検索 モデルをテストして、モデルがどのように応答するかを確認します。テスト結果は、モデルを改善するために使用できる情報を提供します。
モデルをテストするには、 . モデルのアプリケーションのタブを選択し、モデルの名前を選択します。[Test and publish your model (モデルのテストと公開)] カードで、[View phase (フェーズの表示)] を選択します。
概要
[Test and publish your model (モデルのテストと公開)] フェーズは、デフォルトで [Overview (概要)] ページで開きます。[ Run new test ] と [Publish model ] のボタンはここにあります。
概要 は、テスト結果を要約した棒グラフとともに、以前のテスト実行に関する情報を提供します。
以前にテストを実行した場合は、[ テスト実行日 ] リストから選択して表示できます。
テスト結果テーブルにドリルダウンするには、 [詳細な結果] タブを選択します。各テスト発話は、その予測とともに [詳細な結果] に一覧表示されます。
テスト結果について
テスト結果は、モデルがテストセット内の発話にどのように応答したかを示します。
| パーセンテージ | 説明 |
|---|---|
| 正確 | モデルがインテントを正しく予測した発言の割合。 モデルが「 関連性なし」とマークされた発言のインテントを予測しない場合、その結果は「正しい」とカウントされます。 |
| 複数の中で正しい | 複数のインテントが予測された発言の場合。 モデルがインテントを正しく予測したが、発言に属さないインテントも予測した発言の割合。 |
| 欠落 | 想定されるインテントが存在しても、モデルがインテントを予測しなかった発言の割合。 |
| 不正確 | モデルが正しくないインテントを予測した発言の割合。 |
テストは、モデルの信頼度しきい値に影響を与える可能性があります。信頼度しきい値は、モデルが発言のインテントを予測するために必要な信頼性を決定します。信頼度しきい値の詳細については、を参照してください NLU モデルの設定。
インテントを予測する必要がない発言については、を参照してください NLU での無関係の検出。
モデルを公開
モデルの公開の詳細については、「」を参照してください モデルを公開するNLU。
マルチモデルバッチテスト
[モデルのテストと公開] フェーズでは、デフォルトのテストセットに対してモデルをテストします。マルチモデルバッチテストを使用すると、他のテストセットに対してテストしたり、複数のモデルを一度にテストしたり、テスト結果を確認したりできます。マルチモデルバッチテストを使用するには、 .
詳細については、「マルチモデルバッチテスト」を参照してください。
テストのプロセスについては、を参照してください モデルをテスト。