モデルをテストおよび公開
NLUモデルのパフォーマンスを評価して、改善が必要な領域を特定します。次に、モデルを公開して、 仮想エージェントなどの他のアプリケーションで使用できるようにします。
使用方法の概要
仮想エージェントまたはAI 検索モデルをデフォルトのテストセットに対してテストし、モデルがどのように応答するかを確認します。テスト結果は、モデルの改善に使用できる情報を提供します。
モデルをテストするには、 . モデルのアプリケーションのタブを選択し、モデルの名前を選択します。[Test and publish your model (モデルのテストと公開)] カードで、[View phase (フェーズを表示)] を選択します。
概要
[モデルのテストと公開] フェーズは、デフォルトで [概要] ページで開きます。[ Run new test (新しいテストを実行 )] と [Publish model (モデルを公開)] のボタンがここにあります。
概要 は、テスト結果を要約した棒グラフを使用して、以前のテスト実行に関する情報を提供します。
以前にテスト実行がある場合は、[ テスト実行日 ] リストから選択して表示できます。
テスト結果テーブルにドリルダウンするには、 [ 詳細な結果 ] タブを選択します。各テスト発言は、その予測とともに [詳細な結果] に一覧表示されます。
テスト結果の理解
テスト結果は、モデルがテストセット内の発話にどのように応答したかを示します。
| パーセンテージ | Description (説明) |
|---|---|
| 正解 | モデルがインテントを正しく予測した発話の割合。 モデルが、 関連性がないとマークされた発話のインテントを予測しない場合、その結果は「正しい」としてカウントされます。 |
| 複数の中で正しい | 複数のインテントが予測された発言の場合。 モデルがインテントを正しく予測したが、発話に属さないインテントも予測した発話の割合。 |
| 欠落 | 予期されたインテントが存在していても、モデルがインテントを予測しなかった発話の割合。 |
| 不正解 | 正しくないインテントをモデルが予測した発話の割合。 |
テストは、モデルの信頼度しきい値に影響を与える可能性があります。信頼度しきい値は、発話のインテントを予測するためにモデルが必要とする信頼性を決定します。信頼度しきい値の詳細については、「 NLU モデル設定」を参照してください。
インテントを予測する必要がない発話の詳細については、「 NLU での無関係の検出」を参照してください。
モデルを公開
モデルの公開の詳細については、「 NLUモデルを公開する」を参照してください。
マルチモデルバッチテスト
[Test and publish your model (モデルのテストと公開)] フェーズでは、デフォルトのテストセットに対してモデルをテストします。マルチモデルバッチテストを使用すると、他のテストセットに対してテストしたり、複数のモデルを一度にテストしたり、テスト結果を確認したりできます。マルチモデルバッチテストを使用するには、 .
詳細については、「マルチモデルバッチテスト」を参照してください。
テストのプロセスの詳細については、「 モデルをテスト」を参照してください。