テストセットの作成と管理

NLUモデルのデフォルトのテストセットを使用して、モデルのパフォーマンスと精度をテストします。NLU ワークベンチ内でコンテンツをビルドまたは更新することで、テストセットを経時的に管理します。

注:

モデルをテストするには、 ServiceNow® Store アプリケーション NLU ワークベンチ - 拡張機能 (Advanced Features) をインストールします。詳細については、「NLU ワークベンチのインストール:拡張機能」を参照してください。

仮想エージェントまたはAI 検索用のNLUモデルを作成すると、デフォルトのテストセットが作成され、モデルに関連付けられます。デフォルトのテストセットを使用して、モデルのパフォーマンスを評価できます。最初はテストセットは空で、コンテンツを入力する準備ができています。

デフォルトのテストセットにアクセスする

次のいずれかの方法で、デフォルトのテストセットにアクセスします。

• 移動先 すべて > NLU ワークベンチ > モデル. モデルのアプリケーションのタブを選択し、リストからモデルの名前を選択します。モデルの概要ページで、 [ Build and Train your model (モデルの構築とトレーニング )] カードを見つけ、その [ View phase (フェーズを表示 )] ボタンを選択します。次に、 [ テストセット ] タブを選択します。
• 移動先 すべて > NLU ワークベンチ > モデル. モデルのアプリケーションのタブを選択し、リストからモデルの名前を選択します。モデルの概要ページで、 [ テスト カバレッジ ] タイルを選択します。
• 移動先 すべて > マルチモデルバッチテスト > テストセット タブに戻りますモデルの名前を見つけます。デフォルトのテストセットには 「デフォルト」というラベルが付けられます。

デフォルトのテストセットにコンテンツを追加する

発話と想定されるインテントを追加して、時間の経過とともにテストセットをビルドおよび管理します。次の方法で、デフォルトのテストセットにコンテンツを追加できます。

• テスト発言と想定されるインテントを手動で追加します。モデルの概要ページから、 モデルの構築とトレーニング > テストセット タブに戻ります[ Type a test utterance here (テスト発言をここに入力 )] フィールドに入力し、適切なインテントを選択して、[ Add (追加 )] ボタンを選択します。

  これらのテスト発言には、 手動のソースが割り当てられます。

• テスト発言と想定されるインテントを CSV ファイルまたは他のモデルからインポートします。デフォルトのテストセットにコンテンツをインポートするには、モデルの概要ページから モデルの構築とトレーニング > テストセット タブに戻ります[ テスト発言をインポート] を選択します。

  インポートされたテスト発言には 、手動のソースが割り当てられます。

• 専門家フィードバックループ機能を使用すると、 仮想エージェント チャットログから実際のユーザーの発言をテストセットに追加できます。

  これらのテスト発言には、 専門家フィードバックのソースが割り当てられます。詳細については、「NLU 専門家フィードバックループ」を参照してください。

テスト範囲

テスト範囲スコアは、デフォルトのテストセットにテスト発言があるモデルの有効なインテントの割合です。モデルをテストする前に、少なくとも 60% のカバレッジがあることを確認してください。テスト範囲スコアが高いほど、パフォーマンステストの結果はより正確になります。

バッチテスト中にシステムが最適な信頼度しきい値を提供するには、テスト範囲が 60 % 以上で、インテントごとに少なくとも 5 つのテスト発言がある必要があります。信頼度しきい値の詳細については、「 NLU モデル設定」を参照してください。

モデルのテスト発話の約 10% を「関連なし」、つまりインテントが関連付けられていないとマークすることを目指します。これは、インテントを予測すべきではない無関係な発話をモデルがどのように処理するかを評価するのに役立ちます。無関係な発話の詳細については、「 NLU での無関係の検出」を参照してください。

テストセットを使用する

モデルのテストと発行フェーズの既定のテスト セットを使用するには、「モデルをテストおよび公開」を参照してください。

マルチモデルバッチテストでテストセットを使用するには、「 マルチモデルバッチテスト」を参照してください。

デフォルトのテストセットの特性

インスタンスがアップグレードされると、まだ存在しない既存のモデルに対してデフォルトのテストセットが作成されます。

[このモデルを複製] を使用してモデルをコピーすると、元の既定のテスト セットが新しいモデルにコピーされます。詳細については、「NLU モデルの複製」を参照してください。

テストセット内の発言は、トレーニングセット内の発言と同じであってはなりません。

デフォルトのテストセットをモデルとは別に削除することはできません。

テストセットの発話は、そのモデルと同じ言語である必要があります。

テストセットは、 仮想エージェント モデルまたは AI 検索 モデルで使用できます。

デフォルトのテストセットのダウンロードまたは移動

デフォルトのテストセットは、次のようにダウンロードまたは移動できます。

• デフォルトのテストセットは、CSV 形式で個別にダウンロードできます。テストセットをダウンロードするには、モデルの概要ページから モデルの構築とトレーニング > テストセット タブに戻ります[ テストセットのダウンロード] を選択します。
  注:

  [テストセットをダウンロード] からダウンロードしたテストセットには、テスト発言とその想定されるインテントが含まれていますが、ソースは含まれていません。
• デフォルトのテストセットは、更新セットと一緒に移動できます。NLUモデルを更新セットに追加すると、テスト発言、想定されるインテント、ソースを含むデフォルトのテストセットが追加されます。詳細については、「更新セットへの NLU モデルの追加」を参照してください。
• [既存のすべてのモデル] テーブルで [CSV としてモデルをエクスポート] 機能を使用する場合、デフォルトのテストセットは含まれません。詳細については、「NLU モデルのエクスポート」を参照してください。