テストセットの作成

NLUテストセットを作成または追加するには、正しいインテントに一致したテスト発言のファイルをアップロードします。テストセットを使用して、モデルのパフォーマンスを評価します。

始める前に

• NLU ワークベンチ - Core プラグイン、NLU ワークベンチ プラグイン、NLU ワークベンチ - 拡張機能型プラグイン、および 予測インテリジェンス プラグインがすべてインストールされ、アクティブ化されていることを確認します
• テストセットは、仮想エージェント および AI 検索用のNLUモデルで使用できます。
• 必要なロール:nlu_editor、nlu_admin、または admin。エディターをモデルに割り当てる必要があります。

このタスクについて

CSV または XLSX (Excel ワークブック) ファイルには、テスト発話と予想されるインテントをペアにするテーブルが含まれている必要があります。ファイルには最大 10,000 件の発話を含めることができます。ファイルに「発言」および「想定されるインテント」というタイトルの列があることを確認します。

注:

英語以外の言語のテストセットの場合は、値 UTF-8 を指定して glide.import.csv.charset システムプロパティを追加する必要があります。「 インポートセットのプロパティ」を参照してください。

最も正確なテスト結果を得るには、モデルがユーザーから遭遇する可能性がある発話を含めます。モデル内のすべてのインテントをカバーするテスト発言があることを確認します。

想定されるインテントのないテスト発話の約 10% を含めることを目標とします。想定されるインテントのない発話を含めると、インテントを予測すべきではない無関係な発話を検出するモデルの能力を評価するのに役立ちます。

注:

ファイル内のテスト発言に想定されるインテントがないことを示すには、「想定されるインテント」の値を空にする必要があります。

表 : 1. テストセットテーブルの例

発言	想定されるインテント
ハンバーガーを食べさせてください	順序
支払いたい	支払い
甘いものを手に入れて	順序
レストランは営業していますか
支払いに問題があります	注文、支払い
総額	支払い

手順

1. 移動先 すべて > NLU ワークベンチ > NLU の高度な機能 > マルチモデルバッチテスト.
2. [Test sets (テストセット)] をクリックする
3. [ Create test set (テストセットを作成)] をクリックします。

   

4. テストセットの名前を選択します。
5. 言語を選択します。
6. [ ファイルを選択 ] をクリックし、CSV または XLSX (Excel ワークブック) ファイルを選択します。
7. [作成] をクリックします。
   テストセットがリストに表示されます。

次のタスク

テストセットを使用して、モデルでテストを実行します。方法については、「 モデルをテスト 」または「 マルチモデルバッチテストの実行」を参照してください。

テストセットを作成したら、さらに発話を追加できます。テストセットを表示しているときに、[ 発話をインポート]をクリックします。

図 : 1. [発言をインポート] ボタンがあるテストセットページ

インポートする追加の発言を含む CSV または XLSX (Excel ワークブック) ファイルを選択します。

図 : 2. [発言をインポート (Import utterances)] ウィンドウ

[インポート] をクリックします。発言がテストセットに追加されます。インポート後、テストセットを使用するテストを再実行します。