NLU/キーワードトピックのテスト

チャットテストウィンドウを使用して、自然言語理解 (NLU) (NLU)/キーワードトピックをプレビュー、テスト、デバッグします。

仮想エージェントデザイナーでトピックの作業中に、チャットテストウィンドウで会話を実行することができます。デフォルトのテストウィンドウは、Web (サービスポータル) チャットクライアントです。

仮想エージェントとサードパーティのメッセージングアプリとの統合を使用している場合、会話の要素がサードパーティのメッセージングアプリケーションでは異なって表示されることがあります。仮想エージェントを展開する予定のサードパーティアプリケーションで会話をテストします。

Now Assistパネル、Microsoft Teamsアプリケーション、またはSlackアプリケーションが環境に構成されている場合、それらのチャネルのプレビューオプションが [テスト] ボタンリストに表示されます。リストの [Now Assist パネルでのプレビュー] または [Microsoft Teams でプレビュー] を選択し、その環境でトピックをテストします。

チャットテストウィンドウでの NLU/キーワードトピックのテスト

図 : 1. NLU/キーワードテストオプションの例

チャットテストウィンドウでトピックを実行するには、トピックヘッダーバーの [テスト] オプションを選択します。または、ホームページでトピックを表示しているときに [ アクティブなトピック のテスト] を選択して、アクティブな (公開 NLU ) トピックをテストすることもできます。

注:

トピックに必要な情報が不足している場合は、フロー図ペインの隅に「未完了」バッジが表示されます。また、各ノードの横に黄色または赤色の警告バッジが表示されます。未完了バッジには問題の合計数がリストされ、ローカル警告バッジには各ノードで見つかった問題の数が表示されます。問題が存在するときに [テスト ] を選択すると、サイドバーに [検証の問題] タブが開き、修正が必要なすべての問題がカウントアップされ、詳細が表示されます。これらの詳細には、詳細な説明と、不完全な各ノードへのハイパーリンクが含まれています。

チャットウィジェットでチャットテストウィンドウが開き、隣接するタブが表示されます。これらのタブには、テスト時にトピックの詳細が表示されます。次のようなタブを使用できます。

• [テストフレーズを分析] - 会話に入力した内容に基づいて、インテントマッチングとエンティティ認識の結果が表示されます。
• 変数: 入力変数やライブエージェント変数など、会話で使用されるすべての変数のリスト。
• [コンテキスト] - トピックが実行されるコンテキストを (コンテキスト変数を使用して) 指定するためのオプション。
• [ログ] - 実行された処理のリスト。

図 : 2. 自然言語理解 (NLU) のチャットテストウィンドウとテストタブの例

デフォルトでは、[トピックディスカバリーを含める] オプションが有効になっています。このオプションでは、テストウィンドウに入力したテストフレーズを使用して、トピックディスカバリーが自動的に実行され、NLU のトピックの予測結果が生成されます。会話は、仮想エージェントの挨拶と、利用可能なトピックのメニュー用のボタンで始まります。

ホームページの [ アクティブなトピックのテスト] オプションまたはサブオプションを使用している場合は、トピックディスカバリーが有効になっているため、オプションとして表示されません。アクティブトピックのテストは、テストケースを作成できない場合を除き、トピックからのテストと同じように動作します。

[テストフレーズを分析] タブ

NLU 対応トピックの場合、[テストフレーズを分析] タブには、チャットテストウィンドウに入力したテストフレーズ (発言) に一致する可能性のあるインテントの分析が表示されます。このタブには、一致するインテントとその予測スコアを含む予測結果と、エンティティ認識およびスロット入力の結果が一覧表示されます。上位の一致が最初に表示されます。予測されるインテントは、NLU サービスで設定された予測の信頼度しきい値によって異なります。

図 : 3. NLU/キーワードトピックの [テストフレーズを分析] タブの例

発言が現在のインテントと一致しない場合は、仮想エージェントデザイナーで発言を追加または変更できます。詳細については、「仮想エージェントトピックの NLU 発言とエンティティの変更」を参照してください。

変更を行い、モデルを再度トレーニングして、満足のいく結果が得られるまで再テストします。トピックの準備ができたら、 仮想エージェントデザイナーからトピックとモデルの両方を公開できます。

[変数] タブ

[変数] タブには、追跡できるように、会話で使用されるすべての変数のリストと、会話の進行中にキャプチャされる関連する値が表示されます。会話には次の変数タイプを設定できます。

• 入力変数
• スクリプト変数
• ライブエージェント変数
• 呼び出し元トピックとトピックブロック間で渡される変数
• トピックのスロット入力変数として宣言される「ノードレス」NLU エンティティ

リストは、変数のタイプによってセクションに分けられます。次の例は、[入力変数] セクションを示しています。静的リストコントロールでは、選択した選択肢の表示ラベルと値の両方がキャプチャされることに注意してください。

図 : 4. 入力変数のリストの例

次の例は、グループ化されたリストコントロールの [入力変数] セクションを示しています。この変数情報は、静的リストコントロールと同様に表示されますが、変数はグループ化された選択肢のグループごとに分けられています。

図 : 5. グループ化された選択肢変数のリストの例

[コンテキスト] タブ

[コンテキスト] タブを使用して、チャットに別のコンテキストを指定します。リストからコンテキスト変数を選択します。これらの変数には、トピックのインテントを決定したり、チャットをライブエージェントにルーティングする方法をコントロールするために使用できる、コンテキスト情報が含まれています。たとえば、変数のリストから portal を選択し、ポータル名「IT Express」を入力できます。テストケースの作成中は [コンテキスト] タブを使用できません。

コンテキスト変数の定義の詳細については、「 チャット関連情報を保存するためのコンテキスト変数を設定」を参照してください。仮想エージェントに含まれるライブエージェント変数の詳細については、「ライブエージェントチャットのコンテキスト変数」を参照してください。

図 : 6. [コンテキスト] タブの例

[ログ] タブ

[ログ] タブには、会話の実行中に記録された処理メッセージとエラーメッセージが表示されます。仮想エージェントデザイナーでスクリプトを使用している場合、スクリプト内の gs.log、gs.print、および gs.warn ステートメントを使用してこのログに情報を出力します。

図 : 7. [ログ] タブの例

次のステップ

トピックのテストが終了したら、テストチャットウィンドウを閉じます。必要に応じて、テスト情報を使用して会話を微調整できます。たとえば、[テストフレーズを分析] タブの結果で、自分の発言に一致する可能性のある複数の発言が返された場合、トピックの [NLU インテント] タブでインテントと NLU モデルの発言を更新できます。

• 仮想エージェントデザイナーでの NLU モデルのトレーニングおよびテスト
  [NLU インテント] タブを使用して、仮想エージェントデザイナーを離れることなく、トピックにマップされた 自然言語理解 (NLU) (NLU) モデルをトレーニングおよび試行します。
• NLU のトピックディスカバリーを使用する仮想エージェントトピックの自動テスト
  仮想エージェントトピックフローの自動テストでは、仮想エージェントデザイナーから ServiceNow 自動テストフレームワーク (ATF) 製品を使用します。自動テストフレームワーク (ATF) から自動テストを作成して実行し、変更後にトピックフローが機能することを確認できます。