LLM トピックのテスト

仮想エージェントデザイナーチャットウィンドウで、大規模言語モデル (LLM) を使用するトピックをプレビュー、テスト、デバッグします。

チャットテストウィンドウで会話を実行することで、仕事をしながらトピックの機能をテストできます。デフォルトのテストウィンドウは、Web (サービスポータル) チャットクライアントです。

大規模言語モデル (LLM) トピックは、自然言語理解 (NLU) (NLU) トピックに比べ、より高速かつ簡単にテストできます。たとえば、NLU トピックのように、発言を更新したりモデルを再トレーニングしたりした後に、トピックを再テストする必要がありません。

仮想エージェントとサードパーティのメッセージングアプリとの統合を使用している場合、会話の要素がサードパーティのメッセージングアプリケーションでは異なって表示されることがあります。仮想エージェントを展開する予定のサードパーティアプリケーションで会話をテストします。

注:

Now Assist パネルまたは Microsoft Teams アプリケーションが環境に構成されている場合、それらのチャネルのプレビューオプションが [テスト] ボタンリストに表示されます。リストの [Now Assist パネルでのプレビュー] または [Microsoft Teams でプレビュー] を選択し、その環境でトピックをテストします。

チャットテストウィンドウでの LLM トピックのテスト

図 : 1. LLM テストのオプション

トピックヘッダーバーの [テスト] オプションを操作して、仮想エージェントデザイナーキャンバスで LLM トピックをテストします。単一のトピックからテストする場合、アシスタントを操作するには [ Include topic discovery (トピックディスカバリーを含める )] オプションを選択する必要があります。トピックが複数の LLM アシスタントに関連付けられている場合は、[アシスタント] ドロップダウンリストを使用して、テストするアシスタントを選択します。LLM アシスタントの詳細については、「 LLM アシスタント」を参照してください。

注:

トピックに必要な情報が不足している場合は、フロー図ペインの隅に「未完了」バッジが表示されます。また、各ノードの横に黄色または赤色の警告バッジが表示されます。未完了バッジには問題の合計数がリストされ、ローカル警告バッジには各ノードで見つかった問題の数が表示されます。問題があるときに [テスト] を選択すると、[問題] ウィンドウが開き、存在する問題の数と各問題の詳細が表示されます。これらの詳細には、未完了の各アイテムの詳しい説明とハイパーリンクが含まれています。

または、[トピック] ページでアクティブな (公開済みの) LLM トピックをテストすることもできます。LLM アシスタントフィルターを使用して、そのアシスタントに関連付けられたトピックのみにトピックを制限し、[アクティブなトピックのテスト] を選択します。LLM アシスタントフィルターを使用しない場合は、[アクティブトピックのテスト] ドロップダウンリストから [LLM アシスタントトピックのテスト] を選択します。[トピック] ページから [ アクティブトピックのテスト ] オプションまたはサブオプションを使用すると、トピックディスカバリーが有効になるため、オプションとして表示されません。[トピック] ページからテストすると、チャットテストウィンドウに [アシスタント] ドロップダウンリストが表示されます。[アシスタント] ドロップダウンリストを表示するには仮想エージェントアシスタントで少なくともデフォルトのNow Assistを事前に設定しておく必要があります。トピックが 1 人の LLM アシスタントにのみ関連付けられている場合、[アシスタント] ドロップダウンリストはデフォルトでそのアシスタント名になります。複数のアシスタントがいる場合は、[アシスタント] ドロップダウンリストを使用して、連携するアシスタントを選択します。複数の LLM アシスタントの作成の詳細については、「 [アシスタント] 画面での LLM 仮想エージェントの管理」を参照してください。

仮想エージェント Web クライアントのNow Assistでチャットテストウィンドウが開きます。[アシスタント] ドロップダウンリストと [ トピックディスカバリーを含める ] オプションは、テストを開始した場所と LLM アシスタントを確立しているかどうかに応じて表示される場合があります。

発言にカーソルを合わせたときに表示される「いいね!」アイコン (「 」アイコン) または「よくないね」アイコン (「いいね」アイコン) または [よくないね] アイコン (「 のオプションから選択することで、LLM によって行われた各発言にフィードバックを提供できます。入力コレクターを除くすべての LLM 対応ユーザー入力には、次のフィードバックオプションがあります。

図 : 2. LLM 発言フィードバックオプション

チャットテストウィンドウには、テスト時にトピックに関する詳細を提供する隣接するタブも表示されます。LLM トピックをテストするときは、次のタブを使用できます。

• [テストフレーズを分析] - 入力に基づくトピックディスカバリーの結果。
• 指示の変更 :LLM に送信されるトピック内のすべての指示のリスト。このタブは、単一のトピックをテストする場合にのみ使用できます。
• [変数] - 入力変数やライブエージェント変数など、会話で使用されるすべての変数のリスト。
• [変数を編集] - このトピックで使用される変数を編集するためのオプション。
• [コンテキスト] - トピックが実行されるコンテキストを (コンテキスト変数を使用して) 指定するためのオプション。
• [ログ] - 実行された処理のリスト。

図 : 3. LLM チャットテストのテストウィンドウとテストタブの例

仮想エージェントデザイナーのキャンバスで関連するトピックタイプをテストすると、次のタブが表示されます。

• すべての LLM トピックタイプに対して、[ テストフレーズを分析]、[ 指示を変更 (Modify instructions)]、[ 変数]、および [ログ ] タブが表示されます。
• [変数を編集] タブは、トピックブロックとカスタムコントロールに対して表示されます。
• [トピックディスカバリーを含める] を選択すると、トピック、セットアップトピック、または雑談トピックの [コンテキスト] タブが表示されます。

[トピック] ページからテストを実行する場合、テストウィンドウには [ テストフレーズを分析]、[ 変数]、[ コンテキスト ] (デフォルトで利用可能で、[ トピックディスカバリーを含める ] オプションはありません)、および [ログ ] タブのみが表示されます。

[テストフレーズを分析] タブ

LLM 対応のトピックをテストすると、入力に基づいてトピックディスカバリーの結果が表示されます。プライマリ LLM アシスタントに関連付けられたトピックをテストすると、プライマリアシスタントの昇格されたトピックのみが表示されます。テストフレーズを入力すると、さまざまな検索結果が表示されます。 Genius 結果 スキル (トピック) ディスカバリー、 ナレッジベース (KB) 記事、カタログアイテムなどが有効になっています。スキル検索結果の下に、トピックに応じて変数と値 (変数 @laptop_make や値 macbook など) も一覧表示される場合があります。これらの Genius 結果は、公開されたトピックをテストしていて、[ トピックディスカバリーを含める ] オプションを選択した場合にのみ表示されます。[ トピックディスカバリーを含める ] オプションが非アクティブになっている場合は、トピックを公開してトピックディスカバリーを操作します。「検索インデックス作成を実行しています」というメッセージが表示される場合がありますが、トピックディスカバリーが更新されない場合でも、検索インデックス作成の実行中にテストできます。Genius 結果の仕組みの詳細については、「 Now Assist in AI Search」を参照してください。

さらに、[トピック] ページからアクティブな LLM アシスタントトピックをテストすると、セマンティック検索のスキル結果が表示されます。セマンティック検索は、検索用語の意味とコンテキストを分析し、その情報を使用して意味が似ている結果を見つけます。自然言語を解釈して検索の意図をより正確に反映することで、検索の再現性を改善します。トピックディスカバリーテストのためにセマンティック検索が無効になっている場合、それらの結果は表示されません。セマンティック検索の詳細については、「Semantic vector search in AI Search」を参照してください。

図 : 4. LLM トピックの [テストフレーズを分析] タブの例

[指示の変更 (Modify instructions)] タブ

LLM に送信される指示がトピックに含まれている場合は、[ノード] カテゴリに表示されます。ノードカテゴリには、キャンバス上の LLM 対応ユーザー入力ノード、そのフィールド名、およびコンテンツが一覧表示されます。

任意の指示の内容を変更して、会話に最適な指示を開発できます。ノードで [ユーザープロンプトを強制 (Enforce user prompt )] がアクティブになっている場合は、青色のチェックアイコン () と ユーザープロンプトが強制された メッセージが表示されます。[ノードの指示を変更する ためのユーザープロンプトを強制する (Enforce user prompt )] を非アクティブ化します。

各指示のステータスは [オリジナル] から始まります。指示の内容を変更すると、そのステータスが [変更済み ] に変わり、その横に元に戻すアイコン () が表示されます。変更された指示の合計数は、タブの下部の [ トピックに保存 ] ボタンの横に表示されます。変更した手順をテストするには、 [ 適用して再起動] を選択します。指示の変更を元に戻すには、指示の横にある元に戻すアイコンを選択します。または、指示を変更するとアクティブになる [戻す ] を選択して、すべての変更を元に戻します。

注:

[ トピックに保存] を選択すると、すべての変更が保存され、 すべての変更済み メッセージが [オリジナル] にリセットされます。

図 : 5. [指示の変更 (Modify instructions)] タブの例

図 : 6. 例 変更を加えた [指示を変更 (Modify instructions)] タブ

ノード内の指示に不快感を与える可能性のあるコンテンツが含まれている場合は、ノードに警告バッジが表示されます。ノード名の横に黄色の警告アイコン () も表示されます。[ 適用して再起動 ] を選択すると、これらの指示が入力され、バッジとアイコンが削除され、[ 変更済み ] ステータスが [オリジナル] に戻ります。

図 : 7. 不快感を与える可能性のあるコンテンツの警告が表示された [説明の変更] タブの例

[変数] タブ

[変数] タブには、追跡できるように、会話で使用されるすべての変数のリストと、会話の進行中にキャプチャされる関連する値が表示されます。会話には次の変数タイプを設定できます。

• 入力変数
• スクリプト変数
• ライブエージェント の変数
• 呼び出し元トピックとトピックブロック間で渡される変数

リストは、変数のタイプによってセクションに分けられます。次の例は、[入力変数] セクションを示しています。静的リストコントロールでは、選択した選択肢の表示ラベルと値の両方がキャプチャされることに注意してください。

図 : 8. 入力変数のリストの例

次の例は、グループ化されたリストコントロールの [入力変数] セクションを示しています。この変数情報は、静的リストコントロールと同様に表示されますが、変数はグループ化された選択肢のグループごとに分けられています。

図 : 9. グループ化された選択肢変数のリストの例

[変数の編集] タブ

トピックブロックとカスタムコントロールをテストするときに、ノードにある変数を編集できます。

[コンテキスト] タブ

[コンテキスト] タブは、トピック、セットアップトピック、または雑談トピックをテストして、チャットに別のコンテキストを指定するときに表示されます。リストからコンテキスト変数を選択します。この変数には、トピックのインテントを決定したり、チャットをライブエージェントにルーティングする方法をコントロールするために使用できる、コンテキスト情報が含まれています。たとえば、変数のリストから portal を選択し、ポータル名「IT Express」を入力できます。テストケースの作成中は [コンテキスト] タブを使用できません。

コンテキスト変数の定義の詳細については、「 チャット関連情報を保存するためのコンテキスト変数を設定」を参照してください。仮想エージェントに含まれるライブエージェント変数の詳細については、「ライブエージェントチャットのコンテキスト変数」を参照してください。

図 : 10. [コンテキスト] タブの例

次のステップ

トピックのテストが終了したら、テストチャットウィンドウを閉じます。必要に応じて、テスト情報を使用してトピックを調整し、より正確に実行できるようにします。たとえば、[テストフレーズを分析] タブで、結果に低いスコアや、[不確実 (Unsure)] または [不明 (Unknown)] の信頼度評価が返される場合があります。LLM 対応ユーザー入力ノードのトピックの説明または指示を更新することで、スコアを向上させることができます。