LLM トピックのテスト

仮想エージェントデザイナーチャットウィンドウで、大規模言語モデル (LLM) を使用するトピックをプレビュー、テスト、デバッグします。

チャットテストウィンドウで会話を実行することで、仕事をしながらトピックの機能をテストできます。デフォルトのテストウィンドウは、Web (サービスポータル) チャットクライアントです。

大規模言語モデル (LLM) トピックは、自然言語理解 (NLU) (NLU) トピックに比べ、より高速かつ簡単にテストできます。たとえば、NLU トピックのように、発言を更新したりモデルを再トレーニングしたりした後に、トピックを再テストする必要がありません。

仮想エージェントとサードパーティのメッセージングアプリとの統合を使用している場合、会話の要素がサードパーティのメッセージングアプリケーションでは異なって表示されることがあります。仮想エージェントを展開する予定のサードパーティアプリケーションで会話をテストします。

注:

Now Assistパネル、Microsoft Teamsアプリケーション、またはSlackアプリケーションが環境に構成されている場合、それらのチャネルのプレビューオプションが [テスト] ボタンリストに表示されます。リストの [Now Assist パネルでのプレビュー] または [Microsoft Teams でプレビュー] を選択し、その環境でトピックをテストします。

チャットテストウィンドウでの LLM トピックのテスト

注:

仮想エージェントにNow Assistをインストールし、Now Assistトピックスキルをオンにすると、更新された仮想エージェントデザイナーユーザーインターフェイスを使用できます。このコンテンツは、このスキルをアクティブ化し、リストビューを表示できることを前提としています。このスキルが有効になっていない場合は、従来の UI とトピックページが表示されます。詳細については、 仮想エージェントデザイナーの従来のトピックページを参照してください。

LLM テストのオプションは、 仮想エージェントデザイナー キャンバスとホームページにあります。チャットウィジェットの 仮想エージェントNow Assist でチャットテストウィンドウが開きます。[アシスタント] ドロップダウンリストと [ トピックディスカバリーを含める ] オプションは、テストの作成元と LLM アシスタントを確立しているかどうかに応じて表示される場合があります。

トピックヘッダーバーの [テスト] オプションを使用して、仮想エージェントデザイナーキャンバスで LLM トピックをテストします。単一のトピックからテストする場合、アシスタントを操作するには [トピックディスカバリーを含める ] オプションを選択する必要があります。トピックが複数の LLM アシスタントに関連付けられている場合は、[アシスタント] ドロップダウンリストを使用して、テストするアシスタントを選択します。LLM アシスタントの詳細については、「 」を参照してください。

注:

トピックに必要な情報が不足している場合は、フロー図ペインの隅に「未完了」バッジが表示されます。各ノードの横にも警告バッジが表示されます。未完了バッジには問題の合計数がリストされ、ローカル警告バッジには各ノードで見つかった問題の数が表示されます。問題があるときに [テスト] を選択すると、[問題] ウィンドウが開き、存在する問題の数と各問題の詳細が表示されます。これらの詳細には、未完了の各アイテムの詳しい説明とハイパーリンクが含まれています。

または、ホームページでアクティブな (公開された) LLM トピックをテストすることもできます。アシスタントを選択して、そのアシスタントに関連付けられたトピックのみにトピックを制限し、[ テストアシスタント] を選択します。ホームページからテストする場合は、トピックディスカバリーが有効になっているため、オプションとして表示されません。[アシスタント] ドロップダウンリストがチャットテストウィンドウに表示されます。[アシスタント] ドロップダウン リストを表示するには仮想エージェントアシスタントで少なくともデフォルトのNow Assistを事前に確立しておく必要があります。トピックが 1 人の LLM アシスタントにのみ関連付けられている場合、[アシスタント] ドロップダウンリストのデフォルトはそのアシスタント名です。複数のアシスタントがいる場合は、[アシスタント] ドロップダウンリストを使用して、使用するアシスタントを選択します。複数の LLM アシスタントの作成の詳細については、「 [アシスタント] 画面で LLM 仮想エージェントを管理する」を参照してください。

LLM が行った各発言に対してフィードバックを提供するには、[いいね!] アイコン [賛 または反対アイコン 反対アイコン 反対 発言にカーソルを合わせたときに表示されるオプション。入力コレクターを除くすべての LLM ユーザー入力には、これらのフィードバックオプションがあります。

チャットテストウィンドウには、隣接するタブも表示され、テスト時にトピックの詳細が表示されます。LLM トピックをテストするときは、次のタブを使用できます。

• [テストフレーズを分析] - 入力に基づくトピックディスカバリーの結果。
• 変更指示 :LLM に送信されるトピック内のすべての指示のリスト。このタブは、単一のトピックをテストする場合にのみ使用できます。
• [変数] - 入力変数やライブエージェント変数など、会話で使用されるすべての変数のリスト。
• [変数を編集] - このトピックで使用される変数を編集するためのオプション。
• [コンテキスト] - トピックが実行されるコンテキストを (コンテキスト変数を使用して) 指定するためのオプション。
• [ログ] - 実行された処理のリスト。

図 : 1. テストウィンドウとタブの例

仮想エージェントデザイナーのキャンバスで関連するトピックタイプをテストすると、次のタブが表示されます。

• すべての LLM トピックタイプに対して、[ テストフレーズを分析]、[ 手順を変更]、[ 変数]、および [ログ ] タブが表示されます。
• [変数を編集] タブは、トピックブロックとカスタムコントロールに対して表示されます。
• [トピックディスカバリーを含める] を選択すると、トピック、セットアップトピック、または雑談トピックの [コンテキスト] タブが表示されます。

[トピック] ページからテストを実行する場合、テストウィンドウには [テストフレーズを分析]、[ 変数]、[ コンテキスト ] (デフォルトで利用可能で、[ トピックディスカバリー を含める] オプションはなし)、および [ログ ] タブのみが表示されます。

[テストフレーズを分析] タブ

LLM トピックをテストすると、入力に基づいてトピックディスカバリーの結果が表示されます。プライマリ LLM アシスタントに関連付けられたトピックをテストすると、プライマリアシスタントの昇格されたトピックのみが表示されます。テストフレーズを入力すると、Genius 結果 が有効になります。これには、スキル (トピック) ディスカバリー、 ナレッジベース (KB) 記事、カタログアイテムが含まれます。スキル検索結果では、 検出されたスキルの横に Matching バッジが表示されます。 トピックによっては、変数と値 (変数 @laptop_make や値 macbookなど) も一覧表示される場合があります。これらの Genius 結果は、公開されたトピックをテストしていて、[ トピックディスカバリーを含める ] オプションを選択した場合にのみ表示されます。[ トピックディスカバリーを含める ] オプションが非アクティブになっている場合は、トピックを公開し、[プロパティ] タブで LLM アシスタントを選択してトピックディスカバリーを操作します。「検索インデックス作成を実行しています」というメッセージが表示されることがありますが、トピックディスカバリーが更新されない可能性はありますが、検索インデックス作成の実行中にテストすることはできます。Genius 結果のしくみの詳細については、「 Now Assist in AI Search」を参照してください。

さらに、[トピック] ページからアクティブな LLM アシスタントトピックをテストすると、セマンティック検索のスキル結果が表示されます。セマンティック検索は、検索用語の意味とコンテキストを分析し、その情報を使用して意味が似ている結果を見つけます。自然言語を解釈して検索の意図をより正確に反映することで、検索の再現性を改善します。トピックディスカバリーテストのためにセマンティック検索が無効になっている場合、それらの結果は表示されません。セマンティック検索の詳細については、「Semantic vector search in AI Search」を参照してください。

[指示を変更] タブ

トピックに LLM に送信される指示が含まれている場合は、[ノード] カテゴリに表示されます。[ノード] カテゴリには、キャンバス上の LLM ユーザー入力ノード、そのフィールド名、および内容が一覧表示されます。

任意の指示の内容を変更して、会話に最適な指示を作成することができます。ノードの [ユーザープロンプトの適用 ] がアクティブな場合は、青色のチェックアイコン が表示され、[ ユーザープロンプトの適用] メッセージが表示されます。ノードの指示を変更する ためのユーザープロンプトを強制 を非アクティブ化します。

いずれかのユーザー入力で [ 自動スロット入力を許可 (Allow automatic slot filling )] が有効になっている場合、入力の [詳細な説明] は静的フィールドになります。[ スロットの自動入力を許可 ] が非アクティブの場合は、スクリプトまたはデータピルピッカーを使用して詳細な説明を定義できます。詳細については、 テキストユーザー入力コントロール またはその他の LLM ユーザー入力コントロールで [自動スロット入力テーブルエントリを許可する] を参照してください。

各指示のステータスは [オリジナル] から始まります。指示の内容を変更すると、そのステータスが [変更済み] に変わり、[元に戻す] アイコン [ その横に表示されます。変更された指示の合計数は、タブの下部の [ トピックに保存 ] ボタンの横に表示されます。変更した手順をテストするには、[ 適用して再起動] を選択します。指示の変更を元に戻すには、指示の横にある元に戻すアイコンを選択します。または、指示を変更するとアクティブ化される [元に戻す] を選択して、すべての変更を元に戻します。

注:

[トピックに保存] を選択すると、すべての変更が保存され、変更されたメッセージはすべて元のメッセージにリセットされます。

次の画像は、LLM 指示ガイドラインリンクを含むユーザー情報を示す [ 指示を変更 ] タブと、ユーザープロンプトが適用されたメッセージのあるロックされたノードを含む、入力コレクター内に保持されているノードを示しています。

次の画像は、[変更された指示] と [トピックに保存] の更新を含む [ 指示を変更 ] タブを示しています。変更を加えると、[ 元に戻す ]、[ 適用]、および [再起動 ] オプションがアクティブになります。

ノード内の指示に不快感を与える可能性のあるコンテンツが含まれている場合、ノードに警告バッジが表示されます。黄色の警告アイコン がノード名の横に表示されます。[適用して再起動] を選択すると、これらの指示が入力され、バッジとアイコンが削除され、[変更済み] ステータスが [オリジナル] に戻ります。

次の画像は、不快なコンテンツの警告バッジ、アイコン、およびホバーメッセージが表示されている [ 手順を変更 (Modify instructions )] タブを示しています。

[変数] タブ

[変数] タブには、追跡できるように、会話で使用されるすべての変数のリストと、会話の進行中にキャプチャされる関連する値が表示されます。会話には次の変数タイプを設定できます。

• 入力変数
• スクリプト変数
• ライブエージェント の変数
• 呼び出し元トピックとトピックブロック間で渡される変数

リストは、変数のタイプによってセクションに分けられます。次の例は、[入力変数] セクションを示しています。静的リストコントロールでは、選択した選択肢の表示ラベルと値の両方がキャプチャされることに注意してください。

次の例は、グループ化されたリストコントロールの [入力変数] セクションを示しています。この変数情報は、静的リストコントロールと同様に表示されますが、変数はグループ化された選択肢のグループごとに分けられています。

[変数の編集] タブ

トピックブロックとカスタムコントロールをテストするときに、ノードにある変数を編集できます。

[コンテキスト] タブ

[コンテキスト] タブは、トピック、セットアップトピック、または雑談トピックをテストして、チャットに別のコンテキストを指定するときに表示されます。リストからコンテキスト変数を選択します。この変数には、トピックのインテントを決定したり、チャットをライブエージェントにルーティングする方法をコントロールするために使用できる、コンテキスト情報が含まれています。たとえば、変数のリストから portal を選択し、ポータル名「IT Express」を入力できます。テストケースの作成中は [コンテキスト] タブを使用できません。

コンテキスト変数の定義の詳細については、「 チャット関連情報を保存するためのコンテキスト変数を設定」を参照してください。仮想エージェントに含まれるライブエージェント変数の詳細については、「ライブエージェントチャットのコンテキスト変数」を参照してください。

次のステップ

トピックのテストが終了したら、テストチャットウィンドウを閉じます。必要に応じて、テスト情報を使用してトピックを調整し、より正確に実行できるようにします。たとえば、[テストフレーズを分析] タブで、結果に低いスコアや、[不確実 (Unsure)] または [不明 (Unknown)] の信頼度評価が返される場合があります。LLM ユーザー入力ノードのトピックの説明または指示を更新することで、スコアを向上させることができます。

• 拡張チャット会話 Now Assist テスト
  拡張チャットでアシスタントと会話型資産をテストします。