LLM トピックのテスト
仮想エージェントデザイナーチャットウィンドウで、大規模言語モデル (LLM) を使用するトピックをプレビュー、テスト、デバッグします。
チャットテストウィンドウで会話を実行することで、仕事をしながらトピックの機能をテストできます。デフォルトのテストウィンドウは、Web (サービスポータル) チャットクライアントです。
大規模言語モデル (LLM) トピックは、自然言語理解 (NLU) (NLU) トピックに比べ、より高速かつ簡単にテストできます。たとえば、NLU トピックのように、発言を更新したりモデルを再トレーニングしたりした後に、トピックを再テストする必要がありません。
仮想エージェントとサードパーティのメッセージングアプリとの統合を使用している場合、会話の要素がサードパーティのメッセージングアプリケーションでは異なって表示されることがあります。仮想エージェントを展開する予定のサードパーティアプリケーションで会話をテストします。
チャットテストウィンドウでの LLM トピックのテスト
LLM テストのオプションは、 仮想エージェントデザイナー キャンバスと 仮想エージェントデザイナーの にあります。仮想エージェント チャットウィジェットの Now Assist でチャットテストウィンドウが開きます。[アシスタント] ドロップダウンリストと [トピック検出を含める] オプションは、テストの作成元と LLM アシスタントを設定しているかどうかに応じて表示される場合があります。
トピックヘッダーバーの [テスト] オプションを使用して、仮想エージェントデザイナーキャンバスで LLM トピックをテストします。単一のトピックからテストする場合、アシスタントを操作するには [トピック検出を含める] オプションを選択する必要があります。トピックが複数の LLM アシスタントに関連付けられている場合は、[アシスタント] ドロップダウンリストを使用して、テストするアシスタントを選択します。LLM アシスタントの詳細については、「LLM アシスタント」を参照してください。
または、[トピック] ページでアクティブな (公開済みの) LLM トピックをテストすることもできます。[LLM アシスタント] フィルターを使用して、そのアシスタントに関連付けられたトピックのみにトピックを制限し、[アクティブトピックのテスト] を選択します。[LLM アシスタント] フィルターを使用しない場合は、[アクティブトピックのテスト] ドロップダウンリストから [LLM アシスタントトピックのテスト] を選択します。[トピック] ページの [アクティブトピックのテスト] オプションまたはサブオプションを使用する場合、トピックディスカバリーが有効になっているため、オプションとしては表示されません。[トピック] ページからテストする場合、チャットテストウィンドウに [アシスタント] ドロップダウンリストが表示されます。[アシスタント] ドロップダウンリストを表示するには、少なくとも 仮想エージェント アシスタントでデフォルトの Now Assist を事前に設定しておく必要があります。トピックが 1 つの LLM アシスタントにのみ関連付けられている場合、[アシスタント] ドロップダウンリストのデフォルトはそのアシスタント名です。複数のアシスタントがある場合は、[アシスタント] ドロップダウンリストを使用して、使用するアシスタントを選択します。複数の LLM アシスタントを作成する方法の詳細については、「[アシスタント] 画面での LLM 仮想エージェントの管理」を参照してください。
発言にカーソルを合わせると表示される [いいね] アイコン 
または [低評価] の反対アイコン 
オプションから選択することで、LLM が行った各発言にフィードバックを提供できます。入力コレクターを除くすべての LLM ユーザー入力には、次のフィードバックオプションがあります。
チャットテストウィンドウには、隣接するタブも表示されます。これらのタブには、テスト時にトピックに関する詳細情報が表示されます。LLM トピックをテストするときは、次のタブを使用できます。
- [テストフレーズを分析] - 入力に基づくトピックディスカバリーの結果。
- 指示の変更 :LLM に送信されるトピック内のすべての指示のリスト。このタブは、単一のトピックをテストする場合にのみ使用できます。
- [変数] - 入力変数やライブエージェント変数など、会話で使用されるすべての変数のリスト。
- [変数を編集] - このトピックで使用される変数を編集するためのオプション。
- [コンテキスト] - トピックが実行されるコンテキストを (コンテキスト変数を使用して) 指定するためのオプション。
- [ログ] - 実行された処理のリスト。
- [テストフレーズを分析]、[指示を変更]、[変数]、[ログ] タブは、すべての LLM トピックタイプに対して表示されます。
- [変数を編集] タブは、トピックブロックとカスタムコントロールに対して表示されます。
- [コンテキスト] タブは、[トピック検出を含める] を選択した場合に、トピック、セットアップトピック、または雑談トピックに対して表示されます。
[トピック] ページからテストを実行する場合、テストウィンドウには、[テストフレーズを分析]、[変数]、[コンテキスト] (デフォルトで利用可能で、[トピック検出を含める] オプションはなし)、および [ログ] タブのみが表示されます。
[テストフレーズを分析] タブ
LLM トピックをテストすると、入力に基づいてトピックディスカバリーの結果が表示されます。プライマリ LLM アシスタントに関連付けられたトピックをテストすると、プライマリアシスタントの昇格された資産のみが表示されます。テストフレーズを入力すると、Genius 結果 が有効になる場合、スキル (トピック) ディスカバリー、ナレッジベース (KB) 記事、カタログアイテムなど、さまざまな検索結果が表示されます。スキル検索結果では、発見されたスキルの横に Matching バッジが表示され、トピックに応じて変数と値 (変数 @laptop_make や値 macbook など) もリスト表示される場合があります。これらの Genius 結果は、公開されたトピックをテストしていて、[トピック検出を含める] オプションを選択した場合にのみ表示されます。[トピック検出を含める] オプションが非アクティブになっている場合は、トピックを公開し、[プロパティ] タブで LLM アシスタントを選択してトピックディスカバリーを操作します。「検索インデックス作成を実行しています」というメッセージが表示されることがあります。ただし、トピックディスカバリーが更新されない可能性はあるものの、検索インデックス作成の実行中にテストすることはできます。Genius 結果の仕組みの詳細については、「Now Assist in AI Search」を参照してください。
さらに、[トピック] ページからアクティブな LLM アシスタントトピックをテストすると、セマンティック検索のスキル結果が表示されます。セマンティック検索は、検索用語の意味とコンテキストを分析し、その情報を使用して意味が似ている結果を見つけます。自然言語を解釈して検索の意図をより正確に反映することで、検索の再現性を改善します。トピックディスカバリーテストのためにセマンティック検索が無効になっている場合、それらの結果は表示されません。セマンティック検索の詳細については、「Semantic vector search in AI Search」を参照してください。
[指示を変更] タブ
LLM に送信される指示がトピックに含まれている場合は、ノードカテゴリに表示されます。ノードカテゴリには、キャンバス上の LLM ユーザー入力ノード、そのフィールド名とその内容が表示されます。
任意の指示の内容を変更して、会話に最適な指示を作成できます。ノードで [ユーザープロンプトの実行] がアクティブな場合は、青色のチェックアイコンが 
され、[ ユーザープロンプトが強制されました] メッセージが表示されます。ノードの指示を変更するには [ユーザーにプロンプトを強制] を非アクティブにします。
いずれかのユーザー入力で [自動スロット入力を許可] がアクティブになっている場合、入力の [詳細な説明] は静的フィールドになります。[自動スロット入力を許可] が非アクティブになっている場合、スクリプトまたはデータピルピッカーを使用して詳細な説明を定義できます。詳細については、テキストユーザー入力コントロール またはその他の LLM ユーザー入力コントロールで「自動スロット入力のテーブルエントリを許可する」を参照してください。
表示されます。変更された指示の合計数が、タブの下部の [トピックに保存] ボタンの横に表示されます。変更した指示をテストするには、[適用して再起動] を選択します。指示の変更を元に戻すには、指示の横にある [元に戻す] アイコンを選択します。または、指示を変更するとアクティブになる [元に戻す] を選択して、すべての変更を元に戻します。次の画像は、[指示 の変更] タブに LLM 指示ガイドラインのリンクを含むユーザー情報と、「ユーザープロンプトが強制されるロックされたノードを含む、入力コレクター内に保持されているノード」を示しています。
次の画像は、[変更された指示] および [トピックに保存] の更新を含む [ 指示の変更 ] タブを示しています。変更を加えると、[元に戻す]、[適用]、および [再起動] オプションが有効になります。
ノード内の指示に不快なコンテンツが含まれる可能性がある場合、ノードに警告バッジが表示されます。ノード名の横に黄色の警告アイコン 
が表示されます。[適用して再起動] を選択すると、これらの指示が入力されて、バッジとアイコンが削除され、[変更] ステータスが [オリジナル] に戻ります。
次の画像は、不快なコンテンツの警告バッジ、アイコン、ホバーメッセージが表示されている [指示の変更 ] タブを示しています。
[変数] タブ
- 入力変数
- スクリプト変数
- ライブエージェント の変数
- 呼び出し元トピックとトピックブロック間で渡される変数
次の例は、グループ化されたリストコントロールの [入力変数] セクションを示しています。この変数情報は、静的リストコントロールと同様に表示されますが、変数はグループ化された選択肢のグループごとに分けられています。
[変数を編集] タブ
トピックブロックとカスタムコントロールをテストするときに、ノードにある変数を編集できます。
[コンテキスト] タブ
[コンテキスト] タブは、トピック、セットアップトピック、または雑談トピックをテストして、チャットに別のコンテキストを指定するときに表示されます。リストからコンテキスト変数を選択します。この変数には、トピックのインテントを決定したり、チャットをライブエージェントにルーティングする方法をコントロールするために使用できる、コンテキスト情報が含まれています。たとえば、変数のリストから portal を選択し、ポータル名「IT Express」を入力できます。テストケースの作成中は [コンテキスト] タブを使用できません。
コンテキスト変数の定義の詳細については、「 チャット関連情報を保存するためのコンテキスト変数を設定」を参照してください。仮想エージェントに含まれるライブエージェント変数の詳細については、「ライブエージェントチャットのコンテキスト変数」を参照してください。
[ログ] タブ
[ ログ ] タブには、チャット内のサーバーイベント、ユーザーエントリ、および 仮想エージェント 応答の実行ログが表示されます。ログを確認して、潜在的なエラーなど、チャットに関する重要なデータを探すことができます。
次のステップ
トピックのテストが終了したら、テストチャットウィンドウを閉じます。必要に応じて、テスト情報を使用してトピックを調整し、より正確に実行できるようにします。たとえば、[テストフレーズを分析] タブで、結果に低いスコアや、[不確実 (Unsure)] または [不明 (Unknown)] の信頼度評価が返される場合があります。LLM ユーザー入力ノードのトピックの説明または指示を更新することで、スコアを向上させることができます。