チャットストリーミング応答

メッセージ全体がレンダリングされるのを待つのではなく Now Assist LLM チャット会話のためにリアルタイムで合成された応答ストリーム。ストリーミングを使用すると、LLM からの応答をすぐに送信して、要求に返信する際のパフォーマンスを向上させることができます。

合成された応答の LLM 応答メッセージストリーム エンドユーザーに一度にすべて表示されるのではなく、生成されたためです。応答は、一度に 1 文字または 1 単語ずつストリーミングされます。エンドユーザーがチャットに質問または要求を入力すると、合成された応答がストリーミングされ始め、メッセージ全体が配信された後にストリーミングが停止します。応答の生成中は、さまざまな読み込みメッセージ ( 回答の生成など) が表示されます。メッセージのロードの詳細と例については、「 仮想エージェントのレイテンシフィードバック」を参照してください。アニメーションのスパークル 、応答の生成中に表示されます。アニメーションのスパークル 応答が完全にロードされると、アイコンが静的ブランドの 仮想エージェント アイコンに変わります。

ヒント:

ストリーミング中にアニメーションのスパークルアイコンをオフにする場合は、システムプロパティ [sys_properties] テーブルで sn_nowassist_va.nass_animated_avatar_enabled を false に設定します。アニメーション化されたスパークルアイコンがオフの場合、ロードメッセージの後にアニメーション化された省略記号が表示されます アイコン。このシステムプロパティの詳細については、「Available system properties」を参照してください。

標準チャットでは、6 行のテキストがストリーミングされた後に [ さらに表示] リンクが表示されます。[ さらに表示] を選択すると、メッセージ全体が配信されるまで、メッセージの残りの部分がストリーミングされます。

図 : 1. ストリーミングされる標準チャットの合成応答の例 (完全にロード済み)

拡張チャットの場合、ストリーミングは、適用されるすべての場所で合成された応答に適用されます。ストリーミングが完了すると、チャットウィンドウまたは拡張チャットに、切り捨てられた応答ではなく、合成された応答全体が表示されます。合成された応答は、チャットウィンドウまたはポータルの検索結果ページ、および拡張チャットの [Now Assist ] タブでストリーミングできます。

ストリーミングを有効にするには、仮想エージェントガイド付きセットアップでNow Assist中に応答をストリーミングするように AI アシスタントを構成します。詳細については、「アシスタントの構成の概要」を参照してください。

重要:

動的翻訳がオンになっている場合、ストリーミング機能は使用できません。ストリーミングを有効にするには、動的翻訳をオフにする必要があります。