LLM-Themen werden getestet

Vorschau, Test und Debuggen von Themen, die große Sprachmodelle (LLMS) in verwenden Virtual Agent-Designer Chat-Fenster.

Sie können die Funktionen Ihres Themas testen, indem Sie Ihre Konversation während der Arbeit in einem Chat-Testfenster ausführen. Das Web ( Serviceportal) Chat-Client ist das Standardtestfenster.

Themen für große Sprachmodelle (LLM) sind im Vergleich zu schneller und einfacher zu testen Natural Language Understanding( NLU) Themen. Sie müssen Ihr Thema beispielsweise nicht erneut testen, nachdem Sie Äußerungen aktualisiert und Modelle wie mit erneut trainiert haben NLU Themen.

Wenn Sie verwenden Virtual Agent-Integrationen mit Messaging-Apps von Drittanbietern , Elemente in Ihrer Konversation werden in Messaging-Anwendungen von Drittanbietern möglicherweise anders angezeigt. Testen Sie Ihre Konversationen in allen Drittanbieteranwendungen, in denen Sie bereitstellen möchten Virtual Agent.

Hinweis:

Wenn Now Assist Bereich, Microsoft Teams Anwendung, oder Slack Die Anwendung ist für Ihre Umgebung konfiguriert. Vorschauoptionen für diese Kanäle werden in der Liste der Testschaltflächen angezeigt. Wählen Sie Aus Vorschau im Now Assist-Bereich anzeigen Oder Vorschau in Microsoft Teams anzeigen In der Liste, um Ihr Thema in diesen Umgebungen zu testen.

Testen Sie Ihr LLM-Thema im Chat-Testfenster

Hinweis:

Ein aktualisiert Virtual Agent-Designer Die Anwenderoberfläche ist verfügbar, wenn Sie installieren Now Assist In Virtual Agent Und aktivieren Sie Now Assist Themenkompetenz. Dieser Inhalt setzt voraus, dass Sie diese Kompetenz aktiviert haben und die Listenansicht anzeigen können. Wenn diese Kompetenz nicht aktiviert ist, werden die veraltete UI- und Themenseite angezeigt. Weitere Informationen finden Sie unter Virtual Agent-Designer – Seite mit veralteten Themen .

LLM-Testoptionen finden Sie im Virtual Agent-Designer Canvas und die Homepage. Das Chat-Testfenster wird in geöffnet Now Assist In Virtual Agent Chat-Widget. Die Dropdown-Liste „Assistent“ und Themen-Discovery einschließen Die Option wird möglicherweise angezeigt, je nachdem, woher Sie den Test stammen und ob Sie LLM-Assistenten eingerichtet haben.

Testen Sie LLM-Themen auf der Virtual Agent-Designer Canvas durch Arbeit mit Testen Option in der Header-Leiste des Themas. Beim Testen von einem einzelnen Thema wird die verwendet Themen-Discovery einschließen Die Option muss ausgewählt sein, um mit den Assistenten zu arbeiten. Wenn das Thema mehreren LLM-Assistenten zugeordnet ist, wählen Sie in der Dropdown-Liste Assistent aus, welchen Assistenten Sie testen möchten. Weitere Informationen zu LLM-Assistenten finden Sie unter .

Hinweis:

Wenn für Ihr Thema erforderliche Informationen fehlen, wird in der Ecke des Flow-Diagrammbereichs ein unvollständiges Abzeichen angezeigt. Neben jedem Knoten wird auch ein Warnabzeichen angezeigt. Das unvollständige Abzeichen listet die Gesamtzahl der Probleme auf, während die lokalen Warnabzeichen anzeigen, wie viele Probleme in jedem Knoten gefunden werden. Wenn Sie auswählen Testen Wenn Probleme auftreten, wird ein Problemfenster mit der Anzahl der vorhandenen Probleme zusammen mit den Details der einzelnen Probleme geöffnet. Diese Details umfassen eine vollständige Beschreibung und einen Hyperlink zu jedem unvollständigen Element.

Alternativ können Sie aktive (veröffentlichte) LLM-Themen auf der Homepage testen. Wählen Sie einen Assistenten aus, um Ihre Themen auf Themen zu beschränken, die diesem Assistenten zugeordnet sind, und wählen Sie dann aus Testassistent . Beim Testen von der Homepage ist die Themen-Discovery aktiviert, daher wird sie nicht als Option aufgeführt. Die Dropdown-Liste Assistent wird im Chat-Testfenster angezeigt. Sie müssen zuvor mindestens den Standard festgelegt haben Now Assist In Virtual Agent Assistent, um die Dropdown-Liste „Assistent“ anzuzeigen. Wenn ein Thema nur einem LLM-Assistenten zugeordnet ist, wird in der Dropdown-Liste „Assistent“ standardmäßig der Name des Assistenten verwendet. Wenn Sie mehrere Assistenten haben, wählen Sie in der Dropdown-Liste Assistent aus, mit welchem Assistenten Sie arbeiten möchten. Weitere Informationen zum Erstellen mehrerer LLM-Assistenten finden Sie unter Verwalten Sie LLM Virtual Agents auf dem Bildschirm „Assistenten“.

Sie können Feedback zu jeder Äußerung des LLM geben, indem Sie über das Symbol „gefällt Daumen hoch“ auswählen Oder „gefällt nicht“-Symbol „Daumen nach unten“ Optionen, die angezeigt werden, wenn Sie den Mauszeiger über eine Äußerung bewegen. Alle LLM-Anwendereingaben mit Ausnahme des Eingabesammlers haben diese Feedback-Optionen.

Im Chat-Testfenster werden auch angrenzende Registerkarten angezeigt, die beim Testen Details zu Ihrem Thema enthalten. Die folgenden Registerkarten sind beim Testen von LLM-Themen verfügbar:

• Analysieren Sie Testausdrücke – Ergebnisse für die Themen-Discovery basierend auf Ihrer Eingabe.
• Ändern Sie Anweisungen – Liste aller Anweisungen im Thema, die an das LLM gesendet werden. Diese Registerkarte ist nur verfügbar, wenn ein einzelnes Thema getestet wird.
• Variablen – Liste aller in der Konversation verwendeten Variablen, z. B. Eingabe und Servicemitarbeiter Variablen.
• Bearbeiten Sie Variablen – Optionen zum Bearbeiten der in diesem Thema verwendeten Variablen.
• Kontext – Optionen zum Angeben des Kontexts (mithilfe von Kontextvariablen), in dem ein Thema ausgeführt wird.
• Protokolle – Liste der durchgeführten Verarbeitung.

Abbildung : 1. Beispiel für Testfenster und -Registerkarten

Die folgenden Registerkarten werden angezeigt, wenn Sie die zugehörigen Thementypen im testen Virtual Agent-Designer Canvas:

• Die Analysieren Sie Testausdrücke , Ändern Sie Anweisungen , Variablen , Und Protokolle Registerkarten werden für alle LLM-Thementypen angezeigt.
• Die Bearbeiten Sie Variablen Die Registerkarte wird für Themenblöcke und anwenderdefinierte Steuerungen angezeigt.
• Die Kontext Die Registerkarte wird für Themen, Setup-Themen oder Small Talk-Themen angezeigt, wenn Sie auswählen Themen-Discovery einschließen .

Wenn Sie Tests auf der Seite „Themen“ ausführen, wird im Testfenster nur angezeigt Analysieren Sie Testausdrücke , Variablen , Kontext (Standardmäßig verfügbar, ohne Themen-Discovery einschließen Option), und Protokolle Registerkarten.

Registerkarte „Testausdrücke analysieren“

Wenn Sie LLM-Themen testen, werden basierend auf Ihren Eingaben Ergebnisse für die Themen-Discovery angezeigt. Beim Testen von Themen, die einem primären LLM-Assistenten zugeordnet sind, werden nur die heraufgestuften Themen des primären Assistenten angezeigt. Wenn Sie einen Testausdruck eingeben, können Sie in Genius-Ergebnissen eine Vielzahl von Suchergebnissen sehen Sind aktiviert, einschließlich Kompetenzerkennung (Thema), Knowledge Base(KB) Artikel und Katalogelemente. Unter den Suchergebnissen für Kompetenzen A MatchingDas Abzeichen wird neben der erkannten Kompetenz angezeigt, während Variablen und Werte können auch aufgelistet werden (z. B. die Variable @laptop_makeUnd der Wert macbook), abhängig vom Thema . Diese Genius-Ergebnisse werden nur angezeigt, wenn Sie ein veröffentlichtes Thema testen und ausgewählt haben Themen-Discovery einschließen Option. Wenn Themen-Discovery einschließen Die Option wird inaktiv angezeigt. Veröffentlichen Sie das Thema, und wählen Sie auf der Registerkarte Eigenschaften einen LLM-Assistenten aus, um mit der Themen-Discovery zu arbeiten. A Suchindizierung wird ausgeführt Die Nachricht wird möglicherweise angezeigt, Sie können jedoch trotzdem testen, während die Suchindizierung ausgeführt wird, obwohl die Themen-Discovery möglicherweise nicht aktualisiert wird. Weitere Informationen zur Funktionsweise von Genius-Ergebnissen finden Sie unter Now Assist in AI Search.

Außerdem werden beim Testen aktiver LLM-Assistententhemen auf der Seite „Themen“ Kompetenzergebnisse für die semantische Suche angezeigt. Die semantische Suche analysiert die Bedeutungen und den Kontext Ihrer Suchbegriffe und verwendet diese Informationen, um Ergebnisse mit ähnlichen Bedeutungen zu finden. Es verbessert den Rückruf der Suche, indem natürliche Sprache interpretiert wird, um die Absicht Ihrer Suche genauer widerzuspiegeln. Wenn die semantische Suche für Themen-Discovery-Tests deaktiviert ist, werden diese Ergebnisse nicht angezeigt. Weitere Informationen zur semantischen Suche finden Sie unter Semantic vector search in AI Search.

Registerkarte „Anweisungen ändern“

Wenn Ihr Thema Anweisungen enthält, die an das LLM gesendet werden, werden sie in der Kategorie Knoten angezeigt. In der Knotenkategorie werden LLM-Anwendereingabeknoten im Canvas, ihre Feldnamen und ihre Inhalte aufgelistet.

Sie können den Inhalt einer der Anweisungen ändern, um optimale Anweisungen für die Konversation zu entwickeln. Wenn ein Knoten hat Anwenderaufforderung erzwingen Aktiv, ein blaues Häkchsymbol Und ein Anwenderaufforderung erzwungen Nachricht wird angezeigt. Deaktivieren Anwenderaufforderung erzwingen Zum Ändern der Anweisungen des Knotens.

Wenn eine Ihrer Anwendereingaben hat Automatische Slot-Ausfüllung zulassen Wenn diese Option aktiviert ist, wird die Detailbeschreibung der Eingabe zu einem statischen Feld. Wenn Automatische Slot-Ausfüllung zulassen Ist inaktiv, können Sie eine Detailbeschreibung mithilfe eines Skripts oder einer Datenpillenauswahl definieren. Weitere Informationen finden Sie unter Tabelleneintrag Automatisches Ausfüllen von Zeitfenster zulassen in Steuerelement für Texteingaben durch Benutzer Oder andere LLM-Anwendereingabesteuerungen.

Der Status jeder Anweisung beginnt um Original . Wenn Sie den Inhalt einer Anweisung ändern, ändert sich ihr Status in Geändert Und ein Symbol zum Zurücksetzen Wird daneben angezeigt. Die Gesamtzahl der geänderten Anweisungen wird unten auf der Registerkarte neben aufgeführt In Thema speichern Schaltfläche. Um die geänderten Anweisungen zu testen, wählen Sie aus Anwenden und neu starten . Um Änderungen an einer Anweisung rückgängig zu machen, wählen Sie neben der Anweisung das Rückgängig-Symbol. Alternativ können Sie alle Änderungen rückgängig machen, indem Sie auswählen Rückgängig Machen Wird aktiviert, wenn Sie Anweisungen ändern.

Hinweis:

Wenn Sie auswählen In Thema speichern , Alle Änderungen und alle werden gespeichert Geändert Nachrichten auf zurückgesetzt Original .

Die folgende Abbildung zeigt Ändern Sie Anweisungen Registerkarte mit Anwenderinformationen mit dem Link „LLM-Anweisungsrichtlinien“ und Knoten, die sich in einem Eingabesammler befinden, einschließlich eines gesperrten Knotens mit Anwenderaufforderung, wird die Nachricht erzwungen.

Die folgende Abbildung zeigt Ändern Sie Anweisungen Registerkarte mit geänderter Anweisung und Updates „in Thema speichern“. Die Rückgängig Machen Und Anwenden und neu starten Optionen werden aktiviert, wenn Sie Änderungen vornehmen.

Wenn Anweisungen in einem Knoten potenziell anstößige Inhalte enthalten, wird auf dem Knoten ein Warnabzeichen angezeigt. Ein gelbes Warnsymbol Wird neben dem Knotennamen angezeigt. Auswählen Anwenden und neu starten Gibt diese Anweisungen ein und entfernt das Abzeichen und das Symbol sowie das Geändert Status wird auf zurückgesetzt Original .

Die folgende Abbildung zeigt Ändern Sie Anweisungen Registerkarte mit Warnabzeichen für anstößige Inhalte, Symbolen und einer Nachricht mit dem Mauszeiger.

Registerkarte „Variablen“

Die Variablen Auf der Registerkarte wird eine Liste aller in der Konversation verwendeten Variablen und der zugehörigen Werte angezeigt, die während der Konversation erfasst werden, damit Sie folgen können. Eine Konversation kann diese Variablentypen haben:

• Eingabevariablen
• Skriptvariablen
• Servicemitarbeiter-Variablen
• Variablen, die zwischen einem aufrufenden Thema und einem Themenblock übergeben werden

Die Liste ist nach Variablentypen in Abschnitte unterteilt. Das folgende Beispiel zeigt den Abschnitt Eingabevariablen. Beachten Sie, dass für das statische Listensteuerelement sowohl die Anzeigenbezeichnung als auch der Wert für die ausgewählte Auswahl erfasst werden.

Das folgende Beispiel zeigt den Abschnitt „Eingabevariablen“ für das Steuerelement für gruppierte Listen. Diese Variableninformationen werden ähnlich wie das Steuerelement für statische Listen angezeigt, aber die Variablen werden durch jede Gruppe der gruppierten Auswahl getrennt.

Registerkarte „Variablen bearbeiten“

Beim Testen von Themenblöcken und anwenderdefinierten Steuerungen können Sie die in den Knoten gefundenen Variablen bearbeiten.

Registerkarte „Kontext“

Die Kontext Die Registerkarte wird angezeigt, wenn Sie Themen testen, Setup-Themen oder Small Talk-Themen einrichten, um einen anderen Kontext für den Chat anzugeben. Wählen Sie eine Kontextvariable aus der Liste aus. Die Variablen enthalten kontextbezogene Informationen, die verwendet werden können, um die Themenabsicht zu bestimmen oder zu steuern, wie Chats an Servicemitarbeiter weitergeleitet werden. Sie können beispielsweise auswählen Portal Geben Sie in der Liste der Variablen den Portalnamen ein IT-Express . Die Kontext Die Registerkarte ist beim Erstellen von Testfällen nicht verfügbar.

Weitere Informationen zum Definieren von Kontextvariablen finden Sie unter Konfigurieren Sie Kontextvariablen zum Speichern von Chat-bezogenen Informationen. Weitere Informationen zu Variablen für Servicemitarbeiter, die in enthalten sind Virtual Agent, Siehe Live agent chat context variables.

Nächste Schritte

Wenn Sie mit dem Testen Ihres Themas fertig sind, schließen Sie das Test-Chat-Fenster. Verwenden Sie bei Bedarf die Testinformationen, um Ihr Thema so anzupassen, dass es genauer funktioniert. Zum Beispiel die Ergebnisse auf der Analysieren Sie Testausdrücke Registerkarte kann niedrige Punktzahlen oder zurückgeben Unsicher Oder Unbekannt Vertrauensbewertungen. Verbessern Sie Punktzahlen, indem Sie die Themenbeschreibung oder Anweisungen in den LLM-Anwendereingabeknoten aktualisieren.

• Wird Getestet Now Assist Erweiterte Chatkonversationen
  Testen Sie Konversations-Assets mit Assistenten im erweiterten Chat.