LLM-Themen zum Testen

Sie können die Funktionen Ihres Themas testen, indem Sie Ihre Konversation während der Arbeit in einem Chattestfenster ausführen. Der Webchat-Client (Serviceportal) ist das Standardtestfenster.

LLM-Themen (Large Language Model) sind im Vergleich zu Natural Language Understanding (NLU)-Themen schneller und einfacher zu testen. Beispielsweise müssen Sie Ihr Thema nicht wie bei NLU -Themen nach dem Aktualisieren von Äußerungen und dem erneuten Trainieren von Modellen erneut testen.

Wenn Sie die Virtual Agent-Integrationen mit Messaging-Apps von Drittanbieternverwenden, werden Elemente in Ihrer Konversation in Messaging-Anwendungen von Drittanbietern möglicherweise anders angezeigt. Testen Sie Ihre -Konversationen in allen Drittanbieteranwendungen, in denen Sie Virtual Agentbereitstellen möchten.

Hinweis:

Wenn der Bereich Now Assist, die Anwendung Microsoft Teams oder die Anwendung Slack für Ihre Umgebung konfiguriert ist, werden Vorschauoptionen für diese Kanäle in der Liste der Testschaltflächen angezeigt. Wählen Sie in der Liste Vorschau im Now Assist-Bereich oder Vorschau in Microsoft Teams aus, um Ihr Thema in diesen Umgebungen zu testen.

Ihr LLM-Thema wird im Chattestfenster getestet

LLM-Testoptionen finden Sie im Canvas Virtual Agent-Designer und auf der Homepage von. — Abbildung : 1. LLM-Testoptionen

Testen Sie LLM-Themen im Canvas Virtual Agent-Designer, indem Sie mit den Testoptionen in der Themen-Header-Leiste arbeiten. Beim Testen von einem einzelnen Thema aus muss die Option Themen-Discovery einschließen ausgewählt werden, um mit den Assistenten arbeiten zu können. Wenn das Thema mehreren LLM-Assistenten zugeordnet ist, verwenden Sie die Dropdown-Liste Assistent, um auszuwählen, welchen Assistenten Sie testen möchten. Weitere Informationen zu LLM-Assistenten finden Sie unter LLM-Assistenten.

Hinweis:

Wenn in Ihrem Thema wichtige Informationen fehlen, wird in der Ecke des Flow-Diagrammfensters ein Abzeichen für Unvollständige angezeigt. Neben jedem Knoten wird außerdem ein gelbes oder rotes Warnabzeichen angezeigt. Das unvollständige Abzeichen listet die Gesamtzahl der Probleme auf, während die lokalen Warnabzeichen anzeigen, wie viele Probleme in jedem Knoten gefunden wurden. Wenn Sie bei Problemen die Option Test auswählen, wird ein Fenster „Probleme“ mit der Anzahl der vorhandenen Probleme und den Detailinformationen zu den einzelnen Problemen geöffnet. Diese Details umfassen eine vollständige Beschreibung und einen Hyperlink zu jedem unvollständigen Element.

Alternativ können Sie aktive (veröffentlichte) LLM-Themen auf der Seite „Themen“ testen. Verwenden Sie den Filter des LLM-Assistenten, um Ihre Themen auf Themen zu beschränken, die diesem Assistenten zugeordnet sind, und wählen Sie Aktive Themen testenaus. Wenn Sie den LLM-Assistentenfilter nicht verwenden, wählen Sie LLM-Assistententhemen testen in der Dropdown-Liste Aktive Testthemen aus. Wenn Sie die Option Aktive Themen testen oder Unteroptionen auf der Seite „Themen“ verwenden, wird die Themen-Discovery aktiviert und daher nicht als Option aufgeführt. Beim Testen von der Seite „Themen“ wird die Dropdown-Liste „Assistent“ im Chat-Testfenster angezeigt. Sie müssen zuvor mindestens den Standardassistenten Now Assist in Virtual Agent eingerichtet haben, um die Dropdown-Liste „Assistent“ anzuzeigen. Wenn ein Thema nur einem LLM-Assistenten zugeordnet ist, wird in der Dropdown-Liste Assistent standardmäßig der Name dieses Assistenten angezeigt. Wenn Sie mehrere Assistenten haben, wählen Sie in der Dropdown-Liste Assistent aus, mit welchem Assistent Sie arbeiten möchten. Weitere Informationen zum Erstellen mehrerer LLM-Assistenten finden Sie unter Verwalten Sie Virtual Agents für LLM auf dem Bildschirm Assistenten.

Das Chat-Testfenster wird im Chat-Widget Now Assist in Virtual Agent geöffnet. Je nachdem, woher Sie den Test stammen und ob Sie LLM-Assistenten eingerichtet haben, werden möglicherweise die Dropdown-Liste Assistent und die Option Themen-Discovery einbeziehen angezeigt.

Sie können Feedback zu jeder vom LLM gemachten Äußerung geben, indem Sie etwas wie „Daumen hoch“-Symbol „Daumen nach unten“-Symbol Optionen, die angezeigt werden, wenn Sie den Mauszeiger über eine Äußerung bewegen. Alle LLM-Benutzereingaben mit Ausnahme des Eingabesammlers verfügen über diese Feedback-Optionen.

LLM-Antwort auf die Frage an den Anwender „Welche Farbe bevorzugen Sie: Rot oder Grün?“ gefolgt von der Auswahl „rot“ oder „grün“. In der Ecke der Nachricht werden Feedback-Optionen angezeigt, mit denen Sie Feedback geben und nicht liken können. — Abbildung : 2. LLM-Antwortfeedbackoptionen

Im Chat-Testfenster werden auch angrenzende Registerkarten angezeigt, die Details zu Ihrem Thema enthalten, während Sie es testen. Die folgenden Registerkarten sind beim Testen von LLM-Themen verfügbar:

Testausdrücke analysieren – Ergebnisse für die Themen-Discovery basierend auf Ihrer Eingabe.
Änderungsanweisungen : Liste aller Anweisungen im Thema, die an das LLM gesendet werden. Diese Registerkarte ist nur beim Testen eines einzelnen Themas verfügbar.
Variablen : Liste aller in der Konversation verwendeten Variablen, z. B. Eingabe- und Servicemitarbeiter -Variablen.
Variablen bearbeiten : Optionen zum Bearbeiten der in diesem Thema verwendeten Variablen.
Kontext : Optionen zum Angeben des Kontexts (mithilfe von Kontextvariablen), in dem ein Thema ausgeführt wird.
Protokolle : Liste der durchgeführten Verarbeitungen.

Je nach Typ des LLM-Themas, das Sie testen, werden verschiedene Registerkarten angezeigt. — Abbildung : 3. Beispiel für Testfenster und -registerkarten

Die folgenden Registerkarten werden angezeigt, wenn Sie die zugehörigen Thementypen auf dem Canvas Virtual Agent-Designer testen:

Die Registerkarten Testausdrücke analysieren, Anweisungen ändern, Variablenund Protokolle werden für alle LLM-Thementypen angezeigt.
Die Registerkarte Variablen bearbeiten wird für Themenblöcke und anwenderdefinierte Steuerungen angezeigt.
Die Registerkarte Kontext wird für Themen, Setup-Themen oder Small Talk-Themen angezeigt, wenn Sie Themen-Discovery einbeziehenauswählen.

Wenn Sie Tests über die Seite „Themen“ ausführen, werden im Testfenster nur die Registerkarten Testausdrücke analysieren, Variablen, Kontext (standardmäßig verfügbar, ohne Option Themen-Discovery einbeziehen ) und Protokolle angezeigt.

Registerkarte „Testausdrücke analysieren“.

Wenn Sie LLM-Themen testen, werden basierend auf Ihren Eingaben Ergebnisse für die Themen-Discovery angezeigt. Beim Testen von Themen, die einem primären LLM-Assistenten zugeordnet sind, werden nur die vorgeschlagenen Themen des primären Assistenten angezeigt. Wenn Sie einen Testausdruck eingeben, werden in Genius-Ergebnissen verschiedene Suchergebnisse angezeigt sind aktiviert, einschließlich Kompetenz-Discovery (Thema), Knowledge Base -Artikel (KB) und Katalogelemente. Unter den Ergebnissen der Kompetenzsuche wird neben der erkannten Kompetenz ein Abzeichen Matching angezeigt, und je nach Thema können auch Variablen und Werte aufgeführt werden (z. B. die Variable @laptop_make und der Wert macbook). Diese Genius-Ergebnisse werden nur angezeigt, wenn Sie ein veröffentlichtes Thema testen und die Option „Themen-Discovery einbeziehen“ ausgewählt haben. Wenn die Option Themen-Discovery einbeziehen inaktiv erscheint, veröffentlichen Sie das Thema, und wählen Sie auf der Registerkarte Eigenschaften einen LLM-Assistenten aus, um mit der Themen-Discovery zu arbeiten. Möglicherweise wird die Meldung „Suchindizierung wird ausgeführt“ angezeigt. Sie können jedoch trotzdem testen, während die Suchindizierung ausgeführt wird, auch wenn die Themen-Discovery möglicherweise nicht aktualisiert wird. Weitere Informationen zur Funktionsweise von Genius-Ergebnissen finden Sie unter Now Assist in AI Search.

Darüber hinaus werden beim Testen von aktiven LLM-Assistententhemen auf der Seite „Themen“ Kompetenzergebnisse für die semantische Suche angezeigt. Die semantische Suche analysiert die Bedeutung und den Kontext Ihrer Suchbegriffe und verwendet diese Informationen, um Ergebnisse mit ähnlicher Bedeutung zu finden. Es verbessert den Suchrückruf, indem die natürliche Sprache so interpretiert wird, dass sie die Absicht Ihrer Suche genauer wiedergibt. Wenn die semantische Suche für Themen-Discovery-Tests deaktiviert ist, werden diese Ergebnisse nicht angezeigt. Weitere Informationen zur semantischen Suche finden Sie unter Semantic vector search in AI Search.

Registerkarte „Testausdrücke analysieren“, auf der Testausdrucksergebnisse für die Kompetenz-Discovery mit übereinstimmendem Ergebnis sowie den Kategorien für Eingabe- und Ausgabekompetenzen angezeigt werden. — Abbildung : 4. Beispiel für die Registerkarte „Testausdrücke analysieren“ für LLM-Themen

Registerkarte „Anweisungen“ ändern

Wenn Ihr Thema Anweisungen enthält, die an das LLM gesendet werden, werden sie in der Kategorie „Knoten“ angezeigt. In der Kategorie „Knoten“ werden LLM-Benutzereingabeknoten auf dem Canvas, ihre Feldnamen und ihr Inhalt aufgelistet.

Sie können den Inhalt aller Anweisungen ändern, um optimale Anweisungen für die Konversation zu entwickeln. Wenn für einen Knoten die Option „Benutzeraufforderung erzwingen“ aktiv ist, wird ein blaues Häkchensymbol und die Meldung Benutzeraufforderung erzwungen wird angezeigt. Deaktivieren Sie Anwenderaufforderung erzwingen, um die Anweisungen des Knotens zu ändern.

Wenn für eine Ihrer Anwendereingaben die Option Allow automatisches Slot-Füllung aktiviert ist, wird die Detailbeschreibung der Eingabe zu einem statischen Feld. Wenn „Automatisches Füllen von Slots zulassen“ deaktiviert ist, können Sie eine detaillierte Beschreibung mit einem Skript oder einer Datenpillenauswahl definieren. Weitere Informationen finden Sie unter dem Tabelleneintrag Automatisches Ausfüllen von Slots zulassen in Steuerelement für Texteingaben durch Benutzer oder anderen Steuerelementen für LLM-Benutzereingaben.

Der Status jeder Anweisung beginnt bei Ursprünglich. Wenn Sie den Inhalt einer Anweisung ändern, ändert sich der Status in Geändert, und ein Zurücksetzen-Symbol

daneben wird angezeigt. Die Gesamtzahl der geänderten Anweisungen wird unten auf der Registerkarte neben der Schaltfläche In Thema speichern aufgelistet. Um die geänderten Anweisungen zu testen, wählen Sie Übernehmen und neu starten aus. Um Änderungen an einer Anweisung rückgängig zu machen, wählen Sie das Rückgängigmachen-Symbol neben der Anweisung. Alternativ können Sie alle Änderungen rückgängig machen, indem Sie Rückgängig machen, das aktiviert wird, wenn Sie Anweisungen ändern.

Hinweis:

Wenn Sie In Thema speichernauswählen, werden alle Änderungen gespeichert, und alle geänderten Nachrichten werden auf den Ursprungzurückgesetzt.

Registerkarte „Anweisungen ändern“, auf der Benutzerinformationen mit dem Link „LLM-Anweisungsrichtlinien“ und Knoten in einem Eingabesammler angezeigt werden, einschließlich eines gesperrten Knotens mit der Meldung „Benutzeraufforderung wird erzwungen“. — Abbildung : 5. Beispiel: Registerkarte „Anweisungen ändern“.

Registerkarte Änderungsanweisungen mit Geänderte Anweisung und In Themenaktualisierungen speichern. Die Optionen Rückgängig machen und Anwenden und Neustarten werden aktiviert, wenn Sie Änderungen vornehmen. — Abbildung : 6. Beispiel: Registerkarte „Anweisungen ändern“ mit einer Änderung

Wenn Anweisungen in einem Knoten potenziell anstößige Inhalte enthalten, wird auf dem Knoten ein Warnabzeichen angezeigt. Ein gelbes Warnsymbol

wird auch neben dem Knotennamen angezeigt. Wenn Sie Übernehmen und neu starten auswählen, werden diese Anweisungen eingegeben und das Abzeichen und das Symbol entfernt, und der Status Geändert wird zum Ursprünglichengeändert.

Registerkarte „Anweisungen ändern“ mit Warnabzeichen für anstößigen Inhalt, Symbolen und Daraufzeigenmeldung. Wenn Sie Übernehmen und neu starten auswählen, werden die Anweisungen angewendet und die Warnungen entfernt. — Abbildung : 7. Beispiel – Registerkarte „Anweisungen ändern“ mit Warnungen zu potenziell anstößigem Inhalt

Registerkarte „Variablen“.

Auf der Registerkarte Variablen wird eine Liste aller in der Konversation verwendeten Variablen und der zugehörigen Werte angezeigt, die im Verlauf der Konversation erfasst werden, sodass Sie mitverfolgen können. Eine Konversation kann die folgenden Variablentypen aufweisen:

Eingabevariablen
Skriptvariablen
Servicemitarbeiter-Variablen
Variablen, die zwischen einem aufrufenden Thema und einem Themenblock übergeben werden

Die Liste ist durch Variablentypen in Abschnitte unterteilt. Das folgende Beispiel zeigt den Abschnitt Eingabevariablen. Beachten Sie, dass für das Steuerelement der statischen Liste sowohl die Anzeigebezeichnung als auch der Wert für die ausgewählte Auswahl erfasst werden.

Registerkarte Variablen, auf der die Eingabevariablen und -werte angezeigt werden, neben einem Screenshot des Konversations-Flows. — Abbildung : 8. Beispielliste der Eingabevariablen

Das folgende Beispiel zeigt den Abschnitt Eingabevariablen für das Steuerelement für gruppierte Listen. Diese Variableninformationen werden ähnlich wie das Steuerelement der statischen Liste angezeigt, die Variablen werden jedoch durch die einzelnen Gruppen der gruppierten Auswahl getrennt.

Registerkarte „Variablen“ nach Gruppe getrennt, wobei der Knoten und der Gruppenname hervorgehoben sind. — Abbildung : 9. Beispielliste gruppierter Auswahlvariablen

Registerkarte „Variablen bearbeiten“.

Beim Testen von Themenblöcken und anwenderdefinierten Steuerelementen können Sie die in den Knoten gefundenen Variablen bearbeiten.

Bearbeiten Sie Variablen in den Knoten des Themas.

Registerkarte „Kontext“.

Die Registerkarte Kontext wird angezeigt, wenn Sie Themen, Setup-Themen oder Small Talk-Themen testen, um einen anderen Kontext für den Chat anzugeben. Wählen Sie eine Kontextvariable aus der Liste aus. Die Variablen enthalten kontextbezogene Informationen, die verwendet werden können, um die Absicht des Themas zu bestimmen oder zu steuern, wie Chats an Servicemitarbeiter weitergeleitet werden. Sie können beispielsweise ein Portal aus der Liste der Variablen auswählen und den Portalnamen IT Expresseingeben. Die Registerkarte Kontext ist beim Erstellen von Testfällen nicht verfügbar.

Weitere Informationen zum Definieren von Kontextvariablen finden Sie unter Konfigurieren Sie Kontextvariablen zum Speichern chatbezogener Informationen. Weitere Informationen zu Servicemitarbeiter-Variablen, die in Virtual Agententhalten sind, finden Sie unter Kontextvariablen des Servicemitarbeiter-Chats.

Kontextregisterkarte mit dem Kontextportalwert Serviceportal. — Abbildung : 10. Beispielregisterkarte „Kontext“.

Nächste Schritte

Wenn Sie mit dem Testen Ihres Themas fertig sind, schließen Sie das Test-Chat-Fenster. Verwenden Sie bei Bedarf die Testinformationen, um Ihr Thema anzupassen, um eine genauere Leistung zu erzielen. Beispielsweise können die Ergebnisse auf der Registerkarte „Testausdrücke analysieren“ niedrige Punktzahlen oder Konfidenzbewertungen mit unsicheren oder unbekannten Werten zurückgeben. Verbessern Sie die Punktzahlen, indem Sie die Themenbeschreibung oder Anweisungen in den LLM-Benutzereingabeknoten aktualisieren.