NLU Modellleistung
Verwenden Sie NLU Modellleistung, um zu sehen, wie gut Ihre Modelle Absichten in Virtual Agent (VA) basierend auf der Endbenutzerbestätigung vorhergesagt haben.
Zusammenfassung der Nutzung
Die Anwendung NLU Model Performance bietet eine Analyse und einen Bericht dazu, wie gut Ihre NLU -Modelle die Absichten der VA-Benutzer anhand ihrer Äußerungen vorhersagen. Während NLU Modelle für VA aktualisiert, veröffentlicht und bereitgestellt werden, können Sie NLU Modellleistung verwenden, um die Wirksamkeit der von ihnen getroffenen Absichtsvorhersagen zu überprüfen. Wenn diese Vorhersagen übersprungen werden, liegt dies daran, dass sie keine Absicht mit einer ausreichend hohen Konfidenzpunktzahl für das Modell vorhersagen können. Um die VA-Themenvorhersage zu verbessern, gruppiert das System nicht unterstützte VA-Äußerungen in Clustern für eine Analyse und generiert dann einen Bericht, der das Ergebnis der Analyse identifiziert. Um auf diese Anwendung zuzugreifen, verwenden Sie die Rolle nlu_admin oder admin und navigieren zu .
Installation
NLU Model Performance ist eine Anwendung, die im ServiceNow® Storeverfügbar ist. Um diese Anwendung zu verwenden, stellen Sie sicher, dass das Plugin NLU-Workbench - Erweiterte Funktionen (sn_nlu_workbench) in Ihrer Instanz aktiv ist. Weitere Informationen finden Sie unter Installieren Sie NLU-Workbench – erweiterte Funktionen und NLU-Workbench aktivieren. Da NLU Model Performance auf Daten angewiesen ist, die von VA stammen, stellen Sie sicher, dass das Plugin „Glide Virtual Agent“ (com.glide.cs.chatbot) ebenfalls aktiv ist. Weitere Informationen finden Sie unter Virtual Agent aktivieren.
Conversational Interfaces-Einstellungen für ServiceNow NLU konfigurieren
Um die Nachverfolgung der Leistung von NLU zu unterstützen, müssen Sie zuerst die Einstellungen für Conversational Interfaces (CI) in Virtual Agentkonfigurieren. Um auf diese Einstellungen zuzugreifen, navigieren Sie zum Anfang der Zielseite der NLU-Modellleistung für Virtual Agent und klicken auf Conversational Interfaces Einstellungen. Mit dieser Aktion gelangen Sie zur Seite „CI-Einstellungen“ in Virtual Agent, wie in der folgenden Abbildung dargestellt.
Um die Einstellungen zu konfigurieren, müssen Sie die Rolle „virtual_agent_admin“ oder „admin“ verwenden. Anleitungen zur Konfiguration finden Sie unter NLU in Virtual Agent implementieren und NLU-Sprachen in Virtual Agent-Einstellungen aktivieren.
Benutzeroberfläche (UI) überprüfen
- Die Registerkarte „ Leistung “ und das zugehörige Farbdiagramm, das Daten zeigt, die Szenarien beschreiben, die auftreten, wenn Benutzer mit VA interagieren. Dieses Diagramm ist in drei Farben unterteilt, die jeweils ein Benutzerszenario darstellen. Die Zeilen im Diagramm, die Text und Prozentsätze enthalten, werden als Legende bezeichnet. Unter den drei Szenarien in der ersten Zeile der Legende befinden sich in der zweiten Zeile zwei Ergebnisszenarien. Die Balken unter der Legende entsprechen den Farben der darüber liegenden Szenarien. Die Größe dieser Balken variiert basierend auf dem Prozentwert für jedes Szenario.
- Der dunkelblaue Balken zeigt beispielsweise an, dass 10 % dieser Gruppe von VA-Benutzern bestätigt hat, dass das System ihnen das richtige Thema für ihre VA-Chatbot-Konversation angezeigt hat, und dass 58 % der Benutzer (dargestellt durch den dunkelroten Balken) hat bestätigt, dass das ihnen vorgelegte Thema falsch war. Zwischen diesen beiden Szenarien liegt ein Szenario, in dem 32 % der Benutzer (dargestellt durch den dunkelbrauen Balken) überhaupt keine Bestätigung vorgenommen haben.
- Es empfiehlt sich, den Filter Alle Balken anzeigen jederzeit hin und her zu schalten, um die farbigen Balken und die zugehörigen Szenarien im Diagramm ein- oder auszublenden. Beachten Sie auch, dass beim ersten Zugriff auf NLU Model Performance in der Standardansicht des Diagramms nur die erste Zeile mit Szenarien und die erste Zeile mit Balken angezeigt wird.
- Es gibt auch andere Ansichten, die Sie anzeigen können, je nachdem, welches Szenario Sie anzeigen. Wenn Sie beispielsweise zum ersten Mal auf NLU Model Performance zugreifen und in der ersten Zeile der Legende auf ein Szenario klicken, blendet das System die Balken der anderen beiden Szenarien aus. Dadurch bleibt die Benutzeroberfläche übersichtlicher, da das Szenario, auf das Sie sich konzentrieren, teilweise vom Rest der Szenarien isoliert ist. Diese Aktionen ändern keine Daten, sie zeigen Ihnen einfach verschiedene Ansichten der Legende und der Balken im Diagramm an.
- Die Registerkarte Nicht unterstützte Äußerungen, auf der Äußerungen angezeigt werden, die zur Verwendung in der Leistungsanalyse in Cluster gruppiert sind. In diesem Abschnitt der Benutzeroberfläche können Sie zur Anwendung „Experten-Feedbackschleife“ navigieren und aus ihr zurückkehren und die Analyse ausführen.
Nicht unterstützte Äußerungen unterscheiden sich von irrelevanten Äußerungen. Weitere Informationen finden Sie unter Erkennung von Irrelevanz in NLU.
- Der Abschnitt „ Leistungsdetails “ unterhalb des Balkendiagramms. Dieser Abschnitt enthält die folgenden vier Spalten: Äußerung, Vorhergesagte Absicht, Vorhersagemodellund Vorhersageergebnis. Die in diesem Abschnitt gezeigten Details interagieren mit den Legendendaten und Balkendaten darüber.
Überprüfen der VA-Benutzerszenarien
Im Legendenabschnitt der Benutzeroberfläche werden der Text und die Prozentsätze von Informationssymbolen begleitet. Zeigen Sie auf ein Symbol, um die Definition für das zugehörige Benutzerszenario aufzurufen. In der folgenden Tabelle finden Sie die Definitionen.
| Szenario | Definition |
|---|---|
| Benutzer als korrekt bestätigt | Das richtige Thema wurde dem Endbenutzer angezeigt, und der Endbenutzer hat bestätigt, dass es korrekt ist. |
| Thema gestartet, Benutzer hat als korrekt bestätigt. | Das Thema wurde gestartet, und der Benutzer hat bestätigt, dass es sich um das benötigte Thema handelt. |
| Themenmenü angezeigt, Benutzer hat eines ausgewählt. | Dem Benutzer wurden mehrere Themen als Menü angezeigt, und der Benutzer wählte eines der Themen aus, das seinem Bedarf entsprach. |
| Keine Bestätigung durch Benutzer | Das Thema wurde gestartet, aber der Benutzer hat nicht bestätigt, ob es seinem Bedarf entspricht oder nicht. |
| Keine Vorhersage getroffen, Rückgriffthema gestartet | Es wurden keine Vorhersagen getroffen, und das Fallback-Thema wurde gestartet. |
| Thema gestartet, keine Benutzerbestätigung | Das Thema wurde gestartet, aber der Benutzer hat nicht bestätigt, ob es korrekt war. |
| Benutzer hat als falsch bestätigt. | Die angezeigten Themen haben die Anforderungen des Endbenutzers nicht erfüllt, und der Benutzer hat bestätigt, dass sie nicht korrekt sind. |
| Thema gestartet, Benutzer hat als falsch bestätigt | Das Thema wurde gestartet, und der Benutzer hat bestätigt, dass es nicht korrekt war. |
| Themenmenü angezeigt, Benutzer hat keines ausgewählt | Dem Benutzer wurden mehrere Themen als Menü angezeigt, und der Benutzer entschied, dass keines der Themen relevant ist, und wählte kein Thema aus. |
Verwenden der Filter „Sprache“ und „Modell“.
Auf der Registerkarte Leistung sehen Sie die Filter Sprache und Modell. Neben ihnen sehen Sie auch die neuesten Datumsbereichswerte, die Sie über der Legende und den Balken des Diagramms festgelegt haben. Klicken Sie auf den Sprachfilter, um alle Sprachen anzuzeigen, die in NLUverfügbar sind. Klicken Sie auf den Filter Modell, um alle Vorhersagemodelle anzuzeigen, die in Ihrer Instanz verfügbar sind. Die Standardeinstellung für den Sprachfilter ist Alle Sprachen, und die Standardeinstellung für den Modellfilter ist Alle Modelle.
Die Filter Sprache und Modell interagieren miteinander. Wenn Sie beispielsweise im SprachfilterFranzösisch-fr auswählen, zeigt der Modellfilter automatisch alle Vorhersagemodelle in Ihrer Instanz an, die die Sprache Französisch verwenden, wie in der folgenden Abbildung dargestellt.
- Wenn Sie ein bestimmtes Modell aus dem Filter Modell auswählen, wird der Wert Sprachfilter aktualisiert, um die Sprache des ausgewählten Modells anzuzeigen.
- Wenn Sie eine bestimmte Sprache aus dem Sprachfilter auswählen, zeigt der Modellfilter nur Modelle dieser ausgewählten Sprache an.
Datumsbereich festlegen
Verwenden Sie auf der Registerkarte Leistung den Datumsbereich, um zu definieren, wie weit zurück das System VA-Daten abrufen soll. Wählen Sie Vergangene 30 Tage, Vergangene 60 Tage, Vergangene 90 Tageoder Benutzerdefinierter Bereichaus. Je weiter Sie im Datumsbereich zurückgehen, desto mehr Daten enthält Ihre Analyse.
Eine Analyse wird ausgeführt
Um eine Leistungsanalyse auszuführen, klicken Sie auf die Registerkarte Nicht unterstützte Äußerungen. Dieser Abschnitt der Benutzeroberfläche zeigt Zeilen mit erweiterbaren Clustern, die VA-Äußerungen enthalten, bei denen NLU keine Themenvorhersage getroffen hat oder bei denen der VA-Endbenutzer bestätigt hat, dass das vorhergesagte Thema falsch war. Als Nächstes klicken Sie auf Experten-Feedbackschleife. Mit dieser Aktion gelangen Sie zur Anwendung NLU-Experten-Feedbackschleife, in der Sie die Äußerungen, die aus VA abgerufen wurden, überprüfen und Feedback dazu abgeben können.
Wenn Sie die Anwendung „Experten-Feedbackschleife“ verlassen und zu NLU-Modellleistung zurückkehren, klicken Sie in einem beliebigen Cluster auf das Einfügesymbol, um die Anwendung zu öffnen. Innerhalb des Clusters sehen Sie dann die repräsentativsten VA-Äußerungen, wie in der folgenden Abbildung dargestellt.
Klicken Sie auf Analyse ausführen oder Analyse erneut ausführen, je nachdem, was verfügbar ist. Jedes Mal, wenn Sie eine Analyse ausführen, ruft das System die neuesten VA-Äußerungen in die Analyse ab.