NLU Modellleistung
Verwenden NLU Modellleistung, um zu sehen, wie gut Ihre Modelle Absichten in vorhergesagt haben Virtual Agent(VA) basierend auf Bestätigung durch Endanwender.
Zusammenfassungsnutzung
Die NLU Die Anwendung „Modellleistung“ bietet eine Analyse und einen Bericht darüber, wie gut Ihr ist NLU Modelle prognostizieren die Absichten von VA-Anwendern aus ihren Äußerungen. Als NLU Modelle für VA werden aktualisiert, veröffentlicht und bereitgestellt. Sie können verwenden NLU Modellleistung, um die Wirksamkeit der von ihnen getroffenen Absichtsvorhersagen zu überprüfen. Wenn diese Vorhersagen übersprungen werden, liegt dies daran, dass sie keine Absicht mit einer ausreichend hohen Konfidenzpunktzahl für das Modell vorhersagen können. Um die VA-Themenvorhersage zu verbessern, gruppiert das System nicht unterstützte VA-Äußerungen für eine Analyse in Cluster und generiert dann einen Bericht, der das Ergebnis der Analyse identifiziert.
Um auf diese Anwendung zuzugreifen, verwenden Sie die Rolle nlu_admin oder admin, und navigieren Sie zu an.
Installation
NLU Modellleistung ist eine Anwendung, die auf der verfügbar ist ServiceNow® Store. Um diese Anwendung zu verwenden, stellen Sie sicher, dass NLU-Workbench– Plugin „Erweiterte Funktionen“ (sn_nlu_Workbench) ist in Ihrer Instanz aktiv. Weitere Informationen finden Sie unter Installieren NLU-Workbench: Erweiterte Funktionen Und Aktivieren Sie die NLU-Workbench . Da die NLU-Modellleistung auf Daten von VA basiert, stellen Sie sicher, dass auch das Plugin „Glide Virtual Agent“ (com.glide.cs.chatbot) aktiv ist. Siehe Aktivieren Sie Virtual Agent .
Einstellungen für Konversationsschnittstellen für konfigurieren ServiceNow NLU
Zur Unterstützung bei der Nachverfolgung NLU Leistung müssen Sie zuerst die Einstellungen für Konversationsschnittstellen (CI) in konfigurieren Virtual Agent. Um auf diese Einstellungen zuzugreifen, navigieren Sie zum oberen Rand des NLU-Modellleistung für Virtual Agent Zielseite, und klicken Sie auf Einstellungen Für Konversations-Schnittstellen . Mit dieser Aktion gelangen Sie zur CI-Einstellungsseite in Virtual Agent, wie in der folgenden Abbildung gezeigt.
Zum Konfigurieren der Einstellungen müssen Sie die Rolle Virtual_Agent_admin oder admin verwenden. Konfigurationsleitfäden finden Sie unter Implementieren Sie NLU in Virtual Agent Und Aktivieren Sie NLU-Sprachen in Virtual Agent-Einstellungen .
Anwenderoberfläche (UI) überprüfen
- Die Leistung Registerkarte und ihr farbiges Diagramm, das Daten zeigt, die Szenarien beschreiben, die auftreten, wenn Anwender mit VA interagieren. Dieses Diagramm ist in drei Farbschattierungen segmentiert, die jeweils ein Anwenderszenario darstellen. Die Zeilen im Diagramm, die Text und Prozentsätze enthalten, werden als Legende bezeichnet. Die drei Szenarien in der ersten Zeile der Legende haben zwei Ergebnisszenarien darunter in der zweiten Zeile. Die Balken unter der Legende entsprechen den Farben der darüberliegenden Szenarien. Die Größe dieser Balken hängt vom Prozentwert für jedes Szenario ab.
- Der dunkelblaue Balken zeigt beispielsweise, dass 10 % dieses Batches von VA-Anwendern bestätigt haben, dass das System ihnen das richtige Thema für ihre VA-Chatbot-Konversation präsentiert hat, und dass 58 % der Anwender (dargestellt durch den dunkelroten Balken) bestätigt haben, dass das ihnen vorgestellte Thema falsch war. Zwischen diesen beiden Szenarien befindet sich ein Szenario, das zeigt, dass 32 % der Anwender (dargestellt durch den dunkelbraunen Balken) überhaupt keine Bestätigung abgegeben haben.
- Es ist eine gute Idee, den umzuschalten Alle Balken anzeigen Filtern Sie jederzeit hin und her, um die farbigen Balken und die zugehörigen Szenarien im Diagramm anzuzeigen oder auszublenden. Beachten Sie auch, dass die Standardansicht des Diagramms beim ersten Zugriff auf die NLU-Modellleistung nur die erste Zeile von Szenarien und die erste Zeile von Balken anzeigt.
- Es gibt auch andere Ansichten, die Sie sehen können, je nachdem, welches Szenario Sie anzeigen. Wenn Sie beispielsweise zum ersten Mal auf die NLU-Modellleistung zugreifen und in der ersten Zeile der Legende auf ein Szenario klicken, blendet das System die Balken der anderen beiden Szenarien aus. Dies trägt dazu bei, die UI weniger übersichtlich zu halten, da das Szenario, auf das Sie sich konzentrieren, teilweise von den übrigen Szenarien isoliert wird. Diese Aktionen ändern keine Daten, sie zeigen Ihnen einfach verschiedene Ansichten der Legende und Balken im Diagramm an.
- Die Nicht unterstützte Äußerungen Registerkarte, die Äußerungen anzeigt, die in Clustern zur Verwendung in der Leistungsanalyse gruppiert sind. In diesem Abschnitt der Anwenderoberfläche können Sie zur Anwendung „Experten-Feedbackschleife“ navigieren und aus dieser zurückgeben sowie die Analyse ausführen.
Nicht unterstützte Äußerungen unterscheiden sich von irrelevanten Äußerungen. Weitere Informationen finden Sie unter Erkennung von Irrelevanz in NLU.
- Die Leistungsdetails Abschnitt unter dem Balkendiagramm. Dieser Abschnitt enthält diese vier Spalten: Äußerung , Vorhergesagte Absicht , Vorhersagemodell , Und Vorhersageergebnis . Die in diesem Abschnitt angezeigten Details interagieren mit den Legendendaten und Balkendaten darüber.
VA-Anwenderszenarien werden überprüft
Im Abschnitt „Legende“ der Anwenderoberfläche werden Text und Prozentsätze von Informationssymbolen begleitet. Zeigen Sie auf ein Symbol, um die Definition für das Anwenderszenario aufzurufen. Die Definitionen finden Sie in der folgenden Tabelle.
| Szenario | Definition |
|---|---|
| Anwender als korrekt bestätigt | Das richtige Thema wurde dem Endanwender vorgestellt, und der Endanwender hat bestätigt, dass es korrekt ist. |
| Thema gestartet, Anwender hat als korrekt bestätigt. | Das Thema wurde gestartet, und der Anwender hat bestätigt, dass es sich um das benötigte Thema handelt. |
| Themenmenü angezeigt, Anwender hat eines ausgewählt. | Dem Anwender wurden mehrere Themen als Menü angezeigt, und der Anwender wählte eines der Themen aus, das seinem Bedarf entsprach. |
| Keine Bestätigung durch Anwender | Das Thema wurde gestartet, aber der Anwender hat nicht bestätigt, ob es seinem Bedarf entspricht oder nicht. |
| Keine Vorhersage getroffen, Rückgriffthema gestartet | Es wurden keine Vorhersagen getroffen, und das Fallback-Thema wurde gestartet. |
| Thema gestartet, keine Anwenderbestätigung | Das Thema wurde gestartet, aber der Anwender hat nicht bestätigt, ob es korrekt war. |
| Anwender hat als falsch bestätigt. | Die angezeigten Themen entsprachen nicht den Anforderungen des Endanwenders, und der Anwender hat bestätigt, dass sie nicht korrekt sind. |
| Thema gestartet, Anwender hat als falsch bestätigt | Das Thema wurde gestartet, und der Anwender hat bestätigt, dass es nicht korrekt war. |
| Themenmenü angezeigt, Anwender hat keines ausgewählt | Dem Anwender wurden mehrere Themen als Menü angezeigt, und der Anwender entschied, dass keines der Themen relevant ist, und wählte kein Thema aus. |
Verwenden der Filter Sprache und Modell
Auf der Registerkarte Leistung werden die Filter Sprache und Modell angezeigt. Daneben werden auch die neuesten Datumsbereichswerte angezeigt, die Sie über der Legende und den Balken des Diagramms festgelegt haben. Klicken Sie auf Sprache Filter, um alle Sprachen anzuzeigen, die in verfügbar sind NLU. Klicken Sie auf Modell Filtern Sie, um alle Vorhersagemodelle anzuzeigen, die in Ihrer Instanz verfügbar sind. Die Standardeinstellung für Sprache Filter ist Alle Sprachen , Und die Standardeinstellung für Modell Filter ist Alle Modelle .
Die Filter „Sprache“ und „Modell“ interagieren miteinander. Beispiel: Wenn Sie wählen Französisch-fr In Sprache Filter, die Modell Filter zeigt automatisch alle Vorhersagemodelle in Ihrer Instanz an, die Französisch verwenden, wie in der folgenden Abbildung dargestellt.
- Wenn Sie ein bestimmtes Modell aus auswählen Modell Filter, die Sprache Der Filterwert wird aktualisiert, um die Sprache des ausgewählten Modells anzuzeigen.
- Wenn Sie eine bestimmte Sprache aus auswählen Sprache Filter, die Modell Filter zeigt nur Modelle dieser ausgewählten Sprache an.
Datumsbereich wird festgelegt
Verwenden Sie auf der Registerkarte Leistung die Datumsbereich Um zu definieren, wie weit das System VA-Daten abrufen soll. Wählen Sie Aus Vergangene 30 Tage , Vergangene 60 Tage , Vergangene 90 Tage , Oder Anwenderdefinierter Bereich . Je weiter Sie im Datumsbereich zurückgehen, desto mehr Daten haben Sie in Ihrer Analyse.
Analyse wird ausgeführt
Um eine Leistungsanalyse auszuführen, klicken Sie auf Nicht unterstützte Äußerungen Registerkarte. In diesem Abschnitt der UI werden Zeilen von erweiterbaren Clustern mit VA-Äußerungen angezeigt, wobei NLU Hat keine Themenvorhersage getroffen oder der VA-Endanwender bestätigt, dass das vorhergesagte Thema falsch war. Als Nächstes möchten Sie auf klicken Experten-Feedback-Schleife . Mit dieser Aktion gelangen Sie zum NLU-Experten-Feedbackschleife Anwendung, in der Sie die Äußerungen überprüfen und Feedback zu ihnen geben, die aus VA abgerufen wurden.
Wenn Sie die Anwendung „Experten-Feedbackschleife“ verlassen und zur NLU-Modellleistung zurückkehren, klicken Sie auf Caret Symbol in einem beliebigen Cluster, um ihn zu öffnen. Innerhalb des Clusters können Sie dann die repräsentativsten VA-Äußerungen sehen, wie in der folgenden Abbildung dargestellt.
Klicken Sie Auf Analyse ausführen Oder Analyse erneut ausführen , Je nachdem, was verfügbar ist. Jedes Mal, wenn Sie eine Analyse ausführen, ruft das System die neuesten VA-Äußerungen in die Analyse ab.