NLU Experten-Feedbackschleife

Geben Sie Feedback zu den Äußerungen des Chatprotokolls Virtual Agent ab, damit das System kontinuierlich lernt und Benutzereingaben besser vorhersagen können.

Zusammenfassungsnutzung

Die Experten-Feedbackschleife entnimmt Daten aus Ihrer -Instanz und stellt sie Ihnen für Feedback zur Verfügung. Diese Daten stammen aus den Virtual Agent-Chatprotokollen (VA) Ihrer Anwender und enthalten Äußerungen aus diesen Protokollen. Navigieren Sie mit der Rolle nlu_admin zu Alle > NLU-Workbench > Experten-Feedbackschleife und markieren Sie jede Äußerung in einem Modell, indem Sie bestätigen, ob die Äußerung für eine Absicht richtig (Übereinstimmung) oder falsch (Nichtübereinstimmung) ist. Dieses Feedback hilft dem Modell, die Modellleistung kontinuierlich zu verbessern.

Installation

Die Experten-Feedbackschleife ist Teil der App NLU-Workbench - Erweiterte Funktionen, die im ServiceNow® Storeverfügbar ist.

Um die Experten-Feedbackschleife zu verwenden, stellen Sie sicher, dass das Plugin NLU-Workbench „ - Erweiterte Funktionen“ (sn_nlu_workbench) in Ihrer Instanz aktiv ist. Weitere Informationen finden Sie unter NLU-Workbench installieren – erweiterte Funktionen und NLU-Workbench aktivieren.

Da die Experten-Feedbackschleife auf den Daten aus VA-Chatprotokollen basiert, stellen Sie sicher, dass auch das Plugin „Glide Virtual Agent“ (com.glide.cs.chatbot) aktiv ist. Siehe Virtual Agent aktivieren.

Daten der Experten-Feedbackschleife zwischen Instanzen werden importiert

Bevor Sie einen Import starten, vergewissern Sie sich, dass Sie Zugriff auf die Daten in Ihrer Instanz haben und über genügend Daten verfügen, um mit Ihrem Feedback fortzufahren.

Wenn Sie in einer Test- und Entwicklungsumgebungsinstanz arbeiten, müssen Sie die Feedbackdaten aus der Tabelle „open_nlu_predict_intent_feedback“ in Ihrer Produktionsinstanz in Ihre Test- und Entwicklungsumgebungsinstanz importieren. Eine Anleitung zum Importieren von finden Sie unter Aus einer anderen ServiceNow-Instanz importieren.

Hier sind einige Datenszenarien zum Systemverhalten für die Modelle NLU aufgeführt, die die Feedbackschleifenäußerungen enthalten.

• Wenn Sie ein Modell in eine andere Instanz verschieben, bleiben die Feedbackdaten erhalten.
• Wenn Sie die Instanz upgraden, bleiben die Feedback-Daten erhalten.
• Wenn Sie eine Instanz klonen, werden die Daten nicht beibehalten. Sie müssen daher das oben beschriebene Verfahren anwenden, um die Daten in die geklonte Instanz zu importieren.

Feedback-Kontext und -Zugriff

Die Experten-Feedbackschleife bietet einen Mechanismus, mit dem Sie in VA bereitgestellte NLU -Modelle durch Feedback zu einer ausgewählten Teilmenge von Äußerungen verbessern können. Bei jeder Äußerung werden Sie aufgefordert, die vorhergesagte Absicht zu bestätigen oder die richtige Absicht anzugeben, zu der die Äußerung gehört. Nachdem dieses Feedback abgeschlossen ist, werden die Daten verwendet, um die Leistung des Modells zu optimieren. Das Ergebnis ist ein verbessertes Modell, das jetzt erneut bereitgestellt werden kann, um mehr Endanwenderdaten zu sammeln. Dies ist ein iterativer Zyklus, der es dem System ermöglicht, kontinuierlich Daten zu sammeln, aus Ihrem Feedback zu lernen und dieses Feedback zu verwenden, um Ihre NLU -Modelle weiter zu verbessern.

Einmal alle 30 Tage ruft das System bis zu 300 Äußerungsbeispiele aus VA-Chatprotokollen für die Experten-Feedbackschleife ab. Die Äußerungen werden für das Feedback basierend darauf ausgewählt, wie gut sie alle Äußerungen in den Protokollen darstellen. Jede aus VA-Chatprotokollen abgetastete Äußerung hat eine vorhergesagte Absicht, die vom System ausgewählt wurde.

Sie können auch die Anzahl der Äußerungen festlegen, die aus VA-Chatprotokollen abgerufen werden sollen, indem Sie die Einstellung für die Systemeigenschaft glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_size anpassen.

Weitere Informationen zum Prozess des Abrufens von Äußerungen aus VA-Chatprotokollen finden Sie in den Abschnitten Zusätzliche VA-Feedbackdaten bei Bedarf beschaffen und Active Learning-Auftrag verwenden weiter unten.

Entscheiden Sie bei der Überprüfung der Äußerungen, ob jede Äußerung zu ihrer vorhergesagten Absicht gehört oder in eine andere Absicht verschoben werden sollte. Wenn Sie sich bei der richtigen Absicht nicht sicher sind, kann die Äußerung zur weiteren Überprüfung als erneut aufgerufen markiert werden. Nachdem Sie mindestens 100 Äußerungen mit Ihrem Feedback markiert haben, verwendet das System alle markierten Äußerungen, um das Modell abzustimmen und zu verbessern.

Ihre VA-Chatprotokolläußerungen werden überprüft

Jetzt, da Sie auf dem Laufenden sind, sehen Sie in der folgenden Abbildung eine Liste von NLU -Äußerungen, die die Absichten in den VA-Modellen unterstützen. Jede Seite der Liste zeigt etwa 20 Äußerungen. Ihr Ziel besteht darin, jede Äußerung zu überprüfen und ihren Beziehungsstatus zu einer bestimmten VA-Absicht zu markieren. Sie markieren jede Äußerung entweder mit dem Wert NLU_Match, Nichtübereinstimmungoder Unsicher.

Das Markieren einer Äußerung als NLU_Match bedeutet, dass Sie der NLU-Vorhersage für diese Äußerung zustimmen. Wenn Sie eine Äußerung als Nichtübereinstimmung markieren, bedeutet dies, dass sie zu einer anderen Absicht gehört. Wenn Sie Nichtübereinstimmungauswählen, wird eine Dropdown-Liste mit Absichten angezeigt, sodass Sie die richtige Absicht auswählen können. Wenn Sie sich nicht sicher sind, welche Absicht richtig ist, können Sie sie als Unsichermarkieren.

Äußerungen, die mit dem Wert NLU_Match oder Nichtübereinstimmung markiert und gespeichert sind, werden in den Abschnitt Abgeschlossene Überprüfungen verschoben. Äußerungen, die mit dem Wert Unsicher markiert und gespeichert sind, werden in den Abschnitt Weitere Überprüfung erforderlich verschoben.

Hier sehen Sie ein Szenario für die grundlegenden Schritte, die Sie zum Abschließen Ihrer Äußerungsüberprüfungen verwenden:

1. Wählen Sie oben im Bildschirm „Feedbackschleife exportieren“ ein Modell aus, das Sie in der Experten-Feedbackschleife für die Eingabeaufforderung überprüfen möchten. Bei dieser Funktion ist es in gewisser Weise unerheblich, welches Modell Sie auswählen, da diese Modelle hauptsächlich dazu dienen, die Äußerungen unterzubringen, die Sie in Ihren Überprüfungen markieren. In diesem Beispielszenario entscheiden Sie sich für das Modell IT-Modell, das fünf Absichten und viele Äußerungen in jeder dieser Absichten enthält. Die Anzahl der Äußerungen, die Sie überprüfen müssen, wird neben dem Namen der vorhergesagten Absicht angezeigt (siehe folgende Abbildung). Die Absichten in diesen Modellen werden in der Spalte „Vorhergesagte Absichten“ auf Ihrem Bildschirm aufgelistet. Sie können zwar Äußerungen in jeder der vorhergesagten Absichten überprüfen und markieren, es ist jedoch besser, die Überprüfungen nacheinander in der Reihenfolge abzuschließen, in der die Absichten zuerst angezeigt werden. Beginnen Sie beispielsweise mit der Absicht „ad_password_change“, und fahren Sie dann mit anderen vorhergesagten Absichten fort.
2. Klicken Sie auf die Absicht „ad_password_change“, damit die Äußerungen zur Überprüfung in den Abschnitt „Aufgaben“ geladen werden.
3. Überprüfen Sie die 15 Äußerungen in der Absicht. In diesem Szenario haben Sie zunächst die Äußerung Ich möchte mein AD-Passwort ändern als Übereinstimmung mit der Absicht ad_password_change markiert.
4. Klicken Sie auf Feedback speichern.
   Ergebnis: Das System verschiebt die von Ihnen markierte Äußerung in den Abschnitt Fertig des Bildschirms. Gleichzeitig sinkt die Anzahl der zu erledigenden Äußerungen von 15 auf 14, während die Anzahl im Abschnitt „Fertig“ von 0 auf 1 ansteigt. Hätten Sie auch eine andere Äußerung mit dem Wert „Unsicher“ markiert und diese Änderung gespeichert, die Anzahl der Äußerungen im Abschnitt „Weitere Überprüfung erforderlich“ würde ebenfalls von 0 auf 1 ansteigen.

   Hinweis:

   Wenn Sie nicht wissen, welche Absicht am besten mit der Äußerung übereinstimmt, markieren Sie sie mit dem Wert Unsicher. Diese Aktion verschiebt die Äußerung in den Abschnitt „Weitere Überprüfung erforderlich“, sodass Sie Zeit haben, andere Äußerungen im Abschnitt „ Aufgaben“ zu markieren, die möglicherweise leichter mit einer Absicht übereinstimmen oder nicht übereinstimmen. Sie können jederzeit zum Abschnitt „Weitere Überprüfung erforderlich“ zurückkehren, um Äußerungen zu markieren, die sich nur schwer einer bestimmten Absicht zuordnen lassen.
5. Wiederholen Sie die Schritte 1 bis 4, während Sie sich durch die verbleibenden Absichten in der Spalte „Vorhergesagte Absichten“ bewegen.

Abbildung : 1. Markieren von Äußerungen als mit einer VA-Absicht übereinstimmend oder nicht übereinstimmend

Die Äußerungen in der Absicht „ad_password_change“ sind leicht als Übereinstimmung mit der vorhergesagten Absicht zu markieren, da mindestens eine Äußerung innerhalb der Absicht das Wort „ Passwort“ enthält.

Wenn Sie die Überprüfung der Äußerungen in der vorhergesagten Absicht abgeschlossen haben und auf Feedback speichernklicken, wird der Bildschirm aktualisiert, um die nächste vorhergesagte Absicht im Modell hervorzuheben.

Wenn Ihre Äußerungen nach ihrem Wert gruppiert angezeigt werden sollen, klicken Sie auf den Filter Anzeige und wählen Sie eine der Optionen in der zugehörigen Eingabeaufforderung aus. Die Werte sind All, NLU_Matchund Unsure.

Verwenden Sie die Kartenansichtsoption, um Ihre Äußerungen zu überprüfen

Ihre Äußerungen in der Experten-Feedbackschleife werden standardmäßig im Abschnitt „ Zu erledigen“ in einer Listenansicht angezeigt, wie in vielen der Bilder gezeigt, die Sie oben gesehen haben. Sie können jedoch auch eine andere Ansicht wählen, in der jede Äußerung in einem Rahmen auf einer Karte angezeigt wird. Wenn Sie diese Option wählen, wird jede Äußerung auf der Seite in Gruppen zu je fünf Personen angezeigt. Klicken Sie noch in der Listenansicht auf das Kartensymbol.

Ergebnis: Die Kartenansicht ersetzt die Listenansicht. Beachten Sie die Links- und Rechtspfeile auf beiden Seiten der Seite mit den Äußerungskarten. Wenn Sie auf den Rechtspfeil klicken, wird zum nächsten Satz von fünf Karten gewechselt. Wenn Sie auf den Linkspfeil klicken, wird zum vorherigen Satz von fünf Karten gewechselt. Wenn Sie anstelle der Kartenansicht zur Listenansicht zurückkehren möchten, klicken Sie auf das Listensymbol (siehe Abbildung oben rechts im Bild unten).

Ändern eines Äußerungswerts

Wenn Sie eine Äußerung markieren, dann aber Ihre Meinung zu dem von Ihnen gewählten Wert ändern, können Sie das Problem beheben, indem Sie auf „MisMatch“ klicken und eine andere Absicht auswählen. Klicken Sie auf Feedback speichern, um die Änderung zu speichern.

Nicht gespeichertes Feedback

Wenn Sie eine Sitzung zum Markieren Ihrer Äußerungen beenden und sich abmelden, aber vergessen, Ihre Änderungen zu speichern, wählen Sie Nicht gespeicherte Änderungen in der Eingabeaufforderung Wird angezeigt. Mit dieser Aktion werden alle Äußerungen angezeigt, für die Sie Feedback gegeben, aber noch nicht gespeichert haben.

Beschaffung zusätzlicher VA-Feedbackdaten bei Bedarf

Führen Sie die folgenden Schritte aus, um weitere Daten aus den VA-Chatprotokollen zur Verwendung in der Experten-Feedbackschleife zu erhalten.

1. Verwenden Sie die Rolle nlu_admin, und navigieren Sie zu Alle > Systemdefinition > Geplante Aufgaben > Aktives Lernen.
2. Klicken Sie auf Aktive Lerninhalte.

   

3. Klicken Sie auf Jetzt ausführen.

   

4. Erhöhen Sie die Werte in den folgenden vier NLU -Systemeigenschaften, oder legen Sie sie fest.

• glide.mlpredictor.option.nlu.activeLearning.va_chat_logs.max_row_limit - 3000
• glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_data_size - 10000
• glide.mlpredictor.option.nlu.activeLearning.label_table.max_data_size - 10000
• glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_size-300

Informationen zur Funktionsweise dieser Eigenschaften im Kontext anderer NLU -Eigenschaften finden Sie unter NLU-Workbench -Eigenschaften.

Nicht kategorisierte Äußerungen werden überprüft

Als Teil des Feeds von VA-Chatprotokollen zur Experten-Feedbackschleife sammelt das System alle Äußerungen in Ihrer Instanz, die nicht Teil einer VA-Absicht sind, und zeigt sie in einer Liste an. Sie greifen auf diese Äußerungen zu, indem Sie oben auf dem Bildschirm in der Experten-Feedbackschleife für die Eingabeaufforderung Nicht kategorisiert auswählen.

Wenn der Bildschirm aktualisiert wird, werden diese Äußerungen in der Spalte „Äußerung“ des Abschnitts „Nicht kategorisierte Äußerungen“ Ihres Bildschirms angezeigt.

Wichtig:

Es ist äußerst wichtig, Feedback zu diesem Satz von Äußerungen zu geben, da das System vorschlägt, dass für diese Äußerungen keine Absicht vorhanden ist. Indem Sie diese fehlende Zuordnung bestätigen oder diese Äußerungen einer vorhandenen Absicht zuordnen, helfen Sie dem Modell, richtig zu lernen.

Hier sind die Schritte, die Sie verwenden, um eine nicht kategorisierte Äußerung mit einer Absicht zu verbinden:

1. Wählen Sie in der Spalte Äußerung eine Äußerung aus der Liste aus.
2. Suchen Sie in der Spalte Korrigierte Absicht eine Absicht und ihr Modell aus der Aufforderung, die Ihrer Meinung nach am besten zur Äußerung passt, und wählen Sie sie aus.

Eine gute Paarung für diese Verbindung ist beispielsweise Kann ich meinen ESCP handeln? Äußerung aus der Spalte „Äußerung“ und die Absicht 401kBeneitsInquiry aus der Spalte Korrigierte Absicht, wie in der Abbildung unten gezeigt.

Hinweis:

In der Spalte „Korrigierte Absicht“ können Sie nach allen Absichten für alle Modelle in Ihrer -Instanz suchen und sie verwenden.

Abbildung : 2. Koppeln einer nicht kategorisierten Äußerung mit einer Absicht und deren Modell

Sehen wir uns nun einige Elemente an, die anhand der Abbildung oben beschreiben, wie die Seite mit den nicht kategorisierten Äußerungen funktioniert. Im Abschnitt „ Zu erledigen“ werden Äußerungen gesammelt, die mit einer Absicht verbunden sein müssen. An diesem Tag gibt es 120 solcher Äußerungen. Beachten Sie, dass der Abschnitt Fertig auf dem Bildschirm keine Äußerungen enthält, da Sie noch keine Aktion ausgeführt haben.

Beachten Sie auch, dass sich ganz rechts im Bildschirm ein vertikaler Balken befindet, durch den Sie nach oben und unten scrollen können, um in der Liste der Äußerungen zu navigieren. Am unteren Rand dieses Bildlaufbildschirms befinden sich Pfeile, die nach links und rechts zeigen, sodass Sie zur nächsten oder vorherigen Seite der vollständigen Äußerungsliste für den Tag wechseln können.

Beachten Sie auch, dass die normalerweise standardmäßig aktive Schaltfläche Feedback speichern deaktiviert ist, wenn Sie eine Aktion zum Herstellen einer Verbindung ausführen, da das System Ihre Aktion erkennt und Ihre Änderung automatisch speichert.

Daten der Experten-Feedbackschleife in der Phase „Modell optimieren“.

Die Schaltfläche Modell optimieren in der Experten-Feedbackschleife ist immer aktiviert und unterstützt die Experience des Verschiebens von Äußerungen von der Registerkarte Experten-Feedbackschleife Fertig in das Modell und seinen Testsatz. Verwenden Sie die Rolle nlu_admin, um auf diese Schaltfläche zu klicken, wenn Sie Ihr Modell optimieren oder erneut optimieren müssen.

Nach der Überprüfung der Äußerungen in der Experten-Feedbackschleife können Sie einen Teil der Feedback-Daten in den Standardtestsatz Ihres Modells übertragen. Diese Äußerungen werden dann direkt der Registerkarte Testäußerungen Ihres Modells hinzugefügt. Dies hilft Ihnen, Ihre Testreihe mit echten Endanwenderäußerungen kontinuierlich zu pflegen und zu aktualisieren. Das System verfolgt die Quelle der Testäußerungen, um Einblicke zu geben, ob sie aus der Experten-Feedbackschleife oder aus einer anderen Quelle stammen.

Wenn Sie auf die Schaltfläche Modell optimieren klicken, bevor Sie mindestens 100 Äußerungen markiert und gespeichert haben, wird der Bildschirm aktualisiert, um Sie daran zu erinnern, dass die Qualität der Modellleistung zunimmt, wenn Sie das Feedback-Ziel von 100 Äußerungen erreicht haben (siehe Text in der Abbildung unten). .

Während Sie Ihre Feedback-Daten weiterhin markieren und speichern, können Sie das Verhältnis der überprüften Äußerungen (in Grün) und der Äußerungen, die noch zur Überprüfung verfügbar sind (in weiß) auf dem Bild des Fortschrittsbalkens unten sehen.

Im Bild Modell optimieren unten können Sie die standardmäßige 60/40-Prozentsatzaufteilung für Ihren Modelltrainingssatz und Ihren Modelltestsatz sehen. Sie können diese Standardwerte bei Bedarf anpassen, indem Sie in jedem der beiden Felder (%) die von Ihnen gewählten Zahlen auswählen. Wenn Sie mit der prozentualen Aufteilung zufrieden sind, klicken Sie auf die Schaltfläche Optimieren, um Ihr Modell basierend auf den von Ihnen gewählten Prozentwerten zu optimieren.

Hinweis:

Wenn Sie auf den Textbaustein Feedback anzeigen klicken, gelangen Sie zu einem Bildschirm „Experten-Feedbackschleife“, in dem Sie Ihre Feedback-Äußerungen weiterhin überprüfen, markieren und speichern können.

Mithilfe des Active Learning-Auftrags

Geplante Aufgaben, auch als Batch-Aufgaben oder Batch-Zeitplanung bezeichnet, sind automatisierte Aufgaben, die zu einem bestimmten Zeitpunkt oder nach einem wiederkehrenden Zeitplan ausgeführt werden. Viele Aufträge werden nach Zeitplänen ausgeführt, aber wir konzentrieren uns jetzt auf den Active Learning-Auftrag als Beispiel.

Hier sind drei Aktionen, die Sie mit dem Active Learning-Auftrag ausführen können.

• Ändern Sie das Wiederholungsintervall, mit dem der Active Learning-Auftrag ausgeführt werden soll.
• Überprüfen Sie, wann die nächste geplante Ausführung für den Active Learning-Auftrag festgelegt ist.
• Führen Sie den Active Learning-Auftrag jederzeit (bei Bedarf) aus.

Im Folgenden finden Sie einige Schritte für den Einstieg.

1. Navigieren Sie mit der Rolle nlu_admin zum Feld Alle, geben Sie sysauto_script.listein, und drücken Sie dann die Eingabetaste auf Ihrer Tastatur. Der Bildschirm wird aktualisiert, um die Seite Zeitplan anzuzeigen, auf der alle geplanten Aufgaben aufgelistet sind.
   
   
2. Klicken Sie auf der Seite Zeitplan auf Aktive Lerninhalte. Ein Datensatz für den Active Learning-Auftrag wird angezeigt (siehe Abbildung unten).
   
   
3. Konfigurieren Sie im Active Learning-Datensatz die folgenden Felder.
   • Wählen Sie im Feld Ausführen eine von acht Wiederholungsintervall-Optionen für den Auftrag aus. Die Optionen sind: Täglich, Wöchentlich, Monatlich, Regelmäßig, Einer, Bei Bedarf, Geschäftskalender:Eintragsstartund Geschäftskalender:Eintragsende.
   • Geben Sie im Feld Wiederholungsintervall die Anzahl der Tage ein, die zwischen jetzt und dem nächsten Wiederholungsintervall für den Active Learning-Auftrag liegen sollen.
   • Klicken Sie im Feld Start auf das Kalendersymbol, und wählen Sie Tag und Uhrzeit für das nächste Active Learning-Auftragsintervall aus.
   • Klicken Sie auf die Schaltfläche Aktualisieren, um Ihre Konfigurationen zu speichern, oder klicken Sie auf die Schaltfläche Jetzt ausführen, um die Ausführung des Active Learning-Auftrags zu starten.
   • Um zu überprüfen, wann der nächste Active Learning-Auftrag ausgeführt wird, navigieren Sie zum Feld Alle, geben Sie sys_trigger.listein, und drücken Sie dann die Eingabetaste auf Ihrer Tastatur. Die Seite Zeitplan wird angezeigt. Klicken Sie auf Aktive Lerninhalte. Der Zeitplanelement/Aktive Lerndatensatz wird angezeigt und füllt das Feld Nächste Aktion mit dem Datum und der Uhrzeit für die nächste Ausführung des Active Learning-Auftrags aus.
     
     

Ausführliche Informationen zum Active Learning-Auftrag von NLUfinden Sie in diesem KB-Artikel im Support-Portal: KB1633901.