NLU Experten-Feedbackschleife

Geben Sie Feedback zu Äußerungen im Chatprotokoll von Virtual Agent ab, damit das System kontinuierlich lernt und Benutzereingaben besser vorhersagen kann.

Zusammenfassung der Nutzung

Die Experten-Feedbackschleife übernimmt Daten aus Ihrer Instanz und stellt sie Ihnen als Feedback zur Verfügung. Diese Daten stammen aus den Virtual Agent-Chatprotokollen (VA) Ihrer Benutzer und enthalten Äußerungen aus diesen Protokollen. Navigieren Sie mit der Rolle nlu_admin zu Alle > NLU-Workbench > Experten-Feedbackschleife und markieren Sie jede Äußerung in einem Modell, indem Sie überprüfen, ob die Äußerung für eine Absicht korrekt (Übereinstimmung) oder falsch (Nichtübereinstimmung) ist. Dieses Feedback hilft dem Modell, die Modellleistung kontinuierlich zu verbessern.

Installation

Die Experten-Feedbackschleife ist Teil der App NLU-Workbench - Erweiterte Funktionen, die im ServiceNow® Storeverfügbar ist.

Um die Experten-Feedbackschleife zu verwenden, stellen Sie sicher, dass das Plugin NLU-Workbench - Erweiterte Funktionen (sn_nlu_workbench) in Ihrer Instanz aktiv ist. Weitere Informationen finden Sie unter Installieren Sie NLU-Workbench – erweiterte Funktionen und NLU-Workbench aktivieren.

Da die Experten-Feedbackschleife auf die Daten aus VA-Chatprotokollen angewiesen ist, stellen Sie sicher, dass das Plugin „Glide Virtual Agent“ (com.glide.cs.chatbot) ebenfalls aktiv ist. Weitere Informationen finden Sie unter Virtual Agent aktivieren.

Daten aus Experten-Feedbackschleifen zwischen Instanzen importieren

Bevor Sie einen Import starten, stellen Sie sicher, dass Sie Zugriff auf die Daten in Ihrer Instanz haben und über genügend Daten verfügen, um mit Ihrem Feedback fortzufahren.

Wenn Sie in einer Test- und Entwicklungsumgebungsinstanz arbeiten, müssen Sie die Feedbackdaten aus der Tabelle open_nlu_predict_intent_feedback in Ihrer Produktionsinstanz in Ihre Test- und Entwicklungsumgebungsinstanz importieren. Anleitungen zum Importieren von finden Sie unter Importieren aus einer anderen ServiceNow-Instanz.

Im Folgenden sind einige Datenszenarien zum Systemverhalten für die NLU -Modelle aufgeführt, die die Äußerungen der Feedbackschleife enthalten.

• Wenn Sie ein Modell in eine andere Instanz verschieben, bleiben die Feedbackdaten erhalten.
• Wenn Sie die Instanz aktualisieren, bleiben die Feedback-Daten erhalten.
• Wenn Sie eine Instanz klonen, bleiben die Daten nicht erhalten. Sie müssen daher das oben beschriebene Verfahren anwenden, um die Daten in die geklonte Instanz zu importieren.

Feedback-Kontext und -Zugriff

Die Experten-Feedbackschleife bietet einen Mechanismus, mit dem Sie NLU in VA bereitgestellte Modelle durch Feedback zu einer ausgewählten Teilmenge von Äußerungen verbessern können. Für jede Äußerung werden Sie aufgefordert, die vorhergesagte Absicht zu bestätigen oder die richtige Absicht anzugeben, zu der die Äußerung gehört. Nach Abschluss dieses Feedbacks werden die Daten verwendet, um die Modellleistung zu optimieren. Dies führt zu einem verbesserten Modell, das jetzt erneut bereitgestellt werden kann, um weitere Endbenutzerdaten zu sammeln. Dies ist ein iterativer Zyklus, der es dem System ermöglicht, kontinuierlich Daten zu sammeln, aus Ihrem Feedback zu lernen und dieses Feedback zur weiteren Verbesserung Ihrer NLU -Modelle zu verwenden.

Alle 30 Tage ruft das System bis zu 300 Äußerungsbeispiele aus VA-Chatprotokollen in die Experten-Feedbackschleife ab. Die Äußerungen werden basierend darauf für Feedback ausgewählt, wie gut sie alle Äußerungen in den Protokollen darstellen. Jede Äußerung, die aus VA-Chatprotokollen erfasst wird, hat eine vorhergesagte Absicht, die vom System ausgewählt wurde.

Sie können auch die Anzahl der Äußerungen festlegen, die aus VA-Chatprotokollen abgerufen werden sollen, indem Sie die Einstellung für die Systemeigenschaft glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_size anpassen.

Entscheiden Sie bei der Überprüfung der Äußerungen, ob jede Äußerung zu ihrer vorhergesagten Absicht gehört oder in eine andere Absicht verschoben werden soll. Wenn Sie sich bezüglich der richtigen Absicht nicht sicher sind, kann die Äußerung zur weiteren Überprüfung als erneut aufgerufen markiert werden. Nachdem Sie mindestens 100 Äußerungen mit Ihrem Feedback markiert haben, verwendet das System alle markierten Äußerungen, um das Modell zu optimieren und zu verbessern.

Überprüfen der Äußerungen Ihres VA-Chatprotokolls

Jetzt, da Sie auf dem Laufenden sind, sehen Sie in der folgenden Abbildung eine Liste von NLU Äußerungen, die die Absichten in den VA-Modellen unterstützen. Jede Seite der Liste zeigt ungefähr 20 Äußerungen pro Seite. Ihr Ziel besteht darin, jede Äußerung zu überprüfen und ihren Beziehungsstatus zu einer bestimmten VA-Absicht zu kennzeichnen. Markieren Sie jede Äußerung entweder mit dem Wert NLU_Match, Mismatchoder Unsure.

Wenn Sie eine Äußerung als NLU_Match markieren, stimmen Sie der NLU-Vorhersage für diese Äußerung zu. Das Markieren einer Äußerung als Nichtübereinstimmung bedeutet, dass die Äußerung zu einer anderen Absicht gehört. Wenn Sie Nichtübereinstimmung auswählen, wird eine Dropdown-Liste mit Absichten angezeigt, damit Sie die richtige Absicht auswählen können. Wenn Sie nicht sicher sind, welche Absicht korrekt ist, können Sie sie als Unsichermarkieren.

Äußerungen, die mit dem Wert NLU_Match oder Mismatch markiert und gespeichert sind, werden in den Abschnitt Abgeschlossene Überprüfungen verschoben. Äußerungen, die mit dem Wert Unsicher markiert und gespeichert sind, werden in den Abschnitt „ Weitere Überprüfung erforderlich“ verschoben.

Das folgende Szenario zeigt die grundlegenden Schritte, die Sie zum Abschließen Ihrer Äußerungsüberprüfungen ausführen:

1. Wählen Sie oben im Bildschirm „Feedbackschleife exportieren“ ein Modell aus, das Sie in der Eingabeaufforderung „ Experten-Feedbackschleife für “ überprüfen möchten. Im Rahmen dieser Funktion spielt es in gewisser Weise keine Rolle, welches Modell Sie auswählen, da diese Modelle hauptsächlich dazu dienen, die Äußerungen aufzunehmen, die Sie in Ihren Überprüfungen markieren. In diesem Beispielszenario entscheiden Sie sich für das Modell „ IT- Modell“, das fünf Absichten und viele Äußerungen innerhalb jeder dieser Absichten aufweist. Die Anzahl der Äußerungen, die Sie überprüfen müssen, wird neben dem Namen der vorhergesagten Absicht angezeigt (siehe folgende Abbildung). Die Absichten in diesen Modellen werden in der Spalte Vorhergesagte Absichten auf Ihrem Bildschirm aufgelistet. Sie können zwar Äußerungen in jeder der vorhergesagten Absichten überprüfen und markieren, es ist jedoch besser, die Überprüfungen nacheinander in der Reihenfolge abzuschließen, in der die Absichten zuerst angezeigt werden. Beginnen Sie beispielsweise mit der Absicht ad_password_change und fahren Sie dann mit anderen vorhergesagten Absichten fort.
2. Klicken Sie auf die Absicht ad_password_change, damit die Äußerungen zur Überprüfung in den Abschnitt „ Aufgabe “ geladen werden.
3. Überprüfen Sie die 15 Äußerungen in der Absicht. In diesem Szenario haben Sie zunächst die Äußerung I want to change my AD password äußerung als Übereinstimmung mit der Absicht ad_password_change markiert.
4. Klicken Sie auf Feedback speichern.
   Ergebnis: Das System verschiebt die Äußerung, die Sie markiert haben, in den Abschnitt „ Fertig “ des Bildschirms. Gleichzeitig sinkt die Anzahl der Aufgabenäußerungen von 15 auf 14, während die Anzahl im Abschnitt „ Fertig “ von 0 auf 1 ansteigt. Wenn Sie auch eine andere Äußerung mit dem Wert Unsicher markiert und diese Änderung gespeichert haben, die Anzahl der Äußerungen im Abschnitt „ Weitere Überprüfung erforderlich“ ebenfalls von 0 auf 1 ansteigen.

   Hinweis:

   Wenn Sie nicht wissen, welche Absicht am besten zur Äußerung passt, markieren Sie sie mit dem Wert Unsicher. Mit dieser Aktion wird die Äußerung in den Abschnitt „ Weitere Überprüfung erforderlich“ verschoben, sodass Sie Zeit haben, andere Äußerungen im Abschnitt „ Aufgabe “ zu markieren, die möglicherweise leichter mit einer Absicht übereinstimmen oder nicht. Sie können jederzeit zum Abschnitt „ Weitere Überprüfung erforderlich“ zurückkehren, um Äußerungen zu markieren, die sich nur schwer einer bestimmten Absicht zuordnen lassen.
5. Wiederholen Sie die Schritte 1 bis 4, während Sie die verbleibenden Absichten in der Spalte Vorhergesagte Absichten durchgehen.

Abbildung : 1. Markieren von Äußerungen als mit einer VA-Absicht übereinstimmend oder nicht übereinstimmend

Die Äußerungen in der Absicht „ad_password_change“ können leicht als Übereinstimmung mit der vorhergesagten Absicht markiert werden, da mindestens eine Äußerung innerhalb der Absicht das Wort „ password “ enthält.

Wenn Sie die Überprüfung der Äußerungen in der vorhergesagten Absicht abgeschlossen haben und auf Feedback speichernklicken, wird der Bildschirm aktualisiert, um die nächste vorhergesagte Absicht im Modell hervorzuheben.

Wenn Sie möchten, dass Ihre Äußerungen nach ihrem Wert gruppiert werden, klicken Sie auf den Filter Anzeigen und wählen Sie eine der Optionen in der Eingabeaufforderung aus. Die Werte sind All, NLU_Matchund Unsure.

Verwenden der Kartenansichtsoption, um Ihre Äußerungen zu überprüfen

Ihre Äußerungen in der Experten-Feedbackschleife werden standardmäßig im Abschnitt „ Aufgabe “ in einer Listenansicht angezeigt, wie in vielen der Bilder gezeigt, die Sie bisher oben gesehen haben. Sie können jedoch auch eine andere Ansicht auswählen, in der jede Äußerung innerhalb einer Karte angezeigt wird. Wenn Sie diese Option auswählen, wird jede Äußerung auf der Seite in Fünfergruppen angezeigt. Klicken Sie in der Listenansicht auf das Kartensymbol.

Ergebnis: Die Kartenansicht ersetzt die Listenansicht. Beachten Sie die Pfeile nach links und rechts auf beiden Seiten der Äußerungskarten. Wenn Sie auf den Rechtspfeil klicken, wird die Seite zum nächsten Satz von fünf Karten umgeschaltet. Wenn Sie auf den Linkspfeil klicken, wird die Seite zum vorherigen Satz von fünf Karten umgeschaltet. Wenn Sie anstelle der Kartenansicht wieder zur Listenansicht wechseln möchten, klicken Sie auf das Listensymbol (siehe Abbildung oben rechts).

Ändern eines Äußerungswerts

Wenn Sie eine Äußerung markieren, dann aber Ihre Meinung zu dem von Ihnen ausgewählten Wert ändern, können Sie das Problem lösen, indem Sie auf Fehlanpassung klicken und eine andere Absicht auswählen. Klicken Sie auf Feedback speichern, um die Änderung zu speichern.

Nicht gespeichertes Feedback

Wenn Sie eine Sitzung zum Markieren Ihrer Äußerungen beenden und sich abmelden, aber vergessen haben, Ihre Änderungen zu speichern, wählen Sie Nicht gespeicherte Änderungen in der Eingabeaufforderung Wird angezeigt aus. Mit dieser Aktion werden alle Äußerungen angezeigt, für die Sie Feedback gegeben, aber noch nicht gespeichert haben.

Beschaffung zusätzlicher VA-Feedbackdaten bei Bedarf

Führen Sie die folgenden Schritte aus, um weitere Daten aus den VA-Chatprotokollen zur Verwendung in der Experten-Feedbackschleife abzurufen.

1. Verwenden Sie die Rolle nlu_admin, und navigieren Sie zu Alle > Systemdefinition > Geplante Aufgaben > Aktives Lernen.
2. Klicken Sie auf Aktives Lernen.

   

3. Klicken Sie auf Jetzt ausführen.

   

4. Erhöhen oder legen Sie die Werte in den folgenden vier NLU Systemeigenschaften fest.

• glide.mlpredictor.option.nlu.activeLearning.va_chat_logs.max_row_limit - 3000
• glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_data_size - 10000
• glide.mlpredictor.option.nlu.activeLearning.label_table.max_data_size - 10000
• glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_size-300

Informationen zur Funktionsweise dieser Eigenschaften im Kontext anderer NLU -Eigenschaften finden Sie unter NLU-Workbench -Eigenschaften.

Nicht kategorisierte Äußerungen werden überprüft

Als Teil des Feeds aus VA-Chatprotokollen an die Experten-Feedbackschleife erfasst das System alle Äußerungen in Ihrer Instanz, die nicht Teil einer VA-Absicht sind, und zeigt sie in einer Liste an. Sie greifen auf diese Äußerungen zu, indem Sie oben auf dem Bildschirm in der Experten-Feedbackschleife für die Eingabeaufforderung Nicht kategorisiert auswählen.

Wenn der Bildschirm aktualisiert wird, werden diese Äußerungen in der Spalte Äußerung des Abschnitts „Nicht kategorisierte Äußerungen “ des Bildschirms angezeigt.

Wichtig:

Es ist äußerst wichtig, Feedback zu diesem Satz von Äußerungen zu geben, da das System vorschlägt, dass diesen Äußerungen keine Absicht zugeordnet ist. Indem Sie diese fehlende Zuordnung bestätigen oder diese Äußerungen einer vorhandenen Absicht zuordnen, helfen Sie dem Modell, richtig zu lernen.

Hier sind die Schritte, die Sie verwenden, um eine nicht kategorisierte Äußerung mit einer Absicht zu verknüpfen:

1. Wählen Sie in der Spalte Äußerung eine Äußerung aus der Liste aus.
2. Suchen Sie in der Spalte Korrigierte Absicht eine Absicht und ihr Modell aus der Eingabeaufforderung, die Ihrer Meinung nach am besten zur Äußerung passt, und wählen Sie sie aus.

Eine gute Paarung für diese Verbindung ist beispielsweise die Frage „Kann ich mit meinem EWS handeln?“. Äußerung aus der Spalte Äußerung und die Absicht 401kBenefitsInquiry aus der Spalte Korrigierte Absicht, wie in der folgenden Abbildung dargestellt.

Hinweis:

In der Spalte Korrigierte Absicht können Sie nach allen Absichten in allen Modellen in Ihrer Instanz suchen und sie verwenden.

Abbildung : 2. Koppeln einer nicht kategorisierten Äußerung mit einer Absicht und ihrem Modell

In Bezug auf das obige Bild betrachten wir einige Elemente, die beschreiben, wie die Seite mit nicht kategorisierten Äußerungen funktioniert. Im Abschnitt „Aufgabe“ werden Äußerungen gesammelt, die mit einer Absicht verbunden werden müssen. An diesem Tag sehen wir 120 solcher Äußerungen. Beachten Sie, dass der Abschnitt „ Fertig “ auf dem Bildschirm keine Äußerungen enthält, da Sie noch keine Aktion ausgeführt haben.

Beachten Sie auch, dass sich ganz rechts auf dem Bildschirm ein vertikaler Balken befindet, in dem Sie nach oben und unten scrollen können, um durch die Liste der Äußerungen zu navigieren. Am unteren Rand dieses Bildlaufbildschirms befinden sich Pfeile, die nach links und rechts zeigen, sodass Sie zur nächsten oder vorherigen Seite der vollständigen Äußerungsliste für den Tag wechseln können.

Beachten Sie auch, dass die Schaltfläche Feedback speichern, die normalerweise standardmäßig aktiviert ist, deaktiviert wird, wenn Sie Maßnahmen ergreifen, um eine Verbindung herzustellen, da das System Ihre Aktion erkennt und Ihre Änderung automatisch speichert.

Daten der Experten-Feedbackschleife in der Phase „Modell optimieren“.

Die Schaltfläche Modell optimieren in der Experten-Feedbackschleife ist immer aktiviert und unterstützt die Experience des Verschiebens von Äußerungen von der Registerkarte „Experten-Feedbackschleife abgeschlossen“ in das Modell und seinen Testsatz. Verwenden Sie die Rolle nlu_admin, um auf diese Schaltfläche zu klicken, wenn Sie Ihr Modell optimieren oder erneut optimieren müssen.

Nach der Überprüfung der Äußerungen in der Experten-Feedbackschleife können Sie einen Teil der Feedback-Daten in den Standardtestsatz Ihres Modells verschieben. Diese Äußerungen werden dann direkt der Registerkarte Äußerungen testen Ihres Modells hinzugefügt. Dies hilft Ihnen, Ihren Testsatz kontinuierlich mit echten Endbenutzeräußerungen zu pflegen und zu aktualisieren. Das System verfolgt die Quelle der Testäußerungen, um nachzuvollziehen, ob sie aus der Experten-Feedbackschleife oder aus einer anderen Quelle stammen.

Wenn Sie auf die Schaltfläche Modell optimieren klicken, bevor Sie mindestens 100 Äußerungen markiert und gespeichert haben, wird der Bildschirm aktualisiert, um Sie daran zu erinnern, dass die Qualität Ihrer Modellleistung zunimmt, wenn Sie das Feedbackziel von 100 Äußerungen erreichen, wie im Text in der folgenden Abbildung angegeben .

Während Sie Ihre Feedback-Daten weiterhin markieren und speichern, können Sie das Verhältnis der überprüften Äußerungen (in Grün) und der noch zur Überprüfung verfügbaren Äußerungen (in Weiß) auf dem Fortschrittsbalkenbild unten sehen.

Auf dem Bild Optimieren Sie Ihr Modell unten sehen Sie die standardmäßige 60/40-Prozentsatzaufteilung für Ihren Modelltrainingssatz und Ihren Modelltestsatz. Sie können diese Standardwerte bei Bedarf anpassen, indem Sie in jedem der beiden Felder (%) Ihre eigenen Zahlen auswählen. Wenn Sie mit Ihrer prozentualen Aufteilung zufrieden sind, klicken Sie auf die Schaltfläche Optimieren, um Ihr Modell basierend auf den von Ihnen ausgewählten Prozentwerten zu optimieren.

Hinweis:

Wenn Sie auf die Einfügehilfe Feedback anzeigen klicken, gelangen Sie zu einem Bildschirm „Experten-Feedbackschleife“, in dem Sie Ihre Feedback-Äußerungen überprüfen, markieren und speichern können.

Verwenden des Active Learning-Auftrags

Geplante Aufgaben, auch als Batch-Aufgaben oder Batch-Zeitplanung bezeichnet, sind automatisierte Arbeitsschritte, die zu einem bestimmten Zeitpunkt oder nach einem wiederkehrenden Zeitplan ausgeführt werden. Viele Aufgaben werden nach Zeitplänen ausgeführt, aber wir konzentrieren uns jetzt auf die Aufgabe „Aktives Lernen“ als Beispiel.

Hier sind drei Dinge, die Sie tun können, wenn Sie den Active Learning-Auftrag verwenden.

• Ändern Sie das Wiederholungshäufigkeitsintervall, mit dem die Active Learning-Aufgabe ausgeführt wird.
• Überprüfen Sie, wann die nächste geplante Ausführung für die Active Learning-Aufgabe festgelegt ist.
• Führen Sie die Aufgabe „Aktives Lernen“ aus, wann immer Sie möchten (bei Bedarf).

Hier sind einige Schritte, die Sie für den Anfang verwenden können.

1. Navigieren Sie mit der Rolle nlu_admin zum Feld Alle, gebenSie sysauto_script.list ein, und drücken Sie dann die Eingabetaste auf Ihrer Tastatur. Der Bildschirm wird aktualisiert und zeigt die Seite „Zeitplan“ an, auf der alle geplanten Aufgaben aufgelistet sind.
   
   
2. Klicken Sie auf der Seite „Zeitplan“ auf Aktives Lernen. Ein Datensatz für den Auftrag „Active Learning“ wird angezeigt (siehe Abbildung unten).
   
   
3. Konfigurieren Sie im Datensatz „Aktives Lernen“ die folgenden Felder.
   • Wählen Sie im Feld Ausführen eine der acht Optionen für das Wiederholungsintervall für den Auftrag aus. Verfügbare Optionen: Täglich, Wöchentlich, Monatlich, Regelmäßig, Einmal, Bei Bedarf, Geschäftskalender:Eintragsbeginnund Geschäftskalender:Eintragsende.
   • Geben Sie im Feld Wiederholungsintervall die Anzahl der Tage ein, die zwischen jetzt und dem nächsten Wiederholungsintervall für den Active Learning-Auftrag liegen soll.
   • Klicken Sie im Feld Start auf das Kalendersymbol, und wählen Sie den Tag und die Uhrzeit für das nächste Active Learning-Auftragsintervall aus.
   • Klicken Sie auf die Schaltfläche Aktualisieren, um Ihre Konfigurationen zu speichern, oder klicken Sie auf die Schaltfläche Jetzt ausführen, um die Ausführung des Active Learning-Auftrags zu starten.
   • Um zu überprüfen, wann der nächste Active Learning-Auftrag ausgeführt wird, navigieren Sie zum Feld Alle, gebenSie sys_trigger.list ein, und drücken Sie dann die Eingabetaste auf Ihrer Tastatur. Die Seite Zeitplan wird angezeigt. Klicken Sie auf Aktives Lernen. Der Datensatz „Zeitplanelement“/„Aktives Lernen“ wird angezeigt und füllt das Feld Nächste Aktion mit dem Datum und der Uhrzeit für die nächste Ausführung des Active Learning-Auftrags aus.