NLU Experten-Feedback-Schleife
Geben Sie Feedback zu Virtual AgentÄußerungen des Chatprotokolls, um das System kontinuierlich zu lernen und Anwendereingaben besser vorherzusagen.
Zusammenfassungsnutzung
Die Experten-Feedbackschleife übernimmt Daten aus Ihrer Instanz und stellt sie Ihnen für Feedback zur Verfügung. Diese Daten stammen aus den Virtual Agent (VA)-Chatprotokollen Ihrer Benutzer und enthalten Äußerungen aus diesen Protokollen. Navigieren Sie mit der Rolle „nlu_admin“ zu Und markieren Sie jede Äußerung in einem Modell, indem Sie bestätigen, ob die Äußerung mit einer Absicht korrekt (Übereinstimmung) oder falsch (Nichtübereinstimmung) ist. Dieses Feedback hilft dem Modell, die Leistung des Modells kontinuierlich zu verbessern.
Installation
Experten-Feedbackschleife ist Teil der App „NLU-Workbench – Erweiterte Funktionen“, die auf verfügbar ist ServiceNow® Store.
Um Experten-Feedbackschleife zu verwenden, stellen Sie sicher, dass NLU-Workbench– Plugin „Erweiterte Funktionen“ (sn_nlu_Workbench) ist in Ihrer Instanz aktiv. Weitere Informationen finden Sie unter Installieren NLU-Workbench: Erweiterte Funktionen Und Aktivieren Sie die NLU-Workbench .
Da die Experten-Feedbackschleife auf den Daten aus VA-Chatprotokollen basiert, stellen Sie sicher, dass auch das Plugin „Glide Virtual Agent“ (com.glide.cs.chatbot) aktiv ist. Siehe Aktivieren Sie Virtual Agent .
Importieren von Experten-Feedback-Schleifendaten zwischen Instanzen
Bevor Sie einen Import starten, stellen Sie sicher, dass Sie Zugriff auf die Daten in Ihrer Instanz haben und über genügend Daten verfügen, um mit Ihrem Feedback fortzufahren.
Wenn Sie in einer Unterproduktionsinstanz arbeiten, müssen Sie die Feedbackdaten aus importieren Open_nlu_Predict_Intent_Feedback Tabelle in Ihrer Produktionsinstanz zu Ihrer Unterproduktionsinstanz. Anleitungen zum Importieren finden Sie unter Import aus einer anderen ServiceNow-Instanz .
- Wenn Sie ein Modell in eine andere Instanz verschieben, werden die Feedbackdaten beibehalten.
- Wenn Sie ein Upgrade der Instanz durchführen, werden die Feedbackdaten beibehalten.
- Wenn Sie eine Instanz klonen, bleiben die Daten nicht erhalten. Sie müssen daher das oben angegebene Verfahren befolgen, um die Daten in die geklonte Instanz zu importieren.
Feedback-Kontext und Zugriff
Die Experten-Feedbackschleife bietet Ihnen einen Mechanismus zur Verbesserung NLU Modelle, die VA durch Feedback bereitgestellt werden, das Sie zu einer ausgewählten Teilmenge von Äußerungen geben. Für jede Äußerung werden Sie aufgefordert, die vorhergesagte Absicht zu bestätigen oder die richtige Absicht anzugeben, zu der die Äußerung gehört. Nach Abschluss dieses Feedbacks werden die Daten verwendet, um die Modellleistung zu optimieren, was zu einem verbesserten Modell führt, das jetzt erneut bereitgestellt werden kann, um mehr Endanwenderdaten zu sammeln. Dies ist ein iterativer Zyklus, der es dem System ermöglicht, kontinuierlich Daten zu erfassen, aus dem von Ihnen gegebenen Feedback zu lernen und dieses Feedback zu verwenden, um Ihre weiter zu verbessern NLU Modelle.
Alle 30 Tage ruft das System bis zu 300 Äußerungsbeispiele aus VA-Chatprotokollen in die Experten-Feedbackschleife ab. Die Äußerungen werden für Feedback ausgewählt, je nachdem, wie gut sie alle Äußerungen in den Protokollen darstellen. Jede Äußerung, die aus VA-Chatprotokollen als Stichprobe erfasst wurde, hat eine vorhergesagte Absicht, die vom System ausgewählt wurde.
Sie können auch die Anzahl der Äußerungen festlegen, die aus VA-Chatprotokollen abgerufen werden sollen, indem Sie die Einstellung für anpassen glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_sizeSystemeigenschaft.
Weitere Informationen zum Abrufen von Äußerungen aus VA-Chatprotokollen finden Sie in den Abschnitten zum Beschaffen zusätzlicher VA-Feedback-Daten bei Bedarf und zur Verwendung des aktiven Lernauftrags unten.
Während Sie die Äußerungen überprüfen, entscheiden Sie, ob jede Äußerung zu ihrer vorhergesagten Absicht gehört oder in eine andere Absicht verschoben werden soll. Wenn Sie sich bei der richtigen Absicht nicht sicher sind, kann die Äußerung markiert werden, um sie zur weiteren Überprüfung zu überprüfen. Nachdem Sie mit Ihrem Feedback mindestens 100 Äußerungen markiert haben, verwendet das System alle markierten Äußerungen, um das Modell zu optimieren und zu verbessern.
Äußerungen Ihres VA-Chatprotokolls werden überprüft
Jetzt, da Sie sich in der Schleife befinden, können Sie im folgenden Bild eine Liste von sehen NLUÄußerungen, die die Absichten in den VA-Modellen unterstützen. Jede Seite der Liste zeigt ungefähr 20 Äußerungen pro Seite. Ihr Ziel besteht darin, jede Äußerung zu überprüfen und ihren Beziehungsstatus mit einer bestimmten VA-Absicht zu markieren. Sie markieren jede Äußerung entweder mit NLU_match , Nichtübereinstimmung , Oder Unsicher Wert.
Äußerung wird als markiert NLU_match Bedeutet, dass Sie der NLU-Vorhersage für diese Äußerung zustimmen. Äußerung wird als markiert Nichtübereinstimmung Bedeutet, dass die Äußerung zu einer anderen Absicht gehört, und wenn Sie auswählen Nichtübereinstimmung , Eine Dropdownliste mit Absichten wird angezeigt, damit Sie die richtige Absicht auswählen können. Wenn Sie sich nicht sicher sind, welche Absicht richtig ist, können Sie sie als markieren Unsicher .
Äußerungen, die mit markiert und gespeichert werden NLU_match Wert oder Nichtübereinstimmung Wert wird in verschoben Abgeschlossene Überprüfungen Abschnitt. Äußerungen, die mit markiert und gespeichert werden Unsicher Wert wird in verschoben Weitere Überprüfung erforderlich Abschnitt.
- Wählen Sie oben im Bildschirm „Feedback-Schleife exportieren“ ein Modell aus, das Sie in überprüfen möchten Experten-Feedback-Schleife für Eingabeaufforderung. Innerhalb dieser Funktion spielt es in gewisser Weise keine Rolle, welches Modell Sie auswählen, da diese Modelle hauptsächlich dazu dienen, die Äußerungen zu beherbergen, die Sie in Ihren Prüfungen markieren. In diesem Beispielszenario entscheiden Sie sich daher, die auszuwählen IT-Modell Modell, das fünf Absichten und viele Äußerungen in jeder dieser Absichten enthält. Die Anzahl der Äußerungen, die Sie überprüfen müssen, wird neben dem Namen der vorhergesagten Absicht angezeigt, wie in der folgenden Abbildung dargestellt. Die Absichten in diesen Modellen sind in aufgeführt Vorhergesagte Absichten Spalte auf Ihrem Bildschirm. Obwohl Sie Äußerungen in einer der vorhergesagten Absichten überprüfen und markieren können, ist es eine bessere Idee, die Prüfungen nacheinander in der Reihenfolge abzuschließen, in der die Absichten zuerst angezeigt werden. Beginnen Sie beispielsweise mit Ad_password_Change Absicht und dann weiter zu anderen vorhergesagten Absichten.
- Klicken Sie auf Ad_password_Change Absicht, damit seine Äußerungen in geladen werden Zu erledigen Abschnitt für Ihre Überprüfung.
- Überprüfen Sie die 15 Äußerungen in der Absicht. In diesem Szenario haben Sie mit der richtigen Kennzeichnung begonnen Ich möchte mein AD-Passwort ändern Äußerung als Übereinstimmung mit Ad_password_Change Absicht.
- Klicken Sie Auf Feedback speichern .Ergebnis: Das System verschiebt die von Ihnen markierte Äußerung in den Fertig Abschnitt des Bildschirms. Gleichzeitig die Anzahl von Zu erledigen Äußerungen fallen von 15 auf 14, während die Anzahl auf der sinkt Fertig Abschnitt steigt von 0 auf 1. Wenn Sie auch eine andere Äußerung mit markiert haben Unsicher Wert und diese Änderung gespeichert, die Anzahl der Äußerungen in Weitere Überprüfung erforderlich Abschnitt würde auch von 0 auf 1 steigen.Hinweis:Wenn Sie nicht wissen, welche Absicht am besten mit der Äußerung übereinstimmt, markieren Sie sie mit Unsicher Wert. Mit dieser Aktion wird die Äußerung in verschoben Weitere Überprüfung erforderlich Abschnitt, in dem Sie Zeit zum Markieren anderer Äußerungen im haben Zu erledigen Abschnitt, der leichter mit einer Absicht übereinstimmt oder nicht übereinstimmt. Sie können jederzeit zum zurückkehren Weitere Überprüfung erforderlich Abschnitt zum Markieren von Äußerungen, die schwieriger an einer bestimmten Absicht festzuhalten sind.
- Wiederholen Sie die Schritte 1 bis 4, während Sie die verbleibenden Absichten im durchlaufen Vorhergesagte Absichten Spalte.
Die Äußerungen in Ad_password_Change Die Absicht kann leicht als Übereinstimmung mit der vorhergesagten Absicht markiert werden, da mindestens eine Äußerung in der Absicht vorhanden ist, die das Wort enthält Passwort Darin.
Wenn Sie die Überprüfung der Äußerungen in der vorhergesagten Absicht abgeschlossen haben, und klicken Sie auf Feedback speichern , Der Bildschirm wird aktualisiert, um die nächste vorhergesagte Absicht im Modell hervorzuheben.
Wenn Sie Ihre Äußerungen nach ihrem Wert gruppiert sehen möchten, klicken Sie auf Wird Angezeigt Filtern und wählen Sie eine der Optionen in der entsprechenden Eingabeaufforderung aus. Die Werte sind Alle , NLU_match , Und Unsicher .
Verwenden Sie die Kartenansichtsoption, um Ihre Äußerungen zu überprüfen
Äußerungen der Experten-Feedbackschleife werden im angezeigt Zu erledigen Abschnitt in einer Listenansicht standardmäßig, wie in vielen der Bilder gezeigt, die Sie bisher oben gesehen haben. Sie können jedoch auch eine andere Ansicht auswählen, in der jede Äußerung innerhalb einer Karte angezeigt wird. Wenn Sie diese Option auswählen, wird jede Äußerung auf der Seite in Gruppen von fünf Personen angezeigt. Klicken Sie noch in der Listenansicht auf Karte Symbol.
Ergebnis: Die Kartenansicht ersetzt die Listenansicht. Beachten Sie die Pfeile nach links und rechts auf beiden Seiten der Seite der Äußerungskarten. Wenn Sie auf den Rechtspfeil klicken, wird die Seite zum nächsten Satz von fünf Karten umgeschaltet. Wenn Sie auf den Linkspfeil klicken, wird die Seite zum vorherigen Satz von fünf Karten umgeschaltet. Wenn Sie zurück zur Listenansicht anstatt zur Kartenansicht wechseln möchten, klicken Sie auf Liste Symbol, wie in der oberen rechten Ecke der Abbildung unten angezeigt.
Äußerungswert wird geändert
Wenn Sie eine Äußerung markieren, aber dann Ihre Meinung zu dem von Ihnen ausgewählten Wert ändern, können Sie das Problem lösen, indem Sie auf klicken Nichtübereinstimmung Und Auswahl einer anderen Absicht. Klicken Sie Auf Feedback speichern Um die Änderung zu speichern.
Nicht gespeichertes Feedback
Wenn Sie mit der Markierung Ihrer Äußerungen fertig sind und sich von einer Sitzung abmelden, aber vergessen, Ihre Änderungen zu speichern, wählen Sie aus Nicht gespeicherte Änderungen Von Wird Angezeigt Eingabeaufforderung. Diese Aktion zeigt alle Äußerungen an, für die Sie Feedback gegeben haben, die Sie aber noch nicht gespeichert haben.
Beschaffung zusätzlicher VA-Feedbackdaten bei Bedarf
- Verwenden Sie die Rolle nlu_admin, und navigieren Sie zu an.
- Klicken Sie Auf Aktive Lerninhalte .
- Klicken Sie auf Jetzt ausführen.
- Erhöhen oder legen Sie die Werte in den folgenden vier fest NLU Systemeigenschaften.
- glide.mlpredictor.option.nlu.activeLearning.va_chat_logs.max_row_limit - 3000
- glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_data_size - 10000
- glide.mlpredictor.option.nlu.activeLearning.label_table.max_data_size - 10000
- glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_size-300
Um zu sehen, wie diese Eigenschaften im Kontext von anderen funktionieren NLU Eigenschaften, siehe NLU-Workbench -Eigenschaften.
Nicht kategorisierte Äußerungen werden überprüft
Im Rahmen des Feeds aus VA-Chatprotokollen in der Experten-Feedbackschleife erfasst das System alle Äußerungen in Ihrer Instanz, die nicht Teil einer VA-Absicht sind, und zeigt sie in einer Liste an. Sie greifen auf diese Äußerungen zu, indem Sie auswählen Nicht Kategorisiert In Experten-Feedback-Schleife für Eingabeaufforderung oben auf Ihrem Bildschirm.
- In Äußerung Spalte eine Äußerung aus der Liste auswählen.
- In Korrigierte Absicht Spalte, suchen und wählen Sie eine Absicht und ihr Modell aus dem Prompt aus, die Ihrer Meinung nach die beste Übereinstimmung mit der Äußerung darstellt.
In Bezug auf das obige Bild gehen wir wie folgt einige Elemente ein, die beschreiben, wie die Seite mit nicht kategorisierten Äußerungen funktioniert. Die Zu erledigen Abschnitt erfasst Äußerungen, die mit einer Absicht verknüpft werden müssen. An diesem bestimmten Tag sehen wir 120 solcher Äußerungen. Beachten Sie, dass Fertig Der Abschnitt auf dem Bildschirm enthält keine Äußerungen, da Sie noch keine Aktion ergriffen haben.
Beachten Sie auch, dass es einen vertikalen Balken ganz rechts auf dem Bildschirm gibt, in dem Sie nach oben und unten scrollen können, um in der Liste der Äußerungen zu navigieren. Am unteren Rand dieses Bildlaufbildschirms befinden sich Pfeile, die nach links und rechts zeigen, damit Sie zur nächsten oder vorherigen Seite der vollständigen Äußerungsliste für den Tag wechseln können.
Beachten Sie auch, dass wenn Sie Maßnahmen ergreifen, um eine Verbindung herzustellen, die Feedback speichern Die normalerweise standardmäßig aktive Schaltfläche wird deaktiviert, da das System Ihre Aktion erkennt und Ihre Änderung automatisch speichert.
Daten der Experten-Feedback-Schleife in der Phase „Modell optimieren“
Die Modell optimieren Die Schaltfläche in der Experten-Feedbackschleife ist immer aktiviert und unterstützt die Erfahrung, Äußerungen aus der Experten-Feedbackschleife zu verschieben Fertig Registerkarte zum Modell und seinem Testsatz. Verwenden Sie die Rolle „nlu_admin“, um jederzeit auf diese Schaltfläche zu klicken, wenn Sie Ihr Modell optimieren oder neu optimieren müssen.
Nachdem Sie Äußerungen in der Experten-Feedbackschleife überprüft haben, können Sie einen Teil der Feedbackdaten in den Standardtestsatz Ihres Modells verschieben. Diese Äußerungen werden dann direkt zu hinzugefügt Testen Sie Äußerungen Registerkarte Ihres Modells. Dies hilft Ihnen, Ihren Testsatz kontinuierlich mit echten Endanwenderäußerungen zu pflegen und zu aktualisieren. Das System verfolgt die Quelle der Testäußerungen, um zu sehen, ob sie aus der Experten-Feedbackschleife oder einer anderen Quelle stammen.
Wenn Sie auf klicken Modell optimieren Schaltfläche bevor Sie mindestens 100 Äußerungen markiert und gespeichert haben, wird der Bildschirm aktualisiert, um Sie daran zu erinnern, dass sich die Qualität Ihres Modells verbessert, wenn Sie das Ziel für das Feedback zu 100 Äußerungen erreicht haben, wie im Text in der folgenden Abbildung referenziert.
Wenn Sie Ihre Feedbackdaten weiterhin markieren und speichern, können Sie das Verhältnis der überprüften Äußerungen (grün) und der Äußerungen, die noch zur Überprüfung verfügbar sind (weiß), im Fortschrittsbalkenbild unten sehen.
Mit dem aktiven Lernauftrag
Geplante Aufgaben, auch als Batch-Aufgaben oder Batch-Planung bezeichnet, sind automatisierte Arbeitsschritte, die zu einem bestimmten Zeitpunkt oder in einem wiederkehrenden Zeitplan ausgeführt werden. Viele Aufträge werden nach Zeitplänen ausgeführt, aber wir konzentrieren uns jetzt auf den aktiven Lernauftrag als Beispiel.
- Ändern Sie das Wiederholungshäufigkeitsintervall, mit dem der aktive Lernauftrag ausgeführt werden soll.
- Überprüfen Sie, wann die nächste geplante Ausführung für den aktiven Lernauftrag festgelegt ist.
- Führen Sie den aktiven Lernauftrag wann immer Sie möchten (bei Bedarf) aus.
- Navigieren Sie mit der Rolle nlu_admin zu Alle Feld und Typ Sysauto_script.list , Und drücken Sie dann Zurück Drücken Sie auf Ihrer Tastatur. Der Bildschirm wird aktualisiert, um die Seite „Zeitplan“ anzuzeigen, auf der alle geplanten Aufgaben aufgelistet sind.
- Klicken Sie auf der Seite Zeitplan auf Aktive Lerninhalte . Ein Datensatz für den aktiven Lernauftrag wird angezeigt, wie in der folgenden Abbildung gezeigt.
- Konfigurieren Sie im Datensatz „aktive Lerninhalte“ die folgenden Felder.
- In Ausführen Feld eine der acht Wiederholungsintervalloptionen für den Auftrag auswählen. Die Optionen sind: Täglich , Wöchentlich , Monatlich , Regelmäßig , Eins , Bei Bedarf , Geschäftskalender:Eintragsstart , Und Geschäftskalender: Eintragsende .
- In Wiederholungsintervall Geben Sie die Anzahl der Tage ein, die zwischen jetzt und dem nächsten Wiederholungsintervall für den aktiven Lernauftrag liegen sollen.
- In Wird Gestartet Klicken Sie auf das Kalendersymbol, und wählen Sie den Tag und die Uhrzeit für das nächste aktive Lernen-Auftragsintervall aus.
- Klicken Sie auf Aktualisieren Schaltfläche, um Ihre Konfigurationen zu speichern, oder klicken Sie auf Jetzt Ausführen Schaltfläche zum Starten der Ausführung des aktiven Lernauftrags.
- Um zu überprüfen, wann der nächste aktive Lernauftrag ausgeführt wird, navigieren Sie zu Alle Feld und Typ sys_Trigger.list , Und drücken Sie dann Zurück Drücken Sie auf Ihrer Tastatur. Die Seite Zeitplan wird angezeigt. Klicken Sie Auf Aktive Lerninhalte . Der Datensatz Zeitplanelement/aktive Lerninhalte wird angezeigt und wird ausgefüllt Nächste Aktion Feld mit Datum und Uhrzeit für die nächste Ausführung des aktiven Lernauftrags.