Feedback zum Testbereich

Verwenden Sie diese Funktion beim Testen Ihres NLU -Modells im Abschnitt „Modell testen“ des Testbereichs, um Feedback zu den Absichtsvorhersagen des Modells zu geben.

Zusammenfassungskontext

Wenn ein Modell trainiert und auf eine Äußerung getestet wird und das Modell eine Absichtsvorhersage zurückgibt, können Sie die vorhergesagte zurückgegebene Absicht mit „Daumen hoch“ oder „Daumen runter“ bewerten. Wenn Sie eine andere Absichtsvorhersage als richtig markieren, wird die Äußerung der korrigierten Absicht hinzugefügt. Alle anderen Feedbacks werden erfasst, um kontinuierliches Lernen zu ermöglichen. Das System berücksichtigt dann Ihr Feedback, um die Modellvorhersagen zu optimieren. Diese Funktion erfordert die Rolle nlu_admin, um auf das Modell zuzugreifen und es zu testen. NLU -Editoren können auch auf den Testbereich zugreifen, wenn sie von einem NLU -Administrator zugewiesen werden.

Bereitstellung von Vorhersagefeedback

Die von Ihnen angegebenen Bewertungen helfen dem System, eine Absicht einer Äußerung zuzuordnen. Diese Bewertungen sind wichtig, damit das System kontinuierlich lernen, sich weiterentwickeln und die Genauigkeit der Absichtsvorhersagen basierend auf Benutzereingaben verbessern kann. Sie ermöglichen es Ihnen auch, das System zu benachrichtigen, ob die Absichtsvorhersage korrekt ist oder nicht.

Die folgenden Szenarien zeigen Beispiele dafür, wie Sie mit Ihrem Modelltestbereich interagieren und dem System Vorhersagefeedback geben können. In allen Szenarien verwenden Sie diese vier Schritte:

1. Wählen Sie in der Phase Modell erstellen und trainieren die Option Modell testen aus, um den Testbereich zu öffnen.
2. Geben Sie im Testfenster im Feld Enter an uterance to test (Äußerung zum Testen eingeben) eine kurze Äußerung ein, die einer Trainingsäußerung in einer der Absichten ähnelt.
3. Klicken Sie auf LOS.

   Ergebnis: Das System gibt seine Vorhersagen für Ihre Testäußerung im Abschnitt „ Häufigste Vorhersagen “ des Testbereichs zurück.

4. Klicken Sie auf das Symbol „Daumen nach oben“ oder das Symbol „Daumen nach unten“.

   Wenn das System wissen soll, dass es die richtige Absicht für Ihre Äußerung vorhergesagt hat, klicken Sie auf das Symbol „Daumen hoch“.

   Wählen Sie in allen anderen Fällen das Symbol „Daumen nach unten“ aus, wodurch der Abschnitt Feedback geben zur Verbesserung dieser Vorhersage geöffnet wird. Hier können Sie eine andere Absicht als die am häufigsten vorhergesagte Absicht auswählen.

Szenario 1: Geben Sie im Testbereich im Abschnitt „Modell testen“ als Äußerung „ help with hr “ ein. Wenn die besten Vorhersageergebnisse angezeigt werden, sind Sie sicher, dass die vorhergesagte Absicht mit Ihrer Äußerung übereinstimmt. In diesem Fall klicken Sie auf das Symbol „Daumen hoch“.

Ergebnisse:

• Das System hat die richtige Absicht vorhergesagt, die in diesem Fall #CreateHRGeneralInquiryCase lautet.
• Ihr Feedback benachrichtigt das System, dass Ihrer Testäußerung die richtige Absicht zugeordnet wurde.

Szenario 2: In einem separaten Modell in einer separaten Instanz gibt ein anderer Benutzer dieselbe Hilfe mit HR -Äußerung ein. Das System antwortet mit den besten Vorhersageergebnissen für die Absicht, aber der Benutzer ist sich nicht sicher, ob es sich um die richtige Absicht handelt oder nicht. Dieser Benutzer klickt also auf das Symbol „Daumen nach unten“, wie in der folgenden Abbildung dargestellt.

Ergebnis: Der Bereich wird erweitert, um den Abschnitt Feedback zur Verbesserung dieser Vorhersage abgeben anzuzeigen, in dem Benutzer Feedback abgeben können, das zur Verbesserung der Absichtsvorhersage beitragen kann.

Hier gibt es zwei Optionen:

• Wenn Benutzer auf die Schaltfläche Die richtige Absicht sollte sein: klicken, wird eine Liste angezeigt, in der sie eine passendere Absicht für die Testäußerung auswählen können. In diesem Beispielszenario wählt ein Benutzer die Absicht „Arbeitsstandort abrufen“ aus, wie in der folgenden Abbildung dargestellt.

  

• Wenn Sie auf die Eingabeaufforderung Ich bin mir nicht sicher, was die richtige Absicht ist, klicken, anstatt eine Top-Vorhersage zurückzugeben, zeigt das System die nächstbesten verfügbaren Absichtsvorhersagen an.

Szenario 3: In einem separaten Modell in einer separaten Instanz übermittelt ein anderer Benutzer eine Äußerung, die Kauderwelsch verwendet, oder verwendet eine Sprache, die sich von der Sprache des Modells unterscheidet. Beispiel: Ein Benutzer übermittelt versehentlich eine Äußerung, die aus nichtenglischer und englischer Sprache besteht, wie in der folgenden Abbildung dargestellt.

Ergebnis: Das System gibt keine Vorhersage zurück, da die Äußerung zwei verschiedene Sprachen verwendet. Da keine Absicht vorhergesagt wurde, klickt der Benutzer auf die Option Feedback geben, wodurch der Abschnitt „Modell testen“ erweitert wird, um andere Absichtsalternativen anzuzeigen.

Anstatt also eine Absicht aus der Eingabeaufforderung auszuwählen, wählt dieser Benutzer die Option Keine Absicht sollte vorhergesagt werden aus.

Hinweis:

Wenn Sie No intent sollte vorhergesagtauswählen und speichern, wird die Äußerung aus allen Absichten entfernt, zu denen sie gehört.

Szenario 4: Sie können nicht nur aus einer Liste der Absichten Ihres Modells für eine Vorhersage auswählen, sondern das System auch direkt darüber informieren, dass die Äußerung für das Modell irrelevant ist. Klicken Sie dazu auf die Schaltfläche Vorhersagen dieses Modells für diese Äußerung ausschließen und dann auf Änderungen speichern.

Ergebnis: Oben auf dem Bildschirm wird ein Banner angezeigt, in dem bestätigt wird, dass das Benutzerfeedback für die Vorhersage gespeichert wurde (siehe Abbildung unten).

Zugriff auf Ihre Feedback-Datensätze

Ihre Feedback-Daten werden in der Tabelle ml_labeled_data gespeichert, die auch von anderen ServiceNow -Produkten verwendet wird. Diese Tabelle kann auch mehrere Quellen enthalten, z. B. Virtual Agent Chatprotokolle, die für zukünftige Vorhersagen verwendet werden können.