Feedback zum Testbereich

Verwenden Sie diese Funktion, wenn Sie Ihr Modell NLU im Abschnitt „Modell testen“ des Testbereichs testen, um Feedback zu den Absichtsvorhersagen des Modells zu geben.

Zusammenfassungskontext

Wenn ein Modell für eine Äußerung trainiert und getestet wird und das Modell eine Absichtsvorhersage zurückgibt, können Sie für die vorhergesagte zurückgegebene Absicht eine Bewertung mit „Daumen hoch“ oder „Daumen runter“ abgeben. Durch Markieren einer anderen Absichtsvorhersage als richtig wird die Äußerung der korrigierten Absicht hinzugefügt. Alles andere Feedback wird zum kontinuierlichen Lernen erfasst. Das System berücksichtigt dann Ihr Feedback, um die Modellvorhersagen zu optimieren. Diese Funktion erfordert die Rolle nlu_admin, um auf das Modell zuzugreifen und es zu testen. NLU -Editoren können auch auf den Testbereich zugreifen, wenn ihnen ein NLU -Administrator zugewiesen wird.

Vorhersagefeedback wird bereitgestellt

Die von Ihnen angegebenen Bewertungen helfen dem System, eine Absicht einer Äußerung zuzuordnen. Diese Bewertungen sind wichtig, damit das System kontinuierlich lernen, sich weiterentwickeln und die Genauigkeit der Absichtsvorhersagen basierend auf Benutzereingaben verbessern kann. Sie ermöglichen es Ihnen auch, das System zu benachrichtigen, ob die Absichtsvorhersage korrekt ist oder nicht.

Die folgenden Szenarien zeigen Beispiele dafür, wie Sie mit dem Testbereich Ihres Modells interagieren und dem System Vorhersagefeedback geben. In allen Szenarien verwenden Sie diese vier Schritte:

1. Wählen Sie in der Phase Modell erstellen und trainieren Ihres Modells Modell testen, um den Testbereich zu öffnen.
2. Geben Sie im Feld Zu testende Äußerung eingeben des Testbereichs eine kurze Äußerung ein, die einer Schulungsäußerung in einer der Absichten ähnelt.
3. Klicken Sie auf LOS.

   Ergebnis: Das System gibt seine Vorhersagen für Ihre Testäußerung im Abschnitt „Top-Vorhersage(n)“ des Testbereichs zurück.

4. Klicken Sie auf das Symbol „Daumen hoch“ oder das Symbol „Daumen runter“.

   Wenn das System wissen soll, dass die richtige Absicht für Ihre Äußerung vorhergesagt wurde, wählen Sie das Symbol „Daumen hoch“.

   Wählen Sie in allen anderen Fällen das Symbol „Daumen nach unten“. Dadurch wird der Abschnitt Feedback abgeben, um diese Vorhersage zu verbessern geöffnet. Hier können Sie eine andere Absicht als die vorhergesagte Absicht auswählen.

Szenario 1: Im Abschnitt „Modell testen“ des Testbereichs geben Sie „help“ mit „hr“ als Äußerung ein. Wenn die besten Vorhersageergebnisse angezeigt werden, können Sie sicher sein, dass die vorhergesagte Absicht die richtige Übereinstimmung mit Ihrer Äußerung ist. In diesem Fall klicken Sie auf das Symbol „Daumen hoch“.

Ergebnisse:

• Das System hat die richtige Absicht vorhergesagt, in diesem Fall #CreateHRGeneralInquiryCase.
• Ihr Feedback benachrichtigt das System, dass Ihrer Testäußerung die richtige Absicht zugeordnet wurde.

Szenario 2: In einem separaten Modell in einer separaten Instanz gibt ein anderer Benutzer dieselbe Hilfe mit der HR -Äußerung ein. Das System antwortet mit den besten Vorhersageergebnissen für die Absicht, aber der Anwender ist sich nicht sicher, ob es sich um die richtige Absicht handelt oder nicht. Dieser Anwender klickt auf das Symbol „Daumen nach unten“, wie in der Abbildung unten gezeigt.

Ergebnis: Der Bereich wird erweitert, um den Abschnitt Feedback geben zur Verbesserung dieser Vorhersage anzuzeigen, in dem Anwender Feedback senden können, das zur Verbesserung der Absichtsvorhersage beitragen kann.

Hier gibt es zwei Optionen:

• Wenn Benutzer auf die Schaltfläche Die richtige Absicht sollte sein: klicken, wird eine Liste angezeigt, in der sie eine geeignetere Absicht für die Testäußerung auswählen können. In diesem Beispielszenario wählt ein Benutzer die Absicht „Arbeitsstandort abrufen“ aus (siehe Abbildung unten).

  

• Wenn Sie auf die Aufforderung Ich bin mir nicht sicher, was die richtige Absicht ist, klicken, anstatt eine Top-Vorhersage zurückzugeben, zeigt das System die nächstbesten verfügbaren Absichtsvorhersagen an.

Szenario 3: In einem separaten Modell in einer separaten Instanz übermittelt ein anderer Anwender eine Äußerung, die Kauderwelsch verwendet oder eine Sprache verwendet, die sich von der Sprache des Modells unterscheidet. Beispiel: Ein Benutzer übermittelt versehentlich eine Äußerung, die aus einer anderen Sprache als Englisch und Englisch besteht (siehe Abbildung unten).

Ergebnis: Das System gibt keine Vorhersage zurück, da für die Äußerung zwei verschiedene Sprachen gleichzeitig verwendet werden. Da keine Absicht vorhergesagt wurde, klickt der Anwender auf die Option Feedback geben, wodurch der Abschnitt Modell testen erweitert wird, um andere Absichtsalternativen anzuzeigen.

Anstatt eine Absicht aus der Eingabeaufforderung auszuwählen, wählt dieser Anwender die Option Keine Absicht soll vorhergesagt werden aus.

Hinweis:

Wenn Sie Keine Absicht soll vorhergesagt werdenauswählen und speichern, wird die Äußerung aus allen Absichten entfernt, zu denen sie gehört.

Szenario 4: Sie können nicht nur aus einer Liste der Absichten Ihres Modells für eine Vorhersage auswählen, sondern das System auch direkt darüber informieren, dass die Äußerung für das Modell irrelevant ist. Klicken Sie dazu auf die Schaltfläche Vorhersagen dieses Modells für diese Äußerung ausschließen, und klicken Sie dann auf Änderungen speichern.

Ergebnis: Oben auf dem Bildschirm wird ein Banner angezeigt, das bestätigt, dass das Anwenderfeedback für die Vorhersage gespeichert wird (siehe Abbildung unten).

Sie greifen auf Ihre Feedback-Datensätze zu

Ihre Feedback-Daten werden in der Tabelle ml_labeled_data gespeichert, die auch von anderen ServiceNow -Produkten verwendet wird. Diese Tabelle kann auch mehrere Quellen enthalten, z. B. Chatprotokolle Virtual Agent, die für zukünftige Vorhersagen verwendet werden können.