Feedback des Testbereichs

Beim Testen von NLU Modell Verwenden Sie diese Funktion im Abschnitt „Testmodell“ des Testbereichs, um Feedback zu den Absichtsvorhersagen des Modells zu geben.

Zusammenfassungskontext

Wenn ein Modell trainiert und auf eine Äußerung getestet wird und das Modell eine Absichtsvorhersage zurückgibt, können Sie die zurückgegebene vorhergesagte Absicht mit Daumen nach oben oder Daumen nach unten bewerten. Wenn Sie eine andere Absichtsvorhersage als richtig markieren, wird die Äußerung zur korrigierten Absicht hinzugefügt. Alle anderen Feedbacks werden für kontinuierliches Lernen erfasst. Das System integriert dann Ihr Feedback, um die Modellvorhersagen zu optimieren. Diese Funktion erfordert die Rolle „nlu_admin“, um auf das Modell zuzugreifen und es zu testen. NLU Editoren können auch auf den Testbereich zugreifen, wenn ein vorhanden ist NLU der administrator weist sie ihm zu.

Bereitstellung von Vorhersagefeedback

Die von Ihnen angegebenen Bewertungen helfen dem System, eine Absicht einer Äußerung zuzuordnen. Diese Bewertungen sind wichtig, damit das System die Genauigkeit der Absichtsvorhersagen basierend auf Anwendereingaben kontinuierlich erlernen, weiterentwickeln und verbessern kann. Sie ermöglichen Ihnen auch, das System zu benachrichtigen, wenn die Absichtsvorhersage korrekt ist oder nicht.

Die folgenden Szenarien zeigen Beispiele für die Interaktion mit Ihrem Modelltestbereich und die Bereitstellung von Vorhersagefeedback an das System. In allen Szenarien verwenden Sie die folgenden vier Schritte:

1. In Erstellen und trainieren Sie Ihr Modell Phase Ihres Modells wählen Sie aus Modell testen Um den Testbereich zu öffnen.
2. Im Testbereich Geben Sie eine zu testende Äußerung ein Geben Sie eine kurze Äußerung ein, die einer Trainingsäußerung in einer der Absichten ähnelt.
3. Klicken Sie Auf LOS .

   Ergebnis : Das System gibt seine Vorhersagen für Ihre Testäußerung in zurück Häufigste Vorhersagen Abschnitt des Testbereichs.

4. Klicken Sie auf Daumen Hoch Symbol oder Daumen Nach Unten Symbol.

   Wenn das System wissen soll, dass die richtige Absicht für Ihre Äußerung vorhergesagt wurde, wählen Sie aus Daumen Hoch Symbol.

   Wählen Sie in allen anderen Fällen die aus Daumen Nach Unten Symbol, das öffnet Geben Sie Feedback, um diese Vorhersage zu verbessern Abschnitt. Hier können Sie eine andere Absicht als die am häufigsten vorhergesagte Absicht auswählen.

Szenario 1 : Geben Sie im Abschnitt „Modell testen“ des Testbereichs ein Hilfe zu HR Als Äußerung. Wenn die Top-Vorhersageergebnisse angezeigt werden, sind Sie sicher, dass die vorhergesagte Absicht die richtige Übereinstimmung mit Ihrer Äußerung ist. In diesem Fall klicken Sie auf Daumen Hoch Symbol.

Ergebnisse :

• Das System hat die richtige Absicht vorhergesagt, die in diesem Fall ist #ErstellungHRGeneralInquiryCase .
• Ihr Feedback benachrichtigt das System, dass die richtige Absicht mit Ihrer Testäußerung übereinstimmt.

Szenario 2 : In einem separaten Modell in einer separaten Instanz gibt ein anderer Anwender dasselbe ein Hilfe zu HR Äußerung. Das System antwortet mit den Top-Vorhersageergebnissen für die Absicht, aber der Anwender ist sich nicht sicher, ob es die richtige Absicht ist oder nicht. Daher klickt dieser Anwender auf Daumen Nach Unten Symbol, wie in der folgenden Abbildung dargestellt.

Ergebnis : Der Bereich wird erweitert, um anzuzeigen Geben Sie Feedback, um diese Vorhersage zu verbessern Abschnitt, in dem Anwender Feedback abgeben können, das zur Verbesserung der Absichtsvorhersage beitragen kann.

Hier gibt es zwei Optionen:

• Wenn Anwender auf klicken Die richtige Absicht muss sein: Schaltfläche wird eine Liste angezeigt, in der sie eine angemessenere Absicht für die Testäußerung auswählen können. In diesem Beispielszenario wählt ein Anwender aus Arbeitsstandort Abrufen Absicht, wie in der folgenden Abbildung gezeigt.

  

• Wenn Sie auf klicken Ich bin mir nicht sicher, was die richtige Absicht ist Eingabeaufforderung: Anstatt eine häufigste Vorhersage zurückzugeben, zeigt das System die nächstbesten verfügbaren Absichtsvorhersagen an.

Szenario 3 : In einem separaten Modell in einer separaten Instanz übermittelt ein anderer Anwender eine Äußerung, die Gimpel verwendet oder eine Sprache verwendet, die sich von der Sprache des Modells unterscheidet. Beispielsweise übermittelt ein Anwender versehentlich eine Äußerung, die sowohl aus nicht-englischen als auch aus englischen Sprachen besteht, wie in der folgenden Abbildung gezeigt.

Ergebnis : Das System gibt keine Vorhersage zurück, da die Äußerung zwei verschiedene Sprachen zusammen verwendet. Da keine Absicht vorhergesagt wurde, klickt der Anwender auf Geben Sie Feedback Option, die den Abschnitt „Testmodell“ erweitert, um andere Absichtsalternativen anzuzeigen.

Anstatt also eine Absicht aus dem Prompt auszuwählen, wählt dieser Anwender aus Es darf keine Absicht vorhergesagt werden Option.

Hinweis:

Wenn Sie auswählen und speichern Es darf keine Absicht vorhergesagt werden , Die Äußerung wird aus allen Absichten entfernt, zu denen sie gehört.

Szenario 4 : Neben der Auswahl aus einer Liste der Absichten Ihres Modells für eine Vorhersage können Sie das System auch direkt benachrichtigen, dass die Äußerung für das Modell irrelevant ist. Klicken Sie dazu auf Schließen Sie die Vorhersagen dieses Modells für diese Äußerung aus Schaltfläche, und klicken Sie dann auf Speichern Sie die Änderungen .

Ergebnis : Ein Banner wird oben auf dem Bildschirm angezeigt, das bestätigt, dass das Anwenderfeedback für die Vorhersage gespeichert wurde, wie in der folgenden Abbildung gezeigt.

Zugriff auf Ihre Feedback-Datensätze

Ihre Feedback-Daten werden in gespeichert Ml_labeled_Data Tabelle, die auch von anderen verwendet wird ServiceNow Produkte. Diese Tabelle kann auch mehrere Quellen enthalten, z. B. Virtual Agent Chatprotokolle, die für zukünftige Vorhersagen verwendet werden können.