Batch-Tests für mehrfache Modelle

  • Freigeben Version: Xanadu
  • Aktualisiert 1. August 2024
  • 2 Minuten Lesedauer

    • Testen Sie mehrere Natural Language Understanding -Modelle (NLU) anhand einer großen Anzahl von Äußerungen, um die Leistung der Modelle zu bewerten. Fügen Sie Testsätze hinzu, testen Sie mehrere Modelle, und sehen Sie sich Testergebnisse an.

    Zusammenfassungsnutzung

    Verwenden Sie Batch-Tests für mehrfache Modelle, um Testsätze zu erstellen und hochzuladen, die aus Äußerungen und den erwarteten Absichten bestehen. Sie können dann Tests für Ihre NLU-Modelle ausführen.

    Batch-Tests für mehrfache Modelle funktionieren mit Modellen für alle unterstützten NLU-Sprachen. Weitere Informationen finden Sie unter NLU Sprachunterstützung.

    Installation

    Batch-Tests für mehrere Modelle sind Teil der App NLU-Workbench - Erweiterte Funktionen, die im ServiceNow® Storeverfügbar ist.

    Um Batch-Tests für mehrere Modelle zu verwenden, stellen Sie sicher, dass das Plugin NLU-Workbench „ - Erweiterte Funktionen“ (com.snc.nlu.workbench.advanced) in Ihrer Instanz aktiv ist. Weitere Informationen finden Sie unter NLU-Workbench installieren – erweiterte Funktionen und NLU-Workbench aktivieren.

    Testsätze

    Testsätze sind Listen von Äußerungen und übereinstimmenden Absichten. Erstellen Sie einen Testsatz mithilfe einer Tabelle in einer CSV- oder XLSX-Datei (Excel-Arbeitsmappe). Die Tabelle muss zwei Spalten enthalten: eine für Äußerungen und eine für die erwartete Absicht. Ihr Testsatz kann bis zu 10.000 Zeilen enthalten.

    Um das Testen Ihrer NLU-Modelle optimal zu nutzen, sollten Ihre Testsätze Äußerungen enthalten, auf die das Modell wahrscheinlich von Ihren Anwendern trifft. Testäußerungen müssen in derselben Sprache wie das zu testende Modell vorliegen. Der Testsatz sollte auch Äußerungen ohne erwartete Absichten enthalten. Das Einschließen von Äußerungen ohne erwartete Absicht hilft, die Fähigkeit Ihres Modells zu bewerten, Äußerungen zu erkennen, die irrelevant sind und für die keine Absicht vorhergesagt werden sollte.

    Durch Einbeziehung dieser Arten von Äußerungen kann im Test die Fähigkeit des Modells, Absichten wahrzunehmen und auf Ihre Anwender zu reagieren, besser bewertet werden. Wenn Ihr Testsatz nicht mindestens 60 % der Absichten der Modelle abdeckt, können Sie den Test trotzdem ausführen, aber der empfohlene Schwellenwert ist möglicherweise nicht optimal.
    Hinweis:
    Bestimmte Testäußerungen werden während des Tests übersprungen, wenn ihre erwartete Absicht nicht mit Absichten in den Modellen übereinstimmt.

    Informationen zum Erstellen eines Testsatzes finden Sie unter Testsatz erstellen.

    Mit einem Testsatz können Sie trainierte NLU-Modelle testen. Informationen zum Starten des Tests finden Sie unter Führen Sie einen Batch-Test für mehrere Modelle aus.

    Nachdem Sie einen Test ausgeführt haben, werden Ihre Ergebnisse auf der Seite Testergebnisse angezeigt.

    Testergebnisse

    Auf der Seite Testergebnisse werden Ihre abgeschlossenen und laufenden Tests aufgelistet. Die Ergebnisseite zeigt auf einen Blick die getesteten Modelle, die Anzahl der Äußerungen und die Prozentsätze der Vorhersagen.

    Seite „Batch-Tests für mehrfache Modelle“ mit abgeschlossenen Tests.

    Um die Details eines Testergebnisses anzuzeigen, klicken Sie auf den Namen des Testsatzes.

    Die Übersichtsseite zeigt zusammenfassende Informationen zu den Ergebnissen und enthält eine Grafik mit einer Aufgliederung der Vorhersagen.

    Unter Absichten, die Aufmerksamkeit erfordern (Aktuelles Modell) werden die fünf häufigsten verfehlten und falschen Absichten angezeigt. Klicken Sie auf den Namen der Absicht, um einen Drilldown zu den falsch vorhergesagten Testäußerungen durchzuführen. Verwenden Sie diese Informationen, um das Modell zu verbessern.

    Auf der Registerkarte Detaillierte Ergebnisse werden Informationen zu jeder getesteten Äußerung aufgelistet. Von hier aus können Sie das Vorhersageergebnis und die Konfidenz pro Modell für jede Äußerung anzeigen. Filtern Sie die Ergebnisse, indem Sie die Suchleiste verwenden oder mit den Filtertools und Spalten-Headern interagieren.

    Sie können die Testergebnisse auch in eine CSV-Datei exportieren, indem Sie auf Exportklicken. Die Datei enthält dieselben Spalten wie die Seite mit den Detailergebnissen.

    Weitere Informationen zum Verständnis Ihrer Testergebnisse finden Sie unter Ihr Modell testen und veröffentlichen.