Batch-Tests für mehrfache Modelle

  • Freigeben Version: Yokohama
  • Aktualisiert 30. Januar 2025
  • 2 Minuten Lesedauer

    • Testen Sie mehrere Natural Language Understanding(NLU) Modelle für eine große Reihe von Äußerungen, um die Leistung der Modelle zu bewerten. Fügen Sie Testsätze hinzu, testen Sie mehrere Modelle, und sehen Sie sich Testergebnisse an.

    Zusammenfassungsnutzung

    Verwenden Sie Batch-Tests für mehrere Modelle, um Testsätze zu erstellen und hochzuladen, die aus Äußerungen und ihren erwarteten Absichten bestehen. Sie können dann Tests für Ihre NLU-Modelle ausführen.

    Batch-Tests für mehrere Modelle funktionieren mit Modellen für alle unterstützten NLU-Sprachen. Weitere Informationen finden Sie unter NLU Sprachunterstützung.

    Installation

    Batch-Tests für mehrere Modelle sind Teil von NLU-Workbench– App „Erweiterte Funktionen“ verfügbar auf ServiceNow® Store.

    Um Stapeltests für mehrere Modelle zu verwenden, stellen Sie sicher, dass NLU-Workbench– Plugin „Erweiterte Funktionen“ (com.snc.nlu.workbench.advanced) ist in Ihrer Instanz aktiv. Weitere Informationen finden Sie unter Installieren NLU-Workbench: Erweiterte FunktionenUnd Aktivieren Sie die NLU-Workbench .

    Testsätze

    Testsätze Sind Listen von Äußerungen und übereinstimmenden Absichten. Erstellen Sie einen Testsatz mithilfe einer Tabelle in einer CSV- oder XLSX-Datei (Excel-Arbeitsmappe). Die Tabelle muss zwei Spalten enthalten: Eine für Äußerungen und eine für die erwartete Absicht. Ihr Testsatz kann bis zu 10.000 Zeilen enthalten.

    Um das Testen Ihrer NLU-Modelle optimal zu nutzen, sollten Ihre Testsätze Äußerungen enthalten, die das Modell wahrscheinlich von Ihren Anwendern abrufen wird. Testäußerungen müssen in derselben Sprache wie das zu testende Modell vorliegen. Der Testsatz sollte auch Äußerungen ohne erwartete Absichten enthalten. Das Einbeziehen von Äußerungen ohne erwartete Absicht hilft bei der Bewertung der Fähigkeit Ihres Modells, Äußerungen zu erkennen, die irrelevant sind und keine Absicht vorhergesagt werden sollten.

    Durch die Einbeziehung dieser Arten von Äußerungen wird die Fähigkeit des Modells, Absichten wahrzunehmen und auf Ihre Anwender zu reagieren, besser bewertet. Wenn Ihr Testsatz nicht mindestens 60 % der Absichten der Modelle abdeckt, können Sie den Test trotzdem ausführen, der empfohlene Schwellenwert ist jedoch möglicherweise nicht optimal.
    Hinweis:
    Bestimmte Testäußerungen werden während des Tests übersprungen, wenn ihre erwartete Absicht mit keiner Absicht in den Modellen übereinstimmt.

    Informationen zum Erstellen eines Testsatzes finden Sie unter Erstellen Sie einen Testsatz.

    Nachdem Sie einen Testsatz haben, können Sie trainierte NLU-Modelle testen. Informationen zum Starten des Tests finden Sie unter Führen Sie einen Batch-Test mit mehreren Modellen aus.

    Nach dem Ausführen eines Tests werden Ihre Ergebnisse auf angezeigt Testergebnisse Seite.

    Testergebnisse

    Die Testergebnisse Seite listet Ihre abgeschlossenen und laufenden Tests auf. Auf einen Blick werden auf der Ergebnisseite die getesteten Modelle, die Anzahl der Äußerungen und die Vorhersageprozentsätze angezeigt.

    Seite für Batch-Tests für mehrere Modelle mit abgeschlossenen Tests.

    Um die Details eines Testergebnisses anzuzeigen, klicken Sie auf den Namen des Testsatzes.

    Die Übersicht Die Seite zeigt Zusammenfassungsinformationen zu den Ergebnissen an und enthält eine Grafik mit einer Aufgliederung von Vorhersagen.

    Die Absichten, die Aufmerksamkeit erfordern (aktuelles Modell) Zeigt die 5 wichtigsten verpassten und falschen Absichten an. Klicken Sie auf den Absichtsnamen, um einen Drilldown zu den Testäußerungen durchzuführen, die falsch vorhergesagt wurden. Verwenden Sie diese Informationen, um das Modell zu verbessern.

    Die Detaillierte Ergebnisse Registerkarte listet Informationen zu jeder getesteten Äußerung auf. Von hier aus können Sie das Vorhersageergebnis und die Konfidenz pro Modell für jede Äußerung anzeigen. Filtern Sie die Ergebnisse, indem Sie die Suchleiste verwenden oder mit den Filtertools und Spaltenüberschriften interagieren.

    Sie können die Testergebnisse auch in eine CSV-Datei exportieren, indem Sie auf klicken Exportieren . Die Datei enthält dieselben Spalten wie die Seite mit den detaillierten Ergebnissen.

    Weitere Informationen zum Verständnis Ihrer Testergebnisse finden Sie unter Ihr Modell testen und veröffentlichen.