Batch-Tests für mehrfache Modelle

  • Freigeben Version: Zurich
  • Aktualisiert 31. Juli 2025
  • 2 Minuten Lesedauer

    • Testen Sie mehrere Natural Language Understanding(NLU)-Modelle anhand einer großen Reihe von Äußerungen, um die Leistung der Modelle zu bewerten. Fügen Sie Testsätze hinzu, testen Sie mehrere Modelle, und sehen Sie sich Testergebnisse an.

    Zusammenfassungsnutzung

    Verwenden Sie Batch-Tests für mehrere Modelle, um Testsätze zu erstellen und hochzuladen, die aus Äußerungen und ihren erwarteten Absichten bestehen. Sie können dann Tests für Ihre NLU-Modelle ausführen.

    Batch-Tests für mehrere Modelle funktionieren mit Modellen für alle unterstützten NLU-Sprachen. Weitere Informationen finden Sie unter NLU Sprachunterstützung.

    Installation

    Batch-Tests für mehrere Modelle sind Teil von NLU-Workbench– App „Erweiterte Funktionen“, die auf verfügbar ist ServiceNow® Store.

    Um Batch-Tests für mehrere Modelle zu verwenden, stellen Sie sicher, dass NLU-Workbench Das Plugin „Erweiterte Funktionen“ (com.snc.nlu.workbench.advanced) ist in Ihrer Instanz aktiv. Weitere Informationen finden Sie unter Installieren NLU-Workbench: Erweiterte Funktionen Und Aktivieren Sie die NLU-Workbench .

    Testsätze

    Testsätze Sind Listen von Äußerungen und übereinstimmenden Absichten. Erstellen Sie einen Testsatz mithilfe einer Tabelle in einer CSV- oder XLSX-Datei (Excel Workbook). Die Tabelle muss zwei Spalten enthalten: Eine für Äußerungen und eine für die erwartete Absicht. Ihr Testsatz kann bis zu 10.000 Zeilen enthalten.

    Um das Beste aus dem Testen Ihrer NLU-Modelle herauszuholen, sollten Ihre Testsätze Äußerungen enthalten, die das Modell wahrscheinlich von Ihren Anwendern hören wird. Testäußerungen müssen in derselben Sprache wie das zu testende Modell vorliegen. Der Testsatz sollte auch Äußerungen ohne erwartete Absichten enthalten. Das Einbeziehen von Äußerungen ohne erwartete Absicht hilft bei der Bewertung der Fähigkeit Ihres Modells, Äußerungen zu erkennen, die irrelevant sind und keine Absicht vorhergesagt werden sollten.

    Durch die Einbeziehung dieser Arten von Äußerungen bewertet der Test die Fähigkeit des Modells, Absichten wahrzunehmen und auf Ihre Anwender zu reagieren. Wenn Ihr Testsatz nicht mindestens 60 % der Absichten der Modelle abdeckt, können Sie den Test trotzdem ausführen, der empfohlene Schwellenwert ist jedoch möglicherweise nicht optimal.
    Hinweis:
    Bestimmte Testäußerungen werden während des Tests übersprungen, wenn ihre erwartete Absicht mit keiner Absicht in den Modellen übereinstimmt.

    Informationen zum Erstellen eines Testsatzes finden Sie unter Testsatz erstellen.

    Nachdem Sie einen Testsatz haben, können Sie trainierte NLU-Modelle testen. Informationen zum Starten des Tests finden Sie unter Führen Sie einen Batch-Test mit mehreren Modellen aus.

    Nach dem Ausführen eines Tests werden Ihre Ergebnisse im angezeigt Testergebnisse Seite.

    Testergebnisse

    Die Testergebnisse Seite listet Ihre abgeschlossenen und laufenden Tests auf. Auf einem Blick werden auf der Ergebnisseite die getesteten Modelle, die Anzahl der Äußerungen und die Vorhersageprozentsätze angezeigt.

    Seite für Batch-Tests für mehrere Modelle mit abgeschlossenen Tests.

    Um die Details eines Testergebnisses anzuzeigen, klicken Sie auf den Namen des Testsatzes.

    Die Übersicht Die Seite zeigt Zusammenfassungsinformationen zu den Ergebnissen an und enthält eine Grafik mit einer Aufgliederung der Vorhersagen.

    Die Absichten, die Aufmerksamkeit erfordern (aktuelles Modell) Zeigt die 5 häufigsten verpassten und falschen Absichten an. Klicken Sie auf den Absichtsnamen, um Detailinformationen zu den Testäußerungen anzuzeigen, die falsch vorhergesagt wurden. Verwenden Sie diese Informationen, um das Modell zu verbessern.

    Die Detaillierte Ergebnisse Auf der Registerkarte werden Informationen zu jeder getesteten Äußerung aufgelistet. Von hier aus können Sie das Vorhersageergebnis und die Konfidenz pro Modell für jede Äußerung anzeigen. Filtern Sie die Ergebnisse, indem Sie die Suchleiste verwenden oder mit den Filtertools und Spaltenüberschriften interagieren.

    Sie können die Testergebnisse auch in eine CSV-Datei exportieren, indem Sie auf klicken Exportieren . Die Datei enthält dieselben Spalten wie die Seite mit den detaillierten Ergebnissen.

    Weitere Informationen zum Verständnis Ihrer Testergebnisse finden Sie unter Ihr Modell testen und veröffentlichen.