Führen Sie einen Batch-Test für mehrere Modelle aus

  • Freigeben Version: Xanadu
  • Aktualisiert 1. August 2024
  • 1 Minute Lesedauer

    • Testen Sie mehrere Natural Language Understanding -Modelle (NLU) für einen Testsatz. Bewerten Sie die Qualität Ihrer Modelle, und verfeinern Sie sie, um die Absichtsvorhersage zu verbessern.

    Vorbereitungen

    • Stellen Sie sicher, dass das Plugin NLU-Workbench - Core, das Plugin NLU-Workbench, das Plugin NLU-Workbench - Erweiterte Funktionen und das Plugin Predictive Intelligence installiert und aktiviert sind.
    • Haben Sie ein oder mehrere trainierte Modelle für Virtual Agent oder KI-Suche.
    • Über einen Testsatz verfügen, der Testäußerungen mit den erwarteten Absichten enthält. Siehe Testsatz erstellen oder Erstellung und Verwaltung von Testsätzen.
    • Erforderliche Rolle: nlu_admin oder admin. Bei Zuweisung zu einem Modell kann die Rolle nlu_editor Tests ausführen und Testäußerungen für dieses Modell ändern.

    Warum und wann dieser Vorgang ausgeführt wird

    In Batch-Testsfür mehrfache Modelle können Sie einen Testsatz verwenden, der nicht der Standardtestsatz des Modells ist.

    Außerdem können Sie bis zu zehn Modelle gleichzeitig mit Batch-Testsfür mehrfache Modelle testen. Tests mit weniger Modellen werden jedoch schneller ausgeführt.

    Wenn Sie mehrere Modelle testen, muss Ihr Testsatz mindestens 25 % der Gesamtabsichten aller Modelle abdecken. Verwenden Sie Testsätze, die Äußerungen enthalten, auf die die Modelle wahrscheinlich in Virtual Agent oder KI-Suchestoßen.

    Hinweis:
    Wenn eine erwartete Absicht in Ihrem Testsatz mit keiner Absicht in Ihren Modellen übereinstimmt, werden diese erwartete Absicht und ihre Testäußerungen übersprungen. Sie werden in Testergebnissen nicht gezählt oder angezeigt.

    Um ein einzelnes Modell anhand seiner Standardtestreihe zu testen, verwenden Sie die Phase Modell testen und veröffentlichen auf der Übersichtsseite des Modells. Weitere Informationen finden Sie unter Ihr Modell testen und veröffentlichen.

    Prozedur

    1. Navigieren zu Alle > NLU-Workbench > NLU – erweiterte Funktionen > Batch-Tests für mehrfache Modelle.
    2. Klicken Sie auf Einen Testausführen.
    3. Wählen Sie im Fenster Run new Batch Test (Neuen Batch-Test ausführen) Ihre Modelle aus der Liste aus.
      Das Fenster für Einen neuen Batch-Test ausführen.
    4. Wählen Sie einen Testsatz aus der Liste aus.
    5. Klicken Sie auf Ausführen.
      Die Listenansicht der Batch-Testergebnisse.
      Ihr neuer Test wird in der Liste der Testergebnisse mit Testing … angezeigt. Status.

    Nächste Maßnahme

    Wenn der Batch-Test abgeschlossen ist, ändert sich sein Status in Fertig. Sie können auf den Namen des Testsatzes klicken, um die Testergebnisse anzuzeigen.

    Verwenden Sie die Ergebnisse, um Ihre Modelle anzupassen und zu verbessern. Führen Sie den Test dann erneut aus, um die Leistung zu bewerten.

    Batch-Tests können sich auf Empfehlungen für Konfidenzschwellenwerte auswirken. Weitere Informationen finden Sie unter NLU-Modelleinstellungen.