Erstellung und Verwaltung von Testsätzen
Verwenden Sie den Standardtestsatz Ihres Modells NLU, um die Leistung und Genauigkeit des Modells zu testen. Verwalten Sie Ihre Testreihe im Laufe der Zeit, indem Sie ihren Inhalt unter NLU-Workbencherstellen oder aktualisieren.
Greifen Sie auf Ihre Standardtestreihe zu
- Navigieren zu . Wählen Sie die Registerkarte für die Anwendung Ihres Modells und dann den Namen Ihres Modells aus der Liste aus. Suchen Sie auf der Übersichtsseite des Modells nach der Karte Build and Train your model (Modell erstellen und trainieren), und wählen Sie die zugehörige Schaltfläche Ansichtsphase. Wählen Sie dann die Registerkarte Testsatz aus.
- Navigieren zu . Wählen Sie die Registerkarte für die Anwendung Ihres Modells und dann den Namen Ihres Modells aus der Liste aus. Wählen Sie auf der Übersichtsseite des Modells die Kachel Testabdeckung aus.
- Navigieren zu Registerkarte Suchen Sie den Namen Ihres Modells. Standardtestsätze sind als Standardgekennzeichnet.
Fügen Sie Ihrer Standardtestreihe Inhalte hinzu
Fügen Sie Äußerungen und ihre erwarteten Absichten hinzu, um Ihren Testsatz im Laufe der Zeit zu erstellen und zu verwalten. Sie können der Standardtestreihe mit den folgenden Methoden Inhalte hinzufügen:
- Fügen Sie Testäußerungen und ihre erwarteten Absichten manuell hinzu. Navigieren Sie auf der Übersichtsseite des Modells zu Registerkarte Geben Sie Ihre Eingabe in das Feld Hier eine Testäußerung eingeben ein, wählen Sie eine entsprechende Absicht aus, und wählen Sie dann die Schaltfläche Hinzufügen.
Diesen Testäußerungen wird die Quelle Manuellzugewiesen.
- Importieren Sie Testäußerungen und ihre erwarteten Absichten aus einer CSV-Datei oder aus anderen Modellen. Um Inhalte in einen Standardtestsatz zu importieren, navigieren Sie von der Übersichtsseite des Modells zu Registerkarte Wählen Sie Testäußerungen importierenaus.
Importierte Testäußerungen werden als Quelle Manuellzugewiesen.
- Mit der Funktion „Experten-Feedbackschleife“ können Sie der Testreihe tatsächliche Benutzeräußerungen aus den Chatprotokollen Virtual Agent hinzufügen.
Diesen Testäußerungen wird eine Quelle für Expertenfeedbackzugewiesen. Weitere Informationen finden Sie unter NLU Experten-Feedbackschleife.
Testabdeckung
Die Punktzahl für die Testabdeckung ist der Prozentsatz der aktivierten Absichten eines Modells, die Testäußerungen im Standardtestsatz enthalten. Stellen Sie vor dem Testen Ihres Modells sicher, dass die Abdeckung mindestens 60 % beträgt. Je höher die Punktzahl für die Testabdeckung ist, desto genauer sind die Ergebnisse des Leistungstests.
Ihre Testabdeckung muss mindestens 60 % betragen, mit mindestens 5 Testäußerungen pro Absicht, damit das System bei Batch-Tests einen optimalen Konfidenzschwellenwert bietet. Weitere Informationen zum Konfidenzschwellenwert finden Sie unter NLU-Modelleinstellungen.
Ziel ist es, dass etwa 10 % der Testäußerungen eines Modells als „nicht relevant“ markiert sind, was bedeutet, dass keine Absicht zugeordnet ist. Dies hilft zu beurteilen, wie das Modell mit irrelevanten Äußerungen umgeht, für die keine Absicht vorhergesagt werden sollte. Weitere Informationen zu irrelevanten Äußerungen finden Sie unter Erkennung von Irrelevanz in NLU.
Verwenden Sie den Testsatz
Informationen zur Verwendung der Standardtestreihe aus der Phase „Modell testen und veröffentlichen“ finden Sie unter Ihr Modell testen und veröffentlichen.
Informationen zur Verwendung des Testsatzes in Batch-Tests für mehrfache Modelle finden Sie unter Batch-Tests für mehrfache Modelle.
Merkmale von Standardtestsätzen
Wenn eine Instanz aktualisiert wird, werden Standardtestsätze für alle vorhandenen Modelle erstellt, die noch nicht über sie verfügen.
Wenn Sie ein Modell mit Dieses Modell duplizierenkopieren, wird der Standardtestsatz des Originals in das neue Modell kopiert. Weitere Informationen finden Sie unter Duplizieren Sie ein NLU-Modell.
Die Äußerungen im Testsatz dürfen nicht mit den Äußerungen im Trainingssatz übereinstimmen.
Standardtestsätze können nicht getrennt von ihren Modellen gelöscht werden.
Testsatzäußerungen müssen in derselben Sprache wie ihr Modell vorliegen.
Testsätze sind für die Modelle Virtual Agent oder KI-Suche verfügbar.
Standardtestsätze werden heruntergeladen oder verschoben
Standardtestsätze können wie folgt heruntergeladen oder verschoben werden.
- Standardtestsätze können separat im CSV-Format heruntergeladen werden. Um den Testsatz herunterzuladen, navigieren Sie auf der Übersichtsseite des Modells zu Registerkarte Wählen Sie Testsatz herunterladenaus.Hinweis:Testsätze, die aus Download-Testsatz heruntergeladen werden, enthalten Testäußerungen und die erwarteten Absichten, aber nicht die Quellen.
- Standardtestsätze können mit Update-Sätzen verschoben werden. Wenn Sie einem Update Set ein Modell NLU hinzufügen, wird sein Standardtestsatz hinzugefügt, einschließlich Testäußerungen, erwarteten Absichten und Quellen. Weitere Informationen finden Sie unter Fügt einem Update Set ein NLU-Modell hinzu.
- Wenn Sie die Funktion „Modell als CSV exportieren“ in der Tabelle „Alle vorhandenen Modelle“ verwenden, wird der Standardtestsatz nicht eingeschlossen. Weitere Informationen finden Sie unter Exportieren Sie ein NLU-Modell.