Bewerten Sie die Gesamtleistung Ihres Service Desk-Mitarbeiters nach Abschluss einer Ausführung, einschließlich Punktzahlen pro Metrik und Problemanzahl. Verwenden Sie die Ergebnisse als Ausgangspunkt für die Diagnose von Qualitätsproblemen und Verbesserungsmöglichkeiten vor der Bereitstellung.
Vorbereitungen
Sie müssen über eine abgeschlossene Agenten-Bewertung verfügen.
Erforderliche Rolle: sn_aia.admin oder admin
Warum und wann dieser Vorgang ausgeführt wird
Automatisierte Evaluierungen umfassen Punktzahlen und Empfehlungen für die verschiedenen von Ihnen ausgewählten Metriken. Jede Ausgabe enthält Informationen, die Sie verwenden können, um Entscheidungen über die Entwicklung und Bereitstellung des agentenbasierten KI-Assets zu treffen. Die Evaluierungsergebnisse helfen Ihnen, Leistungsmuster, Qualitätsprobleme und Optimierungsmöglichkeiten zu identifizieren, bevor Sie Ihren Service Desk-Mitarbeiter in der Produktion bereitstellen.
Prozedur
-
Navigieren zu an.
-
Wählen Sie die automatisierte Auswertung aus, deren Ergebnisse Sie überprüfen möchten.
Die Seite mit den Auswertungsdetails wird geöffnet und zeigt die Gesamtergebnisse und Leistungsmetriken an.
-
Überprüfen Sie den Abschnitt „Bewertungszusammenfassung“, um die Gesamtleistung zu verstehen.
Die Zusammenfassung bietet einen allgemeinen Überblick über die Leistung Ihres Service Desk-Mitarbeiters für alle bewerteten Metriken. Wichtige Informationen umfassen:
- Informationen zu agentenbasierten KI-Assets wie Name und Version
- Gesamtanzahl der ausgewerteten Testfälle
- Durchschnittliche Punktzahlen für alle Metriken
- Anzahl der identifizierten Probleme nach Schweregrad
-
Überprüfen Sie die vom LLM bewerteten Gesamtpunktzahlen für jede Metrik.
Allgemeine LLM-bewertete Punktzahlen für jede Metrik demonstrieren allgemeine Muster und Trends für alle Metriken, für die Sie ausgewertet haben. Diese Punktzahlen enthalten allgemeine Empfehlungen für die Bereitstellung basierend auf der aktuellen Version des Agenten-KI-Assets. Detaillierte Ergebnisse:
- Numerische Punktzahl
- Leistungsbewertung (ausgezeichnet, gut, Mittel oder schlecht)
- Evaluierungen einzelner Datensätze
-
Untersuchen Sie alle Probleme Und ihre Zugehörige Ablaufverfolgungen .
Wenn Probleme mit der Leistung des Agenten-KI-Assets gefunden werden, werden sie nach Schweregrad, Metrik und Anwendungsfall kategorisiert. Probleme können in bestimmten Interaktionen, als „Traces“ bezeichnet, bis zu ihren Quellen nachverfolgt werden. Überprüfen Sie Probleme und ihre Nachverfolgungen, um zugrunde liegende Probleme zu diagnostizieren. Probleme werden nach Schweregrad klassifiziert:
- Kritisch: Probleme, die verhindern können, dass der Service Desk-Mitarbeiter ordnungsgemäß funktioniert, was zu einer schlechten Anwender-Experience führt
- Hoch: Erhebliche Probleme, die sich auf die Anwender-Experience oder Genauigkeit auswirken
- Mittel: Mittlere Probleme, die sich in einigen Szenarien auf die Leistung auswirken können
- Niedrig: Geringfügige Probleme, die minimale Auswirkungen auf die Gesamtfunktionalität haben
-
Optimierungen anwenden Basierend auf den Ergebnissen.
Die automatisierte Evaluierung kann empfohlene Optimierungen enthalten, um Probleme zu beheben, die in der Evaluierung gefunden wurden. Nachdem Sie die Optimierung angewendet haben, können Sie die Auswertung erneut ausführen, um die Änderungen an Verhalten und Leistung anzuzeigen. Verfolgen Sie Verbesserungen nach, indem Sie Ergebnisse über Evaluierungsausführungen hinweg vergleichen.
Ergebnisse
Sie haben eine umfassende Überprüfung der Leistung Ihres Service Desk-Mitarbeiters für alle bewerteten Metriken. Verwenden Sie diese Einblicke, um fundierte Entscheidungen über die Bereitstellungsbereitschaft zu treffen oder Bereiche zu identifizieren, die zusätzliche Entwicklungsarbeit erfordern.