Ergebnisse der Ausführung der Agentischen Auswertung

Erfahren Sie auf der Seite mit Ergebnissen der agentischen Bewertung mehr über die Ausführung von Analysen und die Bedeutung verschiedener Auswertungspunktzahlen.

Übersicht über Agentische Auswertungen

Agentische Auswertungen messen, wie gut Agentische Workflows ihre Ziele erreichen. Ein Now LLM-Servicemodell beurteilt den agentischen Workflow basierend auf den Ausführungsprotokollen dieses agentischen Workflows. Auf der Ergebnisseite einer Auswertungsausführung werden mehrere Metriken und Punktzahlen angezeigt, die die Vollständigkeit der Aufgabe und die Verwendung des Tools messen.

Wenn Sie eine Gesamtbewertung des Aufgabenabschlusses ausführen, werden auf der Ergebnisseite empfohlene Aktionen für den Workflow angezeigt. Empfohlene Aktionen enthalten Vorschläge für die Bereitstellung oder Verbesserung, um sicherzustellen, dass die von Ihnen bereitgestellten agentischen Workflows Ihren Standards entsprechen.

Weitere Informationen zur Nutzung von KI-Agents und anderen Analytics finden Sie unter KI-Agent Analytics-Dashboard In KI-Agenten-Studio.

Übersicht über Auswertungsergebnisse

Für jede von Ihnen ausgeführte Auswertungsmethode wird auf der Ergebnisseite eine Gesamtpunktzahl für den agentischen Workflow mit einem Prozentsatz der erfolgreichen Datensatzauswertungen und der Bezeichnung ausgezeichnet, gut, Mittel oder schlecht angezeigt. Sie können die Metrikschwellenwerte für jede Bezeichnung ändern, indem Sie auswählen Passen Sie Metrikschwellenwerte an .

Tabelle : 1. Ergebnisse der Ausführung der Gesamtaufgabe-Vollständigkeitsbewertung

Bezeichnung	Beschreibung	Empfohlene Aktion	Standardschwellenwert
Ausgezeichnet	Aufgaben wurden einheitlich auf einem hohen Standard ausgeführt. Der agentische Workflow funktioniert gut.	Fahren Sie mit Vertrauen fort	90%–100%
Gut	Die meisten Aufgaben wurden erfolgreich ausgeführt, aber einige Leistungsinkonsistenzen weisen auf Bereiche mit Verbesserungspotenzial hin.	Mit Vorsicht bereitstellen	70%–89%
Mittel	Eine beträchtliche Anzahl von Aufgaben wurde nicht vollständig abgeschlossen. Die Leistung liegt unter dem gewünschten Niveau.	Untersuchen Sie die Ursachen für einen schlechten Aufgabenabschluss	50%–69%
Mangelhaft	Der agentische Workflow führt Aufgaben durchweg nicht ordnungsgemäß ab. Schwerwiegende Probleme sind vorhanden.	Nicht bereitstellen	0 %–49 %

Metrikpunktzahlen für einzelne Datensätze

Auswertungen werden für die Protokolltabellen von agentischen Workflow-Ausführungen ausgeführt. Jeder Datensatz wird für jeden ausgeführten Auswertungsplan einzeln bewertet. Einzelne Datensatzauswertungen werden gemäß den folgenden Metriken bewertet.

Tabelle : 2. Metrikpunktzahlen für Gesamtaufgaben-VollständigkeitsdatensatzDie Metrik für die Vollständigkeit der Gesamtaufgabe bewertet, ob ein KI-Agent seine zugewiesene Aufgabe erfolgreich abschließt. Es wertet die Ausführungsprotokolle des Service Desk-Mitarbeiters aus und stellt sicher, dass alle erforderlichen Schritte ausgeführt wurden und die Aufgabe logisch und effektiv abgeschlossen wurde.

Anzahl	Punktzahl	Beschreibung
3	Erfolgreich	Die Hauptaufgabe wurde vollständig abgeschlossen. Alle Teilaufgaben wurden gelöst, und die Schritte folgten einer logischen Sequenz ohne kritische Fehler.
2	Teilweise erfolgreich	Die Aufgabe wurde teilweise abgeschlossen. Einige Teilaufgaben bleiben ungelöst, oder Ineffizienzen haben sich auf den Prozess ausgewirkt.
1	Nicht erfolgreich	Die Aufgabe wurde nicht abgeschlossen. Kritische Teilaufgaben wurden verworfen oder ungelöst, oder die Ausführung ist vollständig fehlgeschlagen.

Tabelle : 3. Metrikpunktzahlen des ToolleistungsdatensatzesDie Metrik zur Bewertung der Toolleistung bewertet die Fähigkeit eines KI-Agents, während einer Aufgabe das am besten geeignete Tool für jeden Schritt auszuwählen.

Anzahl	Punktzahl	Beschreibung
1	True	Das richtige Tool wurde für die Aktion im Plan ausgewählt.
0	Falsch	Das richtige Tool wurde nicht ausgewählt.

Tabelle : 4. Metrikpunktzahlen für ToolaufrufdatensätzeDie Bewertungsmetrik des Toolaufrufs bewertet, ob ein KI-Agent Toolaufrufe korrekt erstellt, indem die Genauigkeit, Vollständigkeit und Formatierung der bereitgestellten Eingaben validiert wird.

Anzahl	Punktzahl	Beschreibung
1	True	Vollständigkeit des Eingabeschlusses, Vollständigkeit des Eingabewerts und Vollständigkeit des Eingabeformats waren erfolgreich.
0	Falsch	Mindestens eine der Vollständigkeit des Eingabeschlusses, der Vollständigkeit des Eingabewerts oder der Vollständigkeit des Eingabeformats war nicht erfolgreich.