Erstellen Sie eine anwenderdefinierte Metrik für die Auswertung von agentischen Workflows, um die Ausgaben anhand der erwarteten Antworten zu testen.
Vorbereitungen
Erforderliche Rolle: sn_aia.admin
Warum und wann dieser Vorgang ausgeführt wird
Mit anwenderdefinierten Metriken können Sie auswählen, dass Sie Ihren agentischen Workflow auf Effektivität messen. Sie können anwenderdefinierte Metriken erstellen, die für einen oder mehrere agentische Workflows gelten. Nach der Erstellung können Sie anwenderdefinierte Metriken im geführten Setup für agentische Auswertungen auswählen. Sie können sowohl anwenderdefinierte Metriken als auch Metriken auswählen, die mit Now Assist-Anwendungen installiert sind. Beispiele für anwenderdefinierte Metriken:
- Testet, ob sich ein bestimmter Ausdruck in der Antwort befindet
- Misst die Länge einer Antwort, um die Ausführlichkeit zu testen
- (Andere Beispiele)
Beim Schreiben des Skripts haben Sie Zugriff auf die Ausgabe eines Parser-Tools. Dieses Parser-Tool [usw.].
Prozedur
-
Navigieren zu an.
-
Wechseln Sie zur Registerkarte Auswertungsmetriken, und wählen Sie aus Metrik erstellen .
-
In Allgemeine Informationen Schritt: Geben Sie einen Namen und eine Kurzbeschreibung für Ihre anwenderdefinierte Metrik ein.
Sie können im geführten Setup mit zwischen Schritten navigieren Fahren Sie Fort Und Zurück Schaltflächen. Nachdem Sie einen Namen für Ihre anwenderdefinierte Metrik eingegeben haben, können Sie direkt mit dem Schreiben Ihres Skripts überspringen, indem Sie auswählen Springen Sie zum Skripteditor . Sie können die Details später auf der Registerkarte „Metrikeinstellungen“ im Skripteditor ausfüllen.
- Wahlweise:
In Metrikdetails Schritt: Fügen Sie Informationen zur Auswertungsmetrik hinzu, wie sie funktioniert und was das Ausgabeformat der Metrik ist.
Wenn Sie auswählen Verwenden Sie diesen Inhalt , Dann werden die von Ihnen angegebenen Details zusammen mit der Option im geführten Setup für eine agentische Auswertungsausführung angezeigt.
Sie müssen keine Details eingeben, aber Sie haben die Möglichkeit, nützliche Informationen und Kontext bereitzustellen, um den Entwicklungsprozess für anwenderdefinierte Metriken zu unterstützen. Sie können Metrikdetails auch aus hinzufügen Metrikeinstellungen Registerkarte des Skripteditors.
-
Nachdem Sie Ihre Metrikinformationen in überprüft haben Zusammenfassung Wählen Sie Schritt des geführten Setups aus Schließen Sie das Setup ab Soll zum Skripteditor weitergeleitet werden.
- Wahlweise:
Fügen Sie Metrikeingaben hinzu.
Standardmäßig ist die sys_ID des Ausführungsplan-Datensatzes als Metrikeingabe enthalten.
Mit dem Parser-Tool können Sie auf Inhalte aus dem Ausführungsplanprotokoll zugreifen, ohne den XML- oder JSON-Inhalt selbst analysieren zu müssen. Sie können mit auf die Ausgaben des Parser-Tools zugreifen Tool.Ausgabe .
-
Wählen Sie im Abschnitt „Metrikeingaben“ das Plus-Symbol, um das modale Element „Metrikeingabe hinzufügen“ zu öffnen.
-
Füllen Sie das Formular aus.
| Feld |
Beschreibung |
| Eingabedatentyp | Dropdown-Auswahl zum Auswählen des Datentyps und Formats der Eingabe |
| Name | Kurzer, anwenderfreundlicher Name für die Eingabe |
| Beschreibung | Beschreibung der Eingabe. Sie können die Beschreibung jeder Eingabe anzeigen, indem Sie sie im Abschnitt „Metrikeingaben“ des Skripteditors auswählen. |
| Werte | Standardeingabewerte, die zum Testen Ihres Skripts im Skripteditor verwendet werden |
| Obligatorisch | Bestimmt, ob die Angabe der Eingabe erforderlich ist, damit die Auswertung ausgeführt werden kann |
-
Wählen Sie Hinzufügen.
-
Schreiben Sie Ihre skriptbasierte Metrik.
Der Standardcodeblock im Skripteditor enthält kommentierten Code, der Sie durch den Skriptschreibprozess führen kann.
Sie können jederzeit auswählen Metrikausgabevorlage Um den Code anzuzeigen, der für die korrekte Anzeige der Ausgabe erforderlich ist, wenn die Ergebnisse der Auswertungsausführung im Kompetenzkit betrachtet werden. Dieser Inhalt ist auch im Standardcodeblock enthalten, wenn Sie den Skripteditor zum ersten Mal öffnen. Bei Bedarf können Sie die Vorlage kopieren und in das Skript einfügen. Stellen Sie sicher, dass Sie die Werte in die Ergebnisse Ihrer anwenderdefinierten Metrik ändern.
Sie können die Details der anwenderdefinierten Metrik im geführten Setup auf der Registerkarte „Metrikeinstellungen“ überprüfen.
Wenn Sie Änderungen vorgenommen haben, können Sie auswählen Speichern Schaltfläche zum Speichern Ihrer Änderungen.
Wichtig: Selbst wenn Sie speichern, kann die Metrik erst dann in agentischen Auswertungsausführungen verwendet werden, wenn Sie sie veröffentlichen.
-
Wählen Sie Aus Test ausführen Um das Modal „Test ausführen“ zu öffnen, geben Sie Ihre Metriktesteingaben ein, und führen Sie den Test aus.
Nachdem Sie mindestens einen Test ausgeführt haben, können Sie die Antwort und Anforderung sowohl der Gesamtausführung als auch des Parser-Tools überprüfen.
Nachdem Sie mindestens einen Test ausgeführt haben, können Sie auswählen Test ausführen Dropdown-Schaltfläche, und wählen Sie aus Testverlauf ausführen Dient zum Öffnen einer neuen Sidebar mit früheren Testergebnissen. Sie können Testläufe des Anwenders filtern, der den Test ausgeführt hat.
-
Wählen Sie Aus Veröffentlichen Sie die Metrik Um Ihr Skript zu speichern und die Metrik zu aktivieren.
Stellen Sie vor der Veröffentlichung sicher, dass Ihre Ausgabe mit der Metrikausgabevorlage übereinstimmt. Wenn nicht, funktioniert Ihre Metrik möglicherweise nicht wie erwartet oder wird auf der Seite mit den Ergebnissen der Auswertungsausführung korrekt angezeigt.
Ergebnisse
Sie haben eine neue anwenderdefinierte Metrik, die für die Bewertung von agentischen Workflows verwendet werden kann.
Nächste Maßnahme
Führen Sie eine Auswertungsausführung aus, und wählen Sie Ihre anwenderdefinierte Metrik im geführten Setup aus. Siehe Bewerten Sie einen agentischen Workflow Weitere Informationen zum Ausführen einer Auswertungsausführung.
Wenn Ihre anwenderdefinierte Metrik im geführten Setup für eine Auswertungsausführung nicht angezeigt wird, stellen Sie sicher, dass Sie sie veröffentlicht haben.