Bewerten Sie einen agentischen Workflow

Bewerten Sie einen agentischen Workflow anhand eines Datensatzes Ihrer Wahl, um die Leistung zu überwachen und anhand verschiedener Benchmarks zu bewerten.

Vorbereitungen

Auswertungsausführungen erfordern Ausführungsprotokolldaten des agentischen Workflows, den Sie auswerten möchten. Für einen neuen agentischen Workflow können Sie Ausführungsprotokolle erstellen, indem Sie in testen KI-Agenten-Studio. Weitere Informationen zum Testen von agentischen Workflows finden Sie unter Testen Sie einen agentischen Workflow.

Weitere Informationen zu den ersten Schritten mit agentischen Auswertungen finden Sie unter Allgemeine Richtlinien für agentische Auswertungsausführungen .

Erforderliche Rolle: sn_aia.admin

Prozedur

1. Navigieren zu Alle > Now Assist-Kompetenzkit > Agentenbasierte Evaluierungenan.

   Sie können auch auf der Testseite von beginnen KI-Agenten-Studio. Navigieren zu Alle > KI-Agenten-Studio > Testsan. Wählen Sie einen agentischen Workflow aus, und wählen Sie dann aus Richten Sie die Auswertungsausführung ein . Ein Modal wird angezeigt, um zu fragen, ob Sie weitergeleitet werden möchten Now Assist Kompetenzkit. Wählen Sie Aus Öffnen Sie Das Kompetenzkit . Sie werden zu weitergeleitet Geführtes Setup.

2. Wählen Sie auf der Homepage der Auswertungen die Option aus Neue Auswertungsausführung Um mit dem geführten Setup zu beginnen.
3. Fügen Sie im Schritt „Allgemeine Informationen hinzufügen“ einen Namen hinzu, und wählen Sie den agentischen Workflow aus, den Sie bewerten möchten.

   

4. Wählen Sie Aus Fahren Sie Fort Um zum nächsten Schritt zu wechseln.

   Jedes Mal, wenn Sie durch einen Schritt navigieren, wird die Auswertungsausführung automatisch als Entwurf gespeichert. Sie können jederzeit auswählen Als Entwurf speichern .

   Wenn Sie das geführte Setup beenden möchten, können Sie auswählen Setup beenden . Sie werden zur Seite „Agentische Auswertungen“ weitergeleitet.

   • Wenn Sie auswählen Speichern und beenden , Die Auswertungsausführung wird in der Liste auf der Seite „Agentische Auswertungen“ mit dem Status angezeigt Draft.
   • Wenn Sie auswählen Verwerfen und beenden , Der Entwurf der Auswertungsausführung wird gelöscht.
5. Wählen Sie Ihre Auswertungsmethode aus.

   Die Bewertung der Vollständigkeit der Gesamtaufgabe ist standardmäßig ausgewählt. Wenn Sie mehrere Bewertungsmethoden gleichzeitig ausführen, kann dies dazu beitragen, einen umfassenderen Überblick über die Leistung des agentischen Workflows zu erhalten.

   Um weitere Informationen zu jedem Plan anzuzeigen, können Sie die Karte für jeden Auswertungsplan erweitern, indem Sie das Chevron-Symbol ( ).

   Alle anwenderdefinierten Metriken, die Sie veröffentlicht haben, werden auch als Optionen angezeigt. Wenn Ihre anwenderdefinierte Metrik nicht angezeigt wird, stellen Sie sicher, dass sie veröffentlicht ist. Siehe Erstellen Sie eine anwenderdefinierte Metrik Weitere Informationen finden Sie unter .

   

6. Wählen Sie Ihren Datensatz aus.
   1. Wählen Sie einen vorhandenen Datensatz aus, oder erstellen Sie einen eigenen.
   2. Füllen Sie das Formular aus, um einen neuen Datensatz zu erstellen.

      Tabelle : 1. Wählen Sie ein Datensatzformular aus

      Feldname	Beschreibung
      Name	Name des Datensatzes.
      Beschreibung	Allgemeine Beschreibung des Datensatzes und seines beabsichtigten Zwecks.
      Max. Datensätze (optional)	Die maximale Anzahl von Datensätzen innerhalb des Datensatzes, für die Sie die Auswertung ausführen möchten. Wenn der Datensatz mehr Datensätze enthält als die maximale Anzahl von Datensätzen, werden alle Datensätze nach der maximalen Anzahl von Datensätzen für diese Auswertungsausführung ignoriert.
      Filter	Bedingungen für die Einengung der KI-Ausführungsprotokolldatensätze, die Sie in den Datensatz aufnehmen möchten. Standardmäßig ist der von Ihnen ausgewertete agentische Workflow als Filterbedingung ausgewählt.

      

   3. Wählen Sie Aus Siehe Vorschau Um eine Liste von Datensätzen basierend auf den von Ihnen angegebenen Bedingungen anzuzeigen.
      Sie können die Datensätze weiter eingrenzen, indem Sie nur einige der Datensätze in der Vorschauliste auswählen. Nicht ausgewählte Datensätze werden nicht in den Datensatz aufgenommen.
7. Überprüfen Sie die Details der agentischen Bewertung im letzten Schritt des geführten Setups.

   Wenn Sie einen Ort bemerken, an dem Sie Änderungen vornehmen möchten, können Sie auswählen Zurück Um zu einem vorherigen Schritt zu wechseln, oder Sie können den Schritt in der Sidebar auswählen.

   

8. Wählen Sie Aus Bewertung starten .

Ergebnisse

Ihre Auswertungsausführung wird ausgeführt. Die Zeit, die für den Abschluss einer Auswertungsausführung benötigt wird, variiert. Sobald sie abgeschlossen ist, können Sie die Auswertung auf der Seite „Agentische Auswertungen“ auswählen, um die Ergebnisse anzuzeigen.

Weitere Informationen zu den Metriken auf der Ergebnisseite finden Sie unter Ergebnisse der Ausführung der Agentischen Auswertung .