Führen Sie eine Agenten-Evaluierungsausführung aus

Bewerten Sie Agenten-KI-Assets anhand von Datensätzen, um die Leistung zu überwachen und Benchmarks zu vergleichen.

Vorbereitungen

Evaluierungsausführungen erfordern Ausführungsprotokolldaten des Agenten-KI-Assets, das Sie auswerten möchten. Sie können Ausführungsprotokolldaten erstellen, indem Sie in testen KI-Agenten-Studio Oder löst agentenbasierte KI in aus Now Assist. Sie können auch Ausführungsprotokolldaten erstellen, nachdem Sie Ihre Evaluierungsausführung eingerichtet haben.

Weitere Informationen zum Testen von agentischen Workflows finden Sie unter Testen Sie die Ausführung eines Agenten-Workflows manuell.

Weitere Informationen zu den ersten Schritten mit agentischen Auswertungen finden Sie unter Allgemeine Richtlinien für agentische Auswertungsausführungen .

Erforderliche Rolle: sn_aia.admin

Prozedur

1. Navigieren zu Alle > Now Assist-Kompetenzkit > Agentenbasierte Evaluierungenan.

   Sie können auch auf der Testseite von beginnen KI-Agenten-Studio. Navigieren zu Alle > KI-Agenten-Studio > Testsan. Wählen Sie Aus Automatisierte Evaluierung starten Um auf das geführte Setup zuzugreifen.

2. Wählen Sie auf der Homepage der Auswertungen die Option aus Neue Auswertungsausführung Um mit dem geführten Setup zu beginnen.
3. In Fügen Sie allgemeine Informationen hinzu Schritt: Fügen Sie einen Namen hinzu, und wählen Sie das Agenten-KI-Asset aus, das Sie auswerten möchten.

   

4. Wählen Sie Aus Fahren Sie Fort Um zum nächsten Schritt zu wechseln.

   Jedes Mal, wenn Sie durch einen Schritt navigieren, wird die Auswertungsausführung automatisch als Entwurf gespeichert. Sie können jederzeit auswählen Als Entwurf speichern .

   Wenn Sie das geführte Setup beenden möchten, können Sie auswählen Setup beenden . Sie werden zur Seite „Agentenbewertungen“ weitergeleitet.

   • Wenn Sie auswählen Speichern und beenden , Die Evaluierungsausführung wird auf der Seite „Agentenauswertungen“ mit dem Status angezeigt Draft.
   • Wenn Sie auswählen Verwerfen und beenden , Der Entwurf der Auswertungsausführung wird gelöscht.
5. Wählen Sie Ihre Evaluierungsmetrik aus.

   Die Bewertung der Vollständigkeit der Gesamtaufgabe ist standardmäßig ausgewählt. Die Ausführung mehrerer Evaluierungsmetriken bietet einen umfassenden Überblick über die Leistung des Agenten-KI-Assets.

   Um weitere Informationen zu jedem Plan anzuzeigen, können Sie die Karte für jeden Evaluierungsplan erweitern, indem Sie das Chevron-Symbol auswählen .

   Alle anwenderdefinierten Metriken, die Sie veröffentlicht haben, werden als Optionen angezeigt. Wenn Ihre anwenderdefinierte Metrik nicht angezeigt wird, überprüfen Sie, ob sie veröffentlicht wurde. Siehe Erstellen Sie eine anwenderdefinierte Metrik Weitere Informationen finden Sie unter .

   Hinweis:

   Die Richtigkeitsmetrik des Toolaufrufs ist für KI-Sprachagenten nicht verfügbar.

   

6. Konfigurieren Sie Ihren Datensatz.
   1. Wählen Sie zwischen der Generierung neuer Ausführungsprotokolle durch Ausführen des Agenten oder Workflows oder mithilfe von Ausführungsprotokollen aus vorherigen Ausführungen.
      Hinweis:

      Wenn Sie KI-Sprachagenten auswerten, müssen Sie vorhandene Ausführungsprotokolle verwenden.
   2. Um einen Datensatz durch Generieren neuer Ausführungsprotokolle zu erstellen, wählen Sie zunächst eine Tabelle aus.

      Anstatt einen neuen Datensatz von Grund auf neu zu erstellen, können Sie einen früheren Datensatz verwenden, den Sie in einer anderen Auswertung verwendet haben, indem Sie auswählen Wählen Sie aus einem früheren Datensatz aus . Sobald Sie einen Datensatz ausgewählt haben, können Sie die Details überprüfen, einschließlich Quelltabelle, Datensatzanzahl und das letzte Agenten-KI-Asset, das den Datensatz verwendet hat.

      Hinweis:

      Wenn Sie ein agentenbasiertes KI-Asset auswerten, das mit dem KI-Agenten-Berater erstellt wurde, werden die Optionen für Ihren Datensatz automatisch für Sie ausgefüllt. Sie können die Werte weiterhin bearbeiten.

      Tabelle : 1. Konfigurieren Sie das Datensatzformular für neue Ausführungsprotokolle

      Feldname	Beschreibung
      Tabelle	Die Quelltabelle für Datensätze, die das Agenten-KI-Asset zum Ausführen von Aufgaben und Erstellen von Ausführungen verwendet.
      Filter hinzugefügt	Bedingungen zum Eingrenzen der Liste der Datensätze für das agentenbasierte KI-Asset, das zum Generieren von Ausführungsprotokolldaten verwendet werden soll.
      Anzahl der zu verwendenden Datensätze	Die maximale Anzahl von Datensätzen innerhalb des Datensatzes zur Auswertung. Wenn der Datensatz mehr Datensätze als das Maximum enthält, werden zusätzliche Datensätze ignoriert.
      Aufgabe	Äußerung an das auszuführende Agenten-KI-Asset. Verwenden Sie die Pillenauswahl, um dynamische Eingaben für die Aufgabe auszuwählen. Legen Sie beispielsweise die Startanweisung auf fest Helfen Sie mir, {{Incident.number}} zu lösen . Eingaben aus dem Datensatz müssen zwischen doppelten geschweiften Klammern geschrieben werden.
      Zusätzliche Details zum Agent oder Workflow	Informationen, die dem Large Language Model (LLM) gegeben werden und die Informationen zum Tabellendatensatz ergänzen. Beispielsweise erfordert ein agentenbasierter Workflow für die Erstattung von Schulungskosten den normalen Erstattungszuschuss, der über einen wissensartikel bereitgestellt werden kann.
      Als Anwender ausführen	Der Anwender, der dem Tabellendatensatz zugeordnet ist, um das Agenten-KI-Asset auszuführen. Je nach Anwendungsfall können Sie den Anwender beispielsweise als anfordernde Person oder als Erfüller ausführen.
      Name	Name für den Datensatz. Dies kann nützlich sein, wenn Sie denselben Datensatz erneut verwenden möchten.
      Beschreibung	Beschreibung der Datensätze, die im Datensatz enthalten sind. Dies kann nützlich sein, wenn Sie denselben Datensatz erneut verwenden möchten.

      Hinweis:

      Wenn Sie neue Ausführungsprotokolle erstellen, muss der Anwender, der die Auswertung übermittelt, die ACLs des Agenten-KI-Assets und seiner Komponenten übergeben. Ohne richtige Rollenanforderungen melden Ausführungsprotokolle Zugriffsverweigerungen, und die Auswertung schlägt fehl. Siehe Sicherheit für agentenbasierte KI Für weitere Informationen.

      

      

      Tabelle : 2. Konfigurieren Sie das Datensatzformular für vorhandene Ausführungsprotokolle

      Feldname	Beschreibung
      Filter hinzugefügt	Bedingungen für die Einengung der KI-Ausführungsprotokolldatensätze, die Sie in den Datensatz aufnehmen möchten. Hinweis: Filterbedingungen werden für die Erstellung von Datensätzen von Ausführungsprotokollen des KI-Sprachagenten nicht unterstützt.
      Anzahl der zu verwendenden Datensätze	Die maximale Anzahl von Datensätzen innerhalb des Datensatzes zur Auswertung. Wenn der Datensatz mehr Datensätze als das Maximum enthält, werden zusätzliche Datensätze ignoriert.

   3. Wählen Sie Aus Siehe Vorschau Um eine Liste von Datensätzen basierend auf den von Ihnen angegebenen Bedingungen anzuzeigen.
      Sie können die Datensätze eingrenzen, indem Sie bestimmte Datensätze in der Vorschauliste auswählen. Nicht ausgewählte Datensätze werden nicht in den Datensatz aufgenommen.
7. Überprüfen Sie die Details der agentischen Bewertung im letzten Schritt des geführten Setups.

   Wenn Sie Änderungen vornehmen möchten, können Sie auswählen Zurück Um zu einem vorherigen Schritt zu wechseln, oder Sie können den Schritt in der Sidebar auswählen.

   

8. Wählen Sie Aus Bewertung starten .

Ergebnisse

Ihre Auswertungsausführung wird ausgeführt. Die Abschlusszeit variiert, aber nach Abschluss können Sie die Auswertung auf der Seite „Agentenbewertungen“ auswählen, um Ergebnisse anzuzeigen.

Weitere Informationen zu den Metriken auf der Ergebnisseite finden Sie unter Ergebnisse der Ausführung der Agentischen Auswertung .