Verfolgen und überwachen Sie den Fortschritt der Agenten-Evaluierung

  • Freigeben Version: Australia
  • Aktualisiert 18. März 2026
  • 2 Minuten Lesedauer

    • Überwachen Sie den Status einer aktiven Evaluierungsausführung, um Fehler frühzeitig zu erkennen und zu bestätigen, wann die Ergebnisse zur Überprüfung bereit sind.

    Vorbereitungen

    Sie müssen über eine aktive Evaluierungsausführung verfügen, um sie zu überwachen. Informationen zum Erstellen von Evaluierungsausführungen finden Sie unter Führen Sie eine Agenten-Evaluierungsausführung aus .

    Erforderliche Rolle: Administrator

    Warum und wann dieser Vorgang ausgeführt wird

    Agentenauswertungen können einige Zeit in Anspruch nehmen, insbesondere bei großen Datensätzen. Die Überwachung des Fortschritts hilft Ihnen, Probleme frühzeitig zu identifizieren und zu bestimmen, wann die Ergebnisse zur Überprüfung bereit sind.

    Prozedur

    1. Navigieren zu Alle > Now Assist-Kompetenzkit > Agentenbasierte Evaluierungenan.
    2. Wählen Sie eine Auswertung mit einem nachverfolgbaren Status aus.

      Sie können Evaluierungen zur Nachverfolgung an zwei Standorten finden:

      • Schnellübersicht Abschnitt: Aktuelle Auswertungen in Bearbeitung werden auf der Karte „laufende Auswertungen“ angezeigt
      • Automatisierte Auswertungen Abschnitt: Alle Auswertungen, einschließlich älterer

      Evaluierungen, die Sie nachverfolgen können, haben einen Run statusVon In Bearbeitung Oder Aktion erforderlich .

    3. Wählen Sie die Auswertung aus, die Sie überwachen möchten.
      Die Detailseite der Evaluierungsüberwachung wird geöffnet und zeigt den aktuellen Status und Fortschrittsinformationen an.
    4. Wahlweise: Wenn der Status lautet Aktion erforderlich , Überprüfen Sie die generierten Ausführungsprotokolle.

      Der häufigste Grund für Aktion erforderlich Der Status gibt an, wenn Ausführungsprotokolle generiert wurden, aber eine Genehmigung erfordern, bevor die Evaluierungsphase beginnen kann.

      1. Untersuchen Sie die Datensatzartefakte, um zu verstehen, wie die agentenbasierte KI bei bestimmten Datensätzen funktioniert hat.
        Sie können einzelne Incidents oder andere Datensätze öffnen, um zu sehen, wie das agentenbasierte KI-Asset während des Tests mit ihnen interagiert hat.
      2. Wählen Sie Ausführungsdatensätze aus, um detaillierte Leistungsinformationen anzuzeigen.
        Dadurch werden die Ausführungsdetails in geöffnet KI-Agenten-Studio, In dem Sie die vollständige Konversation zwischen dem simulierten Anwender und der Agenten-KI überprüfen können, einschließlich Begründungs- und Verarbeitungsnachrichten von Agenten und Tools.
      3. Überprüfen Sie Konversationsdatensätze und Zeitstempel, um den Interaktionsflow zu verstehen.
        Der Startausdruck und die Konversationsdatensätze enthalten detaillierte Informationen darüber, wie der KI-Agent mit dem simulierten Anwender interagiert hat, einschließlich Zeitstempel für jede Nachricht.
    5. Wahlweise: Wenn Sie die Ausführungsprotokolle überprüft haben und sie Ihren Erwartungen entsprechen, starten Sie die Evaluierungsphase, indem Sie auswählen Auswertung starten .

      Nachdem Sie die Protokolle genehmigt haben, beginnt die LLM-Bewertungs- und -Bewertungsphase. In dieser Phase werden die Ausführungsprotokolle analysiert und quantitative Punktzahlen für die Leistung des KI-Agenten bereitgestellt.

      Der Evaluierungsstatus ändert sich in In Bearbeitung Und die LLM-Auswertung beginnt.
    6. Wahlweise: Überwachen Sie den Fortschritt der LLM-Evaluierungsphase.

      Während dieser Phase können Sie Folgendes nachverfolgen:

      • Anzahl der ausgewerteten Datensätze
      • Geschätzte verbleibende Zeit
      • Alle Fehler oder Warnungen, die während der Auswertung auftreten
    7. Wahlweise: Überprüfen Sie auf Abschlussbenachrichtigungen oder Statusaktualisierungen.
      Wenn die Auswertung abgeschlossen ist, ändert sich der Status in Abgeschlossen Und Ergebnisse werden zur Überprüfung verfügbar.

    Ergebnisse

    Sie können den Bewertungsfortschritt überwachen und bei Bedarf Maßnahmen ergreifen. Wenn die Bewertung erfolgreich abgeschlossen ist, können Sie die detaillierten Ergebnisse überprüfen, um die Leistung Ihrer Agenten-KI zu verstehen.

    Nächste Maßnahme

    Überprüfen Sie nach Abschluss der Auswertung die Ergebnisse, um Bereiche mit Verbesserungsbedarf in Ihrer Konfiguration für Agenten-KI zu identifizieren. Informationen zum Analysieren von Auswertungsergebnissen finden Sie unter Überprüfen Sie die Ergebnisse einer Agenten-Bewertung .