Häufig gestellte Fragen zu Agenten-Evaluierungen

Finden Sie Antworten auf häufige Fragen zum Einrichten und Ausführen von Evaluierungen.

Muss ich vor einer automatisierten Evaluierung etwas bereithalten?

Vergewissern Sie sich vor Beginn, dass Sie:

• Testen Sie Ihren Agent oder Workflow auf dem Playground. Erkennen Sie die offensichtlichen Probleme frühzeitig – automatisierte Evaluierungen eignen sich am besten für eine tiefere Validierung.
• Stellen Sie sicher, dass Ihre Tabelle alle erforderlichen Eingaben enthält, wenn Sie Testszenarien generieren oder Szenarien aus vorherigen Agenten- oder Workflow-Ausführungen während des Setups verwenden.
• Bereiten Sie genügend Szenarien vor. Wir empfehlen mindestens 100. Ihre Bewertung ist nur so stark wie die Situationen, die Sie Ihrem Service Desk-Mitarbeiter ausgesetzt haben.
• Definieren Sie, was Erfolg bedeutet. Legen Sie klar, was die richtige Ausgabe für Ihren Service Desk-Mitarbeiter sein soll.

Wie richte ich meine erste automatisierte Auswertung ein?

Folgen Sie dem geführten Flow, um eine Evaluierung einzurichten:

1. Wählen Sie Ihren Service Desk-Mitarbeiter oder Workflow und seine Version aus.
2. Wählen Sie Ihre Metriken aus – integriert oder anwenderdefiniert.
3. Verwenden Sie einen vorhandenen Datensatz, oder entscheiden Sie, wie Sie einen erstellen möchten.

Das war's – Sie sind bereit zur Evaluierung.

Wann sollte ich eine anwenderdefinierte Metrik erstellen?

Erstellen Sie eine anwenderdefinierte Metrik, wenn Sie eindeutige Bewertungskriterien haben und Workflow- oder agentenspezifische Verhaltensweisen messen möchten, die nicht abgedeckt sind ServiceNow Ist in Metriken integriert. Sie könnten beispielsweise Folgendes tun:

• Überprüfen Sie, ob ein bestimmter Ausdruck in der Antwort des Service Desk-Mitarbeiters angezeigt wird.
• Messen Sie die Antwortlänge, um Ausführlichkeit oder Kürze zu bewerten.

Wie erstelle ich einen Datensatz für Agentenevaluierungen?

Es gibt zwei Möglichkeiten, einen Datensatz für Agentenauswertungen zu erstellen, aber zuerst klären wir, was ein Datensatz ist. Ihr Datensatz sollte Protokolle von Ausführungen enthalten, die erfassen, was passiert, wenn Ihr KI-Agent oder Workflow Datensätze wie Incidents, Fälle oder Aufgaben verarbeitet. Sie können einen Datensatz erstellen, indem Sie:

• Protokolle aus vorherigen Agenten- oder Workflow-Ausführungen verwenden oder
• Neue Protokolle werden generiert, indem der Agent oder Workflow nach dem Setup ausgeführt wird.

Was kommt nach einer automatisierten Evaluierung als Nächstes?

Überprüfen Sie Ihre Bewertungsergebnisse, um:

• Konfigurationslücken in Ihrem Agent oder Workflow erkennen
• Bereitstellungsbereitschaft bewerten
• Toolleistung auf Probleme in Bezug auf Eingaben oder Beschreibungen analysieren
• Drilldown zu einzelnen Ausführungen und Metrikpunktzahlen

Zurück zu KI-Agenten-Studio Um Ihre Konfiguration zu verfeinern, führen Sie dann Evaluierungen erneut aus, um Verbesserungen nachzuverfolgen.

Wie erstelle ich eine anwenderdefinierte Metrik?

Erstellen Sie in wenigen Schritten eine anwenderdefinierte Metrik:

1. Benennen und beschreiben Sie Ihre Metrik.
2. Definieren Sie den Evaluierungsbereich – Agenten-Workflow, Service Desk-Mitarbeiter oder beides.
3. Geben Sie an, was gemessen wird, wie es funktioniert und welches Ausgabeformat es hat.
4. Fügen Sie Metrikeingaben hinzu, und schreiben Sie Ihre skriptbasierte Metrik.
5. Speichern und veröffentlichen, um sie zur Verwendung verfügbar zu machen.

Wie interpretiere ich Evaluierungsergebnisse?

Basierend auf den von Ihnen ausgewählten Metriken zeigt jede Ausführung eine Punktzahl für jede Metrik an. Im „Metrikleitfaden“ erfahren Sie, was die Punktzahlen bedeuten. Sie können auch Metrikschwellenwerte anpassen, um sie an den Definitionen Ihrer Organisation für Erfolg und Fehler anzupassen.

Wie kann ich den Fortschritt meiner Evaluierungen nachverfolgen?

Evaluierungen können einige Zeit dauern, Sie müssen jedoch nicht auf der Seite bleiben. Auf der Homepage können Sie alle Evaluierungen nachverfolgen und sogar sehen, ob eine Aktion erforderlich ist.

Wie wird das Parser-Tool bei der Erstellung anwenderdefinierter Metriken verwendet?

Beim Erstellen einer anwenderdefinierten Metrik für Agentenauswertungen ist die Angabe einer Metrikeingabe optional. Standardmäßig wird die „sys_ID des Ausführungsplandatensatzes“ einbezogen. Wir bieten auch ein Parser-Tool, das strukturierte Daten aus Ihren Ausführungsprotokollen abruft, sodass Sie nicht manuell XML oder JSON analysieren müssen. Sie können mit der Toolausgabe auf die Ausgaben des Parser-Tools zugreifen.