Parser-Tool für Agentic-Bewertung

Verwenden Sie die Ausgaben des Parser-Tools für die Agenten-Evaluierung in Ihren Skripts für anwenderdefinierte Metriken, um die Kriterien für effektive KI-Agenten und Agenten-Workflows anzupassen.

Übersicht über das Parser-Tool

Das Parser-Tool für die Agenten-Evaluierung extrahiert strukturierte Ausführungsdaten aus den Ausführungsprotokollen eines Agenten-Workflows oder KI-Agenten. Sie können die vom Tool gesammelten Informationen verwenden, um anwenderdefinierte Metriken zu erstellen, die Skripts zur Bewertung von agentischen Workflows verwenden.

Das Parser-Tool gibt strukturierte KI-Agenten- oder Agenten-Workflow-Ausführungsdaten innerhalb von zurück output.payloadObjekt, das Folgendes enthält:

• executionInputs: Ein JSON-Objekt, das Informationen zum anfänglichen Workflow-Setup enthält, z. B. die Namen und Anweisungen von Service Desk-Mitarbeitern und Tools und die anfängliche Anwenderäußerung
• executionOutputs: Ein JSON-Objekt mit KI-Agent-Aktionen und Toolausführungsergebnissen
• executionMessages: Ein JSON-Objekt-Array mit Konversations-Flow und Systemantworten für Anwender
• executionPlanDetails: Ein JSON-Objekt mit Ausführungsmetadaten, z. B. Status, sys_IDs und Konfigurationswerte

{
     "output": {
 "payload": {
  "executionInputs": { ... },
  "executionOutputs": { ... },
  "executionMessages": [ ... ],
  "executionPlanDetails": { ... }
 }
}

Zugriff auf die Ausgabe des Parser-Tools

Um die vollständige Ausgabe des Parser-Tools für Tests und Entwicklung anzuzeigen, führen Sie die folgenden Schritte aus.

• Navigieren Sie in Ihrem geführten Setup für anwenderdefinierte Metriken zur Ansicht Skripteditor.
• Wählen Sie Test ausführen.
• Warten Sie, bis der Test abgeschlossen ist.
• Zeigen Sie die vollständige JSON-Ausgabe im Abschnitt „Tools“ der Testergebnisse an.

Wenn Sie die Ausgabe des Parser-Tools überprüfen, bevor Sie Ihre anwenderdefinierte Metrik entwerfen, können Sie die Datenstruktur überprüfen, bevor Sie eine bestimmte Logik implementieren.

ExecutionInputs-Datenstruktur

Das ExecutionInputs-Attribut enthält ein JSON-Objekt mit der folgenden Struktur:

"executionInputs": {
 "agenticWorkflow": "(name of agentic workflow)",
 "description": "(descriptions for agentic workflow)",
 "instructions": "(list of steps for agentic workflow)", 
 "utterance": "(initial user utterance)", 
 "agents": [ 
  { 
   "name": "(AI agent name)",  
   "instructions": "(list of steps for AI agent)", 
   "tools": [ 
    { 
     "name": "(tool name)", 
     "description": "(tool description)", 
     "executionMode": "(execution mode, either Autonomous or Supervised)", 
     "inputs": { ... } 
    }, 
    { ... }, ... 
   ]
  }, 
  { ... }, ... 
 ]
}

ExecutionAusgabedatenstruktur

Das ExecutionOutputs-Attribut enthält ein JSON-Objekt mit der folgenden Struktur:

"executionOutputs": {
 "agents": [ 
  { 
   "name": "(AI agent name)", 
   "subTask": { ... }, 
   "tools": [ 
    { 
     "name": "(tool name)", 
     "inputs": { ... }, 
     "output": { ... }
    }
   ]
  }, 
  { ... }, ... 
 ]
}

ExecutionMessages-Datenstruktur

Das ExecutionOutputs-Attribut enthält ein Array von JSON-Objekten mit der folgenden Struktur:

"executionMessages": [ 
 { 
  "role": "(Message sender, either 'agent' or 'user')", 
   "message": "(Content of message)", 
   "order": "(Sequence number indicating order of message in the conversation)"
  }, 
  { ... }, ... 
]
   

ExecutionPlanDetails-Datenstruktur

Das ExecutionPlanDetails-Attribut enthält ein JSON-Objekt mit der folgenden Struktur:

"executionPlanDetails": { 
    "state": "(Current execution status)", 
    "runType": "(Type of execution)", 
    "conversationId": "(sys_id of conversation)", 
    "relatedTask": "(sys_id of the associated task or record)", 
    "relatedTaskTable": "(Table name where the related task is stored)", 
    "context": { ... } (May be null)
    "builtInTools": [ { ... } ]
    }
   

Dieser Abschnitt enthält Ausführungsmetadaten für die Nachverfolgung der Workflow-Leistung, das Debugging von Problemen und die Korrelation von Ausführungen mit bestimmten Aufgaben oder Konversationen.

Die Möglichkeiten für „runType“ umfassen folgende:

• API
• Chat
• Bewertung
• Tests
• Auslöser

Verwendung der Ausgabe des Parser-Tools in Metrikskripts

Die Daten des Parser-Tools sind in Ihrem Metrikskript über verfügbar contextParameter. Greifen Sie mit dem folgenden Code auf die strukturierten Daten zu:

// Access the parser tool output from context
var parserToolOutput = context['AgenticExecutionParserTool.output'];
if (typeof parserToolOutput == "string") {
 parserToolOutput = JSON.parse(parserToolOutput);
}
var parserToolPayload = parserToolOutput.payload;
var parserToolStatus = parserToolOutput.status;
    
// Extract individual sections from payload
var inputs = parserToolPayload.executionInputs;
var outputs = parserToolPayload.executionOutputs;
var messages = parserToolPayload.executionMessages;
var planDetails = parserToolPayload.executionPlanDetails;