Parser-Tool für Agentic-Bewertung

Verwenden Sie die Ausgaben des Parser-Tools für die agentische Auswertung in Ihren Skripts für anwenderdefinierte Metriken, um die Kriterien für effektive agentische Workflows anzupassen.

Übersicht über das Parser-Tool

Das Parser-Tool für die agentische Auswertung extrahiert strukturierte Ausführungsdaten aus den Ausführungsprotokollen eines agentischen Workflows oder Agents. Sie können die vom Tool gesammelten Informationen verwenden, um anwenderdefinierte Metriken zu erstellen, die Skripts zur Bewertung von agentischen Workflows verwenden.

Das Parser-Tool gibt strukturierte Daten zur Ausführung des agentischen Workflows innerhalb von zurück output.payloadObjekt, das Folgendes enthält:

• executionInputs: Ein JSON-Objekt, das Informationen zum anfänglichen Workflow-Setup enthält, z. B. die Namen und Anweisungen von Service Desk-Mitarbeitern und Tools und die anfängliche Anwenderäußerung
• executionOutputs: Ein JSON-Objekt mit KI-Agent-Aktionen und Toolausführungsergebnissen
• executionMessages: Ein JSON-Objekt-Array mit Konversations-Flow und Systemantworten für Anwender
• executionPlanDetails: Ein JSON-Objekt mit Ausführungsmetadaten, z. B. Status, sys_IDs und Konfigurationswerte

{
     "output": {
      "payload": {
       "executionInputs": { ... },
       "executionOutputs": { ... },
       "executionMessages": [ ... ],
       "executionPlanDetails": { ... }
      }
     }
    }

Zugriff auf die Ausgabe des Parser-Tools

Um die vollständige Ausgabe des Parser-Tools für Tests und Entwicklung anzuzeigen, führen Sie die folgenden Schritte aus.

• Navigieren Sie in Ihrem geführten Setup für anwenderdefinierte Metriken zur Ansicht Skripteditor.
• Wählen Sie Test ausführen.
• Warten Sie, bis der Test abgeschlossen ist.
• Zeigen Sie die vollständige JSON-Ausgabe im Abschnitt „Tools“ der Testergebnisse an.

Wenn Sie die Ausgabe des Parser-Tools überprüfen, bevor Sie Ihre anwenderdefinierte Metrik entwerfen, können Sie die Datenstruktur überprüfen, bevor Sie eine bestimmte Logik implementieren.

ExecutionInputs-Datenstruktur

Das ExecutionInputs-Attribut enthält ein JSON-Objekt mit der folgenden Struktur:

"executionInputs": {
 "agenticWorkflow": "(name of agentic workflow)",
 "description": "(descriptions for agentic workflow)",
 "instructions": "(list of steps for agentic workflow)", 
 "utterance": "(initial user utterance)", 
 "agents": [ 
  { 
   "name": "(AI agent name)",  
   "instructions": "(list of steps for AI agent)", 
   "tools": [ 
    { 
     "name": "(tool name)", 
     "description": "(tool description)", 
     "executionMode": "(execution mode, either Autonomous or Supervised)", 
     "inputs": { ... } 
    }, 
    { ... }, ... 
   ]
  }, 
  { ... }, ... 
 ]
}

ExecutionAusgabedatenstruktur

Das ExecutionOutputs-Attribut enthält ein JSON-Objekt mit der folgenden Struktur:

"executionOutputs": {
 "agents": [ 
  { 
   "name": "(AI agent name)", 
   "subTask": { ... }, 
   "tools": [ 
    { 
     "name": "(tool name)", 
     "inputs": { ... }, 
     "output": { ... }
    }
   ]
  }, 
  { ... }, ... 
 ]
}

ExecutionMessages-Datenstruktur

Das ExecutionOutputs-Attribut enthält ein Array von JSON-Objekten mit der folgenden Struktur:

"executionMessages": [ 
 { 
  "role": "(Message sender, either 'agent' or 'user')", 
   "message": "(Content of message)", 
   "order": "(Sequence number indicating order of message in the conversation)"
  }, 
  { ... }, ... 
]
   

ExecutionPlanDetails-Datenstruktur

Das ExecutionPlanDetails-Attribut enthält ein JSON-Objekt mit der folgenden Struktur:

"executionPlanDetails": { 
    "state": "(Current execution status)", 
    "runType": "(Type of execution)", 
    "conversationId": "(sys_id of conversation)", 
    "relatedTask": "(sys_id of the associated task or record)", 
    "relatedTaskTable": "(Table name where the related task is stored)", 
    "context": { ... } (May be null)
    "builtInTools": [ { ... } ]
    }
   

Dieser Abschnitt enthält Ausführungsmetadaten für die Nachverfolgung der Workflow-Leistung, das Debugging von Problemen und die Korrelation von Ausführungen mit bestimmten Aufgaben oder Konversationen.

Die Möglichkeiten für „runType“ umfassen folgende:

• API
• Chat
• Bewertung
• Tests
• Auslöser

Verwendung der Ausgabe des Parser-Tools in Metrikskripts

Die Daten des Parser-Tools sind in Ihrem Metrikskript über verfügbar contextParameter. Greifen Sie mit dem folgenden Code auf die strukturierten Daten zu:

// Access the parser tool output from context
var parserToolOutput = context['AgenticExecutionParserTool.output'];
if (typeof parserToolOutput == "string") {
 parserToolOutput = JSON.parse(parserToolOutput);
}
var parserToolPayload = parserToolOutput.payload;
var parserToolStatus = parserToolOutput.status;
    
// Extract individual sections from payload
var inputs = parserToolPayload.executionInputs;
var outputs = parserToolPayload.executionOutputs;
var messages = parserToolPayload.executionMessages;
var planDetails = parserToolPayload.executionPlanDetails;