Outil d’analyse d’évaluation agentique

Utilisez les sorties de l’outil analyseur d’évaluation agentique dans vos scripts pour des mesures personnalisées afin de personnaliser les critères d’agents IA et de workflows agentiques efficaces.

Vue d’ensemble de l’outil d’analyseur

L’outil analyseur d’évaluation agentique extrait les données d’exécution structurées des journaux d’exécution d’un workflow agentique ou d’un agent IA. Vous pouvez utiliser les informations recueillies par l’outil pour créer des métriques personnalisées qui utilisent des scripts pour évaluer les workflows agentiques.

L’outil d’analyse renvoie des données structurées d’exécution d’agent IA ou de workflow agentique dans l’objet output.payload , qui contiennent les éléments suivants :

• executionInputs: objet JSON qui contient des informations sur la configuration initiale du workflow, telles que les noms et les instructions des agents et des outils, ainsi que l’énoncé initial de l’utilisateur
• executionOutputs: objet JSON avec des actions d’agent IA et des résultats d’exécution d’outils
• executionMessages: un tableau d’objets JSON du flux de conversation orienté utilisateur et des réponses système
• executionPlanDetails: objet JSON contenant des métadonnées d’exécution, telles que l’état, le sys_ids et les valeurs de configuration

{
     "output": {
 "payload": {
  "executionInputs": { ... },
  "executionOutputs": { ... },
  "executionMessages": [ ... ],
  "executionPlanDetails": { ... }
 }
}

Accéder à la sortie de l’outil d’analyse

Pour afficher la sortie complète de l’outil d’analyseur à des fins de test et de développement, procédez comme suit.

• Accédez à la vue Éditeur de script dans votre configuration guidée des mesures personnalisées.
• Sélectionnez Exécuter le test.
• Attendez la fin du test.
• Affichez la sortie JSON complète dans la section Outils des résultats du test.

L’examen de la sortie de l’outil d’analyse avant de concevoir votre mesure personnalisée vous permet d’inspecter la structure des données avant d’implémenter une logique spécifique.

Structure des données executionInputs

L’attribut executionInputs contient un objet JSON dont la structure est la suivante :

"executionInputs": {
 "agenticWorkflow": "(name of agentic workflow)",
 "description": "(descriptions for agentic workflow)",
 "instructions": "(list of steps for agentic workflow)", 
 "utterance": "(initial user utterance)", 
 "agents": [ 
  { 
   "name": "(AI agent name)",  
   "instructions": "(list of steps for AI agent)", 
   "tools": [ 
    { 
     "name": "(tool name)", 
     "description": "(tool description)", 
     "executionMode": "(execution mode, either Autonomous or Supervised)", 
     "inputs": { ... } 
    }, 
    { ... }, ... 
   ]
  }, 
  { ... }, ... 
 ]
}

Structure des données executionOutputs

L’attribut executionOutputs contient un objet JSON dont la structure est la suivante :

"executionOutputs": {
 "agents": [ 
  { 
   "name": "(AI agent name)", 
   "subTask": { ... }, 
   "tools": [ 
    { 
     "name": "(tool name)", 
     "inputs": { ... }, 
     "output": { ... }
    }
   ]
  }, 
  { ... }, ... 
 ]
}

Structure des données executionMessages

L’attribut executionOutputs contient un tableau d’objets JSON ayant la structure suivante :

"executionMessages": [ 
 { 
  "role": "(Message sender, either 'agent' or 'user')", 
   "message": "(Content of message)", 
   "order": "(Sequence number indicating order of message in the conversation)"
  }, 
  { ... }, ... 
]
   

Structure des données executionPlanDetails

L’attribut executionPlanDetails contient un objet JSON dont la structure est la suivante :

"executionPlanDetails": { 
    "state": "(Current execution status)", 
    "runType": "(Type of execution)", 
    "conversationId": "(sys_id of conversation)", 
    "relatedTask": "(sys_id of the associated task or record)", 
    "relatedTaskTable": "(Table name where the related task is stored)", 
    "context": { ... } (May be null)
    "builtInTools": [ { ... } ]
    }
   

Cette section fournit des métadonnées d’exécution pour suivre les performances du workflow, déboguer les problèmes et corréler les exécutions avec des tâches ou des conversations spécifiques.

Les possibilités de runType sont les suivantes :

• API
• Messagerie instantanée
• Évaluation
• Test en cours
• Déclencheur

Utilisation de la sortie de l’outil d’analyse dans les scripts de mesures

Les données de l’outil d’analyse sont disponibles dans votre script de mesure via le context paramètre. Accédez aux données structurées à l’aide du code suivant :

// Access the parser tool output from context
var parserToolOutput = context['AgenticExecutionParserTool.output'];
if (typeof parserToolOutput == "string") {
 parserToolOutput = JSON.parse(parserToolOutput);
}
var parserToolPayload = parserToolOutput.payload;
var parserToolStatus = parserToolOutput.status;
    
// Extract individual sections from payload
var inputs = parserToolPayload.executionInputs;
var outputs = parserToolPayload.executionOutputs;
var messages = parserToolPayload.executionMessages;
var planDetails = parserToolPayload.executionPlanDetails;