Ferramenta do analisador de avaliação do agente

Use as saídas da ferramenta do analisador de avaliação do agente em seus scripts para métricas personalizadas para personalizar os critérios para fluxos de trabalho do agente eficazes.

Visão geral da ferramenta do analisador

A ferramenta de análise de avaliação do agentic extrai dados de execução estruturados dos logs de execução de um fluxo de trabalho ou agente do agentic. Você pode usar as informações coletadas pela ferramenta para criar métricas personalizadas que usam scripts para avaliar fluxos de trabalho do agente.

A ferramenta analisador retorna dados de execução do fluxo de trabalho agentic estruturado em output.payloadobjeto, que contém o seguinte:

• executionInputsUm objeto JSON que contém informações de configuração do fluxo de trabalho inicial, como nomes e instruções de agentes e ferramentas e o enunciado inicial do usuário
• executionOutputs: Um objeto JSON com ações do agente de IA e resultados de execução da ferramenta
• executionMessages: Uma matriz de objetos JSON de fluxo de conversa voltado para o usuário e respostas do sistema
• executionPlanDetailsUm objeto JSON de metadados de execução, como status, sys_ids e valores de configuração

{
     "output": {
      "payload": {
       "executionInputs": { ... },
       "executionOutputs": { ... },
       "executionMessages": [ ... ],
       "executionPlanDetails": { ... }
      }
     }
    }

Acessando a saída da ferramenta de análise

Para exibir a saída completa da ferramenta do analisador para teste e desenvolvimento, execute as etapas a seguir.

• Navegue até a exibição do Editor de scripts na configuração assistida de métrica personalizada.
• Selecione Run Test (Executar teste).
• Aguarde a conclusão do teste.
• Exiba a saída JSON completa na seção Ferramentas dos resultados do teste.

Revisar a saída da ferramenta de análise antes de projetar sua métrica personalizada permite que você inspecione a estrutura de dados antes de implementar qualquer lógica específica.

Estrutura de dados ExecutitionInputs

O atributo executionInputs contém um objeto JSON com a seguinte estrutura:

"executionInputs": {
 "agenticWorkflow": "(name of agentic workflow)",
 "description": "(descriptions for agentic workflow)",
 "instructions": "(list of steps for agentic workflow)", 
 "utterance": "(initial user utterance)", 
 "agents": [ 
  { 
   "name": "(AI agent name)",  
   "instructions": "(list of steps for AI agent)", 
   "tools": [ 
    { 
     "name": "(tool name)", 
     "description": "(tool description)", 
     "executionMode": "(execution mode, either Autonomous or Supervised)", 
     "inputs": { ... } 
    }, 
    { ... }, ... 
   ]
  }, 
  { ... }, ... 
 ]
}

Estrutura de dados ExecutitionOutputs

O atributo executonOutputs contém um objeto JSON com a seguinte estrutura:

"executionOutputs": {
 "agents": [ 
  { 
   "name": "(AI agent name)", 
   "subTask": { ... }, 
   "tools": [ 
    { 
     "name": "(tool name)", 
     "inputs": { ... }, 
     "output": { ... }
    }
   ]
  }, 
  { ... }, ... 
 ]
}

Estrutura de dados ExecutitionMessages

O atributo executitionOutputs contém uma matriz de objetos JSON com a seguinte estrutura:

"executionMessages": [ 
 { 
  "role": "(Message sender, either 'agent' or 'user')", 
   "message": "(Content of message)", 
   "order": "(Sequence number indicating order of message in the conversation)"
  }, 
  { ... }, ... 
]
   

Estrutura de dados ExecutitionPlanDetails

O atributo executonPlanDetails contém um objeto JSON com a seguinte estrutura:

"executionPlanDetails": { 
    "state": "(Current execution status)", 
    "runType": "(Type of execution)", 
    "conversationId": "(sys_id of conversation)", 
    "relatedTask": "(sys_id of the associated task or record)", 
    "relatedTaskTable": "(Table name where the related task is stored)", 
    "context": { ... } (May be null)
    "builtInTools": [ { ... } ]
    }
   

Esta seção fornece metadados de execução para rastrear o desempenho do fluxo de trabalho, depurar problemas e correlacionar execuções com tarefas ou conversas específicas.

As possibilidades do runType incluem o seguinte:

• API
• Bate-papo
• Avaliação
• Teste
• Gatilho

Usando a saída da ferramenta analisador em scripts de métrica

Os dados da ferramenta do analisador estão disponíveis no script de métrica por meio do contextparâmetro. Acesse os dados estruturados usando o seguinte código:

// Access the parser tool output from context
var parserToolOutput = context['AgenticExecutionParserTool.output'];
if (typeof parserToolOutput == "string") {
 parserToolOutput = JSON.parse(parserToolOutput);
}
var parserToolPayload = parserToolOutput.payload;
var parserToolStatus = parserToolOutput.status;
    
// Extract individual sections from payload
var inputs = parserToolPayload.executionInputs;
var outputs = parserToolPayload.executionOutputs;
var messages = parserToolPayload.executionMessages;
var planDetails = parserToolPayload.executionPlanDetails;