Avaliar um fluxo de trabalho do agente

Avalie um fluxo de trabalho do agente em relação a um conjunto de dados de sua escolha para monitorar o desempenho e avaliá-lo em relação a diferentes benchmarks.

Antes de Iniciar

As execuções de avaliação exigem dados de log de execução do fluxo de trabalho do agente que você deseja avaliar. Para um novo fluxo de trabalho do agentic, você pode criar logs de execução testando em Estúdio de agentes de IA. Para obter mais informações sobre como testar fluxos de trabalho do agente, consulte Teste um fluxo de trabalho do agente.

Para obter mais informações sobre como começar a usar avaliações agenciais, consulte Diretrizes gerais para execuções de avaliação de agentes .

Função necessária: sn_aia.admin

Procedimento

1. Navegar até Tudo > Kit de habilidades do Now Assist > Avaliações agentivas.

   Você também pode iniciar na página de teste do Estúdio de agentes de IA. Navegar até Tudo > Studio do agente de IA > Testando. Selecione um fluxo de trabalho do agente e selecione Configurar execução de avaliação . Um modal aparece para perguntar se você deseja ser redirecionado para Now Assist Kit de habilidades. Selecione Abra o Kit de habilidades . Você será redirecionado para Configuração assistida.

2. Na página inicial Avaliações, selecione Nova execução de avaliação para iniciar a configuração assistida.
3. Na etapa Adicionar informações gerais, adicione um nome e selecione o fluxo de trabalho do agente que você deseja avaliar.

   

4. Selecione Continuar para ir para a próxima etapa.

   Cada vez que você navega por uma etapa, a execução da avaliação é salva automaticamente como rascunho. A qualquer momento, você pode selecionar Salvar como rascunho .

   Se você quiser sair da configuração assistida, selecione Sair da configuração . Você será redirecionado para a página Avaliações do agente.

   • Se você selecionar Salve e saia , A execução de avaliação aparece na lista na página Avaliações do agente com o status de Draft.
   • Se você selecionar Descarte e saia , o rascunho da execução de avaliação é excluído.
5. Selecione seu método de avaliação.

   A avaliação de completude geral da tarefa é selecionada por padrão. Executar vários métodos de avaliação por vez pode ajudar a fornecer uma visão geral mais abrangente do desempenho do fluxo de trabalho do agente.

   Para ver mais informações sobre cada plano, você pode expandir o cartão de cada plano de avaliação selecionando o ícone de divisa ( ).

   Todas as métricas personalizadas que você publicou também aparecem como opções. Se você não vir sua métrica personalizada, certifique-se de que ela seja publicada. Consulte Crie uma métrica personalizada para obter mais informações.

   

6. Escolha seu conjunto de dados.
   1. Selecione um conjunto de dados existente ou crie o seu próprio.
   2. Para criar um novo conjunto de dados, preencha o formulário.

      Tabela 1. Formulário de conjunto de dados

      Nome do campo	Descrição
      Nome	Nome do conjunto de dados.
      Descrição	Descrição geral do conjunto de dados e sua finalidade pretendida.
      Máximo de registros (opcional)	O número máximo de registros no conjunto de dados em que você deseja executar a avaliação. Se houver mais registros no conjunto de dados do que o número máximo de registros, todos os registros após o número máximo de registros serão ignorados para essa execução de avaliação.
      Filtros	Condições para restringir os registros de log de execução de IA que você deseja incluir no conjunto de dados. Por padrão, o fluxo de trabalho do agente que você está avaliando é selecionado como uma condição de filtro.

      

   3. Selecione Visualização para ver uma lista de registros com base nas condições especificadas.
      Você pode restringir ainda mais os registros selecionando apenas alguns dos registros na lista de visualização. Registros não selecionados não serão incluídos no conjunto de dados.
7. Revise os detalhes da avaliação do agente na última etapa da configuração assistida.

   Se você notar qualquer lugar onde deseja fazer mudanças, selecione Voltar para ir para uma etapa anterior ou selecione a etapa na barra lateral.

   

8. Selecione Iniciar avaliação .

Resultado

Sua execução de avaliação é executada. O tempo que leva para a conclusão de uma execução de avaliação varia, mas depois de concluída, você pode selecionar a avaliação na página Avaliações do agente para exibir os resultados.

Para obter mais informações sobre as métricas na página Resultados, consulte Resultados da execução da avaliação do agente .