Rastreie e monitore o andamento da avaliação agential

Monitore o status de uma execução de avaliação ativa para detectar erros antecipadamente e confirmar quando os resultados estão prontos para revisão.

Antes de Iniciar

Você deve ter uma execução de avaliação ativa para monitorar. Para obter informações sobre como criar execuções de avaliação, consulte Execute uma execução de avaliação agentiva .

Função necessária: administrador

Por Que e Quando Desempenhar Esta Tarefa

As avaliações agenciais podem levar tempo para serem concluídas, especialmente para grandes conjuntos de dados. O monitoramento do andamento ajuda a identificar problemas antecipadamente e determinar quando os resultados estão prontos para revisão.

Procedimento

1. Navegar até Tudo > Kit de habilidades do Now Assist > Avaliações agentivas.
2. Selecione uma avaliação com um status rastreável.

   Você pode encontrar avaliações para acompanhar em dois locais:

   • Visão geral rápida Seção: As avaliações recentes em andamento aparecem no cartão Avaliações em andamento
   • Avaliações automatizadas Seção: Todas as avaliações, incluindo as mais antigas

   As avaliações que você pode acompanhar têm um Run statusde Em andamento ou Ação necessária .

3. Selecione a avaliação que você deseja monitorar.
   A página de detalhes do monitoramento da avaliação é aberta, mostrando o status atual e as informações de andamento.
4. Opcional: Se o status for Ação necessária , revise os logs de execução gerados.

   O motivo mais comum para Ação necessária o status é quando os logs de execução foram gerados, mas exigem aprovação antes que a fase de avaliação possa começar.

   1. Examine os artefatos do conjunto de dados para entender o desempenho da IA agentic em registros específicos.
      Você pode abrir incidentes individuais ou outros registros para ver como o ativo de IA agentivo interagiu com eles durante o teste.
   2. Selecione registros de execução para exibir informações detalhadas de desempenho.
      Isso abre os detalhes da execução em Estúdio de agentes de IA, Onde você pode revisar a conversa completa entre o usuário simulado e a IA agential, incluindo raciocínio e processamento de mensagens de agentes e ferramentas.
   3. Revise os registros de conversa e carimbos de data/hora para entender o fluxo de interação.
      Os registros de frase inicial e conversa fornecem informações detalhadas sobre como o agente de IA interagiu com o usuário simulado, incluindo carimbos de data/hora de cada mensagem.
5. Opcional: Se você revisou os logs de execução e eles atenderem às suas expectativas, inicie a fase de avaliação selecionando Iniciar avaliação .

   Depois de aprovar os logs, a fase de avaliação e pontuação do LLM começa. Esta fase analisa os logs de execução e fornece pontuações quantitativas para o desempenho do agente de IA.

   O status da avaliação muda para Em andamento E a avaliação do LLM começa.
6. Opcional: Monitore o andamento da fase de avaliação do LLM.

   Durante esta fase, você pode rastrear:

   • Número de registros avaliados
   • Tempo restante estimado
   • Quaisquer erros ou avisos que ocorram durante a avaliação
7. Opcional: Verifique se há notificações de conclusão ou atualizações de status.
   Quando a avaliação é concluída, o status muda para Concluído e os resultados ficam disponíveis para revisão.

Resultado

Você pode monitorar o andamento da avaliação e agir quando necessário. Quando a avaliação for concluída com sucesso, você poderá revisar os resultados detalhados para entender o desempenho da IA agential.

O que Fazer Depois

Após a conclusão da avaliação, revise os resultados para identificar áreas de melhoria na configuração da IA agential. Para obter informações sobre como analisar os resultados da avaliação, consulte Revise os resultados de uma avaliação agentiva .