Crie uma métrica personalizada para avaliar fluxos de trabalho do agente

Crie uma métrica personalizada para avaliar fluxos de trabalho do agente para testar as saídas em relação às respostas esperadas.

Antes de Iniciar

Função necessária: sn_aia.admin

Por Que e Quando Desempenhar Esta Tarefa

As métricas personalizadas permitem que você escolha medir a eficácia do fluxo de trabalho do agente. Você pode criar métricas personalizadas que se aplicam a um ou vários fluxos de trabalho do agente. Uma vez criada, você pode selecionar métricas personalizadas na configuração assistida para avaliações de agentes. Ou métricas personalizadas instaladas com os aplicativos Now Assist. Exemplos de métricas personalizadas incluem:

• Testando se uma determinada frase está na resposta
• Medir o tamanho de uma resposta para testar o detalhamento
• (Outros exemplos)

Ao gravar o script, você tem acesso à saída de uma ferramenta de análise. Esta ferramenta do analisador [etc.].

Procedimento

1. Navegar até Tudo > Kit de habilidades do Now Assist > Avaliações agentivas.
2. Vá para a guia Métricas de avaliação e selecione Criar métrica .
3. Em Informações gerais etapa, insira um nome e uma descrição resumida para sua métrica personalizada.

   Você pode navegar entre as etapas na configuração assistida com Continuar e. Voltar botões. Depois de inserir um nome para sua métrica personalizada, você pode pular diretamente para escrever seu script selecionando Pular para o Editor de scripts . Você pode preencher os detalhes mais tarde na guia Configurações de métrica no Editor de script.

4. Opcional: Em Detalhes da métrica adicione informações sobre a métrica de avaliação, como ela funciona e qual é o formato de saída da métrica.

   Se você selecionar Use este conteúdo , em seguida, os detalhes fornecidos são exibidos junto com a opção na configuração assistida para uma execução de avaliação agencial.

   Você não precisa preencher os detalhes, mas tem a opção de fornecer informações úteis e contexto para ajudar no processo de desenvolvimento de métrica personalizada. Você também pode adicionar detalhes de métrica do Configurações de métrica Do Editor de scripts.

5. Depois de revisar suas informações de métrica no Resumo etapa da configuração assistida, selecione Concluir a configuração Para ser redirecionado para o Editor de scripts.
6. Opcional: Adicione entradas de métrica.

   Por padrão, o sys_id do registro do plano de execução é incluído como uma entrada de métrica.

   A ferramenta analisador permite que você acesse o conteúdo do log do plano de execução sem precisar analisar o conteúdo XML ou JSON por conta própria. Você pode acessar as saídas da ferramenta analisador com tool.output .

   1. Na seção Entradas de métrica, selecione o ícone de adição para abrir o modal Adicionar entrada de métrica.
   2. Preencha o formulário.

      Campo	Descrição
      Tipo de dados de entrada	Seletor suspenso para escolher qual tipo de dados e formato é a entrada
      Nome	Nome curto e amigável para a entrada
      Descrição	Descrição da entrada. Você pode exibir a descrição de qualquer entrada selecionando-a na seção Entradas de métrica do Editor de script.
      Valores de teste	Valores de entrada padrão usados para testar seu script no Editor de scripts
      Obrigatório(a)	Determina se o fornecimento da entrada é necessário para a execução da avaliação

   3. Selecione Adicionar.
7. Escreva sua métrica baseada em script.

   O bloco de código padrão no Editor de scripts contém código comentado que pode orientar você pelo processo de escrita de script.

   Você pode selecionar a qualquer momento Modelo de saída de métrica Para ver o código necessário para que a saída seja exibida corretamente ao observar os resultados da execução de avaliação no Kit de habilidades. Este conteúdo também está incluído no bloco de código padrão quando você abre o Editor de script pela primeira vez. Se necessário, você pode copiar o modelo e colá-lo no script. Certifique-se de mudar os valores para os resultados da sua métrica personalizada.

   Você pode revisar os detalhes da métrica personalizada na configuração assistida na guia Configurações de métrica.

   Depois de fazer mudanças, você pode selecionar Salvar botão para salvar suas mudanças.

   Importante:

   Mesmo se você salvar, a métrica não estará disponível para uso em execuções de avaliação do agente até que você a publique.
8. Selecione Executar teste Para abrir o modal Executar teste, insira as entradas de teste de métrica e execute o teste.

   Depois de executar pelo menos um teste, você pode revisar a resposta e a solicitação da execução geral e da ferramenta de análise.

   Depois de executar pelo menos um teste, você pode selecionar Executar teste botão suspenso e selecione Executar histórico de testes para abrir uma nova barra lateral com resultados de testes anteriores. Você pode filtrar execuções de teste pelo usuário que executou o teste.

9. Selecione Publicar métrica para salvar seu script e ativar a métrica.

   Antes de publicar, certifique-se de que sua saída corresponda ao modelo de saída de métrica. Caso contrário, sua métrica pode não funcionar conforme o esperado ou ser exibida corretamente na página de resultados da execução da avaliação.

Resultado

Você tem uma nova métrica personalizada que pode ser usada para avaliar fluxos de trabalho do agente.

O que Fazer Depois

Execute uma execução de avaliação e selecione sua métrica personalizada na configuração assistida. Consulte Avaliar um fluxo de trabalho do agente para obter mais informações sobre como executar uma execução de avaliação.

Se você não vir sua métrica personalizada na configuração assistida para uma execução de avaliação, certifique-se de publicá-la.