Habilitando avaliações

  • Versão de lançamento: Zurich
  • Atualizado 2 de set. de 2025
  • 3 min. de leitura

    • Avalie conversas aleatórias habilitando o monitoramento contínuo.

    Habilite avaliações e defina o número de avaliações a serem realizadas diariamente:
    1. Navegar até Tudo > Automação de Processo > Flow Designer e selecione Fluxos .
    2. Selecione o fluxo Executar avaliação.
    3. Selecione Editar fluxo .
    4. Selecione Ativar.

      Ativar o fluxo Executar avaliação.

    5. Navegar até Tudo > Propriedades do sistema > Todas as Propriedades.
    6. PESQUISE e selecione a propriedade sn_na_conv_eval.maxEvaluateCount .
    7. Atualize o. Valor campo para definir o número máximo de conversas a serem avaliadas diariamente.

      Atualize o campo Valor.

    8. Selecione Save (Salvar).
    Nota:
    • Se você quiser configurar alguns dos parâmetros de avaliação com base em seus requisitos, consulte Configurar avaliações.
    • Se você quiser importar dados históricos para serem avaliados, execute avaliações em lote ativando o fluxo Executar avaliação em lote. Para obter mais informações sobre o fluxo de trabalho de avaliação em lote, consulte Fluxo de avaliação para avaliações em lote.

    Painel de avaliação versus Informações da conversa

    Você pode usar o painel Avaliação e a aplicação Conversation Insights (IC) juntos para obter uma visão completa da eficácia do Virtual Agent, desde o desempenho do sistema até a satisfação do usuário final.

    Para obter mais informações sobre Informações da conversa, consulte Informações da conversa.

    Métricas capturadas pelo painel Avaliação Métricas capturadas por Informações da conversa

    O painel Avaliação fornece explicações de diagnóstico granulares que ajudam a melhorar o design do Virtual Agent, os fluxos de diálogo e a precisão do modelo. Ele avalia o desempenho ao longo das dimensões críticas para o sucesso e a confiabilidade da tarefa. Por exemplo, "O sistema está funcionando corretamente e executando a tarefa esperada?"

    • Reconhecimento de intenção: Se o virtual agent interpreta corretamente o objetivo primário do usuário.
    • Preenchimento de slot: Precisão de extrair entradas estruturadas necessárias para concluir tarefas.
    • Concisão: Evitar respostas detalhadas ou repetitivas.
    • Coerência: Fluxo lógico e organização das respostas do Virtual Agent.
    • Verdade: Garante que as respostas sejam fundamentadas no contexto ou em fontes de conhecimento, não alucinadas.
    • Retenção de contexto: Capacidade do Virtual Agent de lembrar entradas anteriores do usuário na mesma sessão.
    • Prevenção de deadlock: Detecta loops em que o virtual agent fica travado na repetição de perguntas ou respostas.
    • Satisfação do usuário (proxy): Correlaciona falhas críticas (como reconhecimento de intenção ou preenchimento de slot) com a provável perceção negativa do usuário.

    As Informações da conversa se concentram em medir a satisfação e o esforço do cliente. Ele usa satisfação do cliente inferida (CSAT) e sinais de suporte para mostrar como os usuários finais percebem sua interação com o agente virtual. Por exemplo, "O usuário final está satisfeito com o desempenho do Virtual Agent?"

    • CSAT inferido: Pontuação composta (1 a 5) que estima a satisfação geral com a conversa.
    • Pontuação de esforço: Mede quanto trabalho o usuário teve que fazer (baixo/médio/alto), com base em transferências, escalações, coleta de dados repetida ou tempos de espera.
    • Resolução: Rastreia se o problema do usuário foi resolvido total, parcialmente ou não.
    • Frustração: Detecta sinais explícitos de frustração do usuário, como linguagem grosseira, sarcasmo ou reclamações sobre dificuldade.
    • Confusão: Identifica mal-entendidos entre o usuário e o agente virtual ou o atendente.
    • Transferências e escalações: Sinaliza quando uma conversa é passada para outro agente, equipe ou supervisor.
    • Empatia: Pontua o quão educado, gentil e prestativo foi o atendente virtual ou atendente (baixo/médio/alto).
    • Próximas etapas: Mede com que clareza o atendente ou o atendente explicou resultados, instruções ou ações de acompanhamento (baixo/médio/alto).
    Juntos, o painel Avaliação e as Informações da conversa fornecem valor complementar para implementações do Virtual Agent.
    • As Informações da conversa oferecem uma exibição leve e gratuita da experiência do cliente em todas as conversas.
    • O painel Avaliação fornece diagnósticos granulares e focados em tarefas que permitem melhorias direcionadas no design e no desempenho do Virtual Agent.
    • Consolidado na Análise de agentes de IA e Torre de controle de IA essas métricas fornecem aos usuários exibições complementares sobre a integridade do sistema do virtual agent e a satisfação do usuário final.