Guia Avaliação em Torre de controle de IA
. Avaliação Contém o painel Avaliação, que foi projetado para medir, automatizar e melhorar a qualidade das interações com Virtual Agent. Este painel aborda vários desafios importantes para aprimorar a experiência do usuário final e o utilitário geral do Virtual Agent.
Painel de avaliação
Pré-requisitos
Função necessária: sn_ai_governance.ai_steward
Você deve Habilitando avaliações.
- Conversas de RH: As conversas relacionadas a Recursos Humanos são filtradas, o que significa que não são avaliadas.
- Inacessível ou vazio Base de conhecimento(KB) artigos: Conversa que envolve um resultado do Genius que aponta para um artigo da base de conhecimento que não está acessível por script ou está vazio. Por exemplo, determinados RH restritos Knowledge artigos.
- Transferência imediata do atendente: Uma conversa que começa imediatamente com a transferência para um atendente, sem interação prévia com o atendente virtual.
- Conversas curtas: Conversas com menos de 180 palavras antes que um atendente seja invocado. A contagem de palavras pode ser configurada por meio de autoEvalConstantsInclusão de script. A suposição é que as conversas abaixo desse limite não continham uma interação significativa com Virtual Agent.
- Gatilhos personalizados: Quaisquer gatilhos de exclusão definidos personalizados.
Visão geral do painel de avaliação
- Estabelecer um processo de medição confiável, permitindo o acompanhamento sistemático da experiência do usuário final com o. Virtual Agent, fornecendo informações mais detalhadas sobre interações.
- Automação da avaliação de qualidade da conversa automatizando o processo de avaliação da qualidade da conversa em diferentes interações do usuário. Essa automação ajuda a levar à criação de uma métrica confiável e escalonável para acompanhamento de desempenho.
- Suporte ao refinamento iterativo do desempenho do Virtual Agent, aprimorando a experiência geral do usuário.
- Monitoramento escalonável, ajudando a garantir que o processo de avaliação e acompanhamento da qualidade do Virtual Agent seja eficiente e escalonável, promovendo a identificação rápida de problemas e melhorias ao longo do tempo.
- A integração de feedback do usuário por meio de um conjunto de perguntas opcionais permite que você forneça feedback direto sobre a experiência dele, que é usado para melhorar a qualidade das interações futuras.
- Informações do gerente da central de serviços, permitindo que os gerentes da central de serviços rastreiem e revisem as pontuações da avaliação automática ao longo do tempo. Os gerentes também podem adicionar feedback manualmente para fins de benchmarking, fornecendo informações valiosas sobre a qualidade da conversa e oportunidades de melhoria.
- Processo de avaliação sustentável, melhorando continuamente o desempenho do agente virtual por meio de uma abordagem combinada de avaliação automatizada e feedback manual, permitindo um sistema escalonável e sustentável que evolui ao longo do tempo.
Guia "Visão geral"
. Visão geral O painel Avaliação fornece uma exibição abrangente de todas as métricas e dados de avaliação.
-
Pontuação média de avaliação automática da métrica selecionada: Mostra a pontuação média de avaliação automática da métrica selecionada e sua tendência ao longo do tempo.
Para obter mais informações sobre cada métrica, consulte Cálculos e métricas de avaliação.
-
Pontuação média de feedback humano para a métrica selecionada: Mostra a pontuação média de rótulo humano para a métrica selecionada.Nota:A pontuação estará disponível somente se houver registros de bate-papo suficientes que sejam avaliados manualmente. Para obter mais informações sobre como avaliar conversas manualmente, consulte Feedback humano para avaliações.
-
Tendência de pontuação de avaliação: Rastreia a pontuação semanal da métrica selecionada.
Se você ativar Exibir Desvio e Pontuações ajustadas ele mostra a comparação entre as pontuações avaliadas automaticamente e definidas pelo usuário, sobrepondo os desvios superior e inferior e a pontuação final ajustada no gráfico de tendências.
Nota:O desvio e as pontuações ajustadas serão calculados somente se você tiver pelo menos 50 rótulos humanos.Para obter mais informações sobre como os cálculos são feitos, consulte Cálculos e métricas de avaliação.
-
Avaliações: Mostra o número total de conversas que foram avaliadas a cada semana.
- Seção de feedback humano: Contém informações detalhadas sobre cada avaliação. A partir daqui, você pode avaliar manualmente as conversas. Para obter mais informações, consulte Feedback humano para avaliações.
Avaliações
Cada conversa é avaliada em oito métricas diferentes. Para cada uma dessas métricas, há uma habilidade separada. Você pode exibir essas habilidades em Kit de habilidades do Now Assist em Habilidades personalizadas .
Para obter mais informações sobre cada métrica, consulte Cálculos e métricas de avaliação.
Função necessária: sn_skill_builder.admin
- Classificador de tópico de bate-papo
- Avaliação de bate-papo de coerência
- Avaliação do bate-papo de concisão
- Retenção de contexto
- Avaliação de bate-papo de preenchimento de slot inadequado
- Avaliação do bate-papo de precisão da intenção
- Avaliação de bate-papo de conversa com fluxo suave
- Verdade alucinação Bate-papo Eval
O provedor padrão para essas habilidades é Azure OpenAI. Você pode mudar o provedor para Google Gemini ou Claude na AWS.
Para obter mais informações sobre Kit de habilidades do Now Assist, consulte ../../now-assist-skill-kit/concept/now-assist-skill-kit-landing.html.
Processo de avaliação
Fluxo: Executar avaliação.
- 10% das conversas diárias são amostradas, verificando se a conversa é boa o suficiente para ser avaliada ou não. A avaliação é feita criando as transcrições dessas conversas e enviando-as para o modelo de linguagem grande definido (LLM).
- Para as conversas que são boas o suficiente para serem avaliadas, as transcrições junto com os prompts para diferentes escalas são enviadas para o LLM e o LLM avalia as conversas.
- Após a avaliação, a conversa passa pelo pós-processamento, em que as pontuações e o motivo das pontuações fornecidas pelo LLM são analisados e armazenados nas tabelas Avaliação e Métricas de avaliação.
Para obter informações detalhadas sobre o fluxo de avaliação, consulte Fluxo de avaliação.