Guia Valor no painel Avaliação

. Valor No painel Avaliação exibe o valor, a eficiência e a economia de tempo do Virtual Agent. As informações nesta guia fornecem uma estimativa transparente e confiável do valor entregue pelo agente virtual, com foco em um cálculo ajustado pela qualidade do tempo economizado para os usuários.

. Valor mostra uma avaliação robusta e realista do valor do virtual agent. Ao incorporar amostragem para escalabilidade, médias de rolagem para estabilidade e uma estrutura de ponderação de qualidade para relevância comercial, as métricas resultantes fornecem o impacto da automação e o tempo economizado para a organização.

Os seguintes widgets estão disponíveis:

• Total de conversas: Mostra o volume total de conversas iniciadas com o Virtual Agent para o intervalo de datas selecionado. Esta métrica é um indicador direto do engajamento do usuário e do uso do Virtual Agent.
• Total estimado de horas: Mostra o tempo cumulativo e ajustado pela qualidade economizado pelos usuários que interagem com o virtual agent.
• Eficiência estimada de VA (%): Calculada como a proporção do total estimado de horas salvas com a duração total de todas as conversas (economia de tempo estimada/Tempo total da conversa). A estimativa indica a eficácia com que o tempo de conversa é convertido em valor.
• Medidores por tamanho do bate-papo: Os medidores mostram um detalhamento do total estimado de horas salvas, segmentado pelo tamanho da conversa (longa, média e curta).

  As conversas são segmentadas com base em seu tamanho para correlacionar com precisão o esforço e o valor. O princípio é que bate-papos mais longos e complexos que resolvem problemas com sucesso economizam mais tempo do que os mais curtos e simples.

  • Conversas grandes: Conversas com mais de 10 mensagens do usuário.
  • Conversas de tamanho médio: Conversas com mais de 4, mas menos de 10 mensagens do usuário.
  • Conversas de tamanho pequeno: Conversas com 4 ou menos mensagens do usuário.
  Nota:

  Para mudar a definição de conversas pequenas, médias e grandes, atualize a propriedade sn_na_conv_eval.value_chat_classifier. Para obter mais informações, consulte Componentes instalados com o painel Avaliação.
• Cálculos de valor: Mostra o valor salvo com base no número de horas salvas e na taxa por hora.

  

• Pontuação de aceitação do usuário: A pontuação média de satisfação derivada do avaliador de conversa, dimensionada para 100 para facilitar a interpretação. Esta pontuação reflete a perceção geral do usuário sobre a qualidade da assistência do Virtual Agent.

  Tendência semanal de aceitação do usuário

  

  O gráfico de linhas rastreia a pontuação de Aceitação do usuário ao longo do tempo, fornecendo informações sobre como a satisfação do usuário está evoluindo semanalmente.

• Tendências semanais de eficiência:

  

  

Os gráficos de tendência de eficiência semanal exibem a tendência semanal da métrica de eficiência estimada (%), detalhada ainda mais por tamanho do bate-papo e tipo de conteúdo ( Base de conhecimento(KB) artigo ou item do Catálogo de serviços) usado durante a conversa.

Nota:

As pontuações de avaliação da conversa são marcadas a partir da data da avaliação e não da data real da conversa. Portanto, pontuações de bate-papo mais antigas ou históricas são consideradas a partir do dia da avaliação para cálculo de valor e não a partir da data de criação da conversa.

Calculando o total estimado de horas

O total estimado de horas calculado é o resultado de um processo diário de várias etapas projetado para ajustar o tempo bruto com base na qualidade da interação. Ele é calculado por meio das seguintes etapas:

1. Amostragem de dados para avaliação de qualidade.

   Para limitar o número de assistências, todas as conversas não são avaliadas. Em vez disso, um processo de amostragem diário é usado.

   • Tamanho da amostra: 10% de todas as conversas são selecionadas para avaliação do dia anterior.
   • Limite diário: A amostra é limitada a um máximo de 50 conversas diárias.
   • Conjunto de dados analíticos: Para identificar padrões estáveis na qualidade do Virtual Agent, uma janela contínua de 30 dias é usada para esses bate-papos avaliados, o que cria um conjunto de dados de aproximadamente 1 500 conversas avaliadas (50 bate-papos/dia por 30 dias) para análise.
2. Amostragem diária para cálculo de tempo.
   Separadamente da avaliação de qualidade, uma amostra maior é obtida para o cálculo de economia de tempo para um conjunto de dados representativo sem afetar o desempenho do sistema.

   • Tamanho da amostra: Uma amostra de 1 000 conversas é selecionada aleatoriamente a cada dia.
   • Projeção: A economia de tempo calculada a partir desta amostra é dimensionada para representar toda a população de conversas desse dia.
3. Categorizando a qualidade da conversa.

   Cada uma das cerca de 1 500 conversas no conjunto de dados analíticos de 30 dias recebe uma pontuação de qualidade atribuída pelo avaliador de conversa. Com base na pontuação, a conversa é categorizada em um dos cinco níveis de satisfação:

   Categoria de qualidade	Intervalo de pontuação de satisfação do usuário
   Extremamente satisfeito	4.5–5.0
   Satisfeito	3.5–4.5
   Média	2.5–3.5
   Insatisfeito	1.5–2.5
   Extremamente insatisfeito	1.0–1.5

4. Projetar pontuações de qualidade na amostra diária.

   Pode não haver uma pontuação de qualidade para cada um dos 1 000 bate-papos diários (a partir da etapa 2). Para resolver esse problema, a distribuição de qualidade do conjunto de dados analíticos de 30 dias é projetada na amostra diária.

   1. Calcular médias de rolagem: Dos cerca de 1 500 bate-papos avaliados, a distribuição percentual do tempo total de bate-papo nas cinco categorias de qualidade de cada segmento é calculada.

      Por exemplo, para todos os bate-papos curtos ou para todos os bate-papos que invocaram um artigo da base de conhecimento. Suponha que a análise de 30 dias de bate-papos curtos mostre que a duração total foi de 100 minutos. Se 25 desses minutos vierem de bate-papos classificados como extremamente satisfeitos, a categoria Extremamente satisfeito para bate-papos curtos terá uma pontuação baseada no tempo de 25%.

   2. Aplicar médias à amostra diária: Os 1 000 bate-papos de amostra diária são agrupados por segmento (por exemplo, por tamanho do bate-papo). As porcentagens médias de rolagem são aplicadas ao tempo total desses grupos.

      Por exemplo, se os 1 000 bate-papos de amostra diários contiverem 400 bate-papos curtos com duração total de 4 000 minutos, a média de rolagem calculada será usada para projetar que 25% do tempo (1 000 minutos - 4000 minutos * 25%) foi de qualidade extremamente satisfeita. O cálculo é repetido para todos os níveis de qualidade e todos os segmentos.

5. Aplicação de pesos de ajuste de qualidade.

   Para converter o tempo bruto da conversa em uma medida realista do tempo economizado, um peso é aplicado ao tempo projetado em cada categoria de qualidade. O tempo de interações de baixa qualidade contribui com pouca ou nenhuma economia, enquanto o tempo de interações de alta qualidade contribui com 100% de sua duração para economia.

   Categoria de qualidade da conversa	Peso aplicado ao tempo
   Extremamente satisfeito	1.0 (100%)
   Satisfeito	0.5 (50%)
   Média	0.25 (25%)
   Insatisfeito	0.1 (1%)
   Extremamente insatisfeito	0.0 (0%)

   Continuação do exemplo, os 1 000 minutos de tempo extremamente satisfeito calculados na Etapa 4 são multiplicados por um peso de 1,0, resultando em 1 000 minutos de tempo estimado economizado. Se outros 500 minutos forem projetados para serem satisfeitos, eles contribuiriam com 500 * 0,5 ou 250 minutos de tempo economizado.

6. Dimensionar economias de amostra para a população total.

   O tempo economizado ajustado é calculado para a amostra de 1 000 bate-papo. Para obter a estimativa diária final, esse número é dimensionado para refletir todas as conversas desse dia.

   (Número total de conversas do dia) / (1000)

   Tempo diário final economizado: (Tempo ajustado salvo da amostra) * (Fator de escala)

7. Agregação semanal:

   Os valores diários de Tempo diário final salvo são agregados em um nível semanal para exibição nos gráficos de tendências do painel.

Importante:

Somente o tempo de bate-papo antes da primeira invocação do atendente é considerado para cálculo de valor. Ou seja, o tempo que o usuário gastou interagindo com o Virtual Agent. O tempo de bate-papo com o atendente não é considerado para cálculo de valor.

Se os dados não forem atualizados no painel, execute as etapas a seguir.

Função necessária: administrador

1. Navegar até Tudo > Definições do Sistema > Trabalhos agendados.
2. PESQUISE e selecione CE Populate Value Aggregates Chats - Dailytrabalho agendado.
3. Defina-o como Ativo .
4. Execute o trabalho agendado.
5. Navegar até Tudo > Análise da plataforma > Administração de Análise da plataforma > Coletor de Dados > Trabalhos.
6. PESQUISE e selecione "[Avaliador de conversa] Coleta diária de dados de pontuação de avaliação trabalho agendado.
7. Execute o trabalho.
8. Na seção Listas relacionadas, verifique Logs de trabalho para ver se os dados foram coletados com sucesso.

Conceitos relacionados

• Referências do painel de avaliação