Explorando temas de melhoria da conversa

A aplicação Temas de melhoria da conversa ajuda a transformar avaliações de conversa em informações de desempenho de longo prazo.

Temas de melhoria da conversa visão geral

Os temas de Melhoria da conversa analisam os dados de qualidade da conversa ao longo do tempo. A abordagem se concentra na identificação de padrões recorrentes vinculados à baixa qualidade da conversa (e alta) e categorizar as solicitações do usuário em temas acionáveis usando a classificação orientada por metadados viabilizada por modelos de linguagem grandes (LLMs).

Nota:

Os temas de melhoria de conversa podem usar OpenAI, Gemini ou Claude. É observado em certos casos que Gemini e Claude poderiam consumir um número maior de assistências, em comparação com o modelo OpenAI, que é observado ter um uso ideal de assistências.

Como os temas são criados

Para criar temas, metadados como nome, descrição resumida e assim por diante de diferentes tipos de conteúdo, como artigos da base de conhecimento, itens do catálogo, tópicos do agente virtual e agentes de IA, são analisados. A geração de temas é realizada usando um processo de categorização baseado em LLM que depende apenas de metadados em vez de conteúdo completo do artigo, o que ajuda a limitar o uso de token, reduzindo a sobrecarga de processamento. Para cada tema criado, as definições são criadas usando o conteúdo marcado do processo de classificação baseado em LLM, o que ajuda a marcar solicitações primárias de conversas.

Abordagem:

1. Filtre por Pontuação de satisfação do usuário. Por exemplo, selecione conversas em que os resultados do avaliador estão associados a uma pontuação de satisfação do usuário baixa (menor que 1,5) ou pontuação alta > 4,5.
2. Extrair e padronizar solicitações primárias:
   1. Analise a solicitação primária do usuário, removendo o ruído de diferentes estilos de escrita ou fraseado.
   2. Aplique a padronização para que intenções semelhantes, por exemplo, redefinir minha senha versus Não é possível fazer login, sejam agrupadas de forma consistente.
3. Análise de frequência:
   1. Vincule cada solicitação padronizada a um tema.
   2. Conte com que frequência cada tema aparece quando o virtual agent tem desempenho inferior ou tem bom desempenho.
   3. Destaque temas em que o virtual agent lida mal ou bem com as solicitações na tela.