NLU Desempenho do modelo
Use NLU o desempenho do modelo para ver como seus modelos previram as intenções em Virtual Agent (VA) com base na confirmação do usuário final.
Resumo de uso
A aplicação NLU Model Performance fornece uma análise e um relatório de como seus modelos NLU preveem as intenções dos usuários do VA a partir de seus enunciados. Como NLU modelos de VA são atualizados, publicados e implantados, você pode usar NLU Desempenho do modelo para revisar a eficácia das previsões de intenção que eles fazem. Se essas previsões forem ignoradas, é porque elas não podem prever uma intenção com uma pontuação de confiança alta o suficiente para o modelo. Para melhorar a previsão de tópicos do VA, o sistema agrupa enunciados do VA sem suporte em clusters para uma análise e, em seguida, gera um relatório que identifica o resultado da análise.
Para acessar esta aplicação, use a função nlu_admin ou admin e navegue até .
Instalação
NLU Model Performance é uma aplicação disponível na ServiceNow® Store. Para usar esta aplicação, certifique-se de que o plug-in Workbench de NLU - Recursos avançados (sn_nlu_workbench) esteja ativo em sua instância. Para obter mais informações, consulte Instalar Workbench de NLU - Recursos avançados e Ativação do Workbench de NLU. Como o desempenho do modelo de NLU depende dos dados recebidos do VA, certifique-se de que o plug-in Glide Virtual Agent (com.glide.cs.chatbot) também esteja ativo. Consulte Ativação do Virtual Agent.
Definição de configurações de Interfaces conversacionais para ServiceNow NLU
Para ajudar no acompanhamento do desempenho NLU de , você deve primeiro definir as configurações de Interfaces conversacionais (IC) em Virtual Agent. Para acessar essas configurações, navegue até a parte superior da página principal Desempenho do modelo de NLU para Virtual Agent e clique em Interfaces conversacionais Configurações. Esta ação leva você para a página de configurações de IC no Virtual Agent, conforme mostrado na imagem abaixo.
Para definir as configurações, você precisa usar a função virtual_agent_admin ou admin. Para obter orientação de configuração, consulte Implementar NLU no Virtual Agent e Habilitar idiomas NLU nas configurações do Virtual Agent.
Revisão da interface do usuário (IU)
- A guia Desempenho e seu gráfico colorido que mostra dados que descrevem cenários que ocorrem quando os usuários interagem com o VA. Este gráfico é segmentado em tons de três cores, cada uma representando um cenário de usuário. As linhas no gráfico que têm texto e porcentagens são chamadas de legenda. Os três cenários na primeira linha da legenda têm dois cenários de resultado abaixo deles na segunda linha. As barras abaixo da legenda correspondem às cores dos cenários acima delas. Essas barras variam em tamanho com base no valor percentual de cada cenário.
- Por exemplo, a barra azul escura mostra que 10% deste lote de usuários do VA confirmaram que o sistema apresentou a eles o tópico correto a ser usado na conversa do chatbot do VA e que 58% dos usuários (representados pela barra vermelha escura) confirmaram que o tópico apresentado a eles estava incorreto. Entre esses dois cenários está um cenário que mostra que 32% dos usuários (representados pela barra marrom escura) não fizeram nenhuma confirmação.
- É uma boa ideia alternar o filtro Mostrar todas as barras para frente e para trás a qualquer momento para ver ou ocultar as barras coloridas e os cenários associados no gráfico. Observe também que quando você acessa o Desempenho do modelo de NLU pela primeira vez, a exibição padrão do gráfico mostra apenas a primeira linha de cenários e a primeira linha de barras.
- Também há outras exibições que você pode ver dependendo do cenário que está exibindo. Por exemplo, quando você acessa o Desempenho do modelo de NLU pela primeira vez e clica em um cenário na primeira linha da legenda, o sistema oculta as barras dos outros dois cenários. Isso ajuda a manter a IU menos desordenada porque isola parcialmente o cenário em que você está se concentrando do restante dos cenários. Essas ações não mudam nenhum dado, elas simplesmente mostram diferentes exibições da legenda e das barras no gráfico.
- A guia Enunciados sem suporte, que mostra enunciados agrupados em clusters para uso na análise de desempenho. Esta seção da IU é onde você pode navegar e retornar da aplicação Ciclo de feedback de especialista e também onde você pode executar a análise.
Enunciados sem suporte são diferentes de enunciados irrelevantes. Para obter mais informações, consulte Detecção de irrelevância no NLU.
- A seção Detalhes de desempenho localizada abaixo do gráfico de barras. Esta seção tem estas quatro colunas: Enunciado, Intenção prevista, Modelo de previsãoe Resultado da previsão. Os detalhes mostrados nesta seção interagem com os dados da legenda e os dados da barra acima deles.
Revisando os cenários de usuário do VA
Na seção de legenda da IU, o texto e as porcentagens são acompanhados por ícones de informações. Aponte para um ícone para invocar a definição de seu cenário de usuário. Consulte a tabela abaixo para ver as definições.
| Cenário | Definição |
|---|---|
| Usuário confirmado como correto | O tópico correto foi apresentado ao usuário final e o usuário final confirmou que está correto. |
| Tópico iniciado, usuário confirmou como correto | O tópico foi iniciado e o usuário confirmou que é o tópico necessário. |
| Menu de tópicos apresentado, o usuário selecionou um | Vários tópicos foram mostrados como um menu para o usuário e o usuário escolheu um dos tópicos para suprir sua necessidade. |
| O usuário não fez nenhuma confirmação | O tópico foi iniciado, mas o usuário não confirmou se ele atendeu ou não à sua necessidade. |
| Nenhuma previsão feita, tópico de fallback iniciado | Nenhuma previsão foi feita e o tópico de fallback foi iniciado. |
| Tópico iniciado, sem confirmação do usuário | O tópico foi iniciado, mas o usuário não confirmou se estava correto. |
| Usuário confirmou como incorreto | Os tópicos apresentados não atenderam às necessidades do usuário final, e o usuário confirmou que não está correto. |
| Tópico iniciado, usuário confirmou como incorreto | O tópico foi iniciado e o usuário confirmou que não estava correto. |
| Menu de tópicos apresentado, o usuário não selecionou nenhum | Vários tópicos foram mostrados como um menu para o usuário e o usuário decidiu que nenhum dos tópicos era relevante e não escolheu nenhum tópico. |
Como usar os filtros de idioma e modelo
Na guia Desempenho, você pode ver os filtros de Idioma e Modelo. Ao lado deles, você também pode ver os valores de intervalo de datas mais recentes definidos acima da legenda e das barras do gráfico. Clique no filtro Idioma para ver todos os idiomas disponíveis em NLU. Clique no filtro Modelo para ver todos os modelos de previsão disponíveis em sua instância. A configuração padrão do filtro de idioma é Todos os idiomas, e a configuração padrão do filtro de modelo é Todos os modelos.
Os filtros de Idioma e Modelo interagem entre si. Por exemplo, se você escolher francês-fr no filtro Idioma, o filtro Modelo mostrará automaticamente todos os modelos de previsão em sua instância que usam o idioma francês, conforme mostrado na imagem a seguir.
- Se você selecionar um modelo específico no filtro Modelo, o valor do filtro Idioma será atualizado para exibir o idioma do modelo selecionado.
- Se você selecionar um idioma específico no filtro Idioma, o filtro Modelo exibirá somente modelos desse idioma selecionado.
Definir o intervalo de datas
Na guia Desempenho, use o Intervalo de datas para definir o quanto você deseja que o sistema extraia dados do VA. Escolha Últimos 30 dias, Últimos 60 dias, Últimos 90 diasouIntervalo personalizado. Quanto mais para trás você voltar no intervalo de datas, mais dados terá em sua análise.
Como executar uma análise
Para executar uma análise de desempenho, clique na guia Enunciados sem suporte. Esta seção da IU mostra linhas de clusters expansíveis que contêm enunciados do VA em que NLU não fez uma previsão de tópico ou em que o usuário final do VA confirmou que o tópico previsto estava incorreto. A próxima coisa a fazer é clicar em Ciclo de feedback de especialista. Esta ação leva você para a aplicação Ciclo de feedback de especialista do NLU, onde você revisa e fornece feedback sobre os enunciados que foram extraídos do VA.
Ao sair da aplicação Ciclo de feedback de especialista e retornar ao Desempenho do modelo de NLU, clique no ícone de acento circunflexo em qualquer cluster para abri-lo. No cluster, você pode ver os principais enunciados do VA mais representativos, conforme mostrado na imagem a seguir.
Clique em Executar análise ou Executar novamente a análise, o que estiver disponível. Cada vez que você executa uma análise, o sistema extrai os enunciados de VA mais recentes para a análise.