NLU Desempenho do modelo
Usar NLU Desempenho do modelo para ver o quão bem seus modelos previram as intenções em Virtual Agent(VA) Com base na confirmação do usuário final.
Uso resumido
. NLU A aplicação Desempenho do modelo fornece uma análise e um relatório de quão bem seu está NLU Os modelos preveem as intenções dos usuários do VA a partir de seus enunciados. . NLU Os modelos para VA são atualizados, publicados e implantados, você pode usar NLU Desempenho do modelo para revisar a eficácia das previsões de intenção que eles fazem. Se essas previsões forem ignoradas, é porque elas não conseguem prever uma intenção com uma pontuação de confiança alta o suficiente para o modelo. Para melhorar a previsão de tópico do VA, o sistema agrupa enunciados de VA sem suporte em clusters para uma análise e gera um relatório que identifica o resultado da análise.
Para acessar esta aplicação, use a função nlu_admin ou admin e navegue até .
Instalação
NLU Desempenho do modelo é uma aplicação disponível no ServiceNow® Store. Para usar esta aplicação, certifique-se de que o. Workbench de NLU- O plug-in Recursos avançados (sn_nlu_workbench) está ativo em sua instância. Para obter mais informações, consulte Instalar NLU Workbench - Recursos avançados e. Ative o Workbench de NLU . Como o desempenho do modelo de NLU depende dos dados que chegam do VA, certifique-se de que o plug-in Glide Virtual Agent (com.glide.cs.chatbot) também esteja ativo. Consulte Ativar o Virtual Agent .
Como definir as configurações de Interfaces conversacionais para ServiceNow NLU
Para ajudar no acompanhamento NLU Primeiro você deve definir as configurações de Interfaces conversacionais (IC) em Virtual Agent. Para acessar essas configurações, navegue até a parte superior do Desempenho do modelo de NLU para Virtual Agent página principal e clique em Configurações de Interfaces conversacionais . Esta ação leva você para a página de configurações de IC no Virtual Agent, conforme mostrado na imagem abaixo.
Para definir as configurações, você precisa usar a função virtual_agent_admin ou admin. Para obter orientação sobre configuração, consulte Implemente o NLU no Virtual Agent e. Habilite idiomas NLU nas configurações do Virtual Agent .
Revisão da interface do usuário (IU)
- . Desempenho E seu gráfico colorido que mostra dados descrevendo cenários que ocorrem quando os usuários interagem com o VA. Este gráfico é segmentado em tons de três cores, cada uma representando um cenário do usuário. As linhas no gráfico que têm texto e porcentagens são chamadas de legenda. Os três cenários na primeira linha da legenda têm dois cenários de resultado abaixo deles na segunda linha. As barras abaixo da legenda correspondem às cores dos cenários acima delas. Essas barras variam em tamanho com base no valor percentual de cada cenário.
- Por exemplo, a barra azul escura mostra que 10% desse lote de usuários do VA confirmou que o sistema apresentou o tópico correto para usar na conversa do chatbot do VA e que 58% dos usuários (representados pela barra vermelha escura) confirmou que o tópico apresentado a eles estava incorreto. Residir entre esses dois cenários é um cenário que mostra que 32% dos usuários (representados pela barra marrom escura) não fizeram nenhuma confirmação.
- É uma boa ideia alternar Mostrar todas as barras filtre para frente e para trás a qualquer momento para ver ou ocultar as barras coloridas e seus cenários associados no gráfico. Observe também que, quando você acessa o Desempenho do modelo de NLU pela primeira vez, a exibição padrão do gráfico mostra somente a primeira linha de cenários e a primeira linha de barras.
- Também há outras exibições que você pode ver, dependendo do cenário que está exibindo. Por exemplo, quando você acessa o Desempenho do modelo de NLU pela primeira vez e clica em um cenário na primeira linha da legenda, o sistema oculta as barras dos outros dois cenários. Isso ajuda a manter a IU menos desordenada porque isola parcialmente o cenário em que você está se concentrando do restante dos cenários. Essas ações não mudam nenhum dado, elas simplesmente mostram diferentes exibições da legenda e das barras no gráfico.
- . Enunciados incompatíveis , que mostra enunciados agrupados em clusters para uso na análise de desempenho. Esta seção da IU é onde você pode navegar e retornar da aplicação loop de feedback do especialista e também onde executar a análise.
Enunciados incompatíveis são diferentes de enunciados irrelevantes. Para obter mais informações, consulte Detecção de irrelevância no NLU.
- . Detalhes de desempenho seção localizada abaixo do gráfico de barras. Esta seção tem estas quatro colunas: Enunciado , Intenção prevista , Modelo de previsão e Resultado da previsão . Os detalhes mostrados nesta seção interagem com os dados da legenda e os dados da barra acima deles.
Revisando os cenários de usuário do VA
Na seção de legenda da IU, o texto e as porcentagens são acompanhados por ícones de informações. Aponte para um ícone para invocar a definição do cenário do usuário. Consulte a tabela abaixo para ver as definições.
| Cenário | Definição |
|---|---|
| Usuário confirmado como correto | O tópico correto foi apresentado ao usuário final e o usuário final confirmou que está correto. |
| Tópico iniciado, usuário confirmou como correto | O tópico foi iniciado e o usuário confirmou que é o tópico necessário. |
| Menu de tópicos apresentado, o usuário selecionou um | Vários tópicos foram mostrados como um menu para o usuário e o usuário escolheu um dos tópicos para suprir sua necessidade. |
| O usuário não fez nenhuma confirmação | O tópico foi iniciado, mas o usuário não confirmou se ele atendeu ou não à sua necessidade. |
| Nenhuma previsão feita, tópico de fallback iniciado | Nenhuma previsão foi feita e o tópico de fallback foi iniciado. |
| Tópico iniciado, sem confirmação do usuário | O tópico foi iniciado, mas o usuário não confirmou se estava correto. |
| Usuário confirmado como incorreto | Os tópicos apresentados não atenderam às necessidades do usuário final e o usuário confirmou que não está correto. |
| Tópico iniciado, usuário confirmou como incorreto | O tópico foi iniciado e o usuário confirmou que não estava correto. |
| Menu de tópicos apresentado, o usuário não selecionou nenhum | Vários tópicos foram mostrados como um menu para o usuário e o usuário decidiu que nenhum dos tópicos era relevante e não escolheu nenhum tópico. |
Usando os filtros Idioma e Modelo
Na guia Desempenho, você pode ver os filtros Idioma e Modelo. Ao lado deles, você também pode ver os valores de intervalo de datas mais recentes definidos acima da legenda e das barras do gráfico. Clique em Idioma filtre para ver todos os idiomas disponíveis no NLU. Clique em Modelo filtre para ver todos os modelos de previsão disponíveis em sua instância. A configuração padrão para Idioma o filtro é Todos os idiomas e a configuração padrão para Modelo o filtro é Todos os modelos .
Os filtros Idioma e Modelo interagem entre si. Por exemplo, se você escolher Francês-fr em Idioma . Modelo O filtro mostra automaticamente todos os modelos de previsão em sua instância que usam o idioma francês, conforme mostrado na imagem a seguir.
- Se você selecionar um modelo específico em Modelo . Idioma o valor do filtro é atualizado para exibir o idioma do modelo selecionado.
- Se você selecionar um idioma específico no Idioma . Modelo o filtro exibe somente modelos do idioma selecionado.
Definir o intervalo de datas
Na guia Desempenho, use Intervalo de datas Para definir a distância que você deseja que o sistema extraia dados do VA. Escolha Últimos 30 dias , Últimos 60 dias , Últimos 90 dias ou Intervalo personalizado . Quanto mais você voltar no intervalo de datas, mais dados você terá em sua análise.
Executando uma análise
Para executar uma análise de desempenho, clique em Enunciados incompatíveis guia. Esta seção da IU mostra linhas de clusters expansíveis que contêm enunciados do VA em que NLU Não fez uma previsão de tópico ou em que o usuário final do VA confirmou que o tópico previsto estava incorreto. A próxima coisa que você quer fazer é clicar Loop de feedback do especialista . Esta ação leva você para Loop de feedback do especialista do NLU Aplicação em que você revisa e fornece feedback sobre os enunciados que foram extraídos do VA.
Ao sair da aplicação Ciclo de feedback do especialista e retornar ao Desempenho do modelo de NLU, clique em cursor em qualquer cluster para abri-lo. No cluster, você pode ver os enunciados de VA mais representativos, conforme mostrado na imagem a seguir.
Clique em Executar análise ou Executar novamente a análise , o que estiver disponível. Cada vez que você executa uma análise, o sistema extrai os enunciados do VA mais recentes para a análise.