NLU Desempenho do modelo
Uso NLUDesempenho do modelo para ver como seus modelos previram as intenções em Virtual Agent(VA) Com base na confirmação do usuário final.
Uso resumido
. NLUA aplicação Desempenho do modelo fornece uma análise e um relatório de quão bem seu está NLUOs modelos preveem as intenções dos usuários do VA a partir de seus enunciados. Como NLUOs modelos para VA são atualizados, publicados e implantados, você pode usar NLUDesempenho do modelo para revisar a eficácia das previsões de intenção que eles fazem. Se essas previsões forem ignoradas, é porque elas não conseguem prever uma intenção com uma pontuação de confiança alta o suficiente para o modelo. Para melhorar a previsão de tópicos de VA, o sistema agrupa enunciados de VA sem suporte em clusters para uma análise e gera um relatório que identifica o resultado da análise.
Para acessar esta aplicação, use a função nlu_admin ou admin e navegue até .
Instalação
NLUO Desempenho do modelo é uma aplicação disponível no ServiceNow® Store. Para usar esta aplicação, certifique-se de que o. Workbench de NLU- O plug-in Recursos avançados (sn_nlu_workbench) está ativo em sua instância. Para obter mais informações, consulte Instalar NLU Workbench - Recursos avançadose. Ative o Workbench de NLU . Como o desempenho do modelo de NLU depende dos dados provenientes do VA, certifique-se de que o plug-in Glide Virtual Agent (com.glide.cs.chatbot) também esteja ativo. Consulte Ative o Virtual Agent .
Definindo configurações de Interfaces conversacionais para ServiceNowNLU
Para ajudar no acompanhamento NLUPrimeiro, você deve definir as configurações de Interfaces conversacionais (IC) em Virtual Agent. Para acessar essas configurações, navegue até a parte superior do Desempenho do modelo de NLU para Virtual Agent página principal e clique em Configurações de interfaces conversacionais . Esta ação leva você para a página de configurações de IC no Virtual Agent, conforme mostrado na imagem abaixo.
Para definir as configurações, você precisa usar a função virtual_agent_admin ou admin. Para obter orientação de configuração, consulte Implementar NLU no Virtual Agent e. Habilite os idiomas de NLU nas configurações do Virtual Agent .
Revisão da interface do usuário (IU)
- . Desempenho E seu gráfico colorido que mostra dados descrevendo cenários que ocorrem quando os usuários interagem com o VA. Este gráfico é segmentado em tons de três cores, cada uma representando um cenário do usuário. As linhas no gráfico que têm texto e porcentagens são chamadas de legenda. Os três cenários na primeira linha da legenda têm dois cenários de resultado abaixo deles na segunda linha. As barras abaixo da legenda correspondem às cores dos cenários acima delas. O tamanho dessas barras varia com base no valor percentual de cada cenário.
- Por exemplo, a barra azul escura mostra que 10% desse lote de usuários do VA confirmaram que o sistema apresentou o tópico correto para usar na conversa do chatbot do VA e que 58% dos usuários (representados pela barra vermelha escura) confirmaram que o tópico apresentado a eles estava incorreto. Entre esses dois cenários, há um cenário que mostra que 32% dos usuários (representados pela barra marrom escura) não fizeram nenhuma confirmação.
- É uma boa ideia alternar Mostrar todas as barras filtre para frente e para trás a qualquer momento para ver ou ocultar as barras coloridas e seus cenários associados no gráfico. Observe também que, quando você acessa o Desempenho do modelo de NLU pela primeira vez, a exibição padrão do gráfico mostra somente a primeira linha de cenários e a primeira linha de barras.
- Há também outras exibições que você pode ver, dependendo do cenário que estiver visualizando. Por exemplo, quando você acessa o Desempenho do modelo de NLU pela primeira vez e clica em um cenário na primeira linha da legenda, o sistema oculta as barras dos outros dois cenários. Isso ajuda a manter a IU menos desordenada porque isola parcialmente o cenário em que você está se concentrando do restante dos cenários. Essas ações não mudam nenhum dado, elas simplesmente mostram diferentes exibições da legenda e barras no gráfico.
- . Enunciados incompatíveis , que mostra enunciados agrupados em clusters para uso na análise de desempenho. Esta seção da IU é onde você pode navegar e retornar da aplicação Loop de feedback do especialista, além de executar a análise.
Enunciados incompatíveis são diferentes dos enunciados irrelevantes. Para obter mais informações, consulte Detecção de irrelevância na NLU.
- . Detalhes de desempenho seção localizada abaixo do gráfico de barras. Esta seção tem estas quatro colunas: Enunciado , Intenção prevista , Modelo de previsão e. Resultado da previsão . Os detalhes mostrados nesta seção interagem com os dados da legenda e os dados da barra acima deles.
Revisando os cenários de usuário do VA
Na seção de legenda da IU, o texto e as porcentagens são acompanhados por ícones de informações. Aponte para um ícone para invocar a definição para seu cenário de usuário. Consulte a tabela abaixo para ver as definições.
| Cenário | Definição |
|---|---|
| Usuário confirmado como correto | O tópico correto foi apresentado ao usuário final e o usuário final confirmou que está correto. |
| Tópico iniciado, usuário confirmou como correto | O tópico foi iniciado e o usuário confirmou que é o tópico necessário. |
| Menu de tópicos apresentado, o usuário selecionou um | Vários tópicos foram mostrados como um menu para o usuário e o usuário escolheu um dos tópicos para suprir sua necessidade. |
| O usuário não fez nenhuma confirmação | O tópico foi iniciado, mas o usuário não confirmou se ele atendeu ou não à sua necessidade. |
| Nenhuma previsão feita, tópico de fallback iniciado | Nenhuma previsão foi feita e o tópico de fallback foi iniciado. |
| Tópico iniciado, sem confirmação do usuário | O tópico foi iniciado, mas o usuário não confirmou se estava correto. |
| Usuário confirmou como incorreto | Os tópicos apresentados não atenderam às necessidades do usuário final e o usuário confirmou que não estão corretos. |
| Tópico iniciado, usuário confirmou como incorreto | O tópico foi iniciado e o usuário confirmou que não estava correto. |
| Menu de tópicos apresentado, o usuário não selecionou nenhum | Vários tópicos foram mostrados como um menu para o usuário e o usuário decidiu que nenhum dos tópicos era relevante e não escolheu nenhum tópico. |
Usando os filtros Idioma e Modelo
Na guia Desempenho, você pode ver os filtros Idioma e Modelo. Ao lado deles, você também pode ver os valores de intervalo de datas mais recentes definidos acima da legenda e das barras do gráfico. Clique em Idioma filtre para ver todos os idiomas disponíveis em NLU. Clique em Modelo filtre para ver todos os modelos de previsão disponíveis em sua instância. A configuração padrão para Idioma o filtro é Todos os idiomas e a configuração padrão para Modelo o filtro é Todos os modelos .
Os filtros Idioma e Modelo interagem entre si. Por exemplo, se você escolher Francês - fr em Idioma . Modelo O filtro mostra automaticamente todos os modelos de previsão na sua instância que usam o idioma francês, conforme mostrado na imagem a seguir.
- Se você selecionar um modelo específico na Modelo . Idioma o valor do filtro é atualizado para exibir o idioma do modelo selecionado.
- Se você selecionar um idioma específico no Idioma . Modelo o filtro exibe somente modelos do idioma selecionado.
Definindo o intervalo de datas
Na guia Desempenho, use Intervalo de datas Para definir a distância de onde você deseja que o sistema extraia dados de VA. Escolha Últimos 30 dias , Últimos 60 dias , Últimos 90 dias , ou Intervalo personalizado . Quanto mais você voltar no intervalo de datas, mais dados você terá em sua análise.
Executando uma análise
Para executar uma análise de desempenho, clique em Enunciados incompatíveis . Esta seção da IU mostra linhas de clusters expansíveis que contêm enunciados de VA onde NLUNão fez uma previsão de tópico ou o usuário final do VA confirmou que o tópico previsto estava incorreto. A próxima coisa que você quer fazer é clicar Loop de feedback do especialista . Esta ação leva você para Loop de feedback do especialista de NLU Aplicação em que você revisa e fornece feedback sobre os enunciados que foram extraídos do VA.
Ao sair da aplicação Loop de feedback do especialista e retornar ao Desempenho do modelo de NLU, clique em cursor em qualquer cluster para abri-lo. Dentro do cluster, você pode ver os enunciados de VA mais representativos, conforme mostrado na imagem a seguir.
Clique em Execute a análise ou Reexecute a análise , o que estiver disponível. Cada vez que você executa uma análise, o sistema extrai os enunciados de VA mais recentes para a análise.