Testar feedback do painel

Ao testar seu modelo NLU na seção Testar modelo do painel de teste, use este recurso para fornecer feedback sobre as previsões de intenção do modelo.

Contexto de resumo

Quando um modelo é treinado e testado para um enunciado e o modelo retorna uma previsão de intenção, você pode fornecer uma classificação de polegares para cima ou para baixo na intenção prevista que ele retorna. Marcar uma previsão de intenção diferente como correta adiciona o enunciado à intenção corrigida. Todos os outros feedbacks são capturados para aprendizagem contínua. O sistema incorpora seu feedback para otimizar as previsões do modelo. Este recurso requer a função nlu_admin para acessar e testar o modelo. NLU editores também podem acessar o painel de teste se um administrador NLU os atribuir a ele.

Como fornecer feedback de previsão

As classificações fornecidas ajudam o sistema a corresponder uma intenção a um enunciado. Essas classificações são essenciais para que o sistema aprenda, evolua e melhore continuamente a precisão das previsões de intenção com base na entrada do usuário. Eles também permitem que você notifique o sistema se a previsão de intenção estiver correta ou não.

Os cenários a seguir mostram exemplos de como interagir com o painel de teste do modelo e fornecer feedback de previsão para o sistema. Em todos os cenários, você usa estas quatro etapas:

1. Na fase Criar e treinar seu modelo, selecione Testar modelo para abrir o painel de teste.
2. No campo Inserir um enunciado para testar do painel de teste, insira um enunciado breve que seja semelhante a um enunciado de treinamento em uma das intenções.
3. Clique em IR.

   Resultado: o sistema retorna suas previsões para o enunciado de teste na seção Principais previsões do painel de teste.

4. Clique no ícone de polegar para cima ou no ícone de polegar para baixo.

   Se você quiser que o sistema saiba que previu a intenção correta para o seu enunciado, selecione o ícone de polegar para cima.

   Em todos os outros casos, selecione o ícone de polegar para baixo, que abre a seção Fornecer feedback para melhorar esta previsão. Aqui, você pode escolher uma intenção diferente da principal intenção prevista.

Cenário 1: Na seção Testar modelo do painel de teste, você insere ajuda com hr como o enunciado. Quando os principais resultados da previsão aparecem, você tem certeza de que a intenção prevista é a correspondência correta ao seu enunciado. Portanto, neste caso, você clica no ícone de polegar para cima.

Resultados:

• O sistema previu a intenção correta, que neste caso é #CreateHRGeneralInquiryCase.
• Seu feedback notifica o sistema de que ele correspondeu a intenção correta ao seu enunciado de teste.

Cenário 2: em um modelo separado em uma instância separada, um usuário diferente insere a mesma ajuda com enunciado de hr. O sistema responde com os principais resultados de previsão da intenção, mas o usuário não tem certeza se é a intenção correta ou não. Portanto, este usuário clica no ícone de polegar para baixo, conforme mostrado na imagem abaixo.

Resultado: o painel se expande para mostrar a seção Fornecer feedback para melhorar esta previsão, na qual os usuários podem enviar feedback que pode ajudar a melhorar a previsão de intenção.

Há duas opções aqui:

• Se os usuários clicarem no botão A intenção correta deve ser:, será exibida uma lista na qual eles podem escolher uma intenção mais apropriada para o enunciado de teste. Neste cenário de exemplo, um usuário seleciona a intenção Recuperar local de trabalho, conforme mostrado na imagem abaixo.

  

• Se você clicar no prompt Não tenho certeza de qual é a intenção correta, em vez de retornar uma previsão principal, o sistema mostrará as próximas melhores previsões de intenção disponíveis.

Cenário 3: em um modelo separado em uma instância separada, outro usuário envia um enunciado que usa sem sentido ou usa um idioma diferente do idioma que o modelo usa. Por exemplo, um usuário envia por engano um enunciado composto por idiomas diferentes do inglês e inglês, conforme mostrado na imagem abaixo.

Resultado: o sistema não retorna uma previsão porque o enunciado usa dois idiomas diferentes juntos. Como nenhuma intenção foi prevista, o usuário clica na opção Fornecer feedback, que expande a seção Testar modelo para mostrar outras alternativas de intenção.

Portanto, em vez de escolher uma intenção no prompt, esse usuário seleciona a opção Nenhuma intenção deve ser prevista.

Nota:

Quando você escolhe e salva Nenhuma intenção deve ser prevista, o enunciado é removido de todas as intenções das quais faz parte.

Cenário 4: além de escolher em uma lista de intenções do seu modelo para uma previsão, você também pode notificar diretamente o sistema de que o enunciado é irrelevante para o modelo. Para fazer isso, clique no botão Excluir previsões deste modelo para este enunciado e clique em Salvar mudanças.

Resultado: uma faixa aparece na parte superior da tela confirmando que o feedback do usuário para a previsão foi salvo, conforme mostrado na imagem abaixo.

Como acessar seus registros de feedback

Seus dados de feedback são armazenados na tabela ml_labeled_data, que também é usada por outros produtos ServiceNow. Esta tabela também pode hospedar várias origens, como Virtual Agent logs de bate-papo que podem ser usados para previsões futuras.