Feedback do painel de teste

Ao testar seu NLU Modelo Na seção Testar modelo do painel de teste, use este recurso para fornecer feedback sobre as previsões de intenção do modelo.

Contexto de resumo

Quando um modelo é treinado e testado para um enunciado e o modelo retorna uma previsão de intenção, você pode fornecer uma classificação de polegar para cima ou polegar para baixo sobre a intenção prevista que ele retorna. Marcar uma previsão de intenção diferente como correta adiciona o enunciado à intenção corrigida. Todos os outros feedbacks são capturados para aprendizado contínuo. Em seguida, o sistema incorpora seu feedback para otimizar as previsões do modelo. Este recurso requer a função nlu_admin para acessar e testar o modelo. NLU os editores também podem acessar o painel de teste, se houver NLU o administrador os atribui a ele.

Fornecendo feedback de previsão

As classificações fornecidas ajudam o sistema a corresponder uma intenção a um enunciado. Essas classificações são essenciais para que o sistema aprenda, evolua e melhore continuamente a precisão das previsões de intenção com base na entrada do usuário. Eles também permitem que você notifique o sistema se a previsão de intenção está correta ou não.

Os cenários a seguir mostram exemplos de como interagir com o painel de teste do modelo e fornecer feedback de previsão para o sistema. Em todos os cenários, você usa estas quatro etapas:

1. Em Crie e treine seu modelo fase do seu modelo, selecione Modelo de teste para abrir o painel de teste.
2. Nos painéis de teste Insira um enunciado para testar insira um enunciado breve semelhante a um enunciado de treinamento em uma das intenções.
3. Clique em IR .

   Resultado : O sistema retorna suas previsões para o enunciado de teste no Principais previsões painel de testes.

4. Clique em Polegares para cima ou Polegares para baixo ícone.

   Se você quiser que o sistema saiba que previu a intenção correta para seu enunciado, selecione Polegares para cima ícone.

   Em todos os outros casos, selecione Polegares para baixo ícone, que abre o. Forneça feedback para melhorar esta previsão seção. Aqui, você pode escolher uma intenção diferente da intenção principal prevista.

Cenário 1 : Na seção Testar modelo do painel de teste, insira ajuda com hr como o enunciado. Quando os principais resultados de previsão aparecem, você tem certeza de que a intenção prevista é a correspondência correta com seu enunciado. Neste caso, você clica em Polegares para cima ícone.

Resultados :

• O sistema previu a intenção correta, que, neste caso, é CreateConsulta Geral de RH .
• Seu feedback notifica o sistema de que ele correspondeu à intenção correta ao enunciado de teste.

Cenário 2 : Em um modelo separado em uma instância separada, um usuário diferente insere o mesmo ajuda com hr enunciado. O sistema responde com os principais resultados de previsão para a intenção, mas o usuário não tem certeza se é a intenção correta ou não. Este usuário clica em Polegares para baixo ícone, conforme mostrado na imagem abaixo.

Resultado : O painel se expande para mostrar Forneça feedback para melhorar esta previsão seção em que os usuários podem enviar feedback que pode ajudar a melhorar a previsão de intenção.

Há duas opções aqui:

• Se os usuários clicarem em Sua intenção correta deve ser: uma lista é exibida na qual eles podem escolher uma intenção mais apropriada para o enunciado de teste. Neste cenário de exemplo, um usuário seleciona Recuperar local de trabalho intenção, conforme mostrado na imagem abaixo.

  

• Se você clicar em Não tenho certeza de qual é a intenção correta em vez de retornar uma previsão principal, o sistema mostra as próximas previsões de melhor intenção disponíveis.

Cenário 3 : Em um modelo separado em uma instância separada, outro usuário envia um enunciado que usa sem sentido ou usa um idioma diferente do idioma usado pelo modelo. Por exemplo, um usuário envia por engano um enunciado composto de idiomas diferentes do inglês e não do inglês, conforme mostrado na imagem abaixo.

Resultado : O sistema não retorna uma previsão porque o enunciado usa dois idiomas diferentes juntos. Como nenhuma intenção foi prevista, o usuário clica em Dar feedback Opção que expande a seção do modelo de tentativa para mostrar outras alternativas de intenção.

Em vez de escolher uma intenção no prompt, este usuário seleciona Nenhuma intenção deve ser prevista opção.

Nota:

Quando você escolhe e salva Nenhuma intenção deve ser prevista , o enunciado é removido de todas as intenções das quais faz parte.

Cenário 4 : Além de escolher em uma lista das intenções do seu modelo para uma previsão, você também pode notificar diretamente o sistema de que o enunciado é irrelevante para o modelo. Para fazer isso, clique em Exclua as previsões deste modelo para este enunciado e, em seguida, clique em Salvar mudanças .

Resultado : Uma faixa aparece na parte superior da tela confirmando que o feedback do usuário para a previsão foi salvo, conforme mostrado na imagem abaixo.

Acessando seus registros de feedback

Seus dados de feedback são armazenados em ml_rotulado_data , que também é usada por outro ServiceNow produtos. Esta tabela também pode hospedar várias fontes, como Virtual Agent logs de bate-papo que podem ser usados para previsões futuras.