NLU Loop de feedback do especialista
Forneça feedback sobre Virtual Agentenunciados de log de bate-papo para ajudar o sistema a aprender continuamente e prever melhor a entrada do usuário.
Uso resumido
O loop de feedback do especialista pega os dados da sua instância e os fornece para feedback. Esses dados vêm dos logs de bate-papo do Virtual Agent (VA) dos usuários e incluem enunciados desses logs. Usando a função nlu_admin, navegue até e marque cada enunciado em um modelo confirmando se o enunciado está correto (correspondência) ou incorreto (incompatibilidade) com uma intenção. Este feedback ajuda o modelo a melhorar continuamente o desempenho do modelo.
Instalação
O loop de feedback do especialista faz parte do app NLU Workbench - Recursos avançados disponível no ServiceNow® Store.
Para usar o loop de feedback do especialista, certifique-se de que o. Workbench de NLU- O plug-in Recursos avançados (sn_nlu_workbench) está ativo em sua instância. Para obter mais informações, consulte Instalar NLU Workbench - Recursos avançadose. Ative o Workbench de NLU .
Como o loop de feedback do especialista depende dos dados dos logs de bate-papo do VA, certifique-se de que o plug-in Glide Virtual Agent (com.glide.cs.chatbot) também esteja ativo. Consulte Ative o Virtual Agent .
Importando dados de loop de feedback do especialista entre instâncias
Antes de iniciar uma importação, certifique-se de ter acesso aos dados em sua instância e de ter dados suficientes para prosseguir com o feedback.
Se você estiver trabalhando em uma instância de subprodução, será necessário importar os dados de feedback do open_nlu_predict_intent_feedback na instância de produção para a instância de subprodução. Para obter orientação sobre como importar, consulte Importação de outra instância da ServiceNow .
- Se você mover um modelo para uma instância diferente, os dados de feedback persistirão.
- Se você fizer upgrade da instância, os dados de feedback persistirão.
- Se você clonar uma instância, os dados não persistirão, portanto, você precisará seguir o procedimento mencionado acima para importar os dados para a instância clonada.
Acesso e contexto de feedback
O Loop de feedback do especialista fornece um mecanismo para você melhorar NLUModelos implantados no VA por meio de feedback que você fornece em um subconjunto selecionado de enunciados. Para cada enunciado, você deve confirmar a intenção prevista ou fornecer a intenção correta à qual o enunciado pertence. Após a conclusão desse feedback, os dados são usados para ajustar o desempenho do modelo, resultando em um modelo aprimorado que agora pode ser reimplantado para coletar mais dados do usuário final. Este é um ciclo iterativo que permite que o sistema colete dados continuamente, aprenda com o feedback que você fornece e use esse feedback para melhorar ainda mais seu NLUmodelos.
Uma vez a cada 30 dias, o sistema extrai até 300 amostras de enunciados dos logs de bate-papo do VA para o loop de feedback do especialista. Os enunciados são selecionados para feedback com base em quão bem representam todos os enunciados nos logs. Cada enunciado amostrado dos logs de bate-papo do VA tem uma intenção prevista escolhida pelo sistema.
Você também pode definir o número de enunciados que você deseja extrair dos logs de bate-papo do VA ajustando a configuração para glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_sizepropriedade do sistema.
Mais informações sobre o processo de extrair enunciados dos logs de bate-papo do VA podem ser encontradas nas seções Adquirir dados adicionais de feedback do VA sob demanda e usando o trabalho de aprendizado ativo, abaixo.
Ao revisar os enunciados, decida se cada enunciado pertence à intenção prevista ou deve ser movido para uma intenção diferente. Se você não tiver certeza sobre a intenção correta, o enunciado poderá ser marcado para revisitar para revisão adicional. Depois de marcar pelo menos 100 enunciados com seu feedback, o sistema usará todos os enunciados marcados para ajustar e melhorar o modelo.
Revisando seus enunciados de log de bate-papo do VA
Agora que você está no loop, você pode ver na imagem a seguir uma lista de NLUEnunciados compatíveis com as intenções nos modelos de VA. Cada página da lista mostra aproximadamente 20 enunciados por página. Seu objetivo é revisar cada enunciado e marcar seu status de relacionamento com uma determinada intenção de VA. Cada enunciado deve ser marcado com NLU_match , Incompatibilidade , ou Não tenho certeza valor.
Marcando um enunciado como NLU_match Significa que você concorda com a previsão de NLU para esse enunciado. Marcando um enunciado como Incompatibilidade significa que o enunciado pertence a uma intenção diferente e se você selecionar Incompatibilidade , uma lista suspensa de intenções aparece para que você possa selecionar a intenção correta. Se você não tiver certeza de qual intenção está correta, marque-a como Não tenho certeza .
Enunciados marcados e salvos com NLU_match ou Incompatibilidade o valor é movido para Revisões concluídas seção. Enunciados marcados e salvos com Não tenho certeza o valor é movido para Precisa de revisão adicional seção.
- Na parte superior da tela Exportar loop de feedback, selecione um modelo que você deseja revisar no Loop de feedback do especialista para prompt. Dentro desse recurso, de certa forma, não importa qual modelo você escolha, porque esses modelos servem principalmente para abrigar os enunciados que você está marcando em suas revisões. Neste cenário de exemplo, você decide selecionar Modelo DE TI , que tem cinco intenções e muitos enunciados em cada uma dessas intenções. O número de enunciados que você precisa revisar é mostrado ao lado do nome da intenção prevista, conforme mostrado na imagem a seguir. As intenções nesses modelos estão listadas em Intenções previstas na tela. Embora você possa revisar e marcar enunciados em qualquer uma das intenções previstas, é uma ideia melhor concluir as revisões consecutivamente na ordem em que as intenções aparecem pela primeira vez. Por exemplo, comece com ad_password_change e, em seguida, para outras intenções previstas.
- Clique em ad_password_change para que ele carregue seus enunciados no A fazer para sua revisão.
- Revise os 15 enunciados na intenção. Neste cenário, você começou marcando corretamente o. Quero mudar minha senha do AD enunciado como uma correspondência com ad_password_change intenção.
- Clique em Salvar feedback .Resultado: O sistema move o enunciado marcado para Concluído da tela. Ao mesmo tempo, a contagem de A fazer os enunciados caem de 15 para 14, enquanto a contagem no Concluído a seção sobe de 0 para 1. Se você também marcou outro enunciado com Não tenho certeza e salvou essa mudança, a contagem de enunciados no Precisa de revisão adicional a seção também aumentaria de 0 para 1.Nota:Se você não souber qual intenção corresponde melhor ao enunciado, marque-o com Não tenho certeza valor. Esta ação move o enunciado para Precisa de revisão adicional , dando tempo para marcar outros enunciados no A fazer seção que pode ser mais fácil de corresponder ou não corresponder a uma intenção. Você sempre pode retornar ao Precisa de revisão adicional seção para marcar enunciados que são mais difíceis de fixar em uma intenção específica.
- Repita as etapas de 1 a 4 à medida que percorre as intenções restantes no Intenções previstas coluna.
Os enunciados no ad_password_change a intenção é fácil marcar como uma correspondência com a intenção prevista porque há pelo menos um enunciado na intenção que tem a palavra senha nele.
Quando terminar de revisar os enunciados na intenção prevista e clicar em Salvar feedback , a tela é atualizada para destacar a próxima intenção prevista no modelo.
Se você quiser ver seus enunciados agrupados por seu valor, clique em Mostrando filtre e selecione uma das opções no prompt. Os valores são Todos , NLU_match e. Não tenho certeza .
Usando a opção de exibição de cartão para revisar seus enunciados
Seus enunciados do loop de feedback do especialista aparecem no A fazer em uma exibição de lista por padrão, como mostrado em muitas das imagens que você viu até agora acima. No entanto, você também pode escolher uma exibição diferente que mostre cada enunciado enquadrado em um cartão. Se você escolher esta opção, cada enunciado aparecerá na página em grupos de cinco. Ainda na exibição de lista, clique em cartão ícone.
Resultado: A exibição de cartão substitui a exibição de lista. Observe as setas para a esquerda e para a direita em ambos os lados da página dos cartões de enunciado. Quando você clica na seta para a direita, ela vira a página para o próximo conjunto de cinco cartões. Quando você clica na seta para a esquerda, a página muda para o conjunto anterior de cinco cartões. Para voltar para a exibição de lista em vez da exibição de cartão, clique em lista conforme mostrado no canto superior direito da imagem abaixo.
Alterando um valor de enunciado
Se você marcar um enunciado, mas mudar de ideia sobre o valor escolhido, poderá resolver o problema clicando em Incompatibilidade e selecionando outra intenção. Clique em Salvar feedback para salvar a mudança.
Feedback não salvo
Se você terminar e sair de uma sessão de marcação de enunciados, mas esquecer de salvar suas mudanças, selecione Mudanças não salvas em Mostrando prompt. Esta ação exibe todos os enunciados sobre os quais você deu feedback, mas ainda não salvou.
Adquirir dados de feedback de VA adicionais sob demanda
- Use a função nlu_admin e navegue até .
- Clique em Aprendizado ativo .
- Clique em Executar Agora.
- Aumente ou defina os valores nos quatro seguintes NLUpropriedades do sistema.
- glide.mlpredictor.option.nlu.activeLearning.va_chat_logs.max_row_limit - 3000
- glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_data_size - 10000
- glide.mlpredictor.option.nlu.activeLearning.label_table.max_data_size - 10000
- glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_size-300
Para ver como essas propriedades funcionam no contexto de outro NLUpropriedades, consulte Propriedades Workbench de NLU.
Revisando enunciados não categorizados
Como parte do feed dos logs de bate-papo do VA para o loop de feedback do especialista, o sistema coleta e exibe em uma lista todos os enunciados em sua instância que não fazem parte de uma intenção do VA. Para acessar esses enunciados, selecione Sem categoria em Loop de feedback do especialista para prompt na parte superior da tela.
- Em Enunciado selecione um enunciado na lista.
- Em Intenção corrigida , pesquise e selecione uma intenção e seu modelo no prompt que você acha que é a melhor correspondência para o enunciado.
Em relação à imagem acima, vamos abordar alguns itens que ajudam a descrever como a página de enunciados não categorizados funciona, como a seguir. . A fazer a seção coleta enunciados que devem ser conectados a uma intenção. Neste dia em particular, vemos que há 120 enunciados. Observe que Concluído a seção na tela não tem enunciados porque você ainda não realizou nenhuma ação.
Observe também que há uma barra vertical na extrema direita da tela, onde você pode rolar para cima e para baixo para navegar pela lista de enunciados. Na parte inferior desta tela de rolagem, há setas que apontam para a esquerda e para a direita para que você possa ir para a página seguinte ou anterior da lista de enunciados completa do dia.
Observe também que, quando você executa uma ação para fazer uma conexão, o. Salvar feedback o botão, normalmente ativo por padrão, desativa porque o sistema reconhece sua ação e salva automaticamente sua mudança.
Dados do loop de feedback do especialista na fase Modelo de ajuste
. Modelo de ajuste O botão no loop de feedback do especialista está sempre habilitado e oferece suporte à experiência de mover enunciados do loop de feedback do especialista Concluído tab para o modelo e seu conjunto de testes. Use a função nlu_admin para clicar neste botão sempre que precisar ajustar ou reajustar seu modelo.
Depois de revisar enunciados no Loop de feedback do especialista, você pode enviar uma parte dos dados de feedback para o conjunto de testes padrão do seu modelo. Esses enunciados são adicionados diretamente ao Enunciados de teste do seu modelo. Isso ajuda você a manter e atualizar continuamente seu conjunto de testes com enunciados reais do usuário final. O sistema rastreia a origem dos enunciados de teste para ter visibilidade se eles vieram do loop de feedback do especialista ou de outra origem.
Se você clicar em Modelo de ajuste botão antes de marcar e salvar pelo menos 100 enunciados, a tela é atualizada para lembrar que o desempenho do modelo aumenta em qualidade quando você passa pelo objetivo de feedback de 100 enunciados, conforme mencionado no texto na imagem abaixo.
Enquanto você continua marcando e salvando seus dados de feedback, você pode ver a proporção de enunciados revisados (em verde) e aqueles que ainda estão disponíveis para revisão (em branco) na imagem da barra de andamento abaixo.
Usando o trabalho de aprendizado ativo
Os trabalhos agendados, também conhecidos como trabalhos em lote ou programação em lote, são trabalhos automatizados que são executados em um horário específico ou em uma programação recorrente. Muitos trabalhos são executados em cronogramas, mas agora estamos nos concentrando no trabalho de aprendizado ativo como exemplo.
- Mude o intervalo de frequência de repetição com o qual o trabalho de aprendizado ativo será definido para execução.
- Verifique quando a próxima execução agendada está definida para o trabalho de aprendizado ativo.
- Execute o trabalho de aprendizado ativo sempre que quiser (sob demanda).
- Usando a função nlu_admin, navegue até Todos tipo e campo sysauto_script.list , em seguida, pressione retorno no teclado. A tela é atualizada para mostrar a página Programação, que lista todos os trabalhos agendados.
- Na página Programação, clique em Aprendizado ativo . Um registro para o trabalho de aprendizado ativo é exibido, conforme mostrado na imagem abaixo.
- No registro Aprendizado ativo, configure os seguintes campos.
- Em Executar Selecione uma das oito opções de Intervalo de repetição para o trabalho. As opções são: Diariamente , Semanalmente , Mensal , Periodicamente , Um , Sob demanda , Calendário comercial:Início da entrada e. Calendário comercial: Término da entrada .
- Em Intervalo de repetição Insira o número de dias que você deseja entre agora e o próximo intervalo de repetição para o trabalho de aprendizado ativo.
- Em Iniciando , clique no ícone Calendário e escolha o dia e a hora para o próximo intervalo de trabalho de aprendizado ativo.
- Clique em Atualizar para salvar suas configurações ou clique em Executar agora Botão para iniciar a execução do trabalho de aprendizado ativo.
- Para verificar quando o próximo trabalho de aprendizado ativo é executado, navegue até Todos tipo e campo sys_trigger.list , em seguida, pressione retorno no teclado. A página Programação é exibida. Clique em Aprendizado ativo . O registro de Item de programação/aprendizado ativo aparece e preenche o. Próxima ação Campo com a data e a hora da próxima execução do trabalho de aprendizado ativo.