NLU Ciclo de feedback de especialista
Forneça feedback sobre Virtual Agent enunciados de log de bate-papo para ajudar o sistema a aprender continuamente e a prever melhor a entrada do usuário.
Resumo de uso
O Ciclo de Feedback de Especialista obtém dados da sua instância e os fornece a você para feedback. Esses dados vêm dos logs de bate-papo do Virtual Agent (VA) dos usuários e incluem enunciados desses logs. Usando a função nlu_admin, navegue até e marque cada enunciado em um modelo confirmando se o enunciado está correto (correspondência) ou incorreto (incompatibilidade) com uma intenção. Esse feedback ajuda o modelo a melhorar continuamente o desempenho do modelo.
Instalação
O Ciclo de feedback de especialista faz parte do aplicativo Workbench de NLU - Recursos avançados disponível no ServiceNow® Store.
Para usar o Ciclo de feedback de especialistas, certifique-se de que o plug-in Workbench de NLU - Recursos avançados (sn_nlu_workbench) esteja ativo em sua instância. Para obter mais informações, consulte Instalar Workbench de NLU - Recursos avançados e Ativação do Workbench de NLU.
Como o Ciclo de feedback de especialista depende dos dados dos logs de bate-papo do VA, certifique-se de que o plug-in Glide Virtual Agent (com.glide.cs.chatbot) também esteja ativo. Consulte Ativação do Virtual Agent.
Importação de dados de loop de feedback de especialista entre instâncias
Antes de iniciar uma importação, certifique-se de ter acesso aos dados em sua instância e de ter dados suficientes para prosseguir com o feedback.
Se você estiver trabalhando em uma instância de subprodução, deverá importar os dados de feedback da tabela open_nlu_predict_intent_feedback em sua instância de produção para sua instância de subprodução. Para obter orientação sobre como importar, consulte Importação de outra instância da ServiceNow.
- Se você mover um modelo para uma instância diferente, os dados de feedback persistirão.
- Se você fizer upgrade da instância, os dados de feedback persistirão.
- Se você clonar uma instância, os dados não persistirão, portanto, você precisará seguir o procedimento mencionado acima para importar os dados para a instância clonada.
Contexto e acesso ao feedback
O ciclo de feedback de especialista fornece um mecanismo para você melhorar NLU modelos implantados no VA por meio do feedback que você fornece em um subconjunto selecionado de enunciados. Para cada enunciado, você será solicitado a confirmar a intenção prevista ou a fornecer a intenção correta à qual o enunciado pertence. Depois que esse feedback é concluído, os dados são usados para ajustar o desempenho do modelo, resultando em um modelo aprimorado que agora pode ser reimplantado para coletar mais dados do usuário final. Este é um ciclo iterativo que permite que o sistema colete dados continuamente, aprenda com o feedback que você fornece e use esse feedback para melhorar ainda mais seus modelos NLU.
Uma vez a cada 30 dias, o sistema extrai até 300 amostras de enunciados dos logs de bate-papo do VA para o ciclo de feedback de especialistas. Os enunciados são selecionados para feedback com base em como eles representam todos os enunciados nos logs. Cada enunciado amostrado dos logs de bate-papo do VA tem uma intenção prevista selecionada pelo sistema.
Você também pode definir o número de enunciados que deseja extrair dos logs de bate-papo do VA, ajustando a configuração da propriedade do sistema glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_size.
Mais informações sobre o processo de extração de enunciados dos logs de bate-papo do VA podem ser encontradas nas seções Como obter dados adicionais de feedback do VA sob demanda e Como usar o trabalho de aprendizado ativo, abaixo.
Ao revisar os enunciados, decida se cada enunciado pertence à intenção prevista ou deve ser movido para uma intenção diferente. Se você não tiver certeza sobre a intenção correta, o enunciado pode ser marcado para ser revisitado para revisão posterior. Depois de marcar pelo menos 100 enunciados com seu feedback, o sistema usará todos os enunciados marcados para ajustar e melhorar o modelo.
Revisando seus enunciados de log de bate-papo do VA
Agora que você está no loop, pode ver na imagem a seguir uma lista de NLU enunciados que oferecem suporte às intenções nos modelos de VA. Cada página da lista mostra aproximadamente 20 enunciados por página. Seu objetivo é revisar cada enunciado e marcar seu status de relacionamento com uma determinada intenção de VA. Você marca cada enunciado com o valor NLU_Match, Mismatchou Unsure.
Marcar um enunciado como NLU_Match significa que você concorda com a previsão de NLU para esse enunciado. Marcar um enunciado como Incompatibilidade significa que o enunciado pertence a uma intenção diferente e, se você selecionar Incompatibilidade, será exibida uma lista suspensa de intenções para que você possa selecionar a intenção correta. Se você não tiver certeza de qual intenção está correta, poderá marcá-la como Incerta.
Os enunciados marcados e salvos com o valor NLU_Match ou o valor Incompatibilidade são movidos para a seção Revisões concluídas. Os enunciados marcados e salvos com o valor Incerto são movidos para a seção Precisa de revisão adicional.
- Na parte superior da tela Exportar loop de feedback, selecione um modelo que você deseja revisar no loop de feedback de especialista para prompt. Dentro deste recurso, de certa forma, não importa qual modelo você escolhe porque esses modelos servem principalmente para hospedar os enunciados que você está marcando em suas revisões. Portanto, neste cenário de exemplo, você decide selecionar o modelo de TI, que tem cinco intenções e muitos enunciados em cada uma dessas intenções. O número de enunciados que você precisa revisar é mostrado ao lado do nome da intenção prevista, conforme mostrado na imagem a seguir. As intenções nesses modelos são listadas na coluna Intenções previstas na tela. Embora você possa revisar e marcar enunciados em qualquer uma das intenções previstas, é melhor concluir as revisões consecutivamente na ordem em que as intenções aparecem pela primeira vez. Por exemplo, comece com a intenção ad_password_change e prossiga para outras intenções previstas.
- Clique na intenção ad_password_change para que ela carregue seus enunciados na seção A fazer da sua revisão.
- Revise os 15 enunciados na intenção. Neste cenário, você começou marcando corretamente o enunciado "Quero mudar minha senha do AD " como uma correspondência com a intenção ad_password_change.
- Clique em Salvar feedback.Resultado: o sistema move o enunciado que você marcou para a seção Concluído da tela. Ao mesmo tempo, a contagem de enunciados pendentes cai de 15 para 14, enquanto a contagem na seção Concluído aumenta de 0 para 1. Se você também marcou outro enunciado com o valor Incerto e salvou essa mudança, a contagem de enunciados na seção Precisa de revisão adicional também aumentaria de 0 para 1.Nota:Se você não souber qual intenção corresponde melhor ao enunciado, marque-a com o valor Incerto. Esta ação move o enunciado para a seção Precisa de revisão adicional, dando a você tempo para marcar outros enunciados na seção A fazer que podem ser mais fáceis de corresponder ou não a uma intenção. Você sempre pode retornar à seção Precisa de revisão adicional para marcar enunciados que são mais difíceis de definir para uma intenção específica.
- Repita as etapas 1 a 4 ao percorrer as intenções restantes na coluna Intenções previstas.
É fácil marcar os enunciados na intenção ad_password_change como correspondentes à intenção prevista porque há pelo menos um enunciado na intenção que contém a palavra password.
Quando você termina de revisar os enunciados na intenção prevista e clica em Salvar feedback, a tela é atualizada para realçar a próxima intenção prevista no modelo.
Se você quiser ver seus enunciados agrupados por valor, clique no filtro Mostrando e selecione uma das opções no prompt. Os valores são All, NLU_Matche Unsure.
Usando a opção de exibição de cartão para revisar seus enunciados
Seus enunciados do Ciclo de feedback de especialista aparecem na seção A fazer em uma exibição de lista por padrão, como mostrado em muitas das imagens que você viu até agora acima. No entanto, você também pode escolher uma exibição diferente que mostra cada enunciado enquadrado em um cartão. Se você escolher esta opção, cada enunciado aparecerá na página em grupos de cinco. Ainda na exibição de lista, clique no ícone do cartão.
Resultado: a exibição do cartão substitui a exibição de lista. Observe as setas para a esquerda e para a direita em ambos os lados da página de cartões de enunciado. Quando você clica na seta para a direita, ela muda a página para o próximo conjunto de cinco cartões. Quando você clica na seta para a esquerda, ela muda a página para o conjunto anterior de cinco cartões. Se você quiser voltar para a exibição de lista em vez da exibição de cartão, clique no ícone de lista, conforme mostrado no canto superior direito da imagem abaixo.
Como alterar um valor de enunciado
Se você marcar um enunciado, mas mudar de ideia sobre o valor escolhido, poderá resolver o problema clicando em Incompatibilidade e selecionando outra intenção. Clique em Salvar feedback para salvar a mudança.
Feedback não salvo
Se você terminar e sair de uma sessão de marcação de seus enunciados, mas se esquecer de salvar suas mudanças, selecione Mudanças não salvas no prompt Mostrando. Esta ação exibe todos os enunciados para os quais você deu feedback, mas ainda não salvou.
Como adquirir dados adicionais de feedback do VA sob demanda
- Use a função nlu_admin e navegue até .
- Clique em Aprendizado ativo.
- Clique em Executar Agora.
- Aumente ou defina os valores nas seguintes quatro NLU propriedades do sistema.
- glide.mlpredictor.option.nlu.activeLearning.va_chat_logs.max_row_limit - 3000
- glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_data_size - 10000
- glide.mlpredictor.option.nlu.activeLearning.label_table.max_data_size - 10000
- glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_size-300
Para ver como essas propriedades funcionam no contexto de outras propriedades NLU, consulte Propriedades Workbench de NLU.
Revisão de enunciados sem categoria
Como parte do feed dos logs de bate-papo do VA para o Ciclo de feedback de especialista, o sistema coleta e exibe em uma lista todos os enunciados em sua instância que não fazem parte de uma intenção de VA. Você acessa esses enunciados selecionando Sem categoria no Ciclo de feedback de especialista para prompt na parte superior da tela.
- Na coluna Enunciado, selecione um enunciado na lista.
- Na coluna Intenção corrigida, pesquise e selecione uma intenção e seu modelo no prompt que você acha que é a melhor correspondência para o enunciado.
Em relação à imagem acima, vamos abordar alguns itens que ajudam a descrever como a página de enunciados sem categoria funciona, da seguinte forma. A seção Tarefa coleta enunciados que devem estar conectados a uma intenção. Neste dia específico, vemos que há 120 enunciados desse tipo. Observe que a seção Concluído na tela não tem enunciados porque você ainda não realizou nenhuma ação.
Observe também que há uma barra vertical na extremidade direita da tela onde você pode rolar para cima e para baixo para navegar na lista de enunciados. Na parte inferior desta tela de rolagem, há setas que apontam para a esquerda e para a direita para que você possa ir para a página seguinte ou anterior da lista completa de enunciados do dia.
Observe também que quando você executa uma ação para fazer uma conexão, o botão Salvar feedback, normalmente ativo por padrão, é desativado porque o sistema reconhece sua ação e salva automaticamente sua mudança.
Dados do ciclo de feedback de especialista na fase de ajuste do modelo
O botão Ajustar modelo no Ciclo de feedback de especialista está sempre habilitado e oferece suporte à experiência de mover enunciados da guia Ciclo de feedback de especialista concluído para o modelo e seu conjunto de testes. Use a função nlu_admin para clicar neste botão sempre que precisar ajustar ou reajustar seu modelo.
Depois de revisar os enunciados no Ciclo de feedback de especialista, você pode enviar por push uma parte dos dados de feedback para o conjunto de testes padrão do seu modelo. Esses enunciados são adicionados diretamente à guia Testar enunciados do seu modelo. Isso ajuda a manter e atualizar continuamente seu conjunto de testes com enunciados de usuários finais reais. O sistema rastreia a origem dos enunciados de teste para visibilidade sobre se eles vieram do Ciclo de feedback de especialista ou de outra origem.
Se você clicar no botão Ajustar modelo antes de marcar e salvar pelo menos 100 enunciados, a tela será atualizada para lembrá-lo de que o desempenho do modelo aumenta em qualidade quando você ultrapassa a meta de feedback de 100 enunciados, conforme referenciado no texto na imagem abaixo .
Conforme você marca e salva seus dados de feedback, você pode ver a proporção de enunciados revisados (em verde) e aqueles que ainda estão disponíveis para revisão (em branco) na imagem da barra de andamento abaixo.
Como usar o trabalho de aprendizado ativo
Trabalhos agendados, também conhecidos como trabalhos em lote ou programação em lote, são trabalhos automatizados que são executados em um horário específico ou em uma programação recorrente. Muitos trabalhos são executados em cronogramas, mas agora estamos nos concentrando no trabalho de aprendizado ativo como exemplo.
- Altere o intervalo de frequência de repetição com o qual o trabalho de aprendizado ativo será definido para ser executado.
- Verifique quando a próxima execução programada está definida para o trabalho de aprendizado ativo.
- Execute o trabalho de aprendizado ativo sempre que quiser (sob demanda).
- Usando a função nlu_admin, navegue até o campo Todos, digite sysauto_script.liste pressione a tecla Enter do teclado. A tela é atualizada para mostrar a página Programação, que lista todos os trabalhos agendados.
- Na página Programação, clique em Aprendizado ativo. Um registro para o trabalho de aprendizado ativo é exibido, conforme mostrado na imagem abaixo.
- No registro de aprendizado ativo, configure os seguintes campos.
- No campo Executar, selecione uma das oito opções de Intervalo de repetição para o trabalho. As opções são: Diariamente, Semanal, Mensal, Periodicamente, Um, Sob demanda, Calendário comercial: Início da entradae Calendário comercial: Término da entrada.
- No campo Intervalo de repetição, insira o número de dias que você deseja entre agora e o próximo intervalo de repetição para o trabalho de aprendizado ativo.
- No campo Iniciando, clique no ícone Calendário e escolha o dia e a hora do próximo intervalo de trabalho de aprendizado ativo.
- Clique no botão Atualizar para salvar suas configurações ou clique no botão Executar agora para iniciar a execução do trabalho de aprendizado ativo.
- Para verificar quando o próximo trabalho de aprendizado ativo é executado, navegue até o campo Todos, digite sys_trigger.liste pressione a tecla Enter do teclado. A página Programação é exibida. Clique em Aprendizado ativo. O registro Item de programação/Aprendizado ativo aparece e preenche o campo Ação seguinte com a data e a hora da próxima execução do trabalho de aprendizado ativo.