NLU Loop de feedback do especialista

Forneça feedback sobre Virtual Agent enunciados de log de bate-papo para ajudar o sistema a aprender continuamente e prever melhor a entrada do usuário.

Uso resumido

O loop de feedback do especialista pega os dados da sua instância e os fornece para feedback. Esses dados vêm dos logs de bate-papo do Virtual Agent (VA) dos usuários e incluem enunciados desses logs. Usando a função nlu_admin, navegue até Tudo > Workbench de NLU > Ciclo de feedback de especialista e marque cada enunciado em um modelo confirmando se o enunciado está correto (correspondência) ou incorreto (incompatibilidade) com uma intenção. Este feedback ajuda o modelo a melhorar continuamente o desempenho do modelo.

Instalação

O loop de feedback do especialista faz parte do aplicativo Workbench de NLU - Recursos avançados disponível no ServiceNow® Store.

Para usar o loop de feedback do especialista, certifique-se de que Workbench de NLU- O plug-in Recursos avançados (sn_nlu_workbench) está ativo em sua instância. Para obter mais informações, consulte Instalar NLU Workbench - Recursos avançados e. Ative o Workbench de NLU .

Como o loop de feedback do especialista depende dos dados dos logs de bate-papo do VA, certifique-se de que o plug-in Glide Virtual Agent (com.glide.cs.chatbot) também esteja ativo. Consulte Ativar o Virtual Agent .

Importação de dados de loop de feedback do especialista entre instâncias

Antes de iniciar uma importação, verifique se você tem acesso aos dados em sua instância e se tem dados suficientes para prosseguir com o feedback.

Se você estiver trabalhando em uma instância de subprodução, deverá importar os dados de feedback do open_nlu_predict_intent_feedback sua instância de produção para sua instância de subprodução. Para obter orientação sobre como importar, consulte Importação de outra instância da ServiceNow .

Estes são alguns cenários de dados relacionados ao comportamento do sistema para NLU modelos que hospedam os enunciados do loop de feedback.

• Se você mover um modelo para uma instância diferente, os dados de feedback persistirão.
• Se você fizer upgrade da instância, os dados de feedback persistirão.
• Se você clonar uma instância, os dados não persistirão, portanto, você precisará seguir o procedimento mencionado acima para importar os dados para a instância clonada.

Contexto de feedback e acesso

O loop de feedback do especialista fornece um mecanismo para você melhorar NLU Modelos implantados no VA por meio de feedback fornecido em um subconjunto selecionado de enunciados. Para cada enunciado, você deve confirmar a intenção prevista ou fornecer a intenção correta à qual o enunciado pertence. Após a conclusão desse feedback, os dados são usados para ajustar o desempenho do modelo, resultando em um modelo aprimorado que agora pode ser reimplantado para coletar mais dados do usuário final. Este é um ciclo iterativo que permite que o sistema colete dados continuamente, aprenda com o feedback fornecido e use esse feedback para melhorar ainda mais seu NLU modelos.

Uma vez a cada 30 dias, o sistema extrai até 300 amostras de enunciados dos logs de bate-papo do VA para o loop de feedback do especialista. Os enunciados são selecionados para feedback com base em quão bem representam todos os enunciados nos logs. Cada enunciado amostrado dos logs de bate-papo do VA tem uma intenção prevista escolhida pelo sistema.

Você também pode definir o número de enunciados que você deseja extrair dos logs de bate-papo do VA ajustando a configuração do glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_sizepropriedade do sistema.

Mais informações sobre o processo de extração de enunciados dos logs de bate-papo do VA podem ser encontradas nas seções Obter dados de feedback adicionais do VA sob demanda e Usar o trabalho de aprendizado ativo, abaixo.

Ao revisar os enunciados, decida se cada enunciado pertence à intenção prevista ou deve ser movido para uma intenção diferente. Se você não tiver certeza sobre a intenção correta, o enunciado poderá ser marcado para revisitar para revisão posterior. Depois de marcar pelo menos 100 enunciados com seu feedback, o sistema usará todos os enunciados marcados para ajustar e melhorar o modelo.

Revisando seus enunciados de log de bate-papo do VA

Agora que você está no loop, você pode ver na imagem a seguir uma lista de NLU Enunciados compatíveis com as intenções nos modelos de VA. Cada página da lista mostra aproximadamente 20 enunciados por página. Seu objetivo é revisar cada enunciado e marcar seu status de relacionamento com uma determinada intenção do VA. Cada enunciado deve ser marcado com NLU_match , Incompatibilidade ou Inseguro valor.

Marcando um enunciado como NLU_match Significa que você concorda com a previsão de NLU para esse enunciado. Marcando um enunciado como Incompatibilidade significa que o enunciado pertence a uma intenção diferente e se você selecionar Incompatibilidade uma lista suspensa de intenções aparece para que você possa selecionar a intenção correta. Se você não tiver certeza de qual intenção está correta, marque-a como Inseguro .

Enunciados marcados e salvos com NLU_match valor ou Incompatibilidade os valores são movidos para Revisões concluídas seção. Enunciados marcados e salvos com Inseguro os valores são movidos para Revisão adicional seção.

Este é um cenário para as etapas básicas que você usa para concluir suas revisões de enunciados:

1. Na parte superior da tela Exportar loop de feedback, selecione um modelo que você deseja revisar no Loop de feedback do especialista para aviso. Dentro desse recurso, de certa forma, não importa qual modelo você escolhe, pois esses modelos servem principalmente para hospedar os enunciados que você está marcando em suas revisões. Neste cenário de exemplo, você decide selecionar Modelo DE TI , que tem cinco intenções e muitos enunciados em cada uma dessas intenções. O número de enunciados que você precisa revisar é mostrado ao lado do nome da intenção prevista, conforme mostrado na imagem a seguir. As intenções nesses modelos são listadas em Intenções previstas na tela. Embora você possa revisar e marcar enunciados em qualquer uma das intenções previstas, é uma ideia melhor concluir as revisões consecutivamente na ordem em que as intenções aparecem pela primeira vez. Por exemplo, comece com ad_password_change e, em seguida, para outras intenções previstas.
2. Clique em ad_password_change para que ele carregue seus enunciados no A fazer seção para sua revisão.
3. Revise os 15 enunciados na intenção. Neste cenário, você começou marcando corretamente Quero mudar minha senha do AD enunciado como uma correspondência com ad_password_change intenção.
4. Clique em Salvar feedback .
   Resultado: O sistema move o enunciado marcado para Concluído da tela. Ao mesmo tempo, a contagem de A fazer enunciados cai de 15 para 14, enquanto a contagem no Concluído a seção sobe de 0 para 1. Se você também marcou outro enunciado com Inseguro e salvou essa mudança, a contagem de enunciados no Revisão adicional a seção também aumentaria de 0 para 1.

   Nota:

   Se você não souber qual intenção corresponde melhor ao enunciado, marque-o com Inseguro valor. Esta ação move o enunciado para Revisão adicional , dando a você tempo para marcar outros enunciados no A fazer seção que pode ser mais fácil de corresponder ou não corresponder a uma intenção. Você sempre pode retornar ao Revisão adicional seção para marcar enunciados que são mais difíceis de fixar em uma intenção específica.
5. Repita as etapas de 1 a 4 ao percorrer as intenções restantes no Intenções previstas coluna.

Figura 1. Marcando enunciados como correspondentes ou incompatíveis com uma intenção do VA

Os enunciados no ad_password_change a intenção é fácil de marcar como uma correspondência com a intenção prevista porque há pelo menos um enunciado na intenção que tem a palavra senha nele.

Quando terminar de revisar os enunciados na intenção prevista e clicar em Salvar feedback , a tela é atualizada para realçar a próxima intenção prevista no modelo.

Se você quiser ver seus enunciados agrupados por seu valor, clique em Mostrando filtre e selecione uma das opções em seu prompt. Os valores são Todos , NLU_match e Inseguro .

Usando a opção de exibição de cartão para revisar seus enunciados

Seus enunciados do loop de feedback do especialista aparecem no A fazer em uma exibição de lista por padrão, como mostrado em muitas das imagens que você viu até agora acima. No entanto, você também pode escolher uma exibição diferente que mostre cada enunciado enquadrado em um cartão. Se você escolher esta opção, cada enunciado aparecerá na página em grupos de cinco. Ainda na exibição de lista, clique em cartão ícone.

Resultado: A exibição de cartão substitui a exibição de lista. Observe as setas para a esquerda e para a direita em ambos os lados da página dos cartões de enunciados. Quando você clica na seta para a direita, ela vira a página para o próximo conjunto de cinco cartões. Quando você clica na seta para a esquerda, ela vira a página para o conjunto anterior de cinco cartões. Se você quiser voltar para a exibição de lista em vez da exibição de cartão, clique em lista ícone conforme mostrado no canto superior direito da imagem abaixo.

Alterando um valor de enunciado

Se você marcar um enunciado, mas mudar de ideia sobre o valor escolhido, poderá resolver o problema clicando em Incompatibilidade e selecionando outra intenção. Clique em Salvar feedback para salvar a mudança.

Feedback não salvo

Se você terminar e sair de uma sessão de marcação de enunciados, mas esquecer de salvar suas mudanças, selecione Mudanças não salvas em Mostrando aviso. Esta ação exibe todos os enunciados para os quais você deu feedback, mas ainda não salvou.

Adquirir dados de feedback de VA adicionais sob demanda

Para obter mais dados dos logs de bate-papo do VA para usar no loop de feedback do especialista, siga as etapas a seguir.

1. Use a função nlu_admin e navegue até Tudo > Definição do Sistema > Trabalhos agendados > Aprendizado ativo.
2. Clique em Aprendizado ativo .

   

3. Clique em Executar Agora.

   

4. Aumente ou defina os valores nos quatro seguintes NLU propriedades do sistema.

• glide.mlpredictor.option.nlu.activeLearning.va_chat_logs.max_row_limit - 3000
• glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_data_size - 10000
• glide.mlpredictor.option.nlu.activeLearning.label_table.max_data_size - 10000
• glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_size-300

Para ver como essas propriedades funcionam no contexto de outro NLU propriedades, consulte Propriedades Workbench de NLU.

Revisando enunciados não categorizados

Como parte do feed dos logs de bate-papo do VA para o loop de feedback do especialista, o sistema coleta e exibe em uma lista todos os enunciados em sua instância que não fazem parte de uma intenção do VA. Para acessar esses enunciados, selecione Sem categoria em Loop de feedback do especialista para prompt na parte superior da tela.

Quando a tela é atualizada, esses enunciados são mostrados em Enunciado coluna do Enunciados não categorizados da tela.

Importante:

É extremamente importante fornecer feedback sobre esse conjunto de enunciados porque o sistema sugere que não há intenção associada a esses enunciados. Ao confirmar essa falta de associação ou associar esses enunciados a uma intenção existente, você está ajudando o modelo a aprender corretamente.

Estas são as etapas que você usa para conectar um enunciado não categorizado a uma intenção:

1. Em Enunciado , selecione um enunciado na lista.
2. Em Intenção corrigida , pesquise e selecione uma intenção e seu modelo no prompt que você acha que é a melhor correspondência para o enunciado.

Por exemplo, um bom emparelhamento para esta conexão é Posso trocar meu ESPP? enunciado do Enunciado e 401kConsulta BeneficaBenefícios intenção do Intenção corrigida , conforme mostrado na imagem abaixo.

Nota:

. Intenção corrigida a coluna permite que você pesquise e use todas as intenções em todos os modelos em sua instância.

Figura 2. Emparelhamento de um enunciado não categorizado com uma intenção e seu modelo

Em relação à imagem acima, vamos abordar alguns itens que ajudam a descrever como a página de enunciados não categorizados funciona, como a seguir. . A fazer a seção coleta enunciados que devem ser conectados a uma intenção. Neste dia em particular, vemos que há 120 tais enunciados. Observe que Concluído a seção na tela não tem enunciados porque você ainda não realizou nenhuma ação.

Observe também que há uma barra vertical à extrema direita da tela, onde você pode rolar para cima e para baixo para navegar pela lista de enunciados. Na parte inferior desta tela de rolagem, há setas que apontam para a esquerda e para a direita para que você possa ir para a página seguinte ou anterior da lista de enunciados completa do dia.

Observe também que, quando você executa uma ação para fazer uma conexão, o Salvar feedback o botão, normalmente ativo por padrão, é desativado porque o sistema reconhece sua ação e salva automaticamente sua mudança.

Dados do loop de feedback do especialista na fase Ajustar modelo

. Modelo de ajuste O botão no loop de feedback do especialista está sempre habilitado e oferece suporte à experiência de mover enunciados do loop de feedback do especialista Concluído para o modelo e seu conjunto de testes. Use a função nlu_admin para clicar neste botão sempre que precisar ajustar ou ajustar novamente seu modelo.

Depois de revisar enunciados no loop de feedback do especialista, você pode enviar por push uma parte dos dados de feedback para o conjunto de testes padrão do seu modelo. Esses enunciados são adicionados diretamente ao Enunciados de teste do seu modelo. Isso ajuda você a manter e atualizar continuamente seu conjunto de testes com enunciados reais do usuário final. O sistema rastreia a origem dos enunciados de teste para visibilidade de se eles vieram do loop de feedback do especialista ou de outra origem.

Se você clicar em Modelo de ajuste botão antes de marcar e salvar pelo menos 100 enunciados, a tela será atualizada para lembrá-lo de que o desempenho do modelo aumenta em qualidade quando você passa pelo objetivo de feedback de 100 enunciados, conforme referenciado no texto na imagem abaixo.

Ao marcar e salvar seus dados de feedback, você pode ver a proporção de enunciados revisados (em verde) e aqueles que ainda estão disponíveis para revisão (em branco) na imagem da barra de andamento abaixo.

Em Ajuste seu modelo na imagem abaixo, você pode ver a divisão percentual padrão de 60/40 para o seu conjunto de treinamento de modelo e seu conjunto de testes de modelo. Se necessário, você pode ajustar esses valores padrão selecionando seus próprios números escolhidos em cada um dos dois (%) caixas. Quando estiver satisfeito com sua divisão percentual, clique em Ajuste botão para ajustar seu modelo com base nos valores percentuais escolhidos.

Nota:

Se você clicar em Exibir feedback cursor, ele leva você para uma tela Ciclo de feedback do especialista, onde você pode continuar revisando, marcando e salvando seus enunciados de feedback.

Usando o trabalho de aprendizado ativo

Trabalhos agendados, também conhecidos como trabalhos em lote ou programação em lote, são trabalhos automatizados que são executados em um horário específico ou em uma programação recorrente. Muitos trabalhos são executados em cronogramas, mas agora estamos nos concentrando no trabalho de aprendizado ativo como exemplo.

Aqui estão três coisas que você pode fazer ao usar o trabalho de aprendizado ativo.

• Altere o intervalo de frequência de repetição com o qual o trabalho de aprendizado ativo será definido para execução.
• Verifique quando a próxima execução programada é definida para o trabalho de aprendizado ativo.
• Execute o trabalho de aprendizado ativo sempre que quiser (sob demanda).

Aqui estão algumas etapas a serem usadas para começar.

1. Usando a função nlu_admin, navegue até Todos campo e tipo sysauto_script.list e, em seguida, pressione retornar no teclado. A tela é atualizada para mostrar a página Programação, que lista todos os trabalhos agendados.
   
   
2. Na página Programação, clique em Aprendizado ativo . Um registro para o trabalho de aprendizado ativo é exibido, conforme mostrado na imagem abaixo.
   
   
3. No registro de aprendizado ativo, configure os seguintes campos.
   • Em Executar , selecione uma das oito opções de Intervalo de repetição para o trabalho. As opções são: Diariamente , Semanalmente , Mensal , Periodicamente , Um , Sob demanda , Calendário comercial: Início da entrada e Calendário comercial: Término da entrada .
   • Em Intervalo de repetição Insira o número de dias que você deseja entre agora e o próximo intervalo de repetição para o trabalho de aprendizado ativo.
   • Em Iniciando , clique no ícone Calendário e escolha o dia e a hora para o próximo intervalo de trabalho de aprendizado ativo.
   • Clique em Atualização para salvar suas configurações ou clique em Executar agora Botão para iniciar a execução do trabalho de aprendizado ativo.
   • Para verificar quando o próximo trabalho de aprendizado ativo é executado, navegue até Todos campo e tipo sys_trigger.list e, em seguida, pressione retornar no teclado. A página Programação é exibida. Clique em Aprendizado ativo . O registro Item de programação/aprendizado ativo aparece e preenche Próxima ação Campo com a data e a hora da próxima execução do trabalho de aprendizado ativo.
     
     

Informações detalhadas sobre NLU O trabalho de aprendizado ativo de pode ser encontrado neste artigo da base de conhecimento no Portal de suporte: KB1633901 .