Análise de conflitos entre modelos
Identifique intenções conflitantes nos modelos ou entre eles para que você possa realizar ações corretivas, resolver esses conflitos e melhorar o desempenho do modelo NLU.
Resumo de uso
Conforme o número de intenções em um modelo aumenta, duas intenções podem se sobrepor no escopo. Isso pode ocorrer quando os enunciados de treinamento em uma intenção são quase idênticos aos enunciados em outra intenção. Também pode haver intenções conflitantes entre modelos e até mesmo aplicações.
Os enunciados também podem ser marcados como Não relevante, o que significa que nenhuma intenção deve ser prevista. Quando esses enunciados irrelevantes são muito semelhantes aos enunciados atribuídos a uma intenção, eles são exibidos na Análise de conflitos. Para obter mais informações, consulte Detecção de irrelevância no NLU.
Para abordar e corrigir esses problemas, a Análise de conflitos entre modelos executa uma análise em seus modelos. Use a análise para identificar e resolver esses problemas antes da publicação e implantação do modelo.
Instalação
A Análise de conflitos entre modelos faz parte do aplicativo Workbench de NLU - Recursos avançados disponível no ServiceNow® Store.
Para usar a Análise de conflitos entre modelos, certifique-se de que o plug-in Workbench de NLU - Recursos avançados (com.snc.nlu.workbench.advanced) esteja ativo em sua instância. Para obter mais informações, consulte Instalar Workbench de NLU - Recursos avançados e Ativação do Workbench de NLU.
Funções
Para acessar a Análise de conflitos entre modelos, use a função nlu_admin ou admin. Quando atribuído a um modelo, o nlu_editor pode resolver conflitos nesse modelo.
Como executar a análise
A tela Análise de conflitos mostra uma exibição de lista de todas as revisões de conflitos criadas em sua instância. Quando uma revisão é concluída, ela é adicionada a uma lista em execução de revisões. Neste cenário de exemplo, você está criando a primeira revisão em sua instância. Portanto, quando ela for concluída, ela será mostrada na contagem como 1 de 1 revisões. Conforme mais conflitos surgirem ao longo do tempo, você verá várias revisões na lista.
As revisões de conflitos são analisadas em um ou dois modelos NLU. Quando você executa uma análise em um único modelo, o sistema mostra intenções e enunciados que estão somente nesse modelo. Quando você executa uma análise em dois modelos, o sistema mostra intenções e enunciados que estão em ambos os modelos.
As revisões de conflitos sempre são executadas na última versão treinada do(s) modelo(s) que analisam.
As revisões de conflitos têm dois tipos: Críticas e Moderadas. A abordagem padrão é começar com os críticos.
- Ignorar o conflito
- Excluir um enunciado idêntico ou quase idêntico de uma das intenções
- Edite os enunciados para torná-los mais distintos entre si
Neste cenário de exemplo, você está resolvendo um conflito em que duas intenções diferentes contêm exatamente o mesmo enunciado.
1. Navegue até .
2. Selecione Executar análise.
3. No campo Modelo(s) da tela Escolha um ou dois modelos para analisar conflitos, selecione dois NLU modelos para a análise. Neste cenário de exemplo, você escolhe os modelos demo_hardware_issue e demo_it_request.
4. Selecione Executar análise.
A tela Revisão de conflitos é atualizada para mostrar a análise, incluindo os dois modelos selecionados para análise, as contagens de conflitos críticos e moderados em revisão, o número de revisões que foram concluídas e a data de execução da análise. Se você apontar para a coluna à extrema direita na tela, verá opções para executar novamente a análise ou excluí-la e começar tudo de novo.
5. Na coluna Modelo(s), selecione os dois modelos emparelhados para que você possa fazer uma busca detalhada na revisão.
A tela é atualizada para mostrar os detalhes da análise de conflitos. Observe o resumo dos dois modelos que você escolheu para a análise, as datas de treinamento mais recentes, os tipos de conflitos que eles contêm e o carimbo de data/hora da versão da análise. Observe também a contagem 0 de 1, que indica que esta é a primeira análise de conflitos criada nesta instância. Conforme o sistema detecta mais conflitos ao longo do tempo e esses conflitos são revisados, a contagem aumenta.
Se você determinar que os enunciados na imagem abaixo estão corretos como estão, clique em Ignorar. Clicar em Ignorar informa ao sistema que você concluiu sua revisão, para que ele a marque como revisada e passe para a próxima revisão de conflitos. No entanto, neste cenário, você não ignora o conflito, porque as intenções que compartilham o mesmo enunciado são um conflito que vale a pena revisar.
Para determinar como você resolverá este conflito, considere os dois nomes de intenção e os enunciados idênticos que eles compartilham. Considere qual intenção tem mais probabilidade de usar o laptop é um enunciado muito lento. Se você comparar os dois nomes de intenção com atenção, poderá perceber que um laptop muito lento não é o mesmo que um laptop que não funciona. No entanto, um laptop muito lento é realmente um problema de laptop. Portanto, neste cenário de exemplo, você decide se aprofundar nas intenções para verificar o contexto de seus outros enunciados.
Observe também que quando uma intenção usa enunciados exclusivos, isso ajuda o sistema a prever com mais precisão quais enunciados pertencem a ela. Portanto, você precisará editar ou excluir o enunciado de uma das duas intenções. Neste cenário de exemplo, você decide se aprofundar na intenção #laptop_not_work.
6. Selecione laptop_not_work.
A tela Intenção #laptop_not_work é exibida, mostrando seus 3 enunciados atuais. Você decide excluir o laptop é um enunciado muito lento da intenção #laptop_not_work.
7. Clique no ícone de lixeira Excluir este enunciado.
A tela Confirmar exclusão é exibida.
8. Selecione Excluir.
A tela Confirmar exclusão desaparece e a contagem de Enunciados cai de 3 para 2 porque você excluiu o laptop é um enunciado muito lento da intenção.
9. Selecione Treinar.
Uma faixa aparece na tela Intenção, confirmando que o modelo foi treinado com sucesso.
10. Selecione Análise de conflitos no navegador.
Resultado:
A tela da lista Análise de conflitos é exibida, mostrando que sua análise de análise de conflitos está concluída e que foi revisada.