Análise de conflitos entre modelos

Identifique intenções conflitantes dentro ou entre modelos para que você possa tomar ações corretivas, resolver esses conflitos e melhorar seu NLU desempenho do modelo.

Uso resumido

Conforme o número de intenções em um modelo aumenta, duas intenções podem se sobrepor no escopo. Isso pode ocorrer quando enunciados de treinamento em uma intenção são quase idênticos aos enunciados em outra intenção. Também pode haver intenções conflitantes entre modelos e até mesmo aplicações.

Enunciados também podem ser marcados como Não relevante , o que significa que nenhuma intenção deve ser prevista. Quando esses enunciados irrelevantes são muito semelhantes aos enunciados atribuídos a uma intenção, eles são exibidos na Revisão de conflitos. Para obter mais informações, consulte Detecção de irrelevância no NLU.

Para resolver e corrigir esses problemas, a Revisão de conflitos entre modelos executa uma análise em seus modelos. Use a análise para identificar e resolver esses problemas antes da publicação e implantação do modelo.

Instalação

A Revisão de conflitos entre modelos faz parte do aplicativo Workbench de NLU - Recursos avançados disponível no ServiceNow® Store.

Para usar a Revisão de conflitos entre modelos, certifique-se de que Workbench de NLU- O plug-in Recursos avançados (com.snc.nlu.workbench.advanced) está ativo em sua instância. Para obter mais informações, consulte Instalar NLU Workbench - Recursos avançados e. Ative o Workbench de NLU .

Funções

Para acessar a Revisão de conflitos entre modelos, use a função nlu_admin ou admin. Quando atribuído a um modelo, o nlu_editor pode resolver conflitos nesse modelo.

Executando a análise

A tela Revisão de conflitos mostra uma exibição de lista de todas as revisões de conflito criadas em sua instância. Quando uma revisão é concluída, ela é adicionada a uma lista em execução de revisões. Neste cenário de exemplo, você está criando a primeira revisão em sua instância, portanto, quando ela for concluída, ela será mostrada na contagem como 1 de 1 revisões. À medida que mais conflitos surgem ao longo do tempo, você verá várias revisões na lista.

As revisões de conflito são analisadas em uma ou duas NLU modelos. Quando você executa uma análise em um único modelo, o sistema mostra intenções e enunciados que estão somente nesse modelo. Quando você executa uma análise em 2 modelos, o sistema mostra intenções e enunciados que estão em ambos os modelos.

As revisões de conflitos sempre são executadas na última versão treinada dos modelos que analisam.

As revisões de conflito têm dois tipos: Crítico e. Moderado . A abordagem padrão é começar com as críticas.

Quando um conflito é detectado, você pode usar uma das seguintes ações para resolver o conflito:

• Ignore o conflito
• Exclua um enunciado idêntico ou quase idêntico de uma das intenções
• Edite os enunciados para torná-los mais distintos uns dos outros

Neste cenário de exemplo, você está resolvendo um conflito em que duas intenções diferentes contêm exatamente o mesmo enunciado.

1. Navegue até Tudo > Workbench de NLU > Recursos avançados de NLU > Análise de conflitos entre modelos.

2. Selecione Executar análise .

. Em 3 Modelo(s) . Escolha um ou dois modelos para analisar conflitos , selecione dois NLU modelos para a análise. Neste cenário de exemplo, você escolhe demo_hardware_issue e. demo_it_request modelos.

4. Selecione Executar Análise .

Figura 1. Executando análise de conflito

A tela Revisão de conflitos é atualizada para mostrar a análise, incluindo os dois modelos selecionados para análise, as contagens de conflitos críticos e moderados em revisão, o número de revisões concluídas e a data de execução da análise. Se você apontar para a coluna extrema direita na tela, verá opções para executar novamente a análise ou excluí-la e começar tudo novamente.

. Em 5 Modelo(s) , selecione seus dois modelos emparelhados para que você possa detalhar a revisão.

Figura 2. Revisão de conflito

A tela é atualizada para mostrar os detalhes da revisão de conflito. Observe o resumo dos dois modelos escolhidos para a análise, suas datas de treinamento mais recentes, os tipos de conflitos que eles contêm e o carimbo de data/hora da versão da análise. Observe também o. 0 de 1 contagem, que indica que esta é a primeira revisão de conflito criada nesta instância. À medida que o sistema detecta mais conflitos ao longo do tempo e esses conflitos são revisados, a contagem aumenta.

Se você determinar que os enunciados na imagem abaixo estão bem como estão, clique em Ignorar . Clicar em Ignorar informa ao sistema que você concluiu sua revisão, portanto, marca-a como revisada e passa para a próxima revisão de conflito. Nesse cenário, você não ignora o conflito, porque intenções que compartilham o mesmo enunciado são um conflito que merece revisão.

Figura 3. Revisando detalhes do conflito

Para determinar como você resolverá esse conflito, considere os 2 nomes de intenção e os enunciados idênticos que eles compartilham. Considere qual intenção tem mais probabilidade de usar laptop é muito lento enunciado. Se você comparar os 2 nomes de intenção de perto, você pode perceber que um laptop que é muito lento não é o mesmo que um laptop que não funciona. No entanto, um laptop que é muito lento é realmente um problema de laptop. Neste cenário de exemplo, você decide se aprofundar nas intenções de verificar o contexto de outros enunciados.

Observe também que quando uma intenção usa enunciados exclusivos, ela ajuda o sistema a prever com mais precisão quais enunciados pertencem a ela. Portanto, você precisará editar ou excluir o enunciado de 1 das 2 intenções. Neste cenário de exemplo, você decide se aprofundar em laptop_not_working intenção.

6. Selecione laptop_not_working .

Figura 4. Revisando enunciados sobrepostos

. laptop_not_working A tela de intenção é exibida, mostrando seus 3 enunciados atuais. Você toma a decisão de excluir o. laptop é muito lento enunciado do laptop_not_working intenção.

Figura 5. Revisando o enunciado de destino

7. Clique em Exclua este enunciado ícone de lixeira.

Figura 6. Resolvendo conflitos

A tela Confirmar exclusão é exibida.

8. Selecione Excluir .

Figura 7. Excluindo conflitos

A tela Confirmar exclusão desaparece e a contagem de enunciados cai de 3 para 2 porque você excluiu o. laptop é muito lento enunciado da intenção.

Figura 8. Confirmação de exclusão de um enunciado

9. Selecione Treinar .

Uma faixa aparece na tela de intenção, confirmando que o modelo foi treinado com sucesso.

10. Selecione Revisão de Conflitos no navegador.

Figura 9. Confirmação de treinamento bem-sucedido de um modelo

Resultado:

. Revisão de Conflitos a tela de lista é exibida, mostrando que sua análise de revisão de conflito foi concluída e que foi revisada.

Figura 10. Confirmação de que um conflito foi revisado