Detecção de irrelevância no NLU

Manter Virtual Agent Bate-papos focados com detecção de irrelevância. Use o recurso de detecção de irrelevância para treinar seu NLU modelo para evitar fazer previsões para enunciados que não são relevantes.

Informações resumidas

O recurso de detecção de irrelevância melhora a precisão da previsão de NLU treinando-os para ignorar determinados enunciados. Esses enunciados de seus usuários podem não se aplicar a nenhuma intenção, portanto, não deve obter nenhuma previsão.

Para garantir que os modelos não prevejam uma intenção quando não devem prever, você pode marcar enunciados como Não relevante . Esses enunciados marcados são incluídos como parte do treinamento do modelo. Quando o modelo publicado encontra enunciados semelhantes de seus usuários, nenhuma intenção é correspondida ou prevista.

A tabela de detecção de irrelevância é onde você pode gerenciar enunciados marcados como Não relevante .

Funções, Uso e Navegação

Use nlu_admin ou administrador Função para acessar a detecção de irrelevância. . nlu_editor A função também pode acessar a detecção de irrelevância, mas deve ser atribuída a um modelo para editar o conteúdo desse modelo.

A detecção de irrelevância está disponível para Virtual Agent modelos somente.

1. Navegar até Tudo > Workbench de NLU > Modelos. . Virtual Agent a guia é aberta por padrão.
2. Role para baixo a lista de Virtual Agent modelos para Aumente o desempenho do seu modelo seção.
3. Role horizontalmente para localizar o cartão Mantenha os bate-papos focados e selecione o botão Vá para detecção de irrelevância .

Nota:

O URL da instância deste recurso é o <instance-name>.servicenow.com/now/nlu-workbench/irrelevant-utterances.

Adição de enunciados à detecção de irrelevância

Existem vários métodos para adicionar enunciados ao Detecção de irrelevância :

• . Virtual Agent Log de bate-papo: No loop de feedback do especialista em Workbench de NLU, quando você revisa um enunciado coletado do Virtual Agent log de bate-papo, você pode marcá-lo como Não relevante . O sistema perguntará se deve ser irrelevante para um modelo específico ou para todos os modelos. Esses enunciados podem ser exibidos como NO_INTENT Loop de feedback do especialista.

  Para obter mais informações sobre loop de feedback do especialista em NLU, consulte NLU Loop de feedback do especialista.

  Esses enunciados têm uma Origem de Logs de bate-papo do VA Na tabela de detecção de irrelevância.

• Entrada manual: Na detecção de irrelevância, digite seu enunciado em Digite enunciados aqui e selecione Adicionar . O sistema perguntará se deve ser irrelevante para um modelo específico ou para todos os modelos.

  Esses enunciados têm uma Origem de Manual Na tabela de detecção de irrelevância.

• Importação: Ao usar um arquivo CSV ou XLSX (Excel Workbook) para importar enunciados de treinamento e suas intenções, você pode indicar enunciados irrelevantes deixando a coluna Intenção vazia. Esses enunciados podem ser exibidos como NO_INTENT Em áreas como Ciclo de feedback do especialista e Revisão de conflitos.

  Para obter mais informações sobre como importar enunciados e intenções, consulte Crie um NLU Modelo de um arquivo CSV.

  Esses enunciados têm uma Origem de Manual Na tabela de detecção de irrelevância.

Comportamento de enunciados irrelevantes

Há dois tipos de enunciados irrelevantes: Aqueles associados a um modelo específico ou aqueles irrelevantes a qualquer modelo. Um modelo pode ter no máximo 200 enunciados irrelevantes associados a ele.

A seguir estão os detalhes de como esses dois tipos e o máximo de 200 contagens interagem.

Quando um modelo é enviado para treinamento, no máximo 200 enunciados irrelevantes são enviados com ele. Em primeiro lugar, enunciados irrelevantes diretamente associados a esse modelo são enviados. Em seguida, enunciados designados como não relevantes para nenhum modelo são enviados. O total desses tipos não excede 200.

Se um modelo tiver 200 enunciados irrelevantes associados a ele e um novo enunciado irrelevante for adicionado, o enunciado mais antigo do modelo será descartado. O novo enunciado irrelevante pode ser de qualquer tipo (não relevante para o modelo específico ou não relevante para nenhum modelo).

Um modelo não pode ter mais enunciados irrelevantes do que enunciados de treinamento normais.

Revisão de conflito

Se um enunciado for marcado como irrelevante e houver um enunciado semelhante em uma intenção, o modelo não fará uma previsão para esse enunciado. Em outras palavras, enunciados irrelevantes têm precedência sobre enunciados de treinamento.

Como enunciados irrelevantes afetam as previsões do modelo, eles são exibidos como conflitos quando se sobrepõem aos enunciados de treinamento.

Há dois locais em que os conflitos com enunciados irrelevantes são realçados:

• O módulo Revisão de conflitos entre modelos. Para obter mais informações sobre este módulo, consulte Análise de conflitos entre modelos.
  Nota:

  O módulo Revisão de conflitos entre modelos está disponível com o. Workbench de NLU- Aplicação de recursos avançados de ServiceNow® Store. Para obter mais informações, consulte NLU Workbench - Recursos avançados.
• Guia Conflitos de uma intenção. Para obter mais informações sobre conflitos em uma intenção, consulte Resolver problemas de intenção.

Para revisar conflitos, enunciados irrelevantes são exibidos como se estivessem em sua própria intenção, nomeados NO_INTENT .

Enunciados irrelevantes não podem ser editados ou excluídos na página Conflito. Copie o enunciado irrelevante da página Conflito para a página de detecção de irrelevância para modificar ou excluir o enunciado.

Mais informações

• Em conjuntos de testes, procure incluir cerca de 10% dos enunciados de teste como irrelevantes. Isso ajuda a avaliar como seu modelo lida com enunciados que não devem ter uma intenção prevista. Ao importar enunciados de treinamento ou teste de um arquivo CSV ou XLSX (Excel Workbook), você pode indicar que um enunciado é irrelevante deixando a coluna Intenção vazia.
• Ao testar modelos em relação a conjuntos de testes, os resultados são considerados Correto se nenhuma intenção for prevista para um enunciado irrelevante.
• Enunciados marcados como Não relevante pode ser reatribuído posteriormente. Por exemplo, se uma nova intenção for criada, enunciados irrelevantes existentes poderão ser atribuídos manualmente à nova intenção. Eles então se tornam parte dos enunciados normais de treinamento.

  Para reatribuir um enunciado na detecção de irrelevância, expanda a lista em Intenção corrigida e selecione a intenção apropriada. Certifique-se de selecionar Salvar feedback botão após a reatribuição. Não se esqueça de treinar novamente o modelo para incorporar essas atualizações ao modelo.

• Enunciados irrelevantes não são associados a intenções específicas em um modelo. Eles estão associados a um modelo ou marcados como não relevantes para nenhum modelo.
• Os enunciados marcados como não relevantes para nenhum modelo são enviados como parte dos dados de treinamento de cada modelo. Em outras palavras, elas se aplicam a todos os modelos.
• O treinamento do modelo é necessário incorporar Não relevante enunciados. Treinar qualquer modelo adiciona enunciados recém marcados a todos os modelos.
• Enunciados podem ser excluídos ou editados na tabela de detecção de irrelevância.
• Enunciados irrelevantes devem ter conteúdo diferente dos enunciados associados a uma intenção.