Detecção de irrelevância no NLU

Mantenha o foco nos Virtual Agent bate-papos com a detecção de irrelevância. Use o recurso de detecção de irrelevância para treinar seu modelo NLU para evitar fazer previsões de enunciados que não são relevantes.

Informações de resumo

O recurso de detecção de irrelevância melhora a precisão da previsão dos modelos NLU, treinando-os para ignorar determinados enunciados. Esses enunciados de seus usuários podem não se aplicar a nenhuma intenção, portanto, não devem obter nenhuma previsão.

Para garantir que os modelos não prevejam uma intenção quando não deveriam, você pode marcar enunciados como Não relevantes. Esses enunciados marcados são incluídos como parte do treinamento do modelo. Quando o modelo publicado encontra enunciados semelhantes de seus usuários, nenhuma intenção é correspondida ou prevista.

A tabela de detecção de irrelevância é onde você pode gerenciar enunciados marcados como Não relevante.

Funções, uso e navegação

Use a função nlu_admin ou admin para acessar a detecção de irrelevância. A função nlu_editor também pode acessar a Detecção de irrelevância, mas deve ser atribuída a um modelo para editar o conteúdo desse modelo.

A detecção de irrelevância está disponível somente para modelos Virtual Agent.

1. Navegar até Todos > Workbench de NLU > Modelos. A guia Virtual Agent é aberta por padrão.
2. Role para baixo na lista de modelos Virtual Agent até a seção Aumente o desempenho do seu modelo.
3. Role horizontalmente para localizar o cartão Manter os bate-papos em focoe selecione o botão Ir para detecção de irrelevância.

Nota:

O URL da instância deste recurso é<instance-name> .servicenow.com/now/nlu-workbench/irrelevante-utterances.

Como adicionar enunciados à detecção de irrelevância

Existem vários métodos para adicionar enunciados à detecção de irrelevância:

• O log de bate-papo Virtual Agent : no Ciclo de feedback de especialista em Workbench de NLU, ao revisar um enunciado coletado do log de bate-papo Virtual Agent, você pode marcá-lo como Não relevante. O sistema perguntará se deve ser irrelevante para um modelo específico ou para todos os modelos. Depois de adicionar, esses enunciados podem ser exibidos como NO_INTENT no Ciclo de feedback de especialista.

  Para obter mais informações sobre o Ciclo de feedback de especialista em NLU, consulte NLU Ciclo de feedback de especialista.

  Esses enunciados têm uma origem de logs de bate-papo do VA na tabela de detecção de irrelevância.

• Entrada manual: em Detecção de irrelevância, digite seu enunciado no campo Digite enunciados aqui e selecione Adicionar. O sistema perguntará se deve ser irrelevante para um modelo específico ou para todos os modelos.

  Esses enunciados têm uma Origem de Manual na tabela de detecção de irrelevância.

• Importação: ao usar um arquivo CSV ou XLSX (Livro do Excel) para importar enunciados de treinamento e suas intenções, você pode indicar enunciados irrelevantes deixando a coluna Intenção em branco. Esses enunciados podem ser exibidos como NO_INTENT em áreas como Ciclo de feedback de especialista e Revisão de conflitos.

  Para obter mais informações sobre como importar enunciados e intenções, consulte Criar um modelo NLU a partir de um arquivo CSV.

  Esses enunciados têm uma Origem de Manual na tabela de detecção de irrelevância.

Comportamento de enunciados irrelevantes

Existem dois tipos de enunciados irrelevantes: aqueles associados a um modelo específico ou aqueles irrelevantes a qualquer modelo. Um modelo pode ter no máximo 200 enunciados irrelevantes associados a ele.

A seguir estão os detalhes de como esses dois tipos e o máximo de 200 contagens interagem.

Quando um modelo é enviado para treinamento, no máximo 200 enunciados irrelevantes são enviados com ele. Primeiro, enunciados irrelevantes diretamente associados a esse modelo são enviados. Em seguida, os enunciados designados como não relevantes para nenhum modelo são enviados. O total desses tipos não excede 200.

Se um modelo tiver 200 enunciados irrelevantes associados a ele e um novo enunciado irrelevante for adicionado, o enunciado mais antigo do modelo será descartado. O novo enunciado irrelevante pode ser de qualquer tipo (não relevante para o modelo específico ou não relevante para nenhum modelo).

Um modelo não pode ter mais enunciados irrelevantes do que enunciados de treinamento normais.

Análise de conflitos

Se um enunciado for marcado como irrelevante e houver um enunciado semelhante em uma intenção, o modelo não fará uma previsão para esse enunciado. Em outras palavras, enunciados irrelevantes têm precedência sobre enunciados de treinamento.

Como os enunciados irrelevantes afetam as previsões do modelo, eles são exibidos como conflitos quando se sobrepõem aos enunciados de treinamento.

Existem dois locais onde os conflitos com enunciados irrelevantes são realçados:

• O módulo Análise de conflitos entre modelos. Para obter mais informações sobre este módulo, consulte Análise de conflitos entre modelos.
  Nota:

  O módulo Análise de conflitos entre modelos está disponível com a aplicação Workbench de NLU - Recursos avançados de ServiceNow® Store. Para obter mais informações, consulte Recursos avançados do workbench de NLU.
• A guia Conflitos de uma intenção. Para obter mais informações sobre conflitos em uma intenção, consulte Resolver problemas de intenção.

Para fins de revisão de conflitos, os enunciados irrelevantes são exibidos como se estivessem em sua própria intenção, chamada NO_INTENT.

Observe que enunciados irrelevantes não podem ser editados ou excluídos na página de conflito. Copie o enunciado irrelevante da página de conflito para a página de detecção de irrelevância para modificar ou excluir o enunciado.

Mais informações

• Em conjuntos de testes, tente incluir cerca de 10% dos enunciados de teste como irrelevantes. Isso ajuda a avaliar como seu modelo lida com enunciados que não devem ter uma intenção prevista. Ao importar enunciados de treinamento ou de teste de um arquivo CSV ou XLSX (livro do Excel), você pode indicar que um enunciado é irrelevante deixando a coluna Intenção em branco.
• Ao testar modelos em relação a conjuntos de testes, os resultados serão considerados corretos se nenhuma intenção for prevista para um enunciado irrelevante.
• Os enunciados marcados como Não relevantes podem ser reatribuídos posteriormente. Por exemplo, se uma nova intenção for criada, os enunciados irrelevantes existentes poderão ser atribuídos manualmente à nova intenção. Em seguida, eles se tornam parte dos enunciados de treinamento normais.

  Para reatribuir um enunciado na detecção de irrelevância, expanda a lista na coluna Intenção corrigida e selecione a intenção apropriada. Certifique-se de selecionar o botão Salvar feedback após a reatribuição. Certifique-se também de retreinar o modelo para incorporar essas atualizações a ele.

• Enunciados irrelevantes não estão associados a intenções específicas em um modelo. Eles estão associados a um modelo ou marcados como não relevantes para nenhum modelo.
• Os enunciados marcados como não relevantes para nenhum modelo são enviados como parte dos dados de treinamento de cada modelo. Em outras palavras, eles se aplicam a todos os modelos.
• O treinamento do modelo é necessário para incorporar enunciados não relevantes. O treinamento de qualquer modelo adiciona enunciados recém-marcados a todos os modelos.
• Os enunciados podem ser excluídos ou editados na tabela de detecção de irrelevância.
• Os enunciados irrelevantes devem ter um conteúdo diferente dos enunciados associados a uma intenção.