Criação e gestão de conjunto de testes

Use o conjunto de testes padrão do seu modelo NLU para testar o desempenho e a precisão do modelo. Gerencie seu conjunto de testes ao longo do tempo criando ou atualizando seu conteúdo no Workbench de NLU.

Nota:

Para testar seu modelo, instale a aplicação [ ServiceNow® StoreWorkbench de NLU - Recursos avançados. Para obter mais informações, consulte Instalar recursos avançados do Workbench de NLU.

Quando você cria um modelo [ NLU para Virtual Agent ou Pesquisa com IA, um conjunto de testes padrão é criado e associado ao modelo. Você pode usar o conjunto de testes padrão para avaliar o desempenho do modelo. Inicialmente, o conjunto de testes está vazio, pronto para ser preenchido com seu conteúdo.

Acesse seu conjunto de testes padrão

Acesse seu conjunto de testes padrão com um dos métodos a seguir.

• Navegar até Todos > NLU Workbench > Modelos. Selecione a guia da aplicação do seu modelo e o nome do seu modelo na lista. Na página de visão geral do modelo, localize o cartão Criar e Treinar seu modelo e selecione o botão Exibir fase. Em seguida, selecione a guia Conjunto de testes.
• Navegar até Todos > NLU Workbench > Modelos. Selecione a guia da aplicação do seu modelo e o nome do seu modelo na lista. Na página de visão geral do modelo, selecione o bloco Cobertura de teste.
• Navegar até Todos > Teste em lote para vários modelos > Conjuntos de testes guia. Encontre o nome do seu modelo. Os conjuntos de testes padrão são rotulados como Padrão.

Adicionar conteúdo ao seu conjunto de testes padrão

Adicione enunciados e as intenções esperadas para criar e gerenciar seu conjunto de testes ao longo do tempo. Você pode adicionar conteúdo ao conjunto de testes padrão com os seguintes métodos:

• Adicione enunciados de teste e suas intenções esperadas manualmente. Na página de visão geral do modelo, navegue até Criar e treinar seu modelo > Conjunto de testes guia. Digite sua entrada no campo Digite um enunciado de teste aqui, selecione uma intenção apropriada e selecione o botão Adicionar.

  Esses enunciados de teste são atribuídos a uma origem Manual.

• Importe enunciados de teste e as intenções esperadas de um arquivo CSV ou de outros modelos. Para importar conteúdo para um conjunto de testes padrão, na página de visão geral do modelo, navegue até Criar e treinar seu modelo > Conjunto de testes guia. Selecione Importar enunciados de teste.

  Os enunciados de teste importados são atribuídos a uma origem Manual.

• O recurso Ciclo de feedback de especialista permite adicionar enunciados reais do usuário de Virtual Agent logs de bate-papo ao conjunto de testes.

  Esses enunciados de teste são atribuídos a uma origem de feedback de especialista. Para obter mais informações, consulte NLU Ciclo de feedback de especialista.

Cobertura de teste

A pontuação de cobertura de teste é a porcentagem das intenções habilitadas de um modelo que têm enunciados de teste no conjunto de testes padrão. Antes de testar seu modelo, verifique se há pelo menos 60% de cobertura. Quanto maior a pontuação de cobertura de teste, mais precisos serão os resultados do teste de desempenho.

A cobertura de teste precisa ser de pelo menos 60%, com pelo menos 5 enunciados de teste por intenção, para que o sistema forneça um limite de confiança ideal durante o teste em lote. Para obter mais informações sobre o limite de confiança, consulte Configurações do modelo de NLU.

Procure ter cerca de 10% dos enunciados de teste de um modelo marcados como "não relevantes", o que significa que não há nenhuma intenção associada. Isso ajuda a avaliar como o modelo lida com enunciados irrelevantes que não devem ter nenhuma intenção prevista. Para obter mais informações sobre enunciados irrelevantes, consulte Detecção de irrelevância no NLU.

Usar o conjunto de testes

Para usar o conjunto de testes padrão da fase Testar e publicar seu modelo, consulte Teste e publique seu modelo.

Para usar o conjunto de testes em Teste em lote para vários modelos, consulte Teste em lote para vários modelos.

Características dos conjuntos de testes padrão

Quando uma instância é atualizada, os conjuntos de testes padrão são criados para todos os modelos existentes que ainda não os tenham.

Quando você copia um modelo usando Duplicar este modelo, o conjunto de testes padrão do original é copiado para o novo modelo. Para obter mais informações, consulte Duplicar um modelo de NLU.

Os enunciados no conjunto de testes não devem ser iguais aos enunciados no conjunto de treinamento.

Os conjuntos de testes padrão não podem ser excluídos separadamente de seus modelos.

Os enunciados do conjunto de testes devem estar no mesmo idioma do modelo.

Os conjuntos de testes estão disponíveis para os modelos Virtual Agent ou Pesquisa com IA.

Baixando ou movendo conjuntos de testes padrão

Os conjuntos de testes padrão podem ser baixados ou movidos da seguinte forma.

• Os conjuntos de testes padrão podem ser baixados separadamente no formato CSV. Para baixar o conjunto de testes, na página de visão geral do modelo, navegue até Criar e treinar seu modelo > Conjunto de testes guia. Selecione Baixar conjunto de testes.
  Nota:

  Os conjuntos de testes que são baixados de Baixar conjunto de testes contêm enunciados de teste e suas intenções esperadas, mas não as origens.
• Os conjuntos de testes padrão podem ser movidos com conjuntos para atualização. Quando você adiciona um modelo NLU a um conjunto de atualizações, seu conjunto de testes padrão é adicionado, incluindo enunciados de teste, intenções esperadas e origens. Para obter mais informações, consulte Adicionar um modelo de NLU a um conjunto de atualizações.
• Ao usar a função Exportar modelo como CSV na tabela Todos os modelos existentes, o conjunto de testes padrão não é incluído. Para obter mais informações, consulte Exportar um modelo de NLU.