Criação e gestão do conjunto de testes

Use o conjunto de testes padrão do seu NLU modelo para testar o desempenho e a precisão do modelo. Gerencie seu conjunto de testes ao longo do tempo criando ou atualizando seu conteúdo no Workbench de NLU.

Nota:

Para testar seu modelo, instale o. ServiceNow® Store aplicação Workbench de NLU- Recursos avançados. Para obter mais informações, consulte Instalar NLU Workbench - Recursos avançados.

Ao criar um NLU modelo para Virtual Agent ou Pesquisa com IA um conjunto de testes padrão é criado e associado ao modelo. Você pode usar o conjunto de testes padrão para avaliar o desempenho do modelo. Inicialmente, o conjunto de testes está vazio, pronto para ser preenchido com seu conteúdo.

Acesse seu conjunto de testes padrão

Acesse seu conjunto de testes padrão com um dos seguintes métodos.

• Navegar até Tudo > Workbench de NLU > Modelos. Selecione a guia da aplicação do seu modelo e o nome do seu modelo na lista. Na página de visão geral do modelo, encontre Crie e treine seu modelo e selecione seu Exibir fase botão. Em seguida, selecione Conjunto de testes guia.
• Navegar até Tudo > Workbench de NLU > Modelos. Selecione a guia da aplicação do seu modelo e o nome do seu modelo na lista. Na página de visão geral do modelo, selecione Cobertura de teste lado a lado.
• Navegar até Tudo > Teste em lote para vários modelos > Conjuntos de testes guia. Encontre o nome do seu modelo. Os conjuntos de testes padrão são rotulados como Padrão .

Adicione conteúdo ao seu conjunto de testes padrão

Adicione enunciados e suas intenções esperadas para criar e gerenciar seu conjunto de testes ao longo do tempo. Você pode adicionar conteúdo ao conjunto de testes padrão com os seguintes métodos:

• Adicione enunciados de teste e suas intenções esperadas manualmente. Na página de visão geral do modelo, navegue até Criar e treinar seu modelo > Conjunto de testes guia. Digite sua entrada no Digite um enunciado de teste aqui , selecione uma intenção apropriada e, em seguida, selecione Adicionar botão.

  Esses enunciados de teste são atribuídos a uma origem de Manual .

• Importe enunciados de teste e suas intenções esperadas de um arquivo CSV ou de outros modelos. Para importar conteúdo para um conjunto de testes padrão, na página de visão geral do modelo, navegue até Criar e treinar seu modelo > Conjunto de testes guia. Selecione Importe enunciados de teste .

  Enunciados de teste importados são atribuídos a uma origem de Manual .

• O recurso Ciclo de feedback do especialista permite adicionar enunciados reais do usuário do Virtual Agent logs de bate-papo para o conjunto de testes.

  Esses enunciados de teste são atribuídos a uma origem de Feedback do especialista . Para obter mais informações, consulte NLU Loop de feedback do especialista.

Cobertura de teste

A pontuação de Cobertura de teste é a porcentagem de intenções habilitadas de um modelo que têm enunciados de teste no conjunto de testes padrão. Antes de testar seu modelo, certifique-se de que haja pelo menos 60% de cobertura. Quanto maior a pontuação de Cobertura de teste, mais precisos serão os resultados do teste de desempenho.

Sua cobertura de teste precisa ser de pelo menos 60%, com pelo menos 5 enunciados de teste por intenção, para que o sistema forneça um limite de confiança ideal durante o teste em lote. Para obter mais informações sobre o limite de confiança, consulte Configurações do modelo de NLU.

Ter cerca de 10% dos enunciados de teste de um modelo marcados como "não relevantes", o que significa que não há intenção associada. Isso ajuda a avaliar como o modelo lida com enunciados irrelevantes que não devem ter nenhuma intenção prevista. Para obter mais informações sobre enunciados irrelevantes, consulte Detecção de irrelevância no NLU.

Use o conjunto de testes

Para usar o conjunto de testes padrão do Teste e publique seu modelo fase, consulte Teste e publique seu modelo.

Para usar o conjunto de testes no Teste em lote de vários modelos, consulte Teste em lote para vários modelos.

Características dos conjuntos de testes padrão

Quando uma instância é atualizada, conjuntos de testes padrão são criados para todos os modelos existentes que ainda não os têm.

Quando você copia um modelo usando Duplique este modelo , o conjunto de testes padrão do original é copiado para o novo modelo. Para obter mais informações, consulte Duplique um modelo de NLU.

Os enunciados no conjunto de testes não devem ser iguais aos enunciados no conjunto de treinamento.

Conjuntos de testes padrão não podem ser excluídos separadamente de seus modelos.

Os enunciados do conjunto de testes devem estar no mesmo idioma que o modelo.

Conjuntos de testes estão disponíveis para Virtual Agent ou Pesquisa com IA modelos.

Baixando ou movendo conjuntos de testes padrão

Conjuntos de testes padrão podem ser baixados ou movidos da seguinte forma.

• Conjuntos de testes padrão podem ser baixados separadamente no formato CSV. Para baixar o conjunto de testes, na página de visão geral do modelo, navegue até Criar e treinar seu modelo > Conjunto de testes guia. Selecione Baixar conjunto de testes .
  Nota:

  Conjuntos de testes baixados de Baixar conjunto de testes contêm enunciados de teste e suas intenções esperadas, mas não as origens.
• Conjuntos de testes padrão podem ser movidos com conjuntos de atualizações. Quando você adiciona um NLU modelo a um conjunto de atualizações, seu conjunto de testes padrão é adicionado, incluindo enunciados de teste, intenções esperadas e origens. Para obter mais informações, consulte Adicione um modelo de NLU a um conjunto de atualizações.
• Ao usar o. Modelo de exportação como CSV . Todos os modelos existentes o conjunto de testes padrão não está incluído. Para obter mais informações, consulte Exporte um modelo de NLU.