Teste e publique seu modelo

  • Versão de lançamento: Washingtondc
  • Atualizado 1 de fev. de 2024
  • 3 min. de leitura

    • Avalie o desempenho do seu modelo NLU para identificar áreas de melhoria. Em seguida, publique seu modelo para disponibilizá-lo para outras aplicações, como Virtual Agent.

    Resumo de uso

    Teste seu modelo Virtual Agent ou Pesquisa com IA em relação ao conjunto de testes padrão para ver como o modelo responde. Os resultados de testes fornecem informações que você pode usar para melhorar seu modelo.

    Nota:
    Testar seu modelo requer o recurso de teste em lote de vários modelos, disponível com a aplicação Recursos avançados do Workbench de NLU em ServiceNow® Store. Para obter mais informações, consulte Instalar recursos avançados do Workbench de NLU.

    Para testar seu modelo, navegue até NLU Workbench > Modelos. Selecione a guia da aplicação do seu modelo e selecione o nome do modelo. No cartão Testar e publicar seu modelo, selecione a fase Exibir. Testar e publicar seu cartão de fase do modelo

    Visão geral

    A fase Testar e publicar seu modelo é aberta na página Visão geral por padrão. Os botões Executar novo teste e Publicar modelo estão localizados aqui.

    Página de visão geral de teste e publicação do seu modelo

    Avisão geral fornece informações sobre uma simulação anterior, com gráficos de barras resumindo os resultados do teste.

    Se você tiver simulações anteriores, poderá exibi-las selecionando na lista Data da simulação.

    Menu suspenso de data da simulação

    Para fazer uma busca detalhada na tabela de resultados de testes, selecione a guia Resultados detalhados. Cada enunciado de teste é listado em Resultados detalhados, com sua previsão.

    Noções básicas sobre resultados de testes

    Os resultados do teste mostram como o seu modelo respondeu aos enunciados no conjunto de testes.

    Resultados de testes para um teste de modelo no Workbench de NLU.

    O gráfico de barras mostra os percentuais de previsão para correto, correto entre vários, ausente e incorreto:
    Percentual Descrição
    Correto A porcentagem de enunciados para os quais o modelo previu a intenção corretamente.

    Quando o modelo não prevê nenhuma intenção para enunciados marcados como Não relevante, esse resultado é contado como Correto.
    Correto entre vários

    Para enunciados que tiveram mais de uma intenção prevista.

    A porcentagem de enunciados para os quais o modelo previu corretamente a intenção ou as intenções, mas também previu intenções que não pertencem ao enunciado.
    Perdido A porcentagem de enunciados para os quais o modelo não previu uma intenção, embora houvesse uma intenção esperada.
    Incorreto A porcentagem de enunciados para os quais seu modelo previu uma intenção que não estava correta.

    O teste pode afetar o limite de confiança do modelo. O limite de confiança determina o nível de confiança de um modelo para prever uma intenção para um enunciado. Para obter mais informações sobre limites de confiança, consulte Configurações do modelo de NLU.

    Para obter informações sobre enunciados que não devem ter nenhuma intenção prevista, consulte Detecção de irrelevância no NLU.

    Publicar modelo

    O botão Publicar modelo disponibiliza a versão atual do modelo para outras aplicações, como Virtual Agent.
    Nota:
    Se o modelo não tiver sido treinado, o botão Publicar modelo ficará indisponível. Retorne à fase Criar e treinar seu modelo para treinar o modelo antes de publicar.

    Para obter mais informações sobre como publicar seu modelo, consulte Publique seu modelo NLU.

    Teste em lote para vários modelos

    Na fase Testar e publicar seu modelo, você testa seu modelo em relação ao conjunto de testes padrão. Com o teste em lote para vários modelos, você pode testar outros conjuntos de testes, testar vários modelos de uma só vez e ver os resultados dos testes. Para usar o Teste em lote de vários modelos, navegue até NLU Workbench > Recursos avançados de NLU > Teste em lote para vários modelos.

    Para obter mais informações, consulte Teste em lote para vários modelos.

    Para obter mais informações sobre conjuntos de testes, consulte:

    Para obter informações sobre o processo de teste, consulte Teste seu modelo.