Test de lot pour modèles multiples
Testez plusieurs Compréhension du langage naturel modèles (NLU) par rapport à un grand nombre d’énoncés pour évaluer les performances des modèles. Ajoutez des jeux de tests, testez plusieurs modèles et affichez les résultats des tests.
Utilisation du résumé
Utilisez le test par lots pour modèles multiples pour créer et charger des jeux de tests composés d’énoncés et de leurs intentions attendues. Vous pouvez ensuite exécuter des tests sur vos modèles NLU.
Le test par lots pour modèles multiples fonctionne avec des modèles pour toutes les langues NLU prises en charge. Consultez NLU Prise en charge de la langue.
Installation
Le test par lots pour modèles multiples fait partie de l’application Console NLU Fonctionnalités avancées disponible sur le ServiceNow® Store.
Pour utiliser le test par lots pour modèles multiples, assurez-vous que le module d’extension Console NLU Fonctionnalités avancées (com.snc.nlu.workbench.advanced) est actif sur votre instance. Pour plus d’informations, consultez Installer Console NLU - Fonctionnalités avancées et activez Console NLU.
Jeux de tests
Les jeux de tests sont des listes d’énoncés et d’intentions correspondantes. Créez un jeu de tests à l’aide d’une table dans un fichier CSV ou XLSX (classeur Excel). La table doit contenir deux colonnes : une pour les énoncés et une pour l’intention attendue. Votre jeu de tests peut inclure jusqu’à 10 000 lignes.
Pour tirer le meilleur parti du test de vos modèles NLU, vos jeux de tests doivent inclure des énoncés que le modèle est susceptible de rencontrer de la part de vos utilisateurs. Les énoncés de test doivent être dans la même langue que le modèle à tester. Le jeu de tests doit également inclure des énoncés sans intention attendue. L’inclusion d’énoncés sans intention attendue permet d’évaluer la capacité de votre modèle à détecter les énoncés qui ne sont pas pertinents et qui ne devraient pas avoir d’intention prévue.
Pour créer un jeu de tests, reportez-vous à Créer un jeu de tests.
Une fois que vous disposez d’un jeu de tests, vous pouvez tester les modèles NLU formés. Pour commencer les tests, reportez-vous à la section Exécuter un test par lots multi-modèles.
Après avoir exécuté un test, vos résultats apparaissent sur la page Résultats des tests .
Résultats des tests
La page Résultats des tests répertorie vos tests terminés et en cours. En un coup d’œil, la page de résultats affiche les modèles testés, le nombre d’énoncés et les pourcentages de prédiction.
Pour afficher les détails d’un résultat de test, cliquez sur le nom du jeu de tests.
La page Vue d’ensemble affiche des informations récapitulatives sur les résultats et comprend un graphique avec une répartition des prédictions.
Les intentions qui nécessitent de l’attention (modèle actuel) affichent les 5 premières intentions manquées et incorrectes. Cliquez sur le nom de l’intention pour explorer les énoncés de test qui ont été mal prévus. Utilisez ces informations pour améliorer le modèle.
L’onglet Résultats détaillés répertorie des informations sur chaque énoncé qui a été testé. À partir d’ici, vous pouvez voir le résultat de prédiction et la fiabilité par modèle pour chaque énoncé. Filtrez les résultats à l’aide de la barre de recherche ou interagissez avec les outils de filtrage et les en-têtes de colonne.
Vous pouvez également exporter les résultats des tests vers un fichier CSV en cliquant sur Exporter. Le fichier comprend les mêmes colonnes que la page de résultats détaillés.
Pour en savoir plus sur la compréhension des résultats des tests, reportez-vous à la section Tester et publier votre modèle.