Test de lot pour modèles multiples
Testez plusieurs Compréhension du langage naturel modèles (NLU) par rapport à un large ensemble d’énoncés pour évaluer les performances des modèles. Ajoutez des jeux de tests, testez plusieurs modèles et consultez les résultats des tests.
Utilisation du résumé
Utilisez le test par lots pour modèles multiples pour créer et charger des jeux de tests composés d’énoncés et de leurs intentions attendues. Vous pouvez ensuite exécuter des tests sur vos modèles NLU.
Le test par lots pour modèles multiples fonctionne avec les modèles pour toutes les langues NLU prises en charge. Consultez NLU Prise en charge linguistique.
Installation
Le test par lots multi-modèles fait partie de l’application Console NLU - Fonctionnalités avancées disponible sur le ServiceNow® Store.
Pour utiliser le test par lots pour modèles multiples, assurez-vous que le module d’extension Console NLU - Fonctionnalités avancées (com.snc.nlu.workbench.advanced) est actif sur votre instance. Pour plus d’informations, consultez Installer Console NLU : fonctionnalités avancées et activez la console NLU.
Jeux de tests
Les jeux de tests sont des listes d’énoncés et d’intentions correspondantes. Créez un jeu de tests à l’aide d’une table dans un fichier CSV ou XLSX (classeur Excel). La table doit contenir deux colonnes : une pour les énoncés et une pour l’intention attendue. Votre jeu de tests peut inclure jusqu’à 10 000 lignes.
Pour tirer le meilleur parti du test de vos modèles NLU, vos jeux de tests doivent inclure des énoncés que le modèle est susceptible de rencontrer de la part de vos utilisateurs. Les énoncés de test doivent être dans la même langue que le modèle à tester. Le jeu de tests doit également inclure des énoncés sans intention attendue. L’inclusion d’énoncés sans intention attendue permet d’évaluer la capacité de votre modèle à détecter les énoncés qui ne sont pas pertinents et ne devraient pas avoir d’intention prédite.
Pour créer un jeu de tests, reportez-vous à la section Créer un jeu de tests.
Une fois que vous avez un jeu de tests, vous pouvez tester les modèles NLU formés. Pour commencer les tests, reportez-vous à la section Exécuter un test de lot multimodèle.
Après avoir exécuté un test, vos résultats apparaissent sur la page Résultats du test .
Résultats des tests
La page Résultats des tests répertorie vos tests terminés et en cours. En un coup d’œil, la page de résultats affiche les modèles testés, le nombre d’énoncés et les pourcentages de prédiction.
Pour afficher les détails d’un résultat de test, cliquez sur le nom du jeu de tests.
La page Vue d’ensemble affiche des informations récapitulatives sur les résultats et comprend un graphique avec une répartition des prédictions.
La section Intentions à surveiller (modèle actuel) affiche les 5 premières intentions manquées et incorrectes. Cliquez sur le nom de l’intention pour explorer les énoncés de test qui ont été prédits de manière incorrecte. Utilisez ces informations pour améliorer le modèle.
L’onglet Résultats détaillés répertorie les informations sur chaque énoncé qui a été testé. À partir d’ici, vous pouvez voir le résultat de la prédiction et la confiance par modèle pour chaque énoncé. Filtrez les résultats à l’aide de la barre de recherche ou en interagissant avec les outils de filtrage et les en-têtes de colonne.
Vous pouvez également exporter les résultats des tests vers un fichier CSV en cliquant sur Exporter. Le fichier comprend les mêmes colonnes que la page de résultats détaillés.
Pour en savoir plus sur la compréhension des résultats de vos tests, reportez-vous à la section Tester et publier votre modèle.