NLU Performance du modèle

Utilisez NLU les performances des modèles pour voir dans quelle mesure vos modèles prédisent les intentions dans Agent virtuel (VA) en fonction de la confirmation de l’utilisateur final.

Utilisation du résumé

L’application NLU Performance des modèles fournit une analyse et un rapport sur la façon dont vos NLU modèles prédisent les intentions des utilisateurs VA à partir de leurs énoncés. Au fur et à mesure que NLU les modèles pour VA sont mis à jour, publiés et déployés, vous pouvez utiliser NLU les performances des modèles pour examiner l’efficacité des prédictions d’intention qu’ils effectuent. Si ces prédictions sont ignorées, c’est qu’elles ne sont pas en mesure de prédire une intention avec un score de confiance suffisamment élevé pour le modèle. Pour améliorer la prédiction de rubriques de l’Agent virtuel, le système regroupe les énoncés de l’Agent virtuel non pris en charge dans des grappes pour une analyse, puis génère un rapport qui identifie le résultat de l’analyse.

Pour accéder à cette application, utilisez le rôle nlu_admin ou administrateur et accédez à Tous > Console NLU > Performances.

Remarque :

Pour utiliser NLU les performances du modèle, vous devez d’abord avoir au moins 5 000 énoncés VA dans votre instance. Avec le rôle nlu_admin, vous pouvez modifier cette limite en réinitialisant la sn_nlu_workbench.glide.nlu.performance.min_clustering_records propriété.

Installation

NLU Model Performance est une application disponible sur le ServiceNow® Store. Pour utiliser cette application, assurez-vous que le module d’extension Console NLU - Fonctionnalités avancées (sn_nlu_workbench) est actif sur votre instance. Pour plus d’informations, consultez Installer Console NLU : fonctionnalités avancées et activez la console NLU. Étant donné que les performances des modèles NLU reposent sur les données provenant de VA, assurez-vous que le module d’extension Glide Agent virtuel (com.glide.cs.chatbot) est également actif. Voir Activer l’Agent virtuel.

Configuration des paramètres Interfaces conversationnelles pour ServiceNow NLU

Pour vous aider à suivre NLU les performances, vous devez d’abord configurer les paramètres Interfaces conversationnelles (CI) dans Agent virtuel. Pour accéder à ces paramètres, accédez en haut de la page de destination Performances du modèle NLU pour Agent virtuel , puis cliquez sur Paramètres Interfaces conversationnelles. Cette action vous dirige vers la page des paramètres de CI dans Agent virtuel, comme illustré dans l’image ci-dessous.

Pour configurer les paramètres, vous devez utiliser le rôle virtual_agent_admin ou administrateur. Pour obtenir des conseils sur la configuration, consultez Implémenter la NLU dans l’Agent virtuel et Activer les langues NLU dans les paramètres de l’Agent virtuel.

Examen de l’interface utilisateur (UI)

L’interface utilisateur des performances du modèle NLU comprend les éléments énumérés ci-dessous, qui sont mis en évidence dans l’image suivante qui montre la page de destination par défaut des performances du modèle NLU.

• • L’onglet Performance et son graphique coloré qui affiche les données décrivant les scénarios qui se produisent lorsque les utilisateurs interagissent avec VA. Ce graphique est segmenté en trois couleurs, chacune représentant un scénario utilisateur. Les lignes du graphique qui comportent du texte et des pourcentages sont appelées légende. Les trois scénarios de la première ligne de la légende ont deux scénarios d’issue en dessous d’eux dans la deuxième rangée. Les barres sous la légende correspondent aux couleurs des scénarios au-dessus d’elles. La taille de ces barres varie en fonction de la valeur en pourcentage pour chaque scénario.
  • Par exemple, la barre bleu foncé vous montre que 10 % de ce lot d’utilisateurs VA ont confirmé que le système leur a présenté le bon sujet à utiliser pour leur conversation de chatbot VA, et que 58 % des utilisateurs (représentés par la barre rouge foncé) ont confirmé que le sujet qui leur a été présenté était incorrect. Entre ces deux scénarios se trouve un scénario montrant que 32 % des utilisateurs (représentés par la barre marron foncé) n’ont fait aucune confirmation.
  • Il est judicieux d’activer/désactiver le filtre Afficher toutes les barres à tout moment pour afficher ou masquer les barres colorées et leurs scénarios associés dans le graphique. Notez également que lorsque vous accédez pour la première fois à Performance du modèle NLU, la vue par défaut du graphique affiche uniquement la première rangée de scénarios et la première rangée de barres.
  • Il existe également d’autres vues que vous pouvez afficher en fonction du scénario que vous visualisez. Par exemple, lorsque vous accédez pour la première fois aux performances du modèle NLU et que vous cliquez sur un scénario dans la première ligne de la légende, le système masque les barres des deux autres scénarios. Cela permet de garder l’interface utilisateur moins encombrée car elle isole partiellement le scénario sur lequel vous vous concentrez du reste des scénarios. Ces actions ne modifient aucune donnée, elles vous montrent simplement différentes vues de la légende et des barres dans le graphique.
• Onglet Énoncés non pris en charge, qui affiche les énoncés regroupés en grappes à utiliser dans l’analyse des performances. Cette section de l’interface utilisateur est l’endroit où vous pouvez naviguer et revenir à partir de l’application Boucle de rétroaction d’experts, ainsi que l’endroit où vous pouvez exécuter l’analyse.

  Les énoncés non pris en charge sont différents des énoncés non pertinents. Pour plus d'informations, consultez Détection de non-pertinence dans NLU.

• Section Détails des performances située sous l’histogramme. Cette section comporte les quatre colonnes suivantes : Énoncé, Intention prévue, Modèle de prédiction et Résultat de la prédiction. Les détails affichés dans cette section interagissent avec les données de légende et les données de barre au-dessus d’elles.

Examen des scénarios d’utilisateur VA

Dans la section légende de l’interface utilisateur, le texte et les pourcentages sont accompagnés d’icônes d’informations. Pointez sur une icône pour appeler la définition de son scénario utilisateur. Consultez le tableau ci-dessous pour voir les définitions.

Tableau 1. Définitions des scénarios

Scénario	Définition
L'utilisateur a confirmé comme correct	La rubrique correcte a été présentée à l’utilisateur final et l’utilisateur final a confirmé qu’elle est correcte.
Rubrique lancée ; l'utilisateur a confirmé comme correcte	La rubrique a été lancée et l'utilisateur a confirmé qu'il s'agit de la rubrique dont il a besoin.
Menu de rubrique présenté. L'utilisateur en a sélectionné une.	Plusieurs rubriques ont été affichées à l'utilisateur sous forme de menu et l'utilisateur a choisi l'une des rubriques pour répondre à son besoin.
L'utilisateur n'a pas confirmé.	La rubrique a été lancée, mais l'utilisateur n'a pas confirmé si elle répond à ses besoins ou pas.
Aucune prédiction faite, rubrique de secours lancée	Aucune prédiction n'a été effectuée et la rubrique de secours a été lancée.
Rubrique lancée, aucune confirmation de l'utilisateur	La rubrique a été lancée, mais l’utilisateur n’a pas confirmé si elle est correcte.
L'utilisateur a confirmé comme incorrect	La ou les rubriques présentées ne répondent pas aux besoins de l’utilisateur final et l’utilisateur a confirmé qu’elle est incorrecte.
Rubrique lancée ; l'utilisateur a confirmé comme incorrecte	La rubrique a été lancée et l'utilisateur a confirmé qu'elle n'est pas correcte.
Menu de rubrique présenté. L'utilisateur n'en a sélectionné aucune.	Plusieurs rubriques ont été affichées sous la forme d'un menu pour l'utilisateur. L'utilisateur a décidé qu'aucune des rubriques n'était pertinente et n'a choisi aucune rubrique.

Utilisation des filtres de langue et de modèle

Dans l’onglet Performances, vous pouvez voir les filtres Langue et Modèle. En regard d’eux, vous pouvez également voir les valeurs de plage de dates les plus récentes que vous avez définies au-dessus de la légende et des barres du graphique. Cliquez sur le filtre Langue pour afficher toutes les langues disponibles dans NLU. Cliquez sur le filtre Modèle pour afficher tous les modèles de prédiction disponibles dans votre instance. Le paramètre par défaut du filtre Langue est Toutes les langues et le paramètre par défaut du filtre Modèle est Tous les modèles.

Les filtres Langue et Modèle interagissent les uns avec les autres. Par exemple, si vous choisissez français-fr dans le filtre Langue , le filtre Modèle affiche automatiquement tous les modèles de prédiction de votre instance qui utilisent la langue française, comme illustré dans l’image suivante.

Il y a d’autres interactions. Par exemple, à partir de la vue par défaut de la page de destination Performances du modèle NLU :

• Si vous sélectionnez un modèle spécifique dans le filtre Modèle , la valeur du filtre Langue est mise à jour pour afficher la langue du modèle sélectionné.
• Si vous sélectionnez une langue spécifique dans le filtre Langue, le filtre Modèle affiche uniquement les modèles de cette langue sélectionnée.

Sous les filtres Langue et Modèle, vous pouvez voir le commutateur Inclure les conversations traduites . Pour inclure les performances des conversations VA qui ont été traduites dans votre langue primaire à l’aide de la traduction de langue dynamique, basculez le commutateur vers la droite afin qu’il change de couleur du gris au vert. Lorsque vous faites cela, les barres de la légende des graphiques peuvent également changer de position et de couleurs. Vous pouvez gérer la traduction linguistique dynamique dans les paramètres d’Interfaces conversationnelles.

Définition de la plage de dates

Sous l’onglet Performances, utilisez la plage de dates pour définir la date à partir de laquelle vous souhaitez que le système extrait les données VA. Choisissez 30 derniers jours, 60 derniers jours, 90 derniers jours ou Plage personnalisée. Plus vous remontez dans la plage de dates, plus vous aurez de données dans votre analyse.

Exécution d’une analyse

Pour exécuter une analyse des performances, cliquez sur l’onglet Énoncés non pris en charge . Cette section de l’interface utilisateur affiche les lignes de grappes extensibles contenant des énoncés VA pour NLU lesquels aucune prédiction de rubrique n’a été effectuée ou pour lesquelles l’utilisateur final VA a confirmé que la rubrique prédite était incorrecte. La prochaine chose que vous voulez faire est de cliquer sur Boucle de rétroaction d’experts. Cette action vous dirige vers l’application NLU Boucle de rétroaction d’experts où vous examinez et fournissez des commentaires sur les énoncés qui ont été extraits de VA.

Figure 1. Examen des énoncés non pris en charge

Lorsque vous quittez l’application Boucle de rétroaction d’experts et revenez à Performances du modèle NLU, cliquez sur l’icône du caret dans n’importe quelle grappe pour l’ouvrir. Au sein de la grappe, vous pouvez alors voir les énoncés VA les plus représentatifs, comme illustré dans l’image suivante.

Figure 2. Examen des énoncés les plus représentatifs d’une grappe

Cliquez sur Exécuter l’analyse ou Exécuter à nouveau l’analyse, selon ce qui est disponible. Chaque fois que vous exécutez une analyse, le système extrait les énoncés VA les plus récents dans l’analyse.

Information associée

• Agent virtuel
• Le Natural Language Understanding dans Virtual Agent