NLU Performance du modèle

Utilisation du résumé

L’application NLU Model Performance fournit une analyse et un rapport sur la façon dont vos NLU modèles prédisent les intentions des utilisateurs VA à partir de leurs énoncés. Au fur et à mesure que NLU les modèles de VA sont mis à jour, publiés et déployés, vous pouvez utiliser NLU Performances du modèle pour vérifier l’efficacité des prédictions d’intention qu’ils effectuent. Si ces prédictions sont ignorées, c’est parce qu’elles sont incapables de prédire une intention avec un score de confiance suffisamment élevé pour le modèle. Pour améliorer la prédiction de rubrique VA, le système regroupe les énoncés VA non pris en charge en grappes pour une analyse, puis génère un rapport qui identifie le résultat de l’analyse. Pour accéder à cette application, utilisez le rôle nlu_admin ou admin et accédez à Tous > Console NLU > Performances.

Remarque :

Pour utiliser NLU Model Performance, vous devez d’abord disposer d’au moins 5 000 énoncés VA dans votre instance. En utilisant le rôle nlu_admin, vous pouvez modifier cette limite en réinitialisant la sn_nlu_workbench.glide.nlu.performance.min_clustering_records propriété.

Installation

NLU Model Performance est une application disponible sur le ServiceNow® Store. Pour utiliser cette application, assurez-vous que le module d’extension Console NLU Fonctionnalités avancées (sn_nlu_workbench) est actif sur votre instance. Pour plus d’informations, consultez Installer Console NLU - Fonctionnalités avancées et activez la console NLU. Étant donné que les performances du modèle NLU dépendent des données provenant de VA, assurez-vous que le module d’extension Glide Virtual Agent (com.glide.cs.chatbot) est également actif. Reportez-vous à la section Activer Virtual Agent.

Configuration des paramètres d’Interfaces conversationnelles pour ServiceNow NLU

Pour faciliter le suivi NLU des performances, vous devez d’abord configurer les paramètres Conversational Interfaces (CI) dans Agent virtuel. Pour accéder à ces paramètres, naviguez vers le haut de la page de destination Performances du modèle NLU pour Agent virtuel et cliquez sur Paramètres Interfaces conversationnelles. Cette action vous dirige vers la page des paramètres de CI dans Agent virtuel, comme illustré dans l’image ci-dessous.

Définition des paramètres d’Interfaces conversationnelles

Pour configurer les paramètres, vous devez utiliser le rôle virtual_agent_admin ou admin. Pour obtenir des conseils de configuration, consultez Implémenter la NLU dans Virtual Agent et Activer les langues NLU dans Virtual Agent.

Examen de l’interface utilisateur

L’interface utilisateur des performances du modèle NLU comprend les parties énumérées ci-dessous, qui sont mises en évidence dans l’image suivante qui montre la page de destination par défaut des performances du modèle NLU.

- L’onglet Performances et son graphique coloré qui affiche les données décrivant les scénarios qui se produisent lorsque les utilisateurs interagissent avec VA. Ce graphique est segmenté en nuances de trois couleurs, chacune représentant un scénario utilisateur. Les lignes du graphique qui contiennent du texte et des pourcentages sont appelées légende. Les trois scénarios de la première ligne de la légende ont deux scénarios de résultat en dessous d’eux dans la deuxième ligne. Les barres sous la légende correspondent aux couleurs des scénarios au-dessus d’elles. La taille de ces barres varie en fonction de la valeur de pourcentage pour chaque scénario.
- Par exemple, la barre bleu foncé vous indique que 10 % de ce groupe d’utilisateurs VA ont confirmé que le système leur a présenté la rubrique correcte à utiliser pour leur conversation de chatbot VA, et que 58 % des utilisateurs (représentés par la barre rouge foncé) ont confirmé que la rubrique qui leur a été présentée était incorrecte. Entre ces deux scénarios se trouve un scénario montrant que 32 % des utilisateurs (représentés par la barre marron foncé) n’ont fait aucune confirmation.
- Il est judicieux d’activer/de désactiver le filtre Afficher toutes les barres à tout moment pour afficher ou masquer les barres colorées et leurs scénarios associés dans le graphique. Notez également que lorsque vous accédez pour la première fois aux performances du modèle NLU, la vue par défaut du graphique affiche uniquement la première ligne de scénarios et la première ligne de barres.
- Il existe également d’autres vues que vous pouvez voir en fonction du scénario que vous visualisez. Par exemple, lorsque vous accédez pour la première fois aux performances du modèle NLU et que vous cliquez sur un scénario dans la première ligne de la légende, le système masque les barres des deux autres scénarios. Cela permet de désencombrer l’interface utilisateur, car cela isole partiellement le scénario sur lequel vous vous concentrez du reste des scénarios. Ces actions ne modifient aucune donnée, elles vous montrent simplement différentes vues de la légende et des barres dans le graphique.
L’onglet Énoncés non pris en charge , qui affiche les énoncés regroupés en grappes à utiliser dans l’analyse des performances. Cette section de l’interface utilisateur est l’endroit où vous pouvez accéder à l’application Boucle de rétroaction d’experts et y revenir, ainsi que l’endroit où vous pouvez exécuter l’analyse.
Les énoncés non pris en charge sont différents des énoncés non pertinents. Pour plus d'informations, consultez Détection de non-pertinence dans le NLU.
La section Détails des performances située sous l’histogramme. Cette section comporte ces quatre colonnes : Énoncé, Intention prédite, Modèle de prédiction et Résultat de prédiction. Les détails affichés dans cette section interagissent avec les données de légende et les données de barres situées au-dessus.

Performance du modèle NLU

Examen des scénarios d’utilisateur VA

Dans la section Légende de l’interface utilisateur, le texte et les pourcentages sont accompagnés d’icônes d’informations. Pointez sur une icône pour appeler la définition de son scénario utilisateur. Reportez-vous au tableau ci-dessous pour voir les définitions.

Tableau 1. Définitions de scénarios
Scénario	Définition
L'utilisateur a confirmé comme correct	La rubrique correcte a été présentée à l’utilisateur final et l’utilisateur final a confirmé qu’elle est correcte.
Rubrique lancée ; l'utilisateur a confirmé comme correcte	La rubrique a été lancée et l'utilisateur a confirmé qu'il s'agit de la rubrique dont il a besoin.
Menu de rubrique présenté. L'utilisateur en a sélectionné une.	Plusieurs rubriques ont été affichées à l'utilisateur sous forme de menu et l'utilisateur a choisi l'une des rubriques pour répondre à son besoin.
L'utilisateur n'a pas confirmé.	La rubrique a été lancée, mais l'utilisateur n'a pas confirmé si elle répond à ses besoins ou pas.
Aucune prédiction faite, rubrique de secours lancée	Aucune prédiction n'a été effectuée et la rubrique de secours a été lancée.
Rubrique lancée, aucune confirmation de l'utilisateur	La rubrique a été lancée, mais l’utilisateur n’a pas confirmé si elle était correcte.
L'utilisateur a confirmé comme incorrect	La ou les rubriques présentées ne répondent pas aux besoins de l’utilisateur final et l’utilisateur a confirmé qu’elle est incorrecte.
Rubrique lancée ; l'utilisateur a confirmé comme incorrecte	La rubrique a été lancée et l'utilisateur a confirmé qu'elle n'est pas correcte.
Menu de rubrique présenté. L'utilisateur n'en a sélectionné aucune.	Plusieurs rubriques ont été affichées sous la forme d'un menu pour l'utilisateur. L'utilisateur a décidé qu'aucune des rubriques n'était pertinente et n'a choisi aucune rubrique.

Utilisation des filtres Langue et Modèle

Dans l’onglet Performances, vous pouvez voir les filtres Langue et Modèle. En regard d’eux, vous pouvez également voir les valeurs de plage de dates les plus récentes que vous avez définies au-dessus de la légende et des barres du graphique. Cliquez sur le filtre Langue pour afficher toutes les langues disponibles dans NLU. Cliquez sur le filtre Modèle pour afficher tous les modèles de prédiction disponibles dans votre instance. Le paramètre par défaut du filtre Langue est Toutes les langues, et le paramètre par défaut du filtre Modèle est Tous les modèles.

Les filtres Langue et Modèle interagissent les uns avec les autres. Par exemple, si vous choisissez Français-fr dans le filtre Langue , le filtre Modèle affiche automatiquement tous les modèles de prédiction de votre instance qui utilisent la langue française, comme illustré dans l’image suivante. Les filtres Langue et Modèle interagissent les uns avec les autres.

Il y a d’autres interactions. Par exemple, à partir de la vue par défaut de la page de destination Performances du modèle NLU :

Si vous sélectionnez un modèle spécifique dans le filtre Modèle , la valeur du filtre Langue est mise à jour pour afficher la langue du modèle sélectionné.
Si vous sélectionnez une langue spécifique dans le filtre Langue , le filtre Modèle affiche uniquement les modèles de cette langue sélectionnée.

Sous les filtres Langue et Modèle, vous pouvez voir le commutateur Inclure les conversations traduites . Pour inclure les performances des conversations VA qui ont été traduites dans votre langue principale à l’aide de la traduction dynamique, faites basculer le commutateur vers la droite pour qu’il change de couleur du gris au vert. Dans ce cas, les barres de la légende des graphiques peuvent également changer de position et de couleur. Vous pouvez gérer la traduction dynamique dans les paramètres d’Interfaces conversationnelles.

Définition de la plage de dates

Dans l’onglet Performances, utilisez la plage de dates pour définir jusqu’à quelle date vous souhaitez que le système extrait les données VA. Choisissez 30 derniers jours, 60 derniers jours, 90 derniers jours ou Plage personnalisée. Plus vous remontez dans la plage de dates, plus vous aurez de données dans votre analyse.

Si vous souhaitez que votre rapport couvre des données qui remontent au-delà de 90 jours, utilisez la plage personnalisée.

Exécution d’une analyse

Pour exécuter une analyse des performances, cliquez sur l’onglet Énoncés non pris en charge . Cette section de l’interface utilisateur affiche des lignes de grappes extensibles contenant des énoncés VA pour lesquels NLU aucune prédiction de rubrique n’a été effectuée ou pour lesquelles l’utilisateur final de VA a confirmé que la rubrique prédite était incorrecte. La prochaine chose que vous voulez faire est de cliquer sur Boucle de rétroaction d’experts. Cette action vous dirige vers l’application NLU Boucle de rétroaction d’experts où vous examinez et fournissez des commentaires sur les énoncés qui ont été extraits de VA.

Navigation vers la boucle de rétroaction d’experts et retour aux performances du modèle NLU — Figure 1. Examen des énoncés non pris en charge

Lorsque vous quittez l’application Boucle de rétroaction d’experts et que vous revenez aux performances du modèle NLU, cliquez sur l’icône du curseur dans n’importe quelle grappe pour l’ouvrir. Au sein de la grappe, vous pouvez ensuite voir les énoncés VA les plus représentatifs, comme illustré dans l’image suivante.

Ouverture d’un cluster d’énoncés afin que vous puissiez voir les énoncés VA à l’intérieur. — Figure 2. Passer en revue les énoncés les plus représentatifs dans une grappe

Cliquez sur Exécuter l’analyse ou Réexécuter l’analyse, selon la disponibilité. Chaque fois que vous exécutez une analyse, le système extrait les énoncés VA les plus récents dans l’analyse.