NLU Boucle de rétroaction d’experts

Fournissez des commentaires sur Agent virtuel les énoncés du journal de la messagerie instantanée pour aider le système à apprendre en continu et à mieux prédire les entrées de l’utilisateur.

Utilisation du résumé

La boucle de rétroaction d’experts prend des données de votre instance et vous les fournit pour commentaires. Ces données proviennent des journaux de messagerie instantanée Agent virtuel (VA) de vos utilisateurs et incluent les énoncés de ces journaux. À l’aide du rôle nlu_admin, accédez à Tout > Console NLU > Boucle de commentaire d'experts et marquez chaque énoncé d’un modèle en confirmant si l’énoncé est correct (correspondance) ou incorrect (incohérence) pour une intention. Ces commentaires aident le modèle à améliorer continuellement les performances du modèle.

Installation

La boucle de rétroaction d’experts fait partie de l’application Console NLU - Fonctionnalités avancées disponible sur le ServiceNow® Store.

Pour utiliser la boucle de rétroaction d’experts, assurez-vous que le module d’extension Console NLU - Fonctionnalités avancées (sn_nlu_workbench) est actif sur votre instance. Pour plus d’informations, consultez Installer Console NLU : fonctionnalités avancées et activez la console NLU.

Étant donné que la boucle de rétroaction d’experts s’appuie sur les données des journaux de messagerie instantanée VA, assurez-vous que le module d’extension Agent virtuel Glide (com.glide.cs.chatbot) est également actif. Voir Activer l’Agent virtuel.

Importation de données de boucle de rétroaction d’experts entre les instances

Avant de commencer une importation, assurez-vous d’avoir accès aux données de votre instance et de disposer de suffisamment de données pour traiter vos commentaires.

Si vous travaillez dans une instance de sous-production, vous devez importer les données de commentaire de la table open_nlu_predict_intent_feedback de votre instance de production vers votre instance de sous-production. Pour obtenir des conseils sur la façon d’importer, consultez Importation à partir d’une autre instance ServiceNow.

Voici quelques scénarios de données concernant le comportement du système pour les NLU modèles qui hébergent les énoncés de boucle de rétroaction.

• Si vous déplacez un modèle vers une autre instance, les données de commentaire persistent.
• Si vous mettez à niveau l’instance, les données de commentaire persistent.
• Si vous clonez une instance, les données ne persistent pas, vous devez donc suivre la procédure référencée ci-dessus pour importer les données dans l’instance clonée.

Contexte et accès aux commentaires

La boucle de rétroaction d’experts fournit un mécanisme vous permettant d’améliorer NLU les modèles déployés sur VA grâce aux commentaires que vous fournissez sur un sous-ensemble sélectionné d’énoncés. Pour chaque énoncé, vous êtes invité à confirmer l’intention prédite ou à fournir l’intention correcte à laquelle l’énoncé appartient. Une fois ces commentaires terminés, les données sont utilisées pour ajuster les performances du modèle, ce qui donne un modèle amélioré qui peut maintenant être redéployé pour collecter davantage de données sur l’utilisateur final. Il s’agit d’un cycle itératif qui permet au système de collecter continuellement des données, d’apprendre des commentaires que vous fournissez et d’utiliser ces commentaires pour améliorer encore vos NLU modèles.

Une fois tous les 30 jours, le système extrait jusqu’à 300 échantillons d’énoncés des journaux de la messagerie instantanée VA vers la boucle de rétroaction d’experts. Les énoncés sont sélectionnés pour les commentaires en fonction de la façon dont ils représentent tous les énoncés dans les journaux. Chaque énoncé échantillonné à partir des journaux de messagerie instantanée VA a une intention prévue sélectionnée par le système.

Vous pouvez également définir le nombre d’énoncés que vous souhaitez extraire des journaux de la messagerie instantanée VA en ajustant le paramètre de la glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_size propriété système.

Vous trouverez plus d’informations sur le processus d’extraction des énoncés des journaux de messagerie instantanée VA dans les sections Obtenir des données de commentaires VA supplémentaires sur demande et Utilisation de la tâche d’apprentissage actif ci-dessous.

Au fur et à mesure que vous examinez les énoncés, décidez si chaque énoncé appartient à son intention prédite ou s’il doit être déplacé vers une intention différente. Si vous n’êtes pas sûr de l’intention correcte, l’énoncé peut être marqué pour être revisité pour un examen plus approfondi. Une fois que vous avez marqué au moins 100 énoncés avec vos commentaires, le système utilise tous les énoncés marqués pour ajuster et améliorer le modèle.

Examen des énoncés de votre journal de messagerie instantanée VA

Maintenant que vous êtes dans la boucle, vous pouvez voir dans l’image suivante une liste d’énoncés NLU qui prennent en charge les intentions dans les modèles VA. Chaque page de la liste affiche environ 20 énoncés par page. Votre objectif est d’examiner chaque énoncé et de marquer son état de relation avec une intention VA donnée. Vous marquez chaque énoncé avec la valeur NLU_Match, Incohérence ou Incertaine .

Le marquage d’un énoncé comme NLU_Match signifie que vous êtes d’accord avec la prédiction NLU pour cet énoncé. Marquer un énoncé comme incohérence signifie que l’énoncé appartient à une intention différente, et si vous sélectionnez Incohérence, une liste déroulante d’intentions s’affiche afin que vous puissiez sélectionner l’intention correcte. Si vous n’êtes pas sûr de l’intention correcte, vous pouvez la marquer comme Incertaine.

Les énoncés marqués et enregistrés avec la valeur NLU_Match ou la valeur Incohérence sont déplacés vers la section Revues terminées . Les énoncés marqués et enregistrés avec la valeur Incertaine sont déplacés vers la section Requiert un examen approfondi .

Voici un scénario pour les étapes de base que vous utilisez pour effectuer vos révisions d’énoncés :

1. En haut de l’écran Exporter la boucle de rétroaction, sélectionnez un modèle que vous souhaitez examiner dans la boucle de rétroaction d’experts pour l’invite. Dans cette fonctionnalité, à certains égards, le modèle que vous choisissez n’a pas d’importance, car ces modèles servent principalement à abriter les énoncés que vous marquez dans vos avis. Ainsi, dans cet exemple de scénario, vous décidez de sélectionner le modèle de modèle informatique , qui a cinq intentions et de nombreux énoncés dans chacune de ces intentions. Le nombre d’énoncés que vous devez examiner s’affiche à côté du nom de l’intention prédite, comme illustré dans l’image suivante. Les intentions de ces modèles sont répertoriées dans la colonne Intentions prévues de votre écran. Bien que vous puissiez examiner et marquer les énoncés dans n’importe laquelle des intentions prédites, il est préférable de terminer les révisions consécutivement dans l’ordre dans lequel les intentions apparaissent pour la première fois. Par exemple, commencez par l’intention de ad_password_change , puis par d’autres intentions prédites.
2. Cliquez sur l’intention ad_password_change afin qu’elle charge ses énoncés dans la section À faire pour que vous puissiez les examiner.
3. Passez en revue les 15 énoncés de l’intention. Dans ce scénario, vous avez commencé par marquer correctement l’énoncé Je veux changer mon mot de passe AD comme une correspondance avec l’intention ad_password_change .
4. Cliquez sur Enregistrer les commentaires.
   Résultat : Le système déplace l’énoncé que vous avez marqué vers la section Terminé de l’écran. Dans le même temps, le nombre d’énoncés À faire passe de 15 à 14, tandis que le nombre de la section Terminé passe de 0 à 1. Si vous aviez également marqué un autre énoncé avec la valeur Incertaine et enregistré ce changement, le nombre d’énoncés dans la section Requiert un examen supplémentaire passerait également de 0 à 1.

   Remarque :

   Si vous ne savez pas quelle intention correspond le mieux à l’énoncé, marquez-le avec la valeur Incertain . Cette action déplace l’énoncé vers la section Requiert un examen approfondi , ce qui vous donne le temps de marquer d’autres énoncés dans la section À faire qui peuvent être plus faciles à faire correspondre ou non à une intention. Vous pouvez toujours revenir à la section Requiert un examen approfondi pour marquer les énoncés qui sont plus difficiles à rattacher à une intention spécifique.
5. Répétez les étapes 1 à 4 en parcourant les intentions restantes dans la colonne Intentions prévues .

Figure 1. Marquer les énoncés comme correspondant ou non à une intention VA

Les énoncés de l’intention ad_password_change sont faciles à marquer comme correspondance avec son intention prédite, car il y a au moins un énoncé dans l’intention qui contient le mot mot mot de passe .

Lorsque vous avez terminé d’examiner les énoncés dans l’intention prédite et que vous cliquez sur Enregistrer les commentaires, l’écran s’actualise pour mettre en surbrillance l’intention prédite suivante dans le modèle.

Si vous souhaitez voir vos énoncés regroupés par leur valeur, cliquez sur le filtre Affichage et sélectionnez l’une des options dans son invite. Les valeurs sont Tous, NLU_Match et Incertain.

Utilisation de l’option de vue de carte pour examiner vos énoncés

Vos énoncés de boucle de rétroaction d’experts apparaissent par défaut dans la section À faire dans une vue de liste, comme le montrent de nombreuses images que vous avez vues jusqu’à présent ci-dessus. Cependant, vous pouvez également choisir une vue différente qui affiche chaque énoncé encadré dans une carte. Si vous choisissez cette option, chaque énoncé apparaît sur la page par groupes de cinq. Toujours dans la vue de liste, cliquez sur l’icône de carte .

Résultat : la vue de carte remplace la vue de liste. Notez les flèches gauche et droite de chaque côté de la page des cartes d’énoncés. Lorsque vous cliquez sur la flèche droite, il tourne la page vers le jeu de cinq cartes suivant. Lorsque vous cliquez sur la flèche vers la gauche, il tourne la page vers le jeu précédent de cinq cartes. Si vous souhaitez revenir à la vue de liste au lieu de la vue de carte, cliquez sur l’icône de liste , comme indiqué dans le coin supérieur droit de l’image ci-dessous.

Modification de la valeur d’un énoncé

Si vous marquez un énoncé mais changez ensuite d’avis sur la valeur que vous avez choisie, vous pouvez résoudre le problème en cliquant sur Incohérence et en sélectionnant une autre intention. Cliquez sur Enregistrer les commentaires pour enregistrer la modification.

Commentaire non enregistré

Si vous avez terminé et déconnecté une session de marquage de vos énoncés, mais que vous oubliez d’enregistrer vos modifications, sélectionnez Modifications non enregistrées dans l’invite Affichage . Cette action affiche tous les énoncés pour lesquels vous avez donné des commentaires, mais que vous n’avez pas encore enregistrés.

Acquisition de données de commentaires VA supplémentaires sur demande

Pour obtenir plus de données des journaux de messagerie instantanée VA à utiliser dans la boucle de rétroaction d’experts, procédez comme suit.

1. Utiliser le rôle nlu_admin et accéder à Tout > Définition du système > Travaux planifiés > Apprentissage actif.
2. Cliquez sur Apprentissage actif.

   

3. Cliquez sur Exécuter maintenant.

   

4. Augmentez ou définissez les valeurs dans les quatre NLU propriétés système suivantes.

• glide.mlpredictor.option.nlu.activeLearning.va_chat_logs.max_row_limit - 3000
• glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_data_size - 10000
• glide.mlpredictor.option.nlu.activeLearning.label_table.max_data_size - 10000
• glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_size-300

Pour découvrir comment ces propriétés fonctionnent dans le contexte d’autres NLU propriétés, reportez-vous à la section Propriétés du Console NLU.

Examen des énoncés sans catégorie

Dans le cadre du flux des journaux de la messagerie instantanée VA vers la boucle de rétroaction d’experts, le système collecte et affiche dans une liste tous les énoncés dans votre instance qui ne font pas partie d’une intention de VA. Vous accédez à ces énoncés en sélectionnant Non classé dans la boucle de rétroaction d’experts pour l’invite en haut de votre écran.

Lorsque l’écran s’actualise, ces énoncés s’affichent dans la colonne Énoncé de la section Énoncés sans catégorie de votre écran.

Important :

Il est extrêmement important de fournir des commentaires sur cet ensemble d’énoncés, car le système suggère qu’il n’y a aucune intention associée à ces énoncés. En confirmant cette absence d’association ou en associant ces énoncés à une intention existante, vous aidez le modèle à apprendre correctement.

Voici les étapes à suivre pour relier un énoncé sans catégorie à une intention :

1. Dans la colonne Énoncé , sélectionnez un énoncé dans la liste.
2. Dans la colonne Intention corrigée , recherchez et sélectionnez une intention et son modèle à partir de l’invite qui, selon vous, correspondent le mieux à l’énoncé.

Par exemple, un bon appairage pour cette connexion est l’énoncé Puis-je échanger mon ESPP ? de la colonne Énoncé et l’intention 401kBenefitsInquiry de la colonne Intention corrigée , comme illustré dans l’image ci-dessous.

Remarque :

La colonne Intention corrigée vous permet de rechercher et d’utiliser toutes les intentions dans tous les modèles de votre instance.

Figure 2. Association d’un énoncé sans catégorie à une intention et à son modèle

En ce qui concerne l’image ci-dessus, couvrons quelques éléments qui aident à décrire le fonctionnement de la page des énoncés non catégorisés, comme suit. La section Tâche collecte les énoncés qui doivent être connectés à une intention. Ce jour-là, nous voyons qu’il y a 120 énoncés de ce type. Notez que la section Terminé à l’écran n’a pas d’énoncé, car vous n’avez encore effectué aucune action.

Notez également qu’il y a une barre verticale à l’extrême droite de l’écran où vous pouvez faire défiler vers le haut et vers le bas pour naviguer dans la liste des énoncés. En bas de cet écran défilant, il y a des flèches qui pointent vers la gauche et la droite afin que vous puissiez passer à la page suivante ou précédente de la liste complète des énoncés du jour.

Notez également que lorsque vous effectuez une action pour établir une connexion, le bouton Enregistrer les commentaires , normalement actif par défaut, se désactive, car le système reconnaît votre action et enregistre automatiquement votre modification.

Données de boucle de rétroaction d’experts dans la phase de réglage du modèle

Le bouton Régler le modèle dans la boucle de rétroaction d’experts est toujours activé et permet de déplacer des énoncés de l’onglet Boucle de rétroaction d’experts terminée vers le modèle et son jeu de tests. Utilisez le rôle nlu_admin pour cliquer sur ce bouton chaque fois que vous avez besoin d’ajuster ou de réajuster votre modèle.

Après avoir examiné les énoncés dans la boucle de rétroaction d’experts, vous pouvez transmettre une partie des données de commentaires au jeu de tests par défaut de votre modèle. Ces énoncés sont ensuite directement ajoutés à l’onglet Énoncés de test de votre modèle. Cela vous aide à maintenir et à mettre à jour en permanence votre jeu de tests avec des énoncés réels de l’utilisateur final. Le système suit la source des énoncés de test pour savoir s’ils proviennent de la boucle de rétroaction d’experts ou d’une autre source.

Si vous cliquez sur le bouton Régler le modèle avant d’avoir marqué et enregistré au moins 100 énoncés, l’écran s’actualise pour vous rappeler que les performances de votre modèle augmentent en qualité lorsque vous avez dépassé l’objectif de 100 commentaires d’énoncés, comme indiqué dans le texte de l’image ci-dessous.

Au fur et à mesure que vous marquez et enregistrez vos données de commentaires, vous pouvez voir le taux d’énoncés examinés (en vert) et ceux qui sont encore disponibles pour examen (en blanc) sur l’image de la barre de progression ci-dessous.

Sur l’image Régler votre modèle ci-dessous, vous pouvez voir la répartition 60/40 % par défaut pour votre jeu de formation de modèle et votre jeu de test de modèle. Vous pouvez ajuster ces valeurs par défaut si nécessaire en sélectionnant les nombres que vous avez vous-même choisis dans chacune des deux cases (%). Une fois que vous êtes satisfait de votre répartition en pourcentage, cliquez sur le bouton Ajuster pour ajuster votre modèle en fonction des valeurs de pourcentage que vous avez choisies.

Remarque :

Si vous cliquez sur le caret de rétroaction Afficher , vous accédez à un écran Boucle de rétroaction d’experts où vous pouvez continuer à examiner, marquer et enregistrer vos énoncés de commentaire.

Utilisation de la tâche d’apprentissage actif

Les travaux planifiés, également appelés travaux par lots ou planification par lots, sont des éléments de travail automatisés qui sont effectués à une heure spécifique ou selon un calendrier récurrent. De nombreuses tâches s’exécutent selon des horaires, mais nous nous concentrons maintenant sur la tâche d’apprentissage actif à titre d’exemple.

Voici trois choses que vous pouvez faire lorsque vous utilisez la tâche d’apprentissage actif.

• Modifiez l’intervalle de fréquence de répétition avec lequel la tâche d’apprentissage actif sera définie pour s’exécuter.
• Vérifiez quand la prochaine exécution planifiée est définie pour la tâche d’apprentissage actif.
• Exécutez la tâche d’apprentissage actif quand vous le souhaitez (sur demande).

Voici quelques étapes à suivre pour commencer.

1. À l’aide du rôle nlu_admin, accédez au champ Tout et saisissez sysauto_script.list, puis appuyez sur la touche Retour de votre clavier. L’écran s’actualise pour afficher la page Calendrier, qui répertorie toutes les tâches planifiées.
   
   
2. Sur la page Calendrier, cliquez sur Apprentissage actif. Un enregistrement de la tâche d’apprentissage actif s’affiche, comme illustré dans l’image ci-dessous.
   
   
3. Sur l’enregistrement d’apprentissage actif, configurez les champs suivants.
   • Dans le champ Exécuter , sélectionnez l’une des huit options Intervalle de répétition de la tâche. Les options sont : Quotidien, Hebdomadaire, Mensuel, Périodiquement, Un, À la demande, Calendrier d’entreprise : début de l’entrée et Calendrier d’entreprise : fin de l’entrée.
   • Dans le champ Intervalle de répétition , saisissez le nombre de jours souhaités entre maintenant et le prochain intervalle de répétition pour la tâche d’apprentissage actif.
   • Dans le champ En cours de démarrage , cliquez sur l’icône Calendrier et choisissez le jour et l’heure du prochain intervalle de tâche d’apprentissage actif.
   • Cliquez sur le bouton Mettre à jour pour enregistrer vos configurations ou cliquez sur le bouton Exécuter maintenant pour démarrer l’exécution de la tâche d’apprentissage actif.
   • Pour vérifier quand la prochaine tâche d’apprentissage actif s’exécute, accédez au champ Tout et saisissez sys_trigger.list, puis appuyez sur la touche retour de votre clavier. La page Calendrier s’affiche. Cliquez sur Apprentissage actif. L’enregistrement Élément de calendrier/Apprentissage actif apparaît et renseigne le champ Action suivante avec la date et l’heure de la prochaine exécution de la tâche d’apprentissage actif.
     
     

Vous trouverez des informations détaillées sur NLUla tâche d’apprentissage actif de dans cet article de la base de connaissances sur le portail d’assistance : KB1633901.