NLU Boucle de rétroaction d’experts

Fournissez des commentaires sur Agent virtuel les énoncés du journal de messagerie instantanée pour aider le système à apprendre en continu et à mieux prédire les entrées de l’utilisateur.

Utilisation du résumé

La boucle de rétroaction d’experts prend les données de votre instance et vous les fournit pour obtenir des commentaires. Ces données proviennent des journaux de messagerie instantanée d’Agent virtuel (VA) de vos utilisateurs et incluent les énoncés de ces journaux. À l’aide du rôle nlu_admin, accédez à Tous > Console NLU > Boucle de rétroaction d'experts et marquez chaque énoncé dans un modèle en confirmant si l’énoncé est correct (correspondance) ou incorrect (incohérence) par rapport à une intention. Ces commentaires aident le modèle à améliorer continuellement ses performances.

Installation

La boucle de rétroaction d’experts fait partie de l’application Console NLU - Fonctionnalités avancées, disponible sur le ServiceNow® Store.

Pour utiliser la boucle de rétroaction d’experts, assurez-vous que le module d’extension Console NLU - Fonctionnalités avancées (sn_nlu_workbench) est actif sur votre instance. Pour plus d’informations, consultez Installer Console NLU - Fonctionnalités avancées et activez la console NLU.

Étant donné que la boucle de rétroaction d’experts s’appuie sur les données des journaux de messagerie instantanée VA, assurez-vous que le module d’extension Glide Virtual Agent (com.glide.cs.chatbot) est également actif. Reportez-vous à la section Activer Virtual Agent.

Importation de données de boucle de rétroaction d’experts entre des instances

Avant de commencer une importation, assurez-vous d’avoir accès aux données de votre instance et d’avoir suffisamment de données pour continuer avec vos commentaires.

Si vous travaillez dans une instance de sous-production, vous devez importer les données de commentaire de la table de open_nlu_predict_intent_feedback de votre instance de production vers votre instance de sous-production. Pour obtenir des conseils sur l’importation, consultez Importation à partir d’une autre instance ServiceNow.

Voici quelques scénarios de données concernant le comportement du système pour les NLU modèles qui hébergent les énoncés de boucle de rétroaction.

• Si vous déplacez un modèle vers une autre instance, les données de commentaire sont conservées.
• Si vous mettez à niveau l’instance, les données de commentaire sont conservées.
• Si vous clonez une instance, les données ne sont pas conservées. Vous devez donc suivre la procédure référencée ci-dessus pour importer les données dans l’instance clonée.

Contexte et accès aux commentaires

La boucle de rétroaction d’experts fournit un mécanisme vous permettant d’améliorer NLU les modèles déployés sur VA par le biais des commentaires que vous fournissez sur un sous-ensemble sélectionné d’énoncés. Pour chaque énoncé, il vous est demandé de confirmer l’intention prédite ou de fournir l’intention correcte à laquelle l’énoncé appartient. Une fois ces commentaires terminés, les données sont utilisées pour ajuster les performances du modèle, ce qui donne un modèle amélioré qui peut maintenant être redéployé pour collecter davantage de données de l’utilisateur final. Il s’agit d’un cycle itératif qui permet au système de collecter des données en continu, d’apprendre des commentaires que vous fournissez et d’utiliser ces commentaires pour améliorer davantage vos NLU modèles.

Une fois tous les 30 jours, le système extrait jusqu’à 300 échantillons d’énoncés des journaux de messagerie instantanée VA vers la boucle de rétroaction d’experts. Les énoncés sont sélectionnés pour les commentaires en fonction de la façon dont ils représentent tous les énoncés dans les journaux. Chaque énoncé échantillonné à partir des journaux de messagerie instantanée VA a une intention prévue sélectionnée par le système.

Vous pouvez également définir le nombre d’énoncés que vous souhaitez extraire des journaux de messagerie instantanée VA en ajustant le paramètre de la glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_size propriété système.

Lorsque vous examinez les énoncés, décidez si chaque énoncé appartient à son intention prévue ou doit être déplacé vers une intention différente. Si vous n’êtes pas sûr de l’intention correcte, l’énoncé peut être marqué pour être revu pour un examen plus approfondi. Une fois que vous avez marqué au moins 100 énoncés avec vos commentaires, le système utilise tous les énoncés marqués pour ajuster et améliorer le modèle.

Examen de vos énoncés du journal de messagerie instantanée VA

Maintenant que vous êtes dans la boucle, vous pouvez voir dans l’image suivante une liste d’énoncés NLU qui prennent en charge les intentions dans les modèles VA. Chaque page de la liste affiche environ 20 énoncés par page. Votre objectif consiste à examiner chaque énoncé et à marquer son statut de relation avec une intention VA donnée. Vous marquez chaque énoncé avec la valeur NLU_Match, Incohérence ou Incertain .

Marquer un énoncé comme NLU_Match signifie que vous êtes d’accord avec la prédiction NLU pour cet énoncé. Marquer un énoncé comme Non conforme signifie que l’énoncé appartient à une intention différente, et si vous sélectionnez Non concordance, une liste déroulante des intentions s’affiche afin que vous puissiez sélectionner l’intention correcte. Si vous n’êtes pas sûr de l’intention correcte, vous pouvez la marquer comme Incertaine.

Les énoncés marqués et enregistrés avec la valeur NLU_Match ou la valeur Incohérence sont déplacés vers la section Révisions terminées . Les énoncés marqués et enregistrés avec la valeur Incertain sont déplacés vers la section Nécessite un examen plus approfondi .

Voici un scénario pour les étapes de base que vous utilisez pour terminer vos examens d’énoncés :

1. En haut de l’écran Exporter la boucle de rétroaction, sélectionnez un modèle que vous souhaitez examiner dans la boucle de rétroaction d’experts pour l’invite. Dans cette fonctionnalité, d’une certaine manière, le modèle que vous choisissez n’a pas d’importance, car ces modèles servent principalement à abriter les énoncés que vous marquez dans vos avis. Dans cet exemple de scénario, vous décidez de sélectionner le modèle de modèle IT , qui comporte cinq intentions et de nombreux énoncés dans chacune de ces intentions. Le nombre d’énoncés que vous devez examiner est affiché en regard du nom de l’intention prédite, comme illustré dans l’image suivante. Les intentions de ces modèles sont répertoriées dans la colonne Intentions prédites de votre écran. Bien que vous puissiez examiner et marquer les énoncés dans n’importe quelle intention prédite, il est préférable d’effectuer les examens consécutivement dans l’ordre dans lequel les intentions apparaissent en premier. Par exemple, commencez par l’intention ad_password_change , puis passez à d’autres intentions prédites.
2. Cliquez sur l’intention ad_password_change pour qu’elle charge ses énoncés dans la section À faire pour votre révision.
3. Passez en revue les 15 énoncés dans l’intention. Dans ce scénario, vous avez commencé par marquer correctement l’énoncé Je souhaite changer mon mot de passe AD comme correspondant à l’intention ad_password_change .
4. Cliquez sur Enregistrer le commentaire.
   Résultat : le système déplace l’énoncé que vous avez marqué vers la section Terminé de l’écran. Dans le même temps, le nombre d’énoncés To do passe de 15 à 14, tandis que le compte de la section Done passe de 0 à 1. Si vous aviez également marqué un autre énoncé avec la valeur Incertaine et enregistré ce changement, le nombre d’énoncés dans la section Requiert un examen supplémentaire passerait également de 0 à 1.

   Remarque :

   Si vous ne savez pas quelle intention correspond le mieux à l’énoncé, marquez-la avec la valeur Incertain . Cette action déplace l’énoncé vers la section Requiert une revue complémentaire , ce qui vous donne le temps de marquer d’autres énoncés dans la section À faire qui peuvent être plus faciles à faire correspondre ou incorrespondre à une intention. Vous pouvez toujours revenir à la section Requiert un examen supplémentaire pour marquer les énoncés qui sont plus difficiles à cerner à une intention spécifique.
5. Répétez les étapes 1 à 4 à mesure que vous parcourez les intentions restantes dans la colonne Intentions prédites .

Figure 1. Marquage des énoncés comme correspondant ou non à une intention VA

Les énoncés de l’intention ad_password_change sont faciles à marquer comme correspondant à son intention prédite, car il y a au moins un énoncé dans l’intention qui contient le mot mot mot de passe .

Lorsque vous avez terminé d’examiner les énoncés dans l’intention prédite et que vous cliquez sur Enregistrer les commentaires, l’écran s’actualise pour mettre en surbrillance l’intention prédite suivante dans le modèle.

Si vous souhaitez que vos énoncés soient regroupés par valeur, cliquez sur le filtre Affichage et sélectionnez l’une des options dans son invite. Les valeurs sont Toutes, NLU_Match et Incertain.

Utilisation de l’option de vue de la carte pour examiner vos énoncés

Vos énoncés de boucle de rétroaction d’experts s’affichent par défaut dans la section À faire d’une vue de liste, comme illustré dans la plupart des images que vous avez vues jusqu’à présent. Toutefois, vous pouvez également choisir une vue différente qui affiche chaque énoncé encadré dans une carte. Si vous choisissez cette option, chaque énoncé apparaît sur la page par groupes de cinq. Dans la vue de liste, cliquez sur l’icône de carte .

Résultat : la vue de carte remplace la vue de liste. Notez les flèches gauche et droite de chaque côté de la page des cartes d’énoncé. Lorsque vous cliquez sur la flèche droite, la page passe à l’ensemble suivant de cinq cartes. Lorsque vous cliquez sur la flèche gauche, la page de l’ensemble précédent de cinq cartes s’affiche. Si vous souhaitez revenir à la vue de liste au lieu de la vue de carte, cliquez sur l’icône de liste comme indiqué dans le coin supérieur droit de l’image ci-dessous.

Modification d’une valeur d’énoncé

Si vous marquez un énoncé, mais que vous changez d’avis sur la valeur que vous avez choisie, vous pouvez résoudre le problème en cliquant sur Non correspondance et en sélectionnant une autre intention. Cliquez sur Enregistrer le commentaire pour enregistrer le changement.

Commentaire non enregistré

Si vous terminez et vous déconnectez d’une session de marquage de vos énoncés, mais que vous oubliez d’enregistrer vos modifications, sélectionnez Modifications non enregistrées dans l’invite d’affichage . Cette action affiche tous les énoncés pour lesquels vous avez fourni des commentaires, mais que vous n’avez pas encore enregistrés.

Obtention de données supplémentaires sur les commentaires VA sur demande

Pour obtenir plus de données à partir des journaux de messagerie instantanée VA à utiliser dans la boucle de rétroaction d’experts, procédez comme suit.

1. Utilisez le rôle nlu_admin et accédez à Tous > Définition du système > Travaux planifiés > Apprentissage actif.
2. Cliquez sur Apprentissage actif.

   

3. Cliquez sur Exécuter maintenant.

   

4. Augmentez ou définissez les valeurs dans les quatre NLU propriétés système suivantes.

• glide.mlpredictor.option.nlu.activeLearning.va_chat_logs.max_row_limit - 3000
• glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_data_size - 10000
• glide.mlpredictor.option.nlu.activeLearning.label_table.max_data_size - 10000
• glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_size-300

Pour savoir comment ces propriétés fonctionnent dans le contexte d’autres NLU propriétés, reportez-vous à la section Propriétés Console NLU.

Examiner les énoncés sans catégorie

Dans le cadre du flux des journaux de messagerie instantanée VA vers la boucle de rétroaction d’experts, le système collecte et affiche dans une liste tous les énoncés de votre instance qui ne font pas partie d’une intention VA. Vous accédez à ces énoncés en sélectionnant Sans catégorie dans la boucle de rétroaction d’experts pour invite en haut de votre écran.

Lorsque l’écran s’actualise, ces énoncés sont affichés dans la colonne Énoncé de la section Énoncés sans catégorie de votre écran.

Important :

Il est extrêmement important de fournir des commentaires sur cet ensemble d’énoncés, car le système suggère qu’il n’y a aucune intention associée pour ces énoncés. En confirmant cette absence d’association ou en associant ces énoncés à une intention existante, vous aidez le modèle à apprendre correctement.

Voici les étapes à suivre pour connecter un énoncé sans catégorie à une intention :

1. Dans la colonne Énoncé , sélectionnez un énoncé dans la liste.
2. Dans la colonne Intention corrigée , recherchez et sélectionnez une intention et son modèle à partir de l’invite qui, selon vous, correspond le mieux à l’énoncé.

Par exemple, une bonne appariement pour cette connexion est l’énoncé Puis-je trader mon ESPP ? à partir de la colonne Énoncé et l’intention 401kBenefitsInquiry à partir de la colonne Intention corrigée , comme illustré dans l’image ci-dessous.

Remarque :

La colonne Intention corrigée vous permet de rechercher et d’utiliser toutes les intentions dans tous les modèles de votre instance.

Figure 2. Associer un énoncé non catégorisé à une intention et à son modèle

En ce qui concerne l’image ci-dessus, couvrons quelques éléments qui permettent de décrire le fonctionnement de la page Énoncés non catégorisés, comme suit. La section À faire collecte les énoncés qui doivent être connectés à une intention. Ce jour-là, nous voyons qu’il y a 120 déclarations de ce type. Notez que la section Terminé de l’écran ne contient pas d’énoncés, car vous n’avez encore effectué aucune action.

Notez également qu’il existe une barre verticale à l’extrême droite de l’écran où vous pouvez faire défiler vers le haut et vers le bas pour naviguer dans la liste des énoncés. Au bas de cet écran de défilement, des flèches pointent vers la gauche et la droite pour que vous puissiez passer à la page suivante ou précédente de la liste complète des énoncés du jour.

Notez également que lorsque vous effectuez une action pour établir une connexion, le bouton Enregistrer les commentaires , normalement actif par défaut, se désactive, car le système reconnaît votre action et enregistre automatiquement votre modification.

Données de boucle de rétroaction d’experts dans la phase Ajuster le modèle

Le bouton Ajuster le modèle dans la boucle de rétroaction d’experts est toujours activé et prend en charge l’expérience de déplacement des énoncés de l’onglet Boucle de rétroaction d’experts terminée vers le modèle et son jeu de tests. Utilisez le rôle nlu_admin pour cliquer sur ce bouton chaque fois que vous avez besoin d’ajuster ou de réajuster votre modèle.

Après avoir examiné les énoncés dans la boucle de rétroaction d’experts, vous pouvez transmettre une partie des données de commentaire au jeu de tests par défaut de votre modèle. Ces énoncés sont ensuite directement ajoutés à l’onglet Énoncés de test de votre modèle. Cela vous permet de maintenir et de mettre à jour en permanence votre jeu de tests avec des énoncés d’utilisateur final réels. Le système suit la source des énoncés de test pour savoir s’ils proviennent de la boucle de rétroaction d’experts ou d’une autre source.

Si vous cliquez sur le bouton Ajuster le modèle avant d’avoir marqué et enregistré au moins 100 énoncés, l’écran s’actualise pour vous rappeler que la qualité des performances de votre modèle augmente lorsque vous avez dépassé l’objectif de 100 commentaires sur l’énoncé, comme indiqué dans le texte de l’image ci-dessous.

Au fur et à mesure que vous marquez et enregistrez vos données de commentaire, vous pouvez voir le taux d’énoncés révisés (en vert) et ceux qui sont encore disponibles pour examen (en blanc) sur l’image de la barre de progression ci-dessous.

Sur l’image Ajuster votre modèle ci-dessous, vous pouvez voir la répartition en pourcentage 60/40 par défaut pour votre jeu de formation de modèle et votre jeu de tests de modèle. Vous pouvez ajuster ces valeurs par défaut si nécessaire en sélectionnant les nombres de votre choix dans chacune des deux cases (%). Une fois que vous êtes satisfait de votre répartition en pourcentage, cliquez sur le bouton Ajuster pour ajuster votre modèle en fonction des valeurs de pourcentage que vous avez choisies.

Remarque :

Si vous cliquez sur le curseur Afficher les commentaires , vous êtes redirigé vers un écran de boucle de rétroaction d’experts dans lequel vous pouvez continuer à examiner, marquer et enregistrer vos énoncés de commentaires.

Utiliser la tâche Active Learning

Les tâches planifiées, également connues sous le nom de tâches par lots ou planification par lots, sont des tâches automatisées qui sont effectuées à une heure spécifique ou selon un calendrier récurrent. De nombreuses tâches s’exécutent selon des calendriers, mais nous nous concentrons maintenant sur la tâche d’apprentissage actif à titre d’exemple.

Voici trois choses que vous pouvez faire lorsque vous utilisez la tâche Active Learning.

• Modifiez l’intervalle de fréquence de répétition avec lequel la tâche d’apprentissage actif sera définie pour s’exécuter.
• Cochez la date de la prochaine exécution planifiée de la tâche d’apprentissage actif.
• Exécutez la tâche d’apprentissage actif quand vous le souhaitez (sur demande).

Voici quelques étapes à suivre pour commencer.

1. À l’aide du rôle nlu_admin, accédez au champ Tout et saisissez sysauto_script.list, puis appuyez sur la touche Retour de votre clavier. L’écran s’actualise pour afficher la page Calendrier, qui répertorie toutes les tâches planifiées.
   
   
2. Sur la page Calendrier, cliquez sur Apprentissage actif. Un enregistrement de la tâche d’apprentissage actif s’affiche, comme illustré dans l’image ci-dessous.
   
   
3. Sur l’enregistrement d’apprentissage actif, configurez les champs suivants.
   • Dans le champ Exécuter , sélectionnez l’une des huit options d’intervalle de répétition pour la tâche. Les options disponibles sont les suivantes : Quotidien, Hebdomadaire, Mensuel, Périodique,Un, Sur demande, Calendrier d’entreprise : début de l’entrée et Calendrier d’entreprise : fin de l’entrée.
   • Dans le champ Intervalle de répétition , entrez le nombre de jours que vous souhaitez entre maintenant et le prochain intervalle de répétition pour la tâche d’apprentissage actif.
   • Dans le champ de démarrage , cliquez sur l’icône Calendrier et choisissez le jour et l’heure du prochain intervalle de tâche d’apprentissage actif.
   • Cliquez sur le bouton Mettre à jour pour enregistrer vos configurations ou cliquez sur le bouton Exécuter maintenant pour démarrer l’exécution de la tâche d’apprentissage actif.
   • Pour vérifier la date d’exécution de la prochaine tâche d’apprentissage actif, accédez au champ Tout et saisissez sys_trigger.list, puis appuyez sur la touche Retour de votre clavier. La page Calendrier s’affiche. Cliquez sur Apprentissage actif. L’enregistrement Élément de calendrier/d’apprentissage actif s’affiche et renseigne le champ Action suivante avec la date et l’heure de la prochaine exécution de la tâche d’apprentissage actif.