Commentaire du panneau de test

Lorsque vous testez votre NLU modèle dans la section Essayer le modèle du panneau de test, utilisez cette fonctionnalité pour fournir des commentaires sur les prédictions d’intention du modèle.

Contexte du résumé

Lorsqu’un modèle est formé et testé pour un énoncé et que le modèle renvoie une prédiction d’intention, vous pouvez fournir une évaluation d’approbation vers le haut ou vers le bas sur l’intention prédite qu’il renvoie. Le marquage d’une prédiction d’intention différente comme correcte ajoute l’énoncé à l’intention corrigée. Tous les autres commentaires sont capturés pour l’apprentissage continu. Le système intègre ensuite vos commentaires pour optimiser les prédictions du modèle. Cette fonctionnalité nécessite le rôle nlu_admin pour accéder au modèle et le tester. NLU Les éditeurs peuvent également accéder au panneau de test si un NLU administrateur les y affecte.

Fournir un commentaire de prédiction

Les évaluations que vous attribuez aident le système à faire correspondre une intention à un énoncé. Ces évaluations sont essentielles pour permettre au système d’apprendre, d’évoluer et d’améliorer en permanence la précision des prédictions d’intention en fonction des entrées des utilisateurs. Ils vous permettent également de notifier le système si la prédiction d’intention est correcte ou non.

Les scénarios ci-dessous montrent des exemples de façon d’interagir avec votre panneau de test de modèle et de fournir des commentaires de prédiction au système. Dans tous les scénarios, vous utilisez ces quatre étapes :

1. Dans la phase Générer et former votre modèle de votre modèle, sélectionnez Essayer le modèle pour ouvrir le panneau de test.
2. Dans le champ Entrez un énoncé à tester du panneau de test, saisissez un énoncé bref similaire à un énoncé de formation dans l’une des intentions.
3. Cliquez sur GO.

   Résultat : le système renvoie ses prédictions pour votre énoncé de test dans la section Prédiction(s) principale(s) du panneau de test.

4. Cliquez sur l’icône Pouce vers le haut ou vers le bas .

   Si vous voulez que le système sache qu’il a prédit l’intention correcte pour votre énoncé, sélectionnez l’icône Pouce vers le haut .

   Dans tous les autres cas, sélectionnez l’icône Pouce vers le bas , qui ouvre la section Fournir des commentaires pour améliorer cette prédiction . Ici, vous pouvez choisir une intention autre que l’intention prédite principale.

Scénario 1 : dans la section Essayer le modèle du panneau de test, vous saisissez de l’aide avec hr comme énoncé. Lorsque les meilleurs résultats de prédiction s’affichent, vous êtes sûr que l’intention prévue correspond correctement à votre énoncé. Donc, dans ce cas, vous cliquez sur l’icône Pouce vers le haut .

Résultats :

• Le système a prédit l’intention correcte, qui dans ce cas est #CreateHRGeneralInquiryCase.
• Vos commentaires notifient le système qu’il a fait correspondre l’intention correcte à votre énoncé de test.

Scénario 2 : dans un modèle distinct sur une instance distincte, un utilisateur différent entre la même aide avec l’énoncé rh. Le système répond avec les meilleurs résultats de prédiction pour l’intention, mais l’utilisateur n’est pas sûr qu’il s’agisse de l’intention correcte ou non. Cet utilisateur clique donc sur l’icône Pouce vers le bas , comme indiqué dans l’image ci-dessous.

Résultat : le panneau s’agrandit pour afficher la section Fournir des commentaires pour améliorer cette prédiction dans laquelle les utilisateurs peuvent soumettre des commentaires qui peuvent aider à améliorer la prédiction d’intention.

Deux options s’offrent à vous :

• Si les utilisateurs cliquent sur le bouton Son intention correcte doit être : , une liste s’affiche, dans laquelle ils peuvent choisir une intention plus appropriée pour l’énoncé de test. Dans cet exemple de scénario, un utilisateur sélectionne l’intention Récupérer l’emplacement de travail , comme illustré dans l’image ci-dessous.

  

• Si vous cliquez sur l’invite Je ne suis pas sûr de savoir quelle est l’intention correcte , au lieu de renvoyer une prédiction principale, le système affiche les meilleures prédictions d’intention disponibles suivantes.

Scénario 3 : dans un modèle distinct sur une instance distincte, un autre utilisateur soumet un énoncé qui utilise du charabia ou utilise une langue différente de celle utilisée par le modèle. Par exemple, un utilisateur soumet par erreur un énoncé composé à la fois de langues autres que l’anglais et l’anglais, comme illustré dans l’image ci-dessous.

Résultat : le système ne renvoie pas de prédiction, car l’énoncé utilise deux langues différentes ensemble. Étant donné qu’aucune intention n’a été prévue, l’utilisateur clique sur l’option Fournir un commentaire , ce qui agrandit la section Essayer le modèle pour afficher d’autres alternatives d’intention.

Ainsi, au lieu de choisir une intention dans l’invite, cet utilisateur sélectionne l’option Aucune intention ne doit être prédite .

Remarque :

Lorsque vous choisissez et enregistrez Aucune intention ne doit être prévue, l’énoncé est supprimé de toutes les intentions dont il fait partie.

Scénario 4 : en plus de choisir parmi une liste les intentions de votre modèle pour une prédiction, vous pouvez également notifier directement le système que l’énoncé n’est pas pertinent pour le modèle. Pour ce faire, cliquez sur le bouton Exclure les prédictions de ce modèle pour cet énoncé , puis cliquez sur Enregistrer les changements.

Résultat : une bannière apparaît en haut de l’écran confirmant que les commentaires des utilisateurs pour la prédiction sont enregistrés, comme le montre l’image ci-dessous.

Accéder à vos enregistrements de commentaires

Vos données de commentaires sont stockées dans la table ml_labeled_data , qui est également utilisée par d’autres ServiceNow produits. Cette table peut également contenir plusieurs sources, telles que Agent virtuel des journaux de messagerie instantanée, qui peuvent être utilisées pour les prédictions futures.