Commentaires du panneau de test

Lorsque vous testez votre NLU modèle dans la section Essayer le modèle du panneau de test, utilisez cette fonctionnalité pour fournir des commentaires sur les prédictions d’intention du modèle.

Contexte du résumé

Lorsqu’un modèle est formé et testé pour un énoncé et que le modèle renvoie une prédiction d’intention, vous pouvez fournir une note « pouce vers le haut » ou « pouce vers le bas » sur l’intention prévue qu’il renvoie. Le marquage d’une prédiction d’intention différente comme correcte ajoute l’énoncé à l’intention corrigée. Tous les autres commentaires sont capturés pour l’apprentissage continu. Le système intègre ensuite vos commentaires pour optimiser les prédictions du modèle. Cette fonctionnalité nécessite le rôle nlu_admin pour accéder au modèle et le tester. NLU Les éditeurs peuvent également accéder au panneau de test si un NLU administrateur les y affecte.

Fournir un commentaire de prédiction

Les évaluations que vous fournissez aident le système à faire correspondre une intention à un énoncé. Ces évaluations sont essentielles pour que le système apprenne en permanence, évolue et améliore la précision des prédictions d’intention en fonction des entrées des utilisateurs. Ils vous permettent également d’avertir le système si la prédiction d’intention est correcte ou non.

Les scénarios ci-dessous illustrent comment interagir avec votre panneau de test de modèle et fournir des commentaires de prédiction au système. Dans tous les scénarios, vous suivez les quatre étapes suivantes :

1. Dans la phase Générer et former votre modèle de votre modèle, sélectionnez Essayer le modèle pour ouvrir le panneau de test.
2. Dans le champ Saisir un énoncé à tester du panneau de test, saisissez un énoncé bref similaire à un énoncé de formation dans l’une des intentions.
3. Cliquez sur GO.

   Résultat : le système renvoie ses prédictions pour votre énoncé de test dans la section Prédiction(s) principale(s) du panneau de test.

4. Cliquez sur l’icône Pouce vers le haut ou Pouce vers le bas .

   Si vous souhaitez que le système sache qu’il a prédit l’intention correcte de votre énoncé, sélectionnez l’icône Pouce vers le haut .

   Dans tous les autres cas, sélectionnez l’icône Pouce vers le bas , qui ouvre la section Fournir un commentaire pour améliorer cette prédiction . Ici, vous pouvez choisir une intention autre que l’intention la plus prédite.

Scénario 1 : dans la section Essayer le modèle du panneau de test, vous entrez aide avec RH comme énoncé. Lorsque les meilleurs résultats de prédiction s’affichent, vous êtes sûr que l’intention prédite correspond correctement à votre énoncé. Dans ce cas, vous cliquez sur l’icône Pouce vers le haut .

Résultats :

• Le système a prédit la bonne intention, qui dans ce cas est #CreateHRGeneralInquiryCase.
• Vos commentaires notifient le système qu’il a fait correspondre l’intention correcte à votre énoncé de test.

Scénario 2 : dans un modèle distinct sur une instance distincte, un utilisateur différent saisit le même énoncé d’aide RH . Le système répond avec les meilleurs résultats de prédiction pour l’intention, mais l’utilisateur ne sait pas s’il s’agit de la bonne intention ou non. Cet utilisateur clique donc sur l’icône Pouce vers le bas , comme illustré dans l’image ci-dessous.

Résultat : le panneau s’agrandit pour afficher la section Fournir des commentaires pour améliorer cette prédiction où les utilisateurs peuvent soumettre des commentaires qui peuvent aider à améliorer la prédiction d’intention.

Deux options s’offrent à vous :

• Si les utilisateurs cliquent sur le bouton Son intention correcte doit être : , une liste s’affiche, dans laquelle ils peuvent choisir une intention plus appropriée pour l’énoncé de test. Dans cet exemple de scénario, un utilisateur sélectionne l’intention Récupérer l’emplacement de travail , comme illustré dans l’image ci-dessous.

  

• Si vous cliquez sur l’invite Je ne suis pas sûr de savoir quelle est la bonne intention , au lieu de renvoyer une prédiction principale, le système affiche les prochaines meilleures prédictions d’intention disponibles.

Scénario 3 : dans un modèle distinct sur une instance distincte, un autre utilisateur soumet un énoncé qui utilise du charabia ou utilise une langue différente de celle utilisée par le modèle. Par exemple, un utilisateur soumet par erreur un énoncé composé à la fois de langues autres que l’anglais et l’anglais, comme illustré dans l’image ci-dessous.

Résultat : le système ne renvoie pas de prédiction, car l’énoncé utilise deux langues différentes ensemble. Étant donné qu’aucune intention n’a été prédite, l’utilisateur clique sur l’option Donner un commentaire qui développe la section Essayer le modèle pour afficher d’autres alternatives d’intention.

Ainsi, au lieu de choisir une intention dans l’invite, cet utilisateur sélectionne l’option Aucune intention ne doit être prédite .

Remarque :

Lorsque vous choisissez et enregistrez Aucune intention ne doit être prédite. L’énoncé est supprimé de toutes les intentions dont il fait partie.

Scénario 4 : en plus de choisir parmi une liste des intentions de votre modèle pour une prédiction, vous pouvez également notifier directement le système que l’énoncé n’est pas pertinent pour le modèle. Pour ce faire, cliquez sur le bouton Exclure les prédictions de ce modèle pour cet énoncé , puis cliquez sur Enregistrer les modifications.

Résultat : une bannière s’affiche en haut de l’écran pour confirmer que les commentaires de l’utilisateur concernant la prédiction sont enregistrés, comme illustré dans l’image ci-dessous.

Accéder à vos enregistrements de commentaires

Vos données de commentaires sont stockées dans la table ml_labeled_data , qui est également utilisée par d’autres ServiceNow produits. Cette table peut également abriter plusieurs sources, telles que des Agent virtuel journaux de messagerie instantanée qui peuvent être utilisés pour des prédictions futures.