Test des rubriques LLM

Vous pouvez tester les fonctions de votre rubrique en exécutant votre conversation dans une fenêtre de test de messagerie instantanée pendant que vous travaillez. Le client de messagerie instantanée Web (Portail de services) est la fenêtre de test par défaut.

Les rubriques de modèle de langage volumineux (LLM) sont plus rapides et plus faciles à tester que Compréhension du langage naturel les rubriques (NLU). Par exemple, vous n’avez pas besoin de retester votre rubrique après la mise à jour des énoncés et de reformer les modèles comme pour NLU les rubriques.

Si vous utilisez les intégrations de l’Agent virtuel avec des applications de messagerie tierces, les éléments de votre conversation peuvent apparaître différemment dans les applications de messagerie tierces. Testez vos conversations dans toutes les applications tierces que vous souhaitez déployer Agent virtuel.

Remarque :

Si le panneau, Microsoft Teams l’application ou Slack l’application est configuré pour votre environnement, les options d’aperçu Now Assist de ces canaux sont affichées dans la liste du bouton Test. Sélectionnez Aperçu dans le panneau Now Assist ou Aperçu dans Microsoft Teams dans la liste pour tester votre rubrique dans ces environnements.

Test de votre rubrique LLM dans la fenêtre de test de messagerie instantanée

Vous pouvez trouver les options de test LLM sur le canevas et la Concepteur d'agent virtuel page d’accueil. — Figure 1. Options de test LLM

Testez les rubriques LLM sur le Concepteur d'agent virtuel canevas en utilisant les options de test sur la barre d’en-tête de la rubrique. Lors d’un test à partir d’une seule rubrique, l’option Inclure la rubrique de découverte doit être sélectionnée pour travailler avec les assistants. Si la rubrique est associée à plusieurs assistants LLM, utilisez la liste déroulante Assistant pour sélectionner l’assistant que vous souhaitez tester. Pour plus d’informations sur les assistants LLM, reportez-vous à la section Assistants LLM.

Remarque :

S’il manque des informations nécessaires à votre rubrique, un badge incomplet apparaît dans le coin du volet du diagramme de flux. Un badge d’avertissement jaune ou rouge apparaît également à côté de chaque nœud. Le badge incomplet répertorie le nombre total de problèmes, tandis que les badges d’avertissement locaux indiquent le nombre de problèmes détectés dans chaque nœud. Si vous sélectionnez Tester en cas de problèmes, une fenêtre Problèmes s’ouvre avec le nombre de problèmes présents ainsi que les détails de chaque problème. Ces détails comprennent une description complète et un lien hypertexte vers chaque élément incomplet.

Vous pouvez également tester les rubriques LLM actives (publiées) sur la page Rubriques. Utilisez le filtre Assistant LLM pour limiter vos rubriques aux seules rubriques associées à cet assistant, puis sélectionnez Tester les rubriques actives. Si vous n’utilisez pas le filtre Assistant LLM , sélectionnez Tester les rubriques de l’assistant LLM dans la liste déroulante Tester les rubriques actives. Lors de l’utilisation de l’option ou des sous-options Tester les rubriques actives à partir de la page Rubriques, la découverte de rubriques est activée, elle n’est donc pas répertoriée comme une option. Lors du test à partir de la page Rubriques, la liste déroulante Assistant s’affiche dans la fenêtre de test de messagerie instantanée. Vous devez avoir préalablement établi au moins la valeur par défaut Now Assist dans Agent virtuel l’assistant pour voir la liste déroulante Assistant. Lorsqu’une rubrique est associée à un seul assistant LLM, la liste déroulante Assistant utilise par défaut le nom de cet assistant. Si vous avez plusieurs assistants, sélectionnez l’assistant avec lequel vous souhaitez travailler dans la liste déroulante Assistant. Pour plus d’informations sur la création de plusieurs assistants LLM, reportez-vous à la section Gérer les agents virtuels LLM sur l’écran Assistants.

La fenêtre de test de la messagerie instantanée s’ouvre dans le widget de Now AssistAgent virtuel messagerie instantanée. La liste déroulante Assistant et l’option Inclure la rubrique de découverte peuvent s’afficher en fonction de l’origine du test et si vous avez établi des assistants LLM.

Vous pouvez fournir des commentaires sur chaque énoncé effectué par le LLM en sélectionnant l’icône pouce vers le haut comme ou je n’aime pas Icône Pouce vers le bas Options qui s’affichent lorsque vous survolez un énoncé. Toutes les entrées utilisateur LLM, à l’exception du collecteur d’entrées, disposent de ces options de commentaire.

Réponse LLM demandant à l’utilisateur « Quelle couleur préférez-vous : rouge ou vert ? » suivie de choix « rouge » ou « vert ». Les options de commentaires J’aime et Je n’aime pas sont affichées dans le coin du message. — Figure 2. Options de commentaire de réponse LLM

La fenêtre de test de la messagerie instantanée affiche également les onglets adjacents qui fournissent des détails sur votre rubrique lorsque vous la testez. Les onglets suivants sont disponibles lors du test des rubriques LLM :

Analyser les phrases de test : résultats pour la découverte de rubriques en fonction de votre entrée.
Modifier les instructions : liste de toutes les instructions de la rubrique qui sont envoyées au LLM. Cet onglet n’est disponible que lors du test d’une seule rubrique.
Variables : liste de toutes les variables utilisées dans la conversation, telles que l’entrée et Agent actif les variables.
Modifier les variables : options permettant de modifier les variables utilisées dans cette rubrique.
Contexte : options permettant de spécifier le contexte (à l’aide de variables de contexte) dans lequel une rubrique est exécutée.
Journaux : liste des traitements effectués.

Différents onglets s’affichent en fonction du type de rubrique LLM que vous testez. — Figure 3. Exemple de fenêtre et d’onglets de test

Les onglets suivants s’affichent lorsque vous testez leurs types de rubriques connexes sur le Concepteur d'agent virtuel canevas :

Les onglets Analyser les phrases de test, Modifier les instructions, Variables et Journaux s’affichent pour tous les types de rubriques LLM.
L’onglet Modifier les variables s’affiche pour les blocs de rubriques et les contrôles personnalisés.
L’onglet Contexte s’affiche pour les rubriques, les rubriques de configuration ou les rubriques de conversation courte lorsque vous sélectionnez Inclure la découverte de rubriques.

Si vous exécutez des tests à partir de la page Rubriques, la fenêtre de test affiche uniquement les onglets Analyser les phrases de test, Variables, Contexte (disponible par défaut, sans option Inclure la rubrique ) et Journaux .

Onglet Analyser des phrases de test

Lorsque vous testez des rubriques LLM, les résultats de la découverte de rubriques s’affichent en fonction de votre entrée. Lors du test des rubriques associées à un assistant LLM principal, seules les rubriques promues de l’assistant principal s’affichent. Lorsque vous saisissez une phrase de test, divers résultats de recherche s’affichent lorsque les résultats Genius sont activés, y compris la découverte de compétences (rubrique), Base de connaissances les articles (KB) et les éléments de catalogue. Sous les résultats de la recherche de compétences, un Matching badge apparaît à côté de la compétence découverte, tandis que des variables et des valeurs peuvent également être répertoriées (telles que la variable @laptop_make et la valeur macbook), en fonction de la rubrique. Ces résultats Genius n’apparaissent que si vous testez une rubrique publiée et que vous avez sélectionné l’option Inclure la découverte de rubrique . Si l’option Inclure la rubrique de découverte semble inactive, publiez la rubrique et sélectionnez un assistant LLM dans l’onglet Propriétés pour utiliser la découverte de rubriques. Un message d’indexation de recherche en cours peut s’afficher, mais vous pouvez toujours effectuer le test pendant l’exécution de l’indexation de recherche, même si la découverte de rubrique n’est peut-être pas mise à jour. Pour plus d’informations sur le fonctionnement des résultats Genius, voir Now Assist in AI Search.

En outre, lorsque vous testez les rubriques actives de l’assistant LLM à partir de la page Rubriques, les résultats des compétences pour la recherche sémantique s’affichent. La recherche sémantique analyse les significations et le contexte de vos termes de recherche et utilise ces informations pour trouver des résultats ayant des significations similaires. Il améliore la mémorisation des recherches en interprétant le langage naturel pour refléter plus précisément l’intention de votre recherche. Si la recherche sémantique est désactivée pour les tests de découverte de rubriques, ces résultats ne s’affichent pas. Pour plus d’informations sur la recherche sémantique, reportez-vous à la section Semantic vector search in AI Search.

Onglet Analyser les phrases de test, qui affiche les résultats des phrases de test pour la découverte de compétences, avec le résultat correspondant et les catégories de compétences d’entrée et de sortie. — Figure 4. Exemple d’onglet Analyser les phrases de test pour les rubriques LLM

Onglet Modifier les instructions

Si votre rubrique contient des instructions envoyées au LLM, elles sont affichées dans la catégorie Nœuds. La catégorie Nœuds répertorie les nœuds d’entrée utilisateur LLM sur le canevas, leurs noms de champs et leur contenu.

Vous pouvez modifier le contenu de l’une des instructions afin de développer des instructions optimales pour la conversation. Si un nœud a activé l’invite utilisateur Appliquer , une icône de vérification bleue et un message d’invite utilisateur appliqué s’affichent. Désactiver Appliquez l’invite utilisateur pour modifier les instructions du nœud.

Si l’une de vos entrées utilisateur a activé l’option Autoriser le remplissage automatique d’emplacements , la description détaillée de l’entrée devient un champ statique. Si Autoriser le remplissage automatique d’emplacements est inactif, vous pouvez définir une description détaillée à l’aide d’un script ou d’un sélecteur de pastilles de données. Pour plus d’informations, consultez Autoriser l’entrée automatique de la table de remplissage d’emplacement dans Contrôle de saisie de l’utilisateur de texte ou tout autre contrôle d’entrée utilisateur LLM.

L’état de chaque instruction commence à l’état d’origine. Si vous modifiez le contenu d’une instruction, son état devient Modifié et une icône

s’affiche en regard de celle-ci. Le nombre total d’instructions modifiées est indiqué au bas de l’onglet en regard du bouton Enregistrer dans la rubrique . Pour tester les instructions modifiées, sélectionnez Appliquer et redémarrer. Pour annuler les changements apportés à une instruction, sélectionnez l’icône de rétablissement en regard de l’instruction. Vous pouvez également annuler toutes les modifications en sélectionnant Rétablir qui s’active lorsque vous modifiez des instructions.

Remarque :

Si vous sélectionnez Enregistrer dans la rubrique, tous les changements sont enregistrés et tous les messages modifiés réinitialisés à l’état d’origine.

Modifier l’onglet Instructions affichant les informations utilisateur avec le lien des instructions LLM et les nœuds contenus dans un collecteur d’entrées, y compris un nœud verrouillé avec le message Invite utilisateur. — Figure 5. Exemple d’onglet Modifier les instructions

Modifier l’onglet Instructions avec l’instruction modifiée et Enregistrer dans les mises à jour de rubriques. Les options Rétablir et Appliquer et Redémarrer s’activent lorsque vous apportez des modifications. — Figure 6. Exemple d’onglet Modifier les instructions avec une modification

Si les instructions d’un nœud incluent du contenu potentiellement offensant, un badge d’avertissement apparaît sur le nœud. Une icône d’avertissement jaune

apparaît également à côté du nom du nœud. Si vous sélectionnez Appliquer et redémarrer , ces instructions sont entrées et le badge et l’icône sont supprimés, et l’état modifié revient à l’état d’origine.

Modifier l’onglet d’instructions affichant le badge d’avertissement, les icônes et le message de survol du contenu offensant. Sélectionner Appliquer et redémarrer applique les instructions et supprime les avertissements. — Figure 7. Exemple : onglet Modifier les instructions avec des avertissements de contenu potentiellement offensant

Onglet Variables

L’onglet Variables affiche une liste de toutes les variables utilisées dans la conversation et les valeurs associées capturées au fur et à mesure que la conversation progresse, afin que vous puissiez suivre. Une conversation peut avoir les types de variables suivants :

Variables d'entrée
Variables de script
Agent actif variables
Variables transmises entre une rubrique d’appel et un bloc de rubriques

La liste est séparée en sections par types de variables. L’exemple suivant montre la section Variables d’entrée. Notez que pour le contrôle de liste statique, l’étiquette et la valeur d’affichage sont capturées pour le choix sélectionné.

Onglet Variables qui affiche les variables et les valeurs d’entrée, à côté d’une capture d’écran du flux de conversation. — Figure 8. Exemple de liste de variables d’entrée

L’exemple suivant montre la section Variables d’entrée pour le contrôle de liste groupée. Ces informations variables semblent similaires à celles du contrôle de liste statique, mais les variables sont séparées par chaque groupe du choix groupé.

Onglet Variables séparées par groupe, avec le nœud et le nom du groupe en surbrillance. — Figure 9. Exemple de liste de variables de choix groupées

Onglet Modifier les variables

Lors du test des blocs de rubriques et des contrôles personnalisés, vous pouvez modifier les variables trouvées dans les nœuds.

Modifiez les variables dans les nœuds de la rubrique.

Onglet Contexte

L’onglet Contexte s’affiche lorsque vous testez des rubriques, des rubriques de configuration ou des rubriques de conversation courte, afin de spécifier un contexte différent pour la messagerie instantanée. Choisissez une variable de contexte dans la liste. Les variables contiennent des informations contextuelles qui peuvent être utilisées pour déterminer l’intention de la rubrique ou contrôler la façon dont les messageries instantanées sont acheminées vers les agents actifs. Par exemple, vous pouvez sélectionner le portail dans la liste des variables et entrer le nom du portail IT Express. L’onglet Contexte n’est pas disponible lors de la création des scénarios de tests

Pour plus d’informations sur la définition des variables de contexte, reportez-vous à la section Configurer les variables de contexte pour le stockage des informations relatives à la messagerie instantanée. Pour plus d’informations sur les variables d’agent actif incluses dans Agent virtuel, reportez-vous à la section Variables de contexte de chat d’agent en direct.

Onglet de contexte avec la valeur de portail de contexte du portail de services. — Figure 10. Exemple d’onglet Contexte

Étapes suivantes

Lorsque vous avez terminé de tester votre rubrique, fermez la fenêtre de messagerie instantanée de test. Si nécessaire, utilisez les informations du test pour ajuster votre rubrique afin d’obtenir des performances plus précises. Par exemple, les résultats de l’onglet Analyser les phrases de test peuvent renvoyer des scores faibles ou des évaluations de confiance incertaines ou inconnues . Améliorez les scores en mettant à jour la description de la rubrique ou les instructions dans les nœuds d’entrée utilisateur LLM.