Test des rubriques LLM

Prévisualisez, testez et déboguez les rubriques qui utilisent des grands modèles de langage (LLM) dans la fenêtre de Concepteur d'agent virtuel messagerie instantanée.

Vous pouvez tester les fonctions de votre rubrique en exécutant votre conversation dans une fenêtre de test de messagerie instantanée pendant que vous travaillez. Le client de messagerie instantanée Web (Portail de services) est la fenêtre de test par défaut.

Les rubriques de grand modèle de langage (LLM) sont plus rapides et plus faciles à tester que Compréhension du langage naturel les rubriques (NLU). Par exemple, vous n’avez pas besoin de tester à nouveau votre rubrique après avoir mis à jour les énoncés et reformé les modèles comme pour NLU les rubriques.

Si vous utilisez les intégrations d’Agent virtuel avec des applications de messagerie tierces, les éléments de votre conversation peuvent s’afficher différemment dans les applications de messagerie tierces. Testez vos conversations dans toutes les applications tierces que vous souhaitez déployer Agent virtuel.

Remarque :

Si le panneau ou Microsoft Teams l’application est configuré pour votre environnement, les Now Assist options d’aperçu de ces canaux s’affichent dans la liste de boutons Test. Sélectionnez Aperçu dans le panneau Now Assist ou Aperçu dans Microsoft Teams dans la liste pour tester votre rubrique dans ces environnements.

Test de votre rubrique LLM dans la fenêtre de test de la messagerie instantanée

Figure 1. Options de test LLM

Testez les rubriques LLM sur le Concepteur d'agent virtuel canevas en utilisant les options de test de la barre d’en-tête de rubrique. Lorsque vous effectuez un test à partir d’une rubrique unique, l’option Inclure la découverte de rubriques doit être sélectionnée pour travailler avec les assistants. Si la rubrique est associée à plusieurs assistants LLM, utilisez la liste déroulante Assistant pour sélectionner l’assistant que vous souhaitez tester. Pour plus d’informations sur les assistants LLM, reportez-vous à la section Assistants LLM.

Remarque :

s’il manque du matériel nécessaire à votre rubrique, un badge incomplet apparaît dans le coin du volet du diagramme de flux. Un badge d’avertissement jaune ou rouge apparaît également à côté de chaque nœud. Le badge incomplet répertorie le nombre total de problèmes, tandis que les badges d’avertissement locaux indiquent le nombre de problèmes détectés dans chaque nœud. Si vous sélectionnez Tester en cas de problèmes, une fenêtre Problèmes s’ouvre avec le nombre de problèmes présents ainsi que les détails de chaque problème. Ces détails comprennent une description complète et un lien hypertexte vers chaque élément incomplet.

Vous pouvez également tester les rubriques LLM actives (publiées) sur la page Rubriques Utilisez le filtre Assistant LLM pour restreindre vos rubriques aux rubriques associées à cet assistant, puis sélectionnez Tester les rubriques actives. Si vous n’utilisez pas le filtre de l’assistant LLM , sélectionnez Tester les rubriques de l’assistant LLM dans la liste déroulante Tester les rubriques actives. Lors de l’utilisation de l’option ou des sous-options Tester les rubriques actives de la page Rubriques , la découverte de rubriques est activée et n’est donc pas répertoriée comme option. Lorsque vous effectuez un test à partir de la page Rubriques , la liste déroulante Assistant s’affiche dans la fenêtre de test de la messagerie instantanée. Vous devez avoir préalablement défini au moins la valeur par défaut Now Assist dans Agent virtuel l’assistant pour voir la liste déroulante Assistant. Lorsqu’une rubrique est associée à un seul assistant LLM, la liste déroulante Assistant est définie par défaut sur le nom de cet assistant. Si vous disposez de plusieurs assistants, sélectionnez l’assistant avec lequel vous souhaitez travailler à l’aide de la liste déroulante Assistant. Pour plus d’informations sur la création de plusieurs assistants LLM, reportez-vous à la section Gérer les agents virtuels LLM sur l’écran Assistants.

La fenêtre de test de la messagerie instantanée s’ouvre dans le Now AssistAgent virtuel client Web. La liste déroulante Assistant et l’option Inclure la découverte de rubriques peuvent s’afficher en fonction de l’origine du test et si vous avez établi des assistants LLM.

Vous pouvez fournir des commentaires à chaque énoncé effectué par le LLM en sélectionnant l’une des options « J’aime » (icône « J’aime » – Pouce ou « Je n’aime pas » (icône qui s’affichent lorsque vous survolez un énoncé. Toutes les entrées utilisateur compatibles LLM, à l’exception du collecteur d’entrées, disposent de ces options de commentaires.

Figure 2. Options de commentaires sur l’énoncé LLM

La fenêtre de test de messagerie instantanée affiche également des onglets adjacents qui fournissent des détails sur votre rubrique au fur et à mesure que vous la testez. Les onglets suivants sont disponibles lors du test des rubriques LLM :

• Analyser les phrases de test : résultats de la découverte de rubriques en fonction de votre entrée.
• Modifier les instructions : liste de toutes les instructions de la rubrique qui sont envoyées au LLM. Cet onglet n’est disponible que lors du test d’une seule rubrique.
• Variables : liste de toutes les variables utilisées dans la conversation, telles que l’entrée et Agent actif les variables.
• Modifier les variables : options permettant de modifier les variables utilisées dans cette rubrique.
• Contexte : options permettant de spécifier le contexte (à l’aide de variables de contexte) dans lequel une rubrique est exécutée.
• Journaux : liste des traitements effectués.

Figure 3. Exemple de test LLM de la fenêtre de test de la messagerie instantanée et des onglets de test

Les onglets suivants s’affichent lorsque vous testez leurs types de rubriques connexes sur le Concepteur d'agent virtuel canevas :

• Les onglets Analyser les phrases de test, Modifier les instructions, Variables et Journaux s’affichent pour tous les types de rubriques LLM.
• L’onglet Modifier les variables s’affiche pour les blocs de rubriques et les contrôles personnalisés.
• L’onglet Contexte s’affiche pour les rubriques, les rubriques de configuration ou les rubriques de conversation courte lorsque vous sélectionnez Inclure la découverte de rubriques.

Si vous exécutez des tests à partir de la page Rubriques , la fenêtre de test affiche uniquement les onglets Analyser les phrases de test, Variables, Contexte (disponible par défaut, sans option Inclure la découverte de rubriques ) et Journaux .

Onglet Analyser les phrases de test

Lorsque vous testez des rubriques compatibles LLM, les résultats de la découverte de rubriques s’affichent en fonction de votre entrée. Lors du test des rubriques associées à un assistant LLM principal, seules les rubriques promues de l’assistant primaire s’affichent. Lorsque vous entrez une phrase de test, vous pouvez voir divers résultats de recherche lorsque les résultats Genius sont activés, Base de connaissances y compris la découverte de compétences (rubrique), les articles (KB) et les éléments de catalogue. Sous les résultats de recherche de compétences, des variables et des valeurs peuvent également être répertoriées (telles que la variable @laptop_make et la valeur macbook), en fonction du sujet. Ces résultats Genius n’apparaissent que si vous testez une rubrique publiée et que vous avez sélectionné l’option Inclure la découverte de rubriques . Si l’option Inclure la découverte de rubrique semble inactive, publiez la rubrique pour travailler avec la découverte de rubriques. Un message Indexation de la recherche en cours peut s’afficher, mais vous pouvez toujours tester pendant l’indexation de la recherche, même si la découverte des rubriques n’a peut-être pas été mise à jour. Pour en savoir plus sur le fonctionnement des résultats Genius, reportez-vous à la section Now Assist in AI Search.

En outre, lorsque vous testez les rubriques de l’assistant LLM actives à partir de la page Rubriques , les résultats de compétences pour la recherche sémantique s’affichent. La recherche sémantique analyse les significations et le contexte de vos termes de recherche et utilise ces informations pour trouver des résultats ayant des significations similaires. Il améliore la mémorisation de la recherche en interprétant le langage naturel pour refléter plus précisément l’intention de votre recherche. Si la recherche sémantique est désactivée pour les tests de découverte de rubriques, ces résultats ne sont pas affichés. Pour plus d’informations sur la recherche sémantique, reportez-vous à Semantic vector search in AI Search.

Figure 4. Exemple : onglet Analyser les phrases de test pour les rubriques LLM

Onglet Modifier les instructions

Si votre rubrique contient des instructions envoyées au LLM, elles sont affichées dans la catégorie Nœuds. La catégorie Nœuds répertorie les nœuds d’entrée utilisateur compatibles LLM sur le canevas, leurs noms de champs et leur contenu.

Vous pouvez modifier le contenu de n’importe quelle instruction afin de développer des instructions optimales pour la conversation. Si l’option Appliquer l’invite utilisateur est active à un nœud, une icône de coche bleue () et un message d’application de l’invite utilisateur s’affichent. Désactivez l’option Appliquer l’invite utilisateur pour modifier les instructions du nœud.

L’état de chaque instruction commence à l’état d’origine. Si vous modifiez le contenu d’une instruction, son état devient Modifié et une icône de retour () apparaît à côté de celle-ci. Le nombre total d’instructions modifiées est indiqué au bas de l’onglet, à côté d’un bouton Enregistrer dans la rubrique . Pour tester les instructions modifiées, sélectionnez Appliquer et redémarrer. Pour annuler les modifications apportées à une instruction, sélectionnez l’icône de rétablissement en regard de l’instruction. Vous pouvez également annuler toutes les modifications en sélectionnant Rétablir qui s’active lorsque vous modifiez des instructions.

Remarque :

Si vous sélectionnez la rubrique Enregistrer dans, tous les changements sont enregistrés et tous les messages modifiés sont rétablis à l’original.

Figure 5. Exemple d’onglet Modifier les instructions

Figure 6. Exemple d’onglet Modifier les instructions avec une modification

Si les instructions d’un nœud incluent du contenu potentiellement offensant, un badge d’avertissement s’affiche sur le nœud. Une icône d’avertissement jaune () apparaît également à côté du nom du nœud. Si vous sélectionnez Appliquer et redémarrer , ces instructions sont saisies et le badge et l’icône sont supprimés, et l’état Modifié revient à l’état d’origine.

Figure 7. Exemple d’onglet Instructions de modification avec avertissements de contenu potentiellement offensant

Onglet Variables

L’onglet Variables affiche une liste de toutes les variables utilisées dans la conversation et des valeurs associées capturées au fur et à mesure de la progression de la conversation, afin que vous puissiez suivre. Une conversation peut comporter ces types de variables :

• Variables d'entrée
• Variables de script
• Agent actif variables
• Variables transmises entre une rubrique d’appel et un bloc de rubriques

La liste est divisée en sections par types de variables. L’exemple suivant montre la section Variables d’entrée. Notez que pour le contrôle de liste statique, l’étiquette d’affichage et la valeur sont capturées pour le choix sélectionné.

Figure 8. Exemple de liste de variables d’entrée

L’exemple suivant montre la section Variables d’entrée pour le contrôle de liste groupée. Ces informations variables ressemblent au contrôle de liste statique, mais les variables sont séparées par chaque groupe du choix groupé.

Figure 9. Exemple de liste de variables à choix groupé

Onglet Modifier les variables

Lorsque vous testez des blocs de rubriques et des contrôles personnalisés, vous pouvez modifier les variables trouvées dans les nœuds.

Onglet Contexte

L’onglet Contexte s’affiche lorsque vous testez des rubriques, des rubriques de configuration ou des rubriques de conversation courte pour spécifier un contexte différent pour la messagerie instantanée. Choisissez une variable de contexte dans la liste. Les variables contiennent des informations contextuelles qui peuvent être utilisées pour déterminer l’intention de la rubrique ou contrôler la façon dont les messageries instantanées sont acheminées vers des agents actifs. Par exemple, vous pouvez sélectionner portail dans la liste des variables et entrer le nom du portail IT Express. L’onglet Contexte n’est pas disponible lors de la création de scénarios de tests.

Pour en savoir plus sur la définition des variables de contexte, reportez-vous à la section Configurer des variables de contexte pour le stockage des informations relatives à la messagerie instantanée. Pour plus d’informations sur les variables d’agent actif incluses avec Agent virtuel, reportez-vous à la section Variables de contexte de chat d’agent actif.

Figure 10. Onglet Exemple de contexte

Étapes suivantes

Lorsque vous avez terminé de tester votre rubrique, fermez la fenêtre de messagerie instantanée de test. Si nécessaire, utilisez les informations du test pour ajuster votre rubrique afin qu’elle soit plus précise. Par exemple, les résultats de l’onglet Analyser des phrases de test peuvent renvoyer des scores faibles ou des notes de confiance incertaines ou inconnues . Améliorez les scores en mettant à jour la description de la rubrique ou les instructions dans les nœuds d’entrée de l’utilisateur compatibles LLM.