Créez une mesure personnalisée pour évaluer les workflows agentiques afin de tester les résultats par rapport aux réponses attendues.
Avant de commencer
Rôle requis : sn_aia.admin
Pourquoi et quand exécuter cette tâche
Les mesures personnalisées vous permettent de choisir de mesurer l’efficacité de votre workflow agentique. Vous pouvez créer des mesures personnalisées qui s’appliquent à un ou plusieurs workflows agentiques. Une fois créées, vous pouvez sélectionner des mesures personnalisées dans la configuration guidée pour les évaluations agentiques. Vous pouvez sélectionner les deux mesures personnalisées ou les mesures installées avec les applications Now Assist, ou l’une d’elles. Voici quelques exemples de mesures personnalisées :
- Tester qu’une certaine phrase figure dans la réponse
- Mesure de la longueur d’une réponse pour tester la verbosité
- (Autres exemples)
Lors de l’écriture du script, vous avez accès à la sortie d’un outil d’analyse. Cet outil d’analyse [etc.].
Procédure
-
Accédez à la .
-
Accédez à l’onglet Mesures d’évaluation et sélectionnez Créer une mesure.
-
Dans l’étape Informations générales , saisissez un nom et une brève description pour votre mesure personnalisée.
Vous pouvez naviguer entre les étapes de la configuration guidée à l’aide des boutons Continuer et Retour . Après avoir entré un nom pour votre métrique personnalisée, vous pouvez passer directement à l’écriture de votre script en sélectionnant Passer à l’éditeur de script. Vous pouvez renseigner les détails ultérieurement à partir de l’onglet Paramètres des mesures de l’éditeur de script.
- Facultatif :
Dans l’étape Détails de la mesure , ajoutez des informations sur la mesure de l’évaluation, son fonctionnement et son format de sortie.
Si vous sélectionnez Utiliser ce contenu, les détails que vous fournissez sont affichés ainsi que l’option de la configuration guidée pour une exécution d’évaluation agentique.
Vous n’avez pas besoin de fournir de détails, mais vous avez la possibilité de fournir des informations et un contexte utiles pour faciliter le processus de développement de mesures personnalisées. Vous pouvez également ajouter des détails de mesures à partir de l’onglet Paramètres des mesures de l’éditeur de script.
-
Après avoir examiné vos informations de mesure à l’étape Résumé de la configuration guidée, sélectionnez Terminer la configuration pour être redirigé vers l’éditeur de script.
- Facultatif :
Ajoutez des entrées de mesures.
Par défaut, l’enregistrement du plan d’exécution sys_id est inclus en tant qu’entrée de mesure.
L’outil d’analyse vous permet d’accéder au contenu du journal du plan d’exécution sans avoir à analyser vous-même le contenu XML ou JSON. Vous pouvez accéder aux sorties de l’outil d’analyse à l’aide de tool.output.
-
Dans la section Entrées de mesures, sélectionnez l’icône plus pour ouvrir la fenêtre modale Ajouter une entrée de mesure.
-
Renseignez le formulaire.
| Champ |
Description |
| Saisir datatype | Sélecteur déroulant permettant de choisir le type et le format de données de l’entrée |
| Nom | Nom court et convivial pour l’entrée |
| Description | Description de l'entrée. Vous pouvez afficher la description de n’importe quelle entrée en la sélectionnant dans la section Entrées de mesures de l’éditeur de script. |
| Valeurs | Valeurs d’entrée par défaut utilisées pour tester votre script dans l’éditeur de script |
| Obligatoire | Détermine si la fourniture de l’entrée est nécessaire pour l’exécution de l’évaluation |
-
Sélectionnez Ajouter.
-
Écrivez votre métrique basée sur un script.
Le bloc de code par défaut de l’éditeur de script contient du code commenté qui peut vous guider tout au long du processus d’écriture de script.
À tout moment, vous pouvez sélectionner le modèle de sortie de mesure pour voir le code nécessaire pour que la sortie s’affiche correctement lors de l’examen des résultats de l’exécution de l’évaluation dans le kit de compétences. Ce contenu est également inclus dans le bloc de code par défaut lors de la première ouverture de l’éditeur de script. Si nécessaire, vous pouvez copier le modèle et le coller dans le script. Assurez-vous de changer les valeurs en résultats de votre mesure personnalisée.
Vous pouvez consulter les détails de la mesure personnalisée à partir de la configuration guidée dans l’onglet Paramètres des mesures.
Lorsque vous avez apporté des modifications, vous pouvez sélectionner le bouton Enregistrer pour enregistrer vos modifications.
Important : Même si vous enregistrez, la mesure n’est pas disponible pour être utilisée dans les exécutions d’évaluation agentique tant que vous ne l’avez pas publiée.
-
Sélectionnez Exécuter le test pour ouvrir la fenêtre modale Exécuter le test, saisissez vos entrées de test de mesure et exécutez le test.
Après avoir exécuté au moins un test, vous pouvez examiner la réponse et la demande de l’exécution globale et de l’outil d’analyse.
Une fois que vous avez exécuté au moins un test, vous pouvez sélectionner le bouton déroulant Exécuter le test et sélectionner Historique des tests d’exécution pour ouvrir une nouvelle barre latérale avec les résultats des tests passés. Vous pouvez filtrer les exécutions de test par l’utilisateur qui a exécuté le test.
-
Sélectionnez Publier la mesure pour enregistrer votre script et activer la mesure.
Avant la publication, assurez-vous que votre sortie correspond au modèle de sortie de mesure. Si ce n’est pas le cas, votre mesure peut ne pas fonctionner comme prévu ou ne pas s’afficher correctement sur la page des résultats de l’exécution de l’évaluation.
Résultats
Vous disposez d’une nouvelle mesure personnalisée qui peut être utilisée pour évaluer les workflows agentiques.
Que faire ensuite
Exécutez une exécution d’évaluation et sélectionnez votre mesure personnalisée dans la configuration guidée. Voir Évaluer un workflow agentique pour plus d’informations sur l’exécution d’une exécution d’évaluation.
Si votre mesure personnalisée n’apparaît pas dans la configuration guidée pour une exécution d’évaluation, assurez-vous de l’avoir publiée.