Exécuter une exécution d’évaluation agentique

Évaluez les actifs de l’IA agentique par rapport à des ensembles de données pour surveiller les performances et comparer les points de référence.

Avant de commencer

Les exécutions d’évaluation nécessitent des données du journal d’exécution de l’actif IA agentique que vous souhaitez évaluer. Vous pouvez créer des données de journal d’exécution en Studio d'agents IA testant ou en déclenchant l’IA agentique dans Now Assist. Vous pouvez également créer des données de journal d’exécution après avoir configuré votre exécution d’évaluation.

Pour plus d’informations sur le test des workflows agentiques, reportez-vous à la section Tester manuellement l’exécution d’un workflow agentique.

Pour plus d’informations sur la mise en route des évaluations agentiques, voir Directives générales pour les exécutions d’évaluation agentique.

Rôle requis : sn_aia.admin

Procédure

1. Accédez à la Tous > Kit de compétences Now Assist > Évaluations agentiques.

   Vous pouvez également commencer à partir de la page de test du Studio d'agents IA fichier . Accédez à la Tous > Studio d'agent IA > Test en cours. Sélectionnez Démarrer l’évaluation automatisée pour accéder à la configuration guidée.

2. Sur la page d’accueil des évaluations, sélectionnez Nouvelle exécution d’évaluation pour commencer la configuration guidée.
3. Dans l’étape Ajouter des informations générales , ajoutez un nom et sélectionnez l’actif IA agentique que vous souhaitez évaluer.

   

4. Sélectionnez Continuer pour passer à l’étape suivante.

   Chaque fois que vous naviguez dans une étape, l’exécution de l’évaluation est enregistrée automatiquement en tant que brouillon. À tout moment, vous pouvez sélectionner Enregistrer comme brouillon.

   Si vous souhaitez quitter la configuration guidée, vous pouvez sélectionner Quitter la configuration. Vous êtes redirigé vers la page Évaluations agentiques.

   • Si vous sélectionnez Enregistrer et quitter, l’exécution de l’évaluation apparaît sur la page Évaluations agentiques avec l’état .Draft
   • Si vous sélectionnez Abandonner et quitter, le brouillon de l’exécution de l’évaluation est supprimé.
5. Sélectionnez votre mesure d’évaluation.

   L’évaluation de l’exhaustivité globale de la tâche est sélectionnée par défaut. L’exécution de plusieurs mesures d’évaluation fournit une vue d’ensemble complète des performances de l’actif IA agentique.

   Pour afficher plus d’informations sur chaque plan, vous pouvez développer la carte pour chaque plan d’évaluation en sélectionnant l’icône de chevron

   Toutes les mesures personnalisées que vous avez publiées s’affichent sous forme d’options. Si vous ne voyez pas votre mesure personnalisée, vérifiez qu’elle est publiée. Pour plus d’informations, consultez Créer une mesure personnalisée .

   Remarque :

   La mesure d’exactitude de l’appel de l’outil n’est pas disponible pour les agents vocaux IA.

   

6. Configurez votre ensemble de données.
   1. Choisissez entre générer de nouveaux journaux d’exécution en exécutant l’agent ou le workflow ou en utilisant les journaux d’exécution des exécutions précédentes.
      Remarque :

      Si vous évaluez des agents vocaux IA, vous devez utiliser les journaux d’exécution existants.
   2. Pour créer un ensemble de données en générant de nouveaux journaux d’exécution, commencez par sélectionner une table.

      Au lieu de créer un nouvel ensemble de données à partir de zéro, vous pouvez choisir d’utiliser un ensemble de données passé que vous avez utilisé dans une évaluation différente en sélectionnant Sélectionner à partir d’un ensemble de données passé. Une fois que vous avez sélectionné un ensemble de données, vous pouvez en examiner les détails, y compris la table source, le nombre d’enregistrements et le dernier actif d’IA agentique qui a utilisé l’ensemble de données.

      Remarque :

      Si vous évaluez un actif IA agentique créé avec Conseiller d’agent IA, les options de votre ensemble de données sont automatiquement renseignées pour vous. Vous pouvez toujours apporter des modifications aux valeurs.

      Tableau 1. Configurer le formulaire d’ensemble de données pour les nouveaux journaux d’exécution

      Nom de champ	Description
      Table	Table source des enregistrements que l’actif IA agentique utilise pour effectuer des tâches et créer des exécutions.
      Filtres ajoutés	Conditions permettant de réduire la liste des enregistrements de l’actif IA agentique à utiliser pour générer les données du journal d’exécution.
      Nombre d'enregistrements à utiliser	Le nombre maximal d’enregistrements dans l’ensemble de données pour l’évaluation. Si l’ensemble de données contient plus d’enregistrements que la valeur maximale, les enregistrements supplémentaires sont ignorés.
      Tâche	Énoncé donné à l’actif IA agentique à exécuter. Utilisez le sélecteur de pastilles pour sélectionner des entrées dynamiques pour la tâche. Par exemple, définissez l’instruction de démarrage sur Aidez-moi à résoudre {{incident.number}}. Les entrées de l’enregistrement doivent être écrites entre accolades doubles.
      Détails supplémentaires sur l’agent ou le workflow	Informations fournies au grand modèle de langage (LLM) qui complète les informations d’enregistrement de table. Par exemple, un workflow agentique pour le remboursement des frais de scolarité nécessite l’allocation de remboursement normale, qui peut être fournie par le biais d’un article de la base de connaissances.
      Exécuter en tant qu'utilisateur	Utilisateur associé à l’enregistrement de table pour exécuter l’actif IA agentique. Par exemple, selon votre cas d’utilisation, vous pouvez exécuter l’utilisateur en tant que demandeur ou prestataire.
      Nom	Nom de l’ensemble de données. Cela peut être utile si vous prévoyez d’utiliser à nouveau le même ensemble de données.
      Description	Description des enregistrements contenus dans l’ensemble de données. Cela peut être utile si vous prévoyez d’utiliser à nouveau le même ensemble de données.

      Remarque :

      Si vous créez de nouveaux journaux d’exécution, l’utilisateur qui soumet l’évaluation doit transmettre les ACL de l’actif IA agentique et de ses composants. En l’absence d’exigences de rôle correctes, les journaux d’exécution signalent un refus d’accès et l’évaluation échoue. Consultez Sécurité pour l’IA agentique pour plus d’informations.

      

      

      Tableau 2. Configurer le formulaire de l’ensemble de données pour les journaux d’exécution existants

      Nom de champ	Description
      Filtres ajoutés	Conditions permettant de réduire les enregistrements du journal d’exécution de l’IA que vous souhaitez inclure dans l’ensemble de données. Remarque : Les conditions de filtre ne sont pas prises en charge pour la création d’ensembles de données de journaux d’exécution d’agent vocal IA.
      Nombre d'enregistrements à utiliser	Le nombre maximal d’enregistrements dans l’ensemble de données pour l’évaluation. Si l’ensemble de données contient plus d’enregistrements que la valeur maximale, les enregistrements supplémentaires sont ignorés.

   3. Sélectionnez Voir l’aperçu pour afficher une liste des enregistrements en fonction des conditions que vous avez spécifiées.
      Vous pouvez affiner les enregistrements en sélectionnant des enregistrements spécifiques dans la liste d’aperçu. Les enregistrements non sélectionnés ne seront pas inclus dans l’ensemble de données.
7. Passez en revue les détails de l’évaluation agentique à la dernière étape de la configuration guidée.

   Si vous souhaitez apporter des modifications, vous pouvez sélectionner Retour pour accéder à une étape précédente ou vous pouvez sélectionner l’étape dans la barre latérale.

   

8. Sélectionnez Démarrer l’évaluation.

Résultats

Votre exécution d’évaluation s’exécute. La durée d’achèvement varie, mais une fois l’évaluation terminée, vous pouvez sélectionner l’évaluation à partir de la page Évaluations agentiques pour afficher les résultats.

Pour plus d’informations sur les mesures sur la page des résultats, consultez Résultats de l’exécution de l’évaluation agentique.