Évaluer un workflow agentique

Évaluez un workflow agentique par rapport à un ensemble de données de votre choix pour surveiller les performances et les évaluer par rapport à différents points de référence.

Avant de commencer

Les exécutions d’évaluation nécessitent des données du journal d’exécution du workflow agentique que vous souhaitez évaluer. Pour un nouveau workflow agentique, vous pouvez créer des journaux d’exécution en testant dans Studio d'agents IA. Pour plus d’informations sur le test des workflows agentiques, reportez-vous à la section Tester un workflow agentique.

Pour plus d’informations sur la mise en route des évaluations agentiques, voir Directives générales pour les exécutions d’évaluation agentique.

Rôle requis : sn_aia.admin

Procédure

1. Accédez à la Tous > Kit de compétences Now Assist > Évaluations agentiques.

   Vous pouvez également commencer à partir de la page de test du Studio d'agents IA fichier . Accédez à la Tous > Studio d'agent IA > Test en cours. Sélectionnez un workflow agentique, puis sélectionnez Configurer l’exécution de l’évaluation. Une fenêtre modale apparaît pour vous demander si vous souhaitez être redirigé vers le kit de Now Assist compétences. Sélectionnez Ouvrir le kit de compétences. Vous serez redirigé vers le fichier Configuration guidée.

2. Sur la page d’accueil des évaluations, sélectionnez Nouvelle exécution d’évaluation pour commencer la configuration guidée.
3. Dans l’étape Ajouter des informations générales, ajoutez un nom et sélectionnez le workflow agentique que vous souhaitez évaluer.

   

4. Sélectionnez Continuer pour passer à l’étape suivante.

   Chaque fois que vous naviguez dans une étape, l’exécution de l’évaluation est enregistrée automatiquement en tant que brouillon. À tout moment, vous pouvez sélectionner Enregistrer comme brouillon.

   Si vous souhaitez quitter la configuration guidée, vous pouvez sélectionner Quitter la configuration. Vous êtes redirigé vers la page Évaluations agentiques.

   • Si vous sélectionnez Enregistrer et quitter, l’exécution de Draftl’évaluation apparaît dans la liste sur la page Évaluations agentiques avec l’état .
   • Si vous sélectionnez Abandonner et quitter, le brouillon de l’exécution de l’évaluation est supprimé.
5. Sélectionnez votre méthode d’évaluation.

   L’évaluation de l’exhaustivité globale de la tâche est sélectionnée par défaut. L’exécution de plusieurs méthodes d’évaluation à la fois peut aider à fournir une vue d’ensemble plus complète des performances du workflow agentique.

   Pour afficher plus d’informations sur chaque plan, vous pouvez développer la carte pour chaque plan d’évaluation en sélectionnant l’icône chevron (icône

   Toutes les mesures personnalisées que vous avez publiées s’affichent également sous forme d’options. Si vous ne voyez pas votre mesure personnalisée, assurez-vous qu’elle est publiée. Pour plus d’informations, consultez Créer une mesure personnalisée .

   

6. Choisissez votre ensemble de données.
   1. Sélectionnez un ensemble de données existant ou créez le vôtre.
   2. Pour créer un ensemble de données, remplissez le formulaire.

      Tableau 1. Formulaire Choisir un ensemble de données

      Nom de champ	Description
      Nom	Nom de l’ensemble de données.
      Description	Description générale de l’ensemble de données et de son objectif prévu.
      Nombre maximal d’enregistrements (facultatif)	Nombre maximal d’enregistrements dans l’ensemble de données sur lequel vous souhaitez exécuter l’évaluation. S’il y a plus d’enregistrements dans l’ensemble de données que le nombre maximal d’enregistrements, tous les enregistrements dépassant le nombre maximal d’enregistrements seront ignorés pour cette exécution d’évaluation.
      Filtres	Conditions permettant de réduire les enregistrements du journal d’exécution de l’IA que vous souhaitez inclure dans l’ensemble de données. Par défaut, le workflow agentique que vous évaluez est sélectionné en tant que condition de filtre.

      

   3. Sélectionnez Voir l’aperçu pour afficher une liste des enregistrements en fonction des conditions que vous avez spécifiées.
      Vous pouvez affiner davantage les enregistrements en ne sélectionnant que certains des enregistrements dans la liste d’aperçu. Les enregistrements non sélectionnés ne seront pas inclus dans l’ensemble de données.
7. Passez en revue les détails de l’évaluation agentique à la dernière étape de la configuration guidée.

   Si vous remarquez un endroit où vous souhaitez apporter des modifications, vous pouvez sélectionner Retour pour accéder à une étape précédente ou sélectionner l’étape dans la barre latérale.

   

8. Sélectionnez Démarrer l’évaluation.

Résultats

Votre exécution d’évaluation s’exécute. La durée nécessaire à une exécution d’évaluation varie, mais une fois terminée, vous pouvez sélectionner l’évaluation sur la page Évaluations agentiques pour afficher les résultats.

Pour plus d’informations sur les mesures sur la page des résultats, consultez Résultats de l’exécution de l’évaluation agentique.