Tableau de bord d’analyse de l’agent IA

Rôles ServiceNow AI Platform requis

Pour utiliser le tableau de bord d’analyse d’agent IA, vous devez disposer du rôle sn_aia.viewer ou sn_aia.admin.

Si vous souhaitez modifier le tableau de bord, vous devez le dupliquer et appliquer les modifications à la copie. Vous pouvez rediriger la page Analyse du Studio d’agent IA vers le nouveau tableau de bord en remplaçant le sys_id de tableau de bord dans la propriété sn_aia.analytics_dashboard_sysidsystème.

Accéder au tableau de bord d’analyse d’agent IA

Pour ouvrir le tableau de bord, accédez à Tous > Studio d'agent IA > Analyse.

Vous pouvez également accéder au tableau de bord à partir de la page de Studio d'agents IA vue d’ensemble. Accédez à la section Workflows agentiques récents et activité des agents IA et sélectionnez le lien Afficher l’analyse .

Indicateurs

La plupart des indicateurs sont mis à jour quotidiennement. Les indicateurs de latence sont mis à jour toutes les 15 minutes.

Une fois que vous avez installé Now Assist les agents IA, vous pouvez collecter les données initiales en exécutant la tâche de collecte de données historiques [Now Assist Agents IA]. Les autres tâches de collecte de données, collecte de données quotidienne [Now Assist Agents IA] et [Now Assist Agents IA ] Collecte de données périodique », mettent à jour les indicateurs.

Tableau 1. Indicateurs automatisés pour les agents IA
Nom	Description
Latence du workflow agentique	Temps nécessaire pour qu’un workflow agentique se termine.
Plan d’exécution de l’agent IA Latence P90	Temps nécessaire pour que 90 % des plans d’exécution d’agent IA dans un système soient traités.
Plan d’exécution de l’agent IA Latence P95	Temps nécessaire pour que 95 % des plans d’exécution d’agents IA dans un système soient traités.
Plan d’exécution de l’agent IA Latence P99	Temps nécessaire pour que 99 % des plans d’exécution d’agents IA dans un système soient traités.
Latence des agents IA	Temps nécessaire pour qu’un agent IA soit traité dans un système.
Tous les workflows agentiques	Nombre total de workflows agentiques créés avant aujourd’hui.
Tous les agents IA	Nombre total d’agents IA créés avant aujourd’hui.
Tous les outils	Nombre total d’outils créés avant aujourd’hui.
Latence LLM P90	Temps nécessaire pour que 90 % des demandes LLM dans un système soient traitées.
Latence LLM P95	Temps nécessaire pour que 95 % des demandes LLM dans un système soient traitées.
Latence LLM P99	Temps nécessaire pour que 95 % des demandes LLM dans un système soient traitées.
Nombre de tâches fermées	Nombre total de tâches fermées.
Nombre de tâches fermées avec l’assistant d’agent IA	Nombre total de tâches fermées aujourd’hui qui ont été fermées avec des workflows agentiques ou des agents IA.
Durée cumulée des tâches fermées	Temps total nécessaire pour fermer les tâches.
Durée cumulée des tâches fermées avec l’assistant d’agent IA	Temps total nécessaire pour fermer aujourd’hui des tâches qui ont été fermées avec des workflows agentiques ou des agents IA.
Latence P90 de l’exécution de l’outil	Temps nécessaire pour que 90 % des exécutions d’outils dans un système soient traitées.
Latence P95 de l’exécution de l’outil	Temps nécessaire pour que 95 % des exécutions d’outils dans un système soient traitées.
Latence P99 de l’exécution de l’outil	Temps nécessaire pour que 99 % des exécutions d’outils dans un système soient traitées.
Latence de l'outil	Temps nécessaire pour qu’un outil soit traité dans un système.
Nombre total de conversations CS	Nombre total de conversations dans le panneau Now Assist ou l’Agent virtuel.
Nombre total de plans d’exécution	Nombre total de plans d’exécution créés par les workflows agentiques et les agents IA aujourd’hui.
Nombre total de tâches d’exécution	Nombre total de tâches exécutées par les workflows agentiques et les agents IA aujourd’hui.
Nombre total d’exécutions d’outils	Nombre total d’exécutions d’outils dans des workflows agentiques et des agents IA aujourd’hui.
Plan d’exécution du cas d’utilisation Latence P90	Temps nécessaire pour que 90 % des workflows agentiques d’un système soient traités.
Plan d’exécution du cas d’utilisation Latence P95	Temps nécessaire pour que 95 % des workflows agentiques d’un système soient traités.
Plan d’exécution du cas d’utilisation Latence P99	Temps nécessaire pour que 99 % des workflows agentiques dans un système soient traités.

Tableau 2. Indicateurs de formule pour les agents IA
Nom	Description
% de conversations avec un agent IA ou un workflow agentique défini	Nombre de conversations dans le panneau Now Assist ou Agent virtuel avec un workflow agentique ou agentique IA défini, divisé par le nombre total de conversations.
Délai moyen de fermeture d’une tâche	Délai moyen nécessaire pour qu’une tâche passe de la création à la clôture.
Délai moyen de fermeture d’une tâche avec l’assistant d’agent IA	Temps moyen nécessaire pour qu’une tâche passe de la création à la fermeture avec un workflow agentique ou un agent IA impliqué.
Gain d’efficacité	Pourcentage de gain d’efficacité en comparant le temps moyen nécessaire pour fermer une tâche avec l’assistant d’agent IA à une tâche fermée sans l’assistant d’agent IA.
Pourcentage de tâches fermées à l’aide d’agents IA	Nombre de tâches fermées à l’aide d’agents IA et de workflows agentiques divisé par le nombre total de tâches.

Répartitions

Différentes répartitions vous permettent de diviser les données différemment pour suivre des aspects spécifiques de l’utilisation de l’agent IA. Toutes les répartitions ne sont pas disponibles pour tous les indicateurs.

Workflow agentique
Agent IA
État d’exécution de l’agent IA
Mesure de latence
Outil
Mesure de latence de l’outil

Filtres

Vous pouvez filtrer des données pour examiner un sous-ensemble de tendances. La table suivante répertorie les filtres disponibles sur le tableau de bord d’analyse d’agent IA.

Tableau 3. Filtres sur les pages du tableau de bord d’analyse d’agent IA
Page	Filtres disponibles
Statut	Heures de création
Aperçus	Heures de création Workflow agentique Agent IA Type d'agent IA
Assistance consommation	Heures de création Workflow agentique Agent IA Type d'agent IA
Performances	Heures de création Workflow agentique Agent IA Type d'agent IA Outil
Dépannage	Heures de création

Visualisations des données

Les visualisations sont des éléments graphiques qui peuvent être utilisés pour afficher les tendances des données, les pourcentages et les scores. Le tableau de bord d’analyse d’agent IA comprend les visualisations suivantes.

Tableau 4. Visualisations de données sur la page de vue d’ensemble du tableau de bord d’analyse d’agent IA
Titre	Type	Description
CSAT moyen déduit pour les agents IA au cours des 7 derniers jours	Tableau de résultats	Score généré par l’IA estimant ce qu’un client évaluerait la réponse de l’IA. 1 étant l’utilisateur est extrêmement insatisfait et 5 étant l’utilisateur est extrêmement satisfait de l’interaction.
Tâches d'exécution au cours des 7 derniers jours	Graphique à secteurs	Tâches d’exécution divisées par état (Réussite, En cours, Annulé, Mis en file d’attente).
Erreurs de l'agent IA au cours des 90 derniers jours	Graphique linéaire	Nombre d’erreurs observées par les agents IA au cours des 90 derniers jours, réparties par semaine.
Type d'outil de l'agent IA	Graphique à secteurs	Outils divisés par type. Exemple : script, action de flux, flux secondaire, etc.
Mode d'exécution de l'outil d'agent IA	Graphique à secteurs	Outils divisés par mode d’exécution autonome ou supervisé.
Plans d'exécution au cours des 7 derniers jours	Graphique à secteurs	Plans d’exécution divisés par état (Terminé, Terminé, Terminé ou En cours)
Exécutions de l'agent IA	Liste	Liste des exécutions d’agents IA. La liste est divisée par agent IA et statut d’exécution de l’agent IA. Les colonnes s’étendent sur plusieurs semaines, et il y a des pourcentages de changement et des lignes de tendance comparant la semaine en cours à la semaine précédente.
Nombre de workflows agentiques	ligne de tendance	Nombre total de workflows agentiques. Les workflows agentiques créés au cours du dernier jour et une ligne de tendance sont affichés.
Nombre d'agents IA	ligne de tendance	Nombre total d’agents IA. Les agents IA créés au cours du dernier jour et une ligne de tendance sont affichées.
Nombre d'outils	ligne de tendance	Nombre total d’outils. Les outils créés au cours du dernier jour et une ligne de tendance sont affichés.
Plans d'exécution de l'agent IA	Liste	Liste des plans d’exécution de l’agent IA. La liste est ventilée par workflow agentique. Les colonnes s’étendent sur plusieurs semaines, et il y a des pourcentages de changement et des lignes de tendance comparant la semaine en cours à la semaine précédente.

Tableau 5. Visualisations de données sur la page d’état du tableau de bord d’analyse d’agent IA
Titre	Type	Description
Plans d'exécution de l'agent IA	Cartes de score	Quatre cartes de score, une pour chaque état de plan d’exécution (prêt, en cours en cours, terminé et terminé).
Exécutions de l'agent IA	Cartes de score	Quatre cartes de score, une pour chaque état de plan d’exécution (En cours en ce moment, Terminé, Réussi et Erreurs/Annulé).
Exécutions de l'outil/l'agent IA	Liste	Liste des exécutions d’agents et d’outils IA. La liste est ventilée par agent et outil IA, et il existe des colonnes pour chaque état (Annulé, En cours, Mis en file d’attente et Réussite).

Tableau 6. Visualisations de données sur la page de valeur du tableau de bord d’analyse d’agent IA
Titre	Type	Description
Tâches fermées à l'aide d'agents IA	ligne de tendance	Pourcentage de tâches fermées à l’aide d’agents IA. La ligne de tendance s’affiche.
Gain d'efficacité de fermeture de tâche grâce aux agents IA	ligne de tendance	Pourcentage d’efficacité gagnée avec les workflows agentiques et les agents IA. La ligne de tendance s’affiche.
Délai moyen de clôture assisté par des agents IA	ligne de tendance	Délai moyen nécessaire pour qu’une tâche passe de la création à la fermeture avec l’implication d’un agent IA ou d’un workflow agentique. La ligne de tendance s’affiche.
CSAT déduit des agents IA	Tableau de résultats	Score CSAT estimé calculé à l’aide de l’IA en fonction de la qualité subjective des réponses des agents IA. 1 étant l’utilisateur est extrêmement insatisfait et 5 étant l’utilisateur est extrêmement satisfait de l’interaction.
Session déduite CSAT	Tableau de résultats	Score CSAT estimé calculé à l’aide de l’IA en fonction des interactions de session globales d’un utilisateur. 1 étant l’utilisateur est extrêmement insatisfait et 5 étant l’utilisateur est extrêmement satisfait de l’interaction.
Transferts et escalades à l'aide d'agents IA	Histogramme	Score estimé à l’aide de l’IA qui indique si l’utilisateur a demandé une escalade ou s’il y a eu un transfert vers un autre agent IA ou humain.
Effort de l'utilisateur requis avec les agents IA	Histogramme	Nombre de scores générés par l’IA qui mesure le temps et l’énergie que les utilisateurs ont dû consacrer lors de leur interaction avec un agent IA. Les valeurs sont sur une échelle de 3 points : faible, moyen et élevé.
Prochaines étapes recommandées par l'agent IA	Histogramme	Nombre de scores générés par l’IA qui indiquent si l’agent IA a récapitulé le résultat et fourni des instructions ou des conseils clairs sur ce que le client doit faire ensuite, le cas échéant. Les valeurs sont sur une échelle de 3 points : faible, moyen et élevé.
L'agent IA a résolu la demande des utilisateurs	Tableau de résultats	Score généré par l’IA qui indique si l’agent IA a résolu la demande de l’utilisateur. Les valeurs peuvent être oui, non ou inconnu.
Frustration des utilisateurs vis-à-vis des agents IA	Histogramme	Score généré par l’IA qui indique si l’utilisateur a exprimé sa frustration à un moment donné de la conversation.
Empathie de l'agent IA	Tableau de résultats	Un score généré par l’IA qui indique si l’agent IA a fait preuve d’empathie et d’amitié. Les valeurs sont sur une échelle de 3 points : faible, moyen et élevé.
Confusion de l'utilisateur ou de l'agent IA	Histogramme	Nombre de scores générés par l’IA qui indiquent si l’utilisateur ou l’agent IA est confus à tout moment de la conversation.
10 principaux workflows agentiques avec le CSAT de session le plus élevé	Histogramme	10 premiers workflows agentiques par score CSAT le plus élevé.
10 derniers workflows agentiques avec le CSAT de session le plus élevé	Histogramme	10 derniers workflows agentiques par score CSAT.
10 premiers agents IA avec le CSAT de session le plus élevé	Histogramme	10 premiers agents IA par score CSAT le plus élevé.
10 derniers agents IA avec le CSAT de session le plus élevé	Histogramme	Les 10 derniers agents IA par score CSAT.
Conversations quotidiennes de l'agent IA	ligne de tendance	Nombre total de conversations d’agent IA dans le panneau Now Assist ou Agent virtuel. La ligne de tendance s’affiche.
% de conversations utilisant des agents IA	ligne de tendance	Pourcentage de conversations d’agent IA dans le panneau Now Assist ou Agent virtuel qui ont utilisé des workflows agentiques ou des agents IA. La ligne de tendance s’affiche.
Indicateurs de prise en charge du gain d'efficacité	Liste	Liste des indicateurs. La liste est ventilée par indicateur. Les colonnes s’étendent sur une période donnée.

Tableau 7. Visualisations de données sur la page de consommation de l’assistant de tableau de bord d’analyse d’agent IA
Titre	Type	Description
Somme des assistants d’agent IA	Tableau de résultats	Nombre total d’assistants utilisés sur l’instance pour les agents IA et les workflows agentiques.
Somme des assistants d'agent IA par un tiers	Graphique à secteurs	Totaux et pourcentages de passes décisives divisés par niveau. Une assistance est marquée comme petite jusqu’à ce que le nombre d’exécutions d’outils dépasse 20.
Nombre d’exécutions d’agents IA par niveau d’assistance.	Graphique à secteurs	Nombre de niveaux d’assistance pour les agents IA et les workflows agentiques. Une assistance est marquée comme petite jusqu’à ce que le nombre d’exécutions d’outils dépasse 20.
10 principaux workflows agentiques consommant des assistances	Graphique à secteurs	Pourcentages d’assistances consommées parmi les 10 principaux workflows agentiques consommant des assistances.
Somme des assistants d'agents IA	Histogramme	Nombre total d’assistants utilisés par les agents IA répartis par jour.
Nombre d'exécutions d'agents IA par niveau d'assistance	Histogramme	Nombre d’assistants utilisés par les agents IA répartis par niveau d’assistance et par jour.
Nombre d’exécutions d’agents IA par workflow agentique	Histogramme	Nombre d’assistants utilisés par les agents IA répartis par workflow agentique.
Somme des assistants d'agent IA par agent IA	Histogramme	Nombre d’assistants utilisés par les agents IA répartis par agent IA.
Nombre moyen d'exécutions d'outils par workflow agentique	Liste	Nombre d’outils exécutés par un workflow agentique, répartis par workflow agentique et par jour.
Nombre moyen d'exécutions d'outils par niveau d'assistance	Liste	Nombre d’outils exécutés par un workflow agentique, répartis par niveau d’assistance et par jour.

Tableau 8. Visualisations de données sur la page des performances du tableau de bord d’analyse d’agent IA
Titre	Type	Description
Latence du workflow agentique P90	Tableau de résultats	Durée en secondes de 90 % des workflows agentiques dans un système à traiter.
Latence du workflow agentique P95	Tableau de résultats	Durée en secondes de 95 % des workflows agentiques dans un système à traiter.
Latence du workflow agentique P99	Tableau de résultats	Durée en secondes de 99 % des workflows agentiques dans un système à traiter.
Nombre total de workflows agentiques exécutés par heure	Histogramme	Visualisation de l’heure de la journée à laquelle les workflows agentiques ont été exécutés par heure.
Nombre total d'erreurs de workflows agentiques par heure	Histogramme	Visualisation de l’heure de la journée à laquelle les workflows agentiques ont été exécutés et ont connu une erreur par heure.
Latence du workflow agentique	Graphique en courbes	Latence du workflow agentique dans le temps. Utilise trois indicateurs différents : P90 suit les 90 % des exécutions les plus rapides, P95 suit les 95 % des exécutions les plus rapides et P99 suit les 99 % des exécutions les plus rapides.
Latence du workflow agentique (moyenne hebdomadaire)	Graphique en courbes	Latence du workflow agentique dans le temps. Utilise trois indicateurs différents : P90 suit les 90 % des exécutions les plus rapides, P95 suit les 95 % des exécutions les plus rapides et P99 suit les 99 % des exécutions les plus rapides.
Latence du workflow agentique (moyenne quotidienne)	Table	Latence moyenne du workflow agentique aujourd’hui. Chaque ligne est un workflow agentique et chaque colonne est une mesure de latence différente. Utilise trois indicateurs différents : P90 suit les 90 % des exécutions les plus rapides, P95 suit les 95 % des exécutions les plus rapides et P99 suit les 99 % des exécutions les plus rapides.
Latence des agents IA P90	Tableau de résultats	Durée en secondes de 90 % des exécutions d’agents IA dans un système à traiter.
Latence des agents IA P95	Tableau de résultats	Durée en secondes de 95 % des exécutions d’agents IA dans un système à traiter.
Latence des agents IA P99	Tableau de résultats	Durée en secondes de 99 % des exécutions d’agents IA dans un système à traiter.
Nombre total d'agents IA exécutés par heure	Histogramme	Visualisation de l’heure de la journée à laquelle les exécutions de l’agent IA ont été exécutées par heure.
Nombre total d'erreurs d'agent IA par heure	Histogramme	Visualisation de l’heure de la journée à laquelle les exécutions de l’agent IA ont été exécutées et ont connu une erreur par heure.
Latence des agents IA	Graphique en courbes	Latence de l’agent IA dans le filtre temporel. Utilise trois indicateurs différents : P90 suit les 90 % des exécutions les plus rapides, P95 suit les 95 % des exécutions les plus rapides et P99 suit les 99 % des exécutions les plus rapides.
Latence de l'agent IA (moyenne hebdomadaire)	Graphique en courbes	Latence de l’agent IA dans le temps et par semaine. Utilise trois indicateurs différents : P90 suit les 90 % des exécutions les plus rapides, P95 suit les 95 % des exécutions les plus rapides et P99 suit les 99 % des exécutions les plus rapides.
Latence de l'agent IA (moyenne quotidienne)	Table	Latence moyenne de l’agent IA aujourd’hui. Chaque ligne est un agent IA et chaque colonne est une mesure de latence différente. Utilise trois indicateurs différents : P90 suit les 90 % des exécutions les plus rapides, P95 suit les 95 % des exécutions les plus rapides et P99 suit les 99 % des exécutions les plus rapides.
Latence de l'outil P90	Tableau de résultats	Durée en secondes de 90 % des exécutions d’outils dans un système à traiter.
Latence de l'outil P95	Tableau de résultats	Durée en secondes de 95 % des exécutions d’outils dans un système à traiter.
Latence de l'outil P99	Tableau de résultats	Durée en secondes de 99 % des exécutions d’outils dans un système à traiter.
Nombre total d’outils exécutés par heure	Histogramme	Visualisation de l’heure de la journée à laquelle les exécutions d’outils ont été exécutées par heure.
Nombre total d'erreurs d'outils par heure	Histogramme	Visualisation de l’heure de la journée à laquelle les exécutions d’outils ont été exécutées et ont connu une erreur par heure.
Latence de l'outil	Graphique en courbes	Latence de l’outil dans le filtre temporel. Utilise trois indicateurs différents : P90 suit les 90 % des exécutions les plus rapides, P95 suit les 95 % des exécutions les plus rapides et P99 suit les 99 % des exécutions les plus rapides.
Latence de l'outil (moyenne hebdomadaire)	Graphique en courbes	Latence de l’outil dans le temps et par semaine. Utilise trois indicateurs différents : P90 suit les 90 % des exécutions les plus rapides, P95 suit les 95 % des exécutions les plus rapides et P99 suit les 99 % des exécutions les plus rapides.
Latence de l'outil (moyenne quotidienne)	Table	Latence moyenne de l’outil aujourd’hui. Chaque ligne est un outil et chaque colonne est une mesure de latence différente. Utilise trois indicateurs différents : P90 suit les 90 % des exécutions les plus rapides, P95 suit les 95 % des exécutions les plus rapides et P99 suit les 99 % des exécutions les plus rapides.
Latence LLM P90	Tableau de résultats	Durée en secondes du traitement de 90 % des demandes LLM dans un système.
Latence LLM P95	Tableau de résultats	Durée en secondes de 95 % des demandes LLM dans un système à traiter.
Latence LLM P99	Tableau de résultats	Durée en secondes de traitement de 99 % des demandes LLM dans un système.
Latence LLM	Graphique en courbes	Latence de l’outil dans le filtre temporel. Utilise trois indicateurs différents : P90 suit les 90 % des exécutions les plus rapides, P95 suit les 95 % des exécutions les plus rapides et P99 suit les 99 % des exécutions les plus rapides.
Latence LLM (moyenne hebdomadaire)	Graphique en courbes	Latence de l’outil dans le temps et par semaine. Utilise trois indicateurs différents : P90 suit les 90 % des exécutions les plus rapides, P95 suit les 95 % des exécutions les plus rapides et P99 suit les 99 % des exécutions les plus rapides.
Appels LLM par heure	Histogramme	Visualisation de l’heure à laquelle les appels LLM de la journée ont été effectués par heure.
Erreurs LLM par heure	Histogramme	Visualisation de l’heure à laquelle les appels LLM de la journée ont été effectués et ont connu une erreur par heure.

Tableau 9. Visualisations de données sur la page de dépannage du tableau de bord d’analyse d’agent IA
Nom	Type	Description
Erreurs du workflow agentique	Liste	Liste des erreurs de workflow agentique.