Activation des évaluations

Évaluez les conversations aléatoires en activant une surveillance continue.

Activez les évaluations et définissez le nombre d’évaluations à effectuer quotidiennement :

1. Accédez à la Tous > Automatisation des processus > Concepteur de flux et sélectionnez Flux.
2. Sélectionnez le flux d’évaluation d’exécution.
3. Sélectionnez Modifier le flux.
4. Sélectionnez Activer.

   

5. Accédez à la Tous > Propriétés système > Toutes les propriétés.
6. Recherchez et sélectionnez la propriété sn_na_conv_eval.maxEvaluateCount.
7. Mettez à jour le champ Valeur pour définir le nombre maximal de conversations à évaluer quotidiennement.

   

8. Sélectionnez Enregistrer.

Remarque :

• Si vous souhaitez configurer certains paramètres d’évaluation en fonction de vos besoins, reportez-vous à la section Configuration des évaluations.
• Si vous souhaitez importer des données historiques à évaluer, vous devez exécuter des évaluations par lots en activant le flux Exécuter l’évaluation du lot. Pour plus d’informations sur le workflow d’évaluation des lots, reportez-vous à la section Flux d’évaluation pour les évaluations par lots.

Tableau de bord d’évaluation vs. Aperçus de la conversation

Vous pouvez utiliser le tableau de bord d’évaluation et l’application Conversations Insights (CI) ensemble pour obtenir une image complète de l’efficacité d’Agent virtuel, des performances du système à la satisfaction de l’utilisateur final.

Pour en savoir plus sur les aperçus de conversation, reportez-vous à la section Aperçus de la conversation.

Mesures capturées par le tableau de bord d’évaluation

Mesures capturées par Aperçus de conversation

Le tableau de bord d’évaluation fournit des explications de diagnostic granulaires qui permettent d’améliorer la conception d’Agent virtuel, les flux de dialogue et la précision des modèles. Il évalue les performances selon des dimensions essentielles à la réussite et à la fiabilité des tâches. Par exemple, « Le système fonctionne-t-il correctement et effectue-t-il la tâche attendue ? » Reconnaissance de l’intention : indique si l’agent virtuel interprète correctement l’objectif principal de l’utilisateur. Remplissage des créneaux : précision de l’extraction des entrées structurées nécessaires à l’accomplissement des tâches. Concision : Éviter les réponses verbeuses ou répétitives. Cohérence : flux logique et organisation des réponses de Virtual Agent. Véracité : Garantit que les réponses sont ancrées dans le contexte ou les sources de connaissances, et non hallucinées. Rétention du contexte : capacité de Virtual Agent à mémoriser des entrées utilisateur antérieures dans la même session. Évitement des blocages : détecte les boucles dans lesquelles l’agent virtuel est bloqué en répétant des questions ou des réponses. Satisfaction de l’utilisateur (proxy) : Corrèle les échecs critiques (comme la reconnaissance d’intention ou le remplissage d’emplacements) avec une perception négative probable de l’utilisateur.

Conversation Insights se concentre sur la mesure de la satisfaction et des efforts des clients. Il utilise la satisfaction client déduite (CSAT) et les signaux de support pour montrer comment les utilisateurs finaux perçoivent leur interaction avec l’agent virtuel. Par exemple, « L’utilisateur final est-il satisfait des performances de Virtual Agent ? » CSAT déduit : score composite (1 à 5) estimant la satisfaction globale à l’égard de la conversation. Score d’effort : mesure la quantité de travail que l’utilisateur a dû effectuer (faible/moyenne/élevée), en fonction des transferts, des escalades, des collectes de données répétées ou des temps d’attente. Résolution : Vérifie si le problème de l’utilisateur a été entièrement, partiellement ou non résolu. Frustration : détecte les signes explicites de frustration de l’utilisateur tels que le langage grossier, le sarcasme ou les plaintes concernant les difficultés. Confusion : identifie les malentendus entre l’utilisateur et Virtual Agent ou l’agent actif. Transferts et escalades : marque lorsqu’une conversation est transmise à un autre agent, équipe ou superviseur. Empathie : note le degré de politesse, de personnalité et de soutien de l’agent virtuel ou de l’agent actif (faible/moyen/élevé). Étapes suivantes : Mesure la clarté avec laquelle l’agent virtuel ou l’agent actif a expliqué les résultats, les instructions ou les actions de suivi (faible/moyenne/élevée).

Ensemble, le tableau de bord d’évaluation et les aperçus de conversation apportent une valeur complémentaire aux implémentations d’Agent virtuel.

• Conversation Insights offre une vue légère et gratuite de l’expérience client dans toutes les conversations.
• Le tableau de bord d’évaluation fournit des diagnostics granulaires axés sur les tâches qui permettent d’apporter des améliorations ciblées à la conception et aux performances d’Agent virtuel.
• Consolidées dans Analyse d’agent IA et Tour de contrôle IA tableaux de bord, ces mesures offrent aux utilisateurs des vues complémentaires sur l’intégrité du système d’Agent virtuel et la satisfaction de l’utilisateur final.