Onglet Valeur dans le tableau de bord d’évaluation

L’onglet Valeur du tableau de bord Évaluation affiche la valeur, l’efficacité et le gain de temps de l’agent virtuel. Les informations de cet onglet vous donnent une estimation transparente et fiable de la valeur fournie par l’agent virtuel, en vous concentrant sur un calcul ajusté de la qualité du temps gagné pour les utilisateurs.

L’onglet Valeur présente une évaluation robuste et réaliste de la valeur de l’agent virtuel. En intégrant un échantillonnage pour l’évolutivité, des moyennes mobiles pour la stabilité et un cadre de pondération de la qualité pour la pertinence commerciale, les mesures résultantes donnent un impact d’automatisation et un gain de temps pour l’organisation.

Les widgets suivants sont disponibles :

• Nombre total de conversations : affiche le volume total de conversations initiées avec l’agent virtuel pour la plage de dates sélectionnée. Cette mesure est un indicateur direct de l’engagement des utilisateurs et de l’utilisation d’Agent virtuel.
• Nombre total d’heures estimé : affiche le temps cumulé ajusté en fonction de la qualité économisé par les utilisateurs qui interagissent avec l’agent virtuel.
• Efficacité VA estimée ( %) : calculée comme le rapport entre le total estimé des heures économisées et la durée totale de toutes les conversations (estimation des gains de temps/temps de conversation total). L’estimation indique l’efficacité avec laquelle le temps de conversation est converti en valeur.
• Jauges par taille de messagerie instantanée : les jauges affichent une répartition du nombre total d’heures économisées estimé, segmentées par taille de la conversation (longue, moyenne et courte).

  Les conversations sont segmentées en fonction de leur taille pour corréler précisément l’effort et la valeur. Le principe est que les chats plus longs et plus complexes qui résolvent avec succès les problèmes permettent de gagner plus de temps que les chats plus courts et plus simples.

  • Conversations de grande taille : conversations avec plus de 10 messages de l’utilisateur.
  • Conversations de taille moyenne : conversations avec plus de 4 mais moins de 10 messages de l’utilisateur.
  • Conversations de petite taille : conversations avec 4 messages ou moins de l’utilisateur.
  Remarque :

  Pour modifier la définition des petites, moyennes et grandes conversations, mettez à jour la propriété sn_na_conv_eval.value_chat_classifier. Pour plus d'informations, consultez Composants installés avec le tableau de bord d’évaluation.
• Calcul de la valeur : affiche le montant économisé en fonction du nombre d’heures économisées et du taux horaire.

  

• Score d’acceptation de l’utilisateur : score moyen de satisfaction dérivé de l’évaluateur de conversation, mis à l’échelle de 100 pour une interprétation facile. Ce score reflète la perception globale de l’utilisateur quant à la qualité de l’assistance de l’agent virtuel.

  Tendance hebdomadaire d’acceptation de l’utilisateur

  

  Le graphique linéaire suit le score d’acceptation de l’utilisateur au fil du temps, fournissant un aperçu de l’évolution hebdomadaire de la satisfaction des utilisateurs.

• Tendances d’efficacité hebdomadaires :

  

  

Les graphiques de tendance hebdomadaire de l’efficacité affichent la tendance hebdomadaire de la mesure Efficacité estimée ( %), ventilée par taille de messagerie instantanée et par type de contenu (Base de connaissances article (KB) ou élément de catalogue de services) utilisé pendant la conversation.

Remarque :

Les scores d’évaluation de conversation sont balisés à partir de la date de l’évaluation et non à la date réelle de la conversation. Par conséquent, les scores de messagerie instantanée plus anciens ou historiques sont pris en compte à compter du jour de l’évaluation pour le calcul de la valeur et non à compter de la date de création de la conversation.

Calcul du nombre total d’heures estimé

Le nombre total d’heures estimé calculé est le résultat d’un processus quotidien en plusieurs étapes conçu pour ajuster le temps brut en fonction de la qualité de l’interaction. Il est calculé en procédant comme suit :

1. Échantillonnage de données pour l’évaluation de la qualité.

   Pour limiter le nombre d’assistances, chaque conversation n’est pas évaluée. Au lieu de cela, un processus d’échantillonnage quotidien est utilisé.

   • Taille de l’échantillon : 10 % de toutes les conversations sont sélectionnées pour l’évaluation de la veille.
   • Limite quotidienne : l’échantillon est limité à un maximum de 50 conversations par jour.
   • Ensemble de données analytiques : pour identifier des modèles stables dans la qualité d’Agent virtuel, une fenêtre de 30 jours roulants est utilisée pour ces chats évalués, ce qui crée un ensemble de données d’environ 1 500 conversations évaluées (50 chats/jour pendant 30 jours) pour l’analyse.
2. Échantillonnage quotidien pour le calcul du temps.
   Indépendamment de l’évaluation de la qualité, un échantillon plus important est prélevé pour le calcul du gain de temps pour un ensemble de données représentatif sans impact sur les performances du système.

   • Taille de l’échantillon : Un échantillon de 1 000 conversations est sélectionné au hasard chaque jour.
   • Projection : Les gains de temps calculés à partir de cet échantillon sont ensuite mis à l’échelle pour représenter l’ensemble de la population de conversations pour cette journée.
3. Catégorisation de la qualité de la conversation.

   Chacune des ~1 500 conversations de l’ensemble de données analytiques de 30 jours se voit attribuer un score de qualité par l’évaluateur de conversation. En fonction du score, la conversation est classée dans l’un des cinq niveaux de satisfaction suivants :

   Catégorie de qualité	Plage du score de satisfaction utilisateur
   Très satisfait	4.5–5.0
   Satisfait	3.5–4.5
   Moyenne	2.5–3.5
   Insatisfait	1.5–2.5
   Extrêmement insatisfait	1.0–1.5

4. Projection des scores de qualité sur l’échantillon quotidien.

   Il se peut qu’il n’y ait pas de score de qualité pour chacun des 1 000 chats quotidiens (à partir de l’étape 2). Pour résoudre ce problème, la distribution de la qualité de l’ensemble de données analytiques de 30 jours est projetée sur l’échantillon quotidien.

   1. Calculez des moyennes mobiles : à partir des ~1 500 chats évalués, la répartition en pourcentage du temps total de chat dans les cinq catégories de qualité pour chaque segment est calculée.

      Par exemple, pour toutes les messageries instantanées courtes ou pour toutes les messageries instantanées qui ont appelé un article de la base de connaissances. Supposons que l’analyse de 30 jours des chats courts montre que leur durée totale était de 100 minutes. Si 25 de ces minutes provenaient de chats classés comme extrêmement satisfaits, alors la catégorie extrêmement satisfaite pour les chats courts a un score basé sur le temps de 25 %.

   2. Appliquer des moyennes à l’échantillon quotidien : les 1 000 exemples de chats quotidiens sont regroupés par segment (par exemple, par taille de chat). Les pourcentages de la moyenne mobile sont ensuite appliqués à la durée totale de ces groupes.

      Par exemple, si les 1 000 exemples de chats quotidiens contiennent 400 chats courts d’une durée totale de 4 000 minutes, la moyenne mobile calculée est utilisée pour projeter que 25 % du temps (1 000 minutes = 4000 minutes * 25 %) était de qualité extrêmement satisfaisante. Le calcul est répété pour tous les niveaux de qualité et tous les segments.

5. Appliquer des poids d’ajustement de la qualité.

   Pour convertir le temps de conversation brut en une mesure réaliste du temps gagné, un poids est appliqué au temps prévu dans chaque catégorie de qualité. Le temps des interactions de mauvaise qualité ne permet que peu ou pas d’économies, tandis que le temps des interactions de haute qualité contribue à 100 % de sa durée aux économies.

   Catégorie de qualité de la conversation	Poids appliqué au temps
   Très satisfait	1.0 (100%)
   Satisfait	0.5 (50%)
   Moyenne	0.25 (25%)
   Insatisfait	0.1 (1%)
   Extrêmement insatisfait	0.0 (0%)

   Les 1 000 minutes de temps extrêmement satisfait calculées à l’étape 4 sont multipliées par un poids de 1,0, ce qui donne 1 000 minutes de temps estimé économisé. Si 500 minutes supplémentaires devaient être satisfaites, elles contribueraient à 500 * 0,5 = 250 minutes de temps économisées.

6. Adaptation des économies de l’échantillon à la population totale.

   Le temps ajusté économisé est calculé pour l’échantillon de 1 000 chats. Pour obtenir l’estimation quotidienne finale, ce nombre est augmenté pour refléter toutes les conversations de ce jour.

   Facteur de mise à l’échelle = (nombre total de conversations pour la journée) / (1 000)

   Gain de temps quotidien final = (Gain de temps ajusté à partir de l’échantillon) * (Facteur de mise à l’échelle)

7. Agrégation hebdomadaire :

   Les chiffres quotidiens du gain de temps quotidien final sont agrégés à un niveau hebdomadaire pour être affichés sur les graphiques de tendance du tableau de bord.

Important :

Seul le temps de messagerie instantanée avant la première invocation d’agent actif est pris en compte pour le calcul de la valeur. En d’autres termes, le temps que l’utilisateur a passé à interagir avec l’agent virtuel. Le temps de conversation avec l’agent actif n’est pas pris en compte dans le calcul de la valeur.

Si les données ne sont pas mises à jour sur le tableau de bord, procédez comme suit.

Rôle requis : admin

1. Accédez à la Tous > Définitions des systèmes > Travaux planifiés.
2. Recherchez et sélectionnez la CE Populate Value Aggregates Chats - Daily tâche planifiée.
3. Définissez-le comme actif.
4. Exécuter la tâche planifiée.
5. Accédez à la Tous > Platform Analytics > Administration de Platform Analytics > Collecteur de données > Tâches.
6. Recherchez et sélectionnez la tâche planifiée « [Évaluateur de conversation] Tâche planifiée de collecte de données quotidienne des scores d’évaluation .
7. Exécuter la tâche.
8. Dans la section Listes connexes, vérifiez l’onglet Journaux des tâches pour voir si les données ont été collectées avec succès.

Concepts associés

• Tableau de bord d’évaluation Références