Registerkarte „Auswertung“ in KI-Kontrollstelle

Die Bewertung Die Registerkarte enthält das AuswertungsDashboard, das dazu dient, die Qualität von Interaktionen mit zu messen, zu automatisieren und zu verbessern Virtual Agent. Dieses Dashboard befasst sich mit mehreren wichtigen Herausforderungen, um die Endanwender-Experience und das allgemeine Virtual Agent-Dienstprogramm zu verbessern.

Bewertungs-Dashboard

Voraussetzungen

Erforderliche Rolle: sn_ai_Governance.ai_Steward

Sie müssen Auswertungen werden aktiviert.

Konversationen werden von der automatischen Auswertung ausgeschlossen, wenn eine der folgenden Bedingungen erfüllt ist:

• HR-Konversationen: Konversationen im Zusammenhang mit Human Resources werden herausgefiltert, was bedeutet, dass sie nicht ausgewertet werden.
• Unzugänglich oder leer Knowledge Base(KB) Artikel: Konversation mit einem Genius-Ergebnis, die auf einen KB-artikel verweist, der entweder nicht über Skript zugänglich ist oder leer ist. Beispiel: Bestimmte eingeschränkte HR Wissen artikel.
• Sofortige Übertragung von Servicemitarbeitern: Eine Konversation, die sofort mit der Übertragung an einen Servicemitarbeiter beginnt, ohne dass zuvor mit dem Virtual Agent interagiert wurde.
• Kurze Konversationen: Konversationen mit weniger als 180 Wörtern, bevor ein Servicemitarbeiter aufgerufen wird. Die Wortanzahl kann über konfiguriert werden autoEvalConstantsSkripteinbindung. Es wird davon ausgegangen, dass Konversationen unterhalb dieses Schwellenwerts keine aussagekräftige Interaktion mit enthielten Virtual Agent.
• Anwenderdefinierte Auslöser: Alle anwenderdefinierten Ausschlussauslöser.

Übersicht über das Bewertungs-Dashboard

Das Bewertungs-Dashboard hilft bei:

• Einrichtung eines zuverlässigen Messverfahrens, indem die systematische Nachverfolgung der Endanwender-Experience mit ermöglicht wird Virtual Agent, Bietet tiefere Einblicke in Interaktionen.
• Automatisierung der Bewertung der Konversationsqualität durch Automatisierung des Prozesses der Bewertung der Konversationsqualität für verschiedene Anwenderinteraktionen. Diese Automatisierung trägt zur Erstellung einer vertrauenswürdigen, skalierbaren Metrik für die Leistungsnachverfolgung bei.
• Kontinuierliche Verbesserung durch Unterstützung der iterativen Verbesserung der Leistung des Virtual Agent, wodurch die allgemeine Anwender-Experience verbessert wird.
• Skalierbare Überwachung, indem sichergestellt wird, dass der Prozess der Bewertung und Nachverfolgung der Virtual Agent-Qualität sowohl effizient als auch skalierbar ist, was die schnelle Identifizierung von Problemen und Verbesserungen im Laufe der Zeit fördert.
• Durch die Integration von Anwenderfeedback über eine Reihe optionaler Fragen können Sie direktes Feedback zu ihrer Experience geben, was zur Verbesserung der Qualität zukünftiger Interaktionen verwendet wird.
• Service Desk-Manager-Einblicke, indem Service Desk-Manager Punktzahlen der automatischen Bewertung im Zeitverlauf nachverfolgen und überprüfen können. Manager können Feedback auch manuell zu Benchmarking-Zwecken hinzufügen und wertvolle Einblicke in die Konversationsqualität und Verbesserungsmöglichkeiten bieten.
• Nachhaltiger Bewertungsprozess durch kontinuierliche Verbesserung der Virtual Agent-Leistung durch einen kombinierten Ansatz aus automatisierter Bewertung und manuellem Feedback, der ein skalierbares und nachhaltiges System ermöglicht, das sich im Laufe der Zeit weiterentwickelt.

Registerkarte „Übersicht“

Die Übersicht Die Registerkarte des Auswertungsdashboards bietet eine umfassende Ansicht aller Metriken und Auswertungsdaten.

Die folgenden Widgets sind verfügbar und zeigen verschiedene Metriken an:

• Durchschnittliche Punktzahl der automatischen Bewertung für die ausgewählte Metrik: Zeigt die durchschnittliche Punktzahl der automatischen Auswertung für die ausgewählte Metrik und ihren Trend im Zeitverlauf an.

  Weitere Informationen zu den einzelnen Metriken finden Sie unter Auswertungsmetriken und Berechnungen.

• Durchschnittliche Punktzahl für menschliches Feedback für die ausgewählte Metrik: Zeigt die durchschnittliche Punktzahl für menschliches Feedback für die ausgewählte Metrik an.

  Hinweis:

  Die Punktzahl ist nur verfügbar, wenn genügend Chatdatensätze vorhanden sind, die manuell ausgewertet werden. Weitere Informationen zur manuellen Auswertung von Konversationen finden Sie unter Menschliches Feedback für Auswertungen.

• Bewertungspunktzahltrend: Verfolgt die wöchentliche Punktzahl für die ausgewählte Metrik.

  Wenn Sie aktivieren Zeigen Sie Abweichungen und angepasste Punktzahlen an Umschalter, zeigt den Vergleich zwischen den automatisch ausgewerteten und anwenderdefinierten Punktzahlen an, indem die oberen, unteren und die endgültige angepasste Punktzahl im Trenddiagramm überlagert werden.

  Hinweis:

  Die Abweichung und die angepassten Punktzahlen werden nur berechnet, wenn Sie mindestens 50 menschliche Bezeichnungen haben.

  

  Weitere Informationen zur Durchführung der Berechnungen finden Sie unter Auswertungsmetriken und Berechnungen.

• Auswertungen: Zeigt die Gesamtzahl der Konversationen an, die jede Woche ausgewertet wurden.

• Abschnitt „menschliches Feedback“: Enthält detaillierte Informationen zu jeder Bewertung. Von hier aus können Sie Konversationen manuell auswerten. Weitere Informationen finden Sie unter Menschliches Feedback für Auswertungen.

Evaluierungen

Jede Konversation wird anhand von acht verschiedenen Metriken ausgewertet. Für jede dieser Metriken gibt es eine separate Kompetenz. Sie können diese Kompetenzen in anzeigen Now Assist Skill Kit Unter Anwenderdefinierte Kompetenzen .

Weitere Informationen zu den einzelnen Metriken finden Sie unter Auswertungsmetriken und Berechnungen.

Erforderliche Rolle: sn_Skill_Builder.admin

Folgendes Now Assist Anwenderdefinierte Kompetenzen werden verwendet:

• Chat-Themenklassifizierung
• Coherence-Chat-Auswertung
• Bewertung Des Kurzsichtigkeit-Chats
• Kontextaufbewahrung
• Unzureichende Chatauswertung Für Slot
• Chat-Bewertung Für Absichtsgenauigkeit
• Reibungslos Fließende Konversations-Chat-Bewertung
• Bewertung Des Chats Zur Halluzination Der Wahrhaftigkeit

Der Standardanbieter für diese Kompetenzen ist Azure OpenAI. Sie können den Anbieter in ändern Google Gemini Oder AWS Claude.

Weitere Informationen zu Now Assist Skill Kit finden Sie unter ../../now-assist-skill-kit/concept/now-assist-skill-kit-landing.html.

Bewertungsprozess

Flow: Auswertung Ausführen.

1. 10 % der täglichen Konversationen werden als Stichproben erfasst, wobei überprüft wird, ob die Konversation gut genug ist, um bewertet zu werden oder nicht. Die Auswertung erfolgt, indem die Transkripte für diese Konversationen erstellt und dann an das Set Large Language Model (LLM) gesendet werden.
2. Für die Konversationen, die gut genug sind, um ausgewertet zu werden, werden die Transkripte zusammen mit den Hinweismeldungen für verschiedene Skalen an das LLM gesendet, und das LLM wertet die Konversationen aus.
3. Nach der Auswertung wird die Konversation nachverarbeitet, wobei die vom LLM angegebenen Punktzahlen und der Grund für Punktzahlen analysiert und in den Tabellen „Auswertungsmetriken“ und „Auswertungsmetriken“ gespeichert werden.

Hinweis:

Schätzungen der Konversationsauswertung werden ab dem Bewertungsdatum und nicht am Erstellungsdatum der Konversation berücksichtigt. Wenn beispielsweise ein Chat, der zum Zeitpunkt t stattgefunden hat, zum Zeitpunkt t+10 ausgewertet wird, werden die Punktzahlen des Auswerters für die Woche t+10 und nicht für die Woche t aggregiert

Detaillierte Informationen zum Auswertungsflow finden Sie unter Auswertungs-Flow.

Zugehörige Konzepte

• Registerkarte „Wert“ im Dashboard „Bewertung“
• Referenzen des Auswertungsdashboards