Mit dem AuswertungsDashboard installierte Komponenten

Mehrere Arten von Komponenten sind Teil der Registerkarte „Bewertung“, einschließlich geplanter Aufgaben, Tabellen, Systemeigenschaften und Flows.

Installierte geplante Aufgaben

Regelmäßige Aufgabe

Beschreibung

CE – Wertzusammenfassungen ausfüllen – Chats – täglich

Dieses geplante Skript wird täglich ausgeführt und wählt zufällig 1000 Konversationen aus den Konversationen von gestern aus. Danach extrahiert dieser Auftrag für jede Konversation die Chatdauer und klassifiziert sie als klein, Mittel oder groß. Klassifiziert auch die Chats, in denen ein Wissen artikel oder Katalogelement wurde aufgerufen. Für den ausgewerteten Chat werden auch die Konversationen basierend auf der Chatleistung klassifiziert und diese Daten in die Tabelle „Zusammenfassungen der Auswertungswerte“ eingetragen.

Installierte Tabellen

Bezeichnung	Name
Bewertung	[sn_na_conv_eval_Evaluation]
Auswertungskonfigurationen	[sn_na_conv_eval_Evaluation_configurations]
Auswertungsmetriken	[sn_na_conv_eval_Evaluation_metrics]
Auswertungssatz	[sn_na_conv_eval_Evaluation_Set]
Zusammenfassungen Des Auswertungswerts	[sn_na_conv_eval_Evaluation_value_aggregates]

Remote-Tabellen installiert

Tabelle	Beschreibung
Wertberechnungen Des Konversationsauswerters [sn_na_conv_eval_St_value_calcs]	Für die angegebene Abfrage berechnet die Definition für diese Remote-Tabelle die Zeitersparnis und den Effizienzprozentsatz für kleine, mittlere und große Chats. Außerdem werden die Zeitersparnisse und die Effizienz zurückgegeben, wenn ein Wissen artikel oder Katalogelement wurde aufgerufen.
Wöchentliche Berechnungen der Konversation [sn_na_conv_eval_Weekly_CAS]	Für die angegebene Abfrage berechnet die Definition für diese Remote-Tabelle die Zeitersparnis und den Effizienzprozentsatz für kleine, mittlere und große Chats für verschiedene Wochen des ausgewählten Datumsbereichs. Außerdem werden die Zeitersparnisse und die Effizienz zurückgegeben, wenn ein Wissen artikel oder Katalogelement wurde für alle verschiedenen Wochen des ausgewählten Datumsbereichs aufgerufen.

Systemeigenschaften installiert

Eigenschaft	Beschreibung
sn_na_conv_eval.errorBandMinRecords	Mindestanzahl von Datensätzen, die zur Berechnung des Fehlerbereichs für die obere und untere Abweichung erforderlich sind. Standardmäßig ist der Wert 30.
sn_na_conv_eval.evalWeights	Enthält Gewichtungen für jede Bewertungsmetrik für die Chat-Bewertung. Diese Eigenschaft wird verwendet, um Gesamtpunktzahlen oder zusammengesetzte Punktzahlen für Auswertungsdatensätze zu berechnen.
sn_na_conv_eval.maxEvaluateCount	Maximale Anzahl von Datensätzen, die an einem Tag ausgewertet werden sollen. Standardmäßig ist der Wert 200.
sn_na_conv_eval.total_sampled_conv_count	Bearbeiten Sie diese Eigenschaft, um die Gesamtzahl der Konversationen zu steuern, die für Wertberechnungen als Stichproben erfasst werden können. Standardmäßig ist der Wert 1000.
sn_na_conv_eval.value_Chat_Classifier	Bearbeiten Sie diese Eigenschaft, um die Definition kleiner, mittlerer und großer Konversationen zu ändern. Standardmäßig werden 4 und 10 gespeichert. Hier bedeuten 4 und 10 die Gesamtzahl der eingehenden Nachrichten. Weniger als oder gleich 4 eingehende Nachrichten in der Tabelle „sys_cs_message“ für eine Konversation bedeutet, dass es sich um eine kleine Konversation handelt. Mehr als 4 eingehende Nachrichten und weniger als oder gleich 10 eingehende Nachrichten bedeuten, dass es sich um eine mittlere Konversation handelt, und mehr als 10 eingehende Nachrichten bedeuten, dass es sich um eine große Konversation handelt.

Business-Regeln installiert

Name	Wann	Einfügen	Aktualisieren	Filterbedingungen
Infonachricht für Auswertungssatz hinzufügen	nach	WAHR	WAHR	StateCHANGESTOIn Fortschritt^Evaluation_type=Conversation^EQ
Skalieren Sie die Bezeichnungsmetrik nach oben	vor	WAHR	WAHR	Metrik_type=Bezeichnung^metric_nameInhilfreiche_Chat_eval,Intent_Recognition_Chat_eval,Slot_filling_Chat_eval,Forgetfulness_Chat_eval,Hallucination_Chat_eval,Redundancy_Chat_eval,Deadlock_Chat_eval,Coherence_Chat_eval^RAW_ScoreVALCHANGES^EQ
UpdateLabelingScoresOnEvaluation	nach	WAHR	WAHR	Metrik_type=Bezeichnung^RAW_ScoreVALCHANGES^metric_nameINNUTZEITZEITIGUNG_Chat_eval,Intent_Recognition_Chat_eval,Slot_filling_Chat_eval,Forgetfulness_Chat_eval,Hallucination_Chat_eval,Redundancy_Chat_eval,Deadlock_Chat_eval,Coherence_Chat_eval^EQ
Aktualisieren Sie Abweichungspunktzahlen	vor	WAHR	WAHR	Metrik_type=LLM generiert^ScoreVALCHANGES^EQ
GetAutoEvalCompositeScore	nach	FALSCH	WAHR	StateCHANGESTOVervollständigen^total_scoreISEMPTY^EQ

Installierte Flows

Flow	Beschreibung
Auswertung Ausführen	Führt Auswertungen durch, wenn Konversationen abgeschlossen sind.
Batch-Auswertung Ausführen	Führt Batch-Auswertungen durch, bei denen bis zu 100 abgeschlossene Virtual Agent-Konversationen ausgewertet werden. Der Flow wird ausgelöst, wenn der Auswertungssatz erstellt oder aktualisiert wird und der Auswertungstyp Konversation ist.

Flow-Aktionen installiert

Flow-Aktion	Beschreibung
Konversationen randomisieren	Führt die Randomisierung von Konversationen durch und gibt 100 Konversationen zufällig aus einer bestimmten Abfrage zurück.
InvokeApiDefinition	Ruft die OneExtend-Fähigkeit im Large Language Model (LLM) auf.
Chat-Klassifiziererbewertung	Gibt den Titel und die Kategorie an und gibt an, ob die Bewertung ausgeführt werden soll.
BuildTranscript	Erstellt das Transkript aus einer Konversation.
EvalExecuteCondition	Überprüft, ob das Transkript gut genug ist, um ausgewertet zu werden.

Skripteinbindungen installiert

Skripteinbindungen	Beschreibung
EvalExecuteCondition	Verwenden Sie diese Skripteinbindung, um die Auswertungsbedingung zu aktualisieren.
EvalUtils	Primäre Dienstprogrammfunktion für den Evaluator.

Zugehörige Informationen

• Remote tables