Auswertungs-Flow

Der Workflow für die Auswertungsausführung, der Auswertungen ausführt, wenn Konversationen abgeschlossen sind.

Konversationen werden mit der folgenden Logik ausgewertet:

1. Konversationserfassung:

   Alle Endanwenderinteraktionen mit dem Virtual Agent werden in der Konversationstabelle [sys_cs_Conversation] protokolliert. Wenn ein Anwender die Konversation beendet, wird der Status des Datensatzes in „Abgeschlossen“ aktualisiert.

2. Auslöser für automatisierte Flow-Auswertung:

   Flow-Name: Auswertung ausführen.

   Auslöserbedingung:

   • Tabelle: Konversationstabelle [sys_cs_Conversation]
   • Status: Abgeschlossen
   • Gerätetyp: Webclient, Slack, Teams, Bot-zu-Bot, Messenger

Reihenfolge der Ausführung :

Aktion 1: EvalExecuteCondition

• Ruft auf EvalExecuteCondition.executeEvaluation Skripteinbindung mit Konversationsreferenz.
• Generiert eine zufällige Zahl (1–100). Wird nur fortgesetzt, wenn ≤10 (10 % Zufallsstichprobe).
• Ergebnis: Gibt „wahr“ oder „falsch“ für die weitere Verarbeitung zurück.

Aktion 2: Bedingte Verzweigung

• Bei „wahr“: Fahren Sie mit der nächsten Aktion fort.
• Bei „falsch“ wird die Auswertung angehalten.

Aktion 3: Interaktionstabelle Suchen:

Stimmt die Kanalmetadaten der Konversation mit der Interaktionstabelle ab, um zugehörige Datensätze abzurufen.

Aktion 4: Anwendungsbereichsfilter:

Wenn der Anwendungsbereich der Interaktion nicht umfasst HR , Fortfahren.

Aktion 5: Chat-Klassifiziererbewertung

• Erstellt das anfängliche Transkript aus sys_cs_message.
• Verwendet die Chat-Themenklassifizierung, um Folgendes zu bestimmen:
  • Soll die Konversation ausgewertet werden? (ExecuteEvaluation: Wahr/falsch)
  • Themenname
  • Kategorie (IT/HR)
• Wenn ExecuteEvaluation auf „wahr“ festgelegt ist: Fahren Sie mit Aktion 6 fort.

Aktion 6: BuildTranscript:

Detaillierte Transkriptkonstruktion:

• Tags: [Anwender]: Für Anwendernachrichten, [Virtual Agent]: Für Virtual Agent-Nachrichten.
• Für alle referenzierten Wissen artikel:
  • Ruft den vollständigen artikeltext ab, um das Genius-Ergebnis zu ersetzen, gekennzeichnet mit [Virtual Agent]: Hilfeartikel für Anwenderabfrage: Und getrennt durch Article_Start/Article_end.
  • Wenn Wissen artikel befindet sich im HR-Bereich/ist nicht zugänglich, Auswertung überspringen.
  • Wenn Wissen artikelinhalt ist > 10.000 Wörter: Kürzen bei 10.000.
  • Angehängte Dateien (PDF/Word/txt): Verwenden Sie stattdessen das Genius-Ergebnis.
• Für referenzierte Katalogelemente:

  Extrahiert Name, Kurzbeschreibung, Beschreibung, kommentiert als [Virtual Agent]: Wählen Sie eine der folgenden Optionen aus: Mit Bezugsvermerk-Nummer.

• Wenn die erste Nachricht an den Servicemitarbeiter gerichtet ist oder der Servicemitarbeiter innerhalb der ersten 120 Wörter aufgerufen wird: Auswertung überspringen.

Ausgaben:

• ExecuteEvaluation (wahr/falsch)
• Chat-Transkript
• Wissen artikel oder Katalogelemente referenziert
• SYS_ID des ersten Servicemitarbeiter-Aufrufs (falls vorhanden)
• Liste der aufzurufenden Kompetenzen (alle Bewertungskompetenzen für das Bewertungs-Dashboard)
• Zusätzliche Auswertungsprotokolle

Aktion 7: Bedingte Verzweigung:

Wenn ExecuteEvaluation auf „wahr“ festgelegt ist: Fahren Sie mit Aktion 8 fort.

Aktion 8: Auswertungsdatensatz erstellen oder aktualisieren:

Erstellen Sie einen Datensatz in der Tabelle „Auswertung“ [sn_na_conv_eval_Evaluation] mit:

• Dokumentkonversation: Konversationsreferenz
• Status: Wird Verarbeitet
• Thema, Kategorie, Wissen artikel- oder Katalogreferenzen, sys_ID des ersten Servicemitarbeiters, Typ, Anwender, der initiiert hat, Nachrichtenprotokoll

Aktion 9: Für jede Kompetenz:

Wird für jede in Aktion 6 gekennzeichnete Kompetenz wiederholt.

Aktion 10: InvokeApiDefinition

• Eingaben: Kompetenzname, Konversation, Transkript, Auswertungs-ID
• Anrufe Now Assist Kompetenz-API asynchron.
• Die in sys_generative_ai_response_validator verfügbare Nachverarbeitung führt die folgende Analyse durch:
  • Punktzahl
  • Grund für Punktzahl
  • Beispiele für die Begründung
• Analysierte Daten werden in der Tabelle „Auswertungsmetriken“ [sn_na_conv_eval_Evaluation_metrics] erstellt (Punktzahl, Gründe, Beispiele und die gesamte Begründung für die Bewertung [Scratchpad]).

Aktion 11: Wartet 7 Sekunden, bevor mit der nächsten Kompetenz fortgefahren wird.

Spezielles Verhalten und Edge-Fallbehandlung:

• Stichprobe: Nur 10 % der Konversationen (zufällig ausgewählt) werden ausgewertet.
• Kanalfilter: Nur Web, Slack, Teams, Bot-zu-Bot, Messenger.
• Anwendungsbereich: Schließt Datensätze mit aus _HR_ Im Umfang.
• Wissen artikelsteuerungen: Keine Bewertung für HR oder nicht zugänglich. Wissen artikel, Grenzwerte für Wissen artikelgröße und Dateiverarbeitung.
• Erster Aufruf eines Servicemitarbeiters: Schließt Konversationen aus, die zu Beginn oder innerhalb von 120 Wörtern an den Servicemitarbeiter weitergeleitet werden.
• Die Kompetenz „Abschluss anfordern“ wird als Teil einer Business-Regel hinzugefügt, bei der die Punktzahl als niedrigste zwischen Slot-Ausfüllung und Absicht markiert wird.
• Der Grund im Datensatz wird wie folgt hinzugefügt:

  if (Slot filling score > Intent score) {
  Intent reason is used
  } else if (Slot filling score < Intent score) {
  Slot filling reason is used
  } else {
  Both are used
  }