Auswertungs-Flow für Batch-Auswertungen

  • Freigeben Version: Zurich
  • Aktualisiert 3. September 2025
  • 4 Minuten Lesedauer

    • Mit der Batch-Auswertung können Bewertungsadministratoren bis zu 100 abgeschlossene Virtual Agent-Konversationen gleichzeitig basierend auf einer gespeicherten Abfrage bewerten.

    Flow-Name: Batch-Auswertung ausführen.

    Der Flow erstellt Auswertungsdatensätze und ruft sie auf Now Assist Kompetenzen für jede berechtigte Konversation, die die Auswertungslogik für eine einzelne Konversation widerspiegeln, aber skaliert. Es erzwingt HR-Umfangsausschlüsse, Themen-/Kategorievalidierung, Transkriptkonstruktionsregeln, Ausschlüsse von frühen Servicemitarbeitern und asynchrone Bewertungen durch Kompetenzen.

    Batch-Auswertungen werden mit der folgenden Logik durchgeführt:

    Auslöser
    • Tabelle: Auswertungssatz [sn_na_conv_eval_Evaluation_Set]
    • Bedingung: Der Status ändert sich in „in Bearbeitung“ und der Auswertungstyp = Konversation
    Eingaben
    • Auswertungssatz-Datensatz mit:
      • Abfragefilter: Eine Abfrage, die auf auszuwertende Konversationen abzielt (z. B. sys_cs_Conversation-Filter).
      • Auswertungstyp: Konversation
      • Status: In Bearbeitung (zum Starten)
    • LLM/Skills: Chat-Themenklassifizierer plus die danach aufgeführten Bewertungskompetenzen.
    Allgemeines Verhalten
    • Liest den Abfragefilter und nimmt nach dem Zufallsprinzip bis zu 100 Konversationen vor.
    • Überspringt bereits ausgewertete Konversationen.
    • Schließt HR-bereichsbezogene Interaktionen aus.
    • Verwendet Chat-Themenklassifizierer, um die Berechtigung für die Bewertung zu validieren, und extrahiert Thema und Kategorie.
    • Erstellt ein Transkript mit kontrollierter Einbeziehung von Wissen artikel- und Katalogquellen und wendet Ausschlüsse für frühzeitige Servicemitarbeiter an.
    • Erstellt einen Auswertungsdatensatz und ruft asynchron alle ausgewählten Auswertungskompetenzen auf, wobei Punktzahlen und Begründung für Metriken geschrieben werden.

    Reihenfolge der Ausführung :

    Aktion 1: Wenn der Abfragefilter nicht leer ist
    • Zweck: Schutzklausel.
    • Logik: Suchen Sie den Datensatz des Auswertungssatzes, und überprüfen Sie das Feld „Abfragefilter“.
    • Wenn der Abfragefilter vorhanden ist: Fahren Sie mit Aktion 2 fort.
    • Wenn leer: Anhalten und optional protokollieren Keine Abfrage angegeben.
    Aktion 2: Konversationen randomisieren
    • Zweck: Wählen Sie eine begrenzte, zufällige Stichprobe von Konversationen aus der angegebenen Abfrage aus.
    • Logik:
      • Führen Sie die Abfrage aus, um übereinstimmende Konversationsdatensätze zu erhalten.
      • Wählen Sie zufällig bis zu 100 Konversationen aus.
        • Wenn > 100 übereinstimmt, Obergrenze auf 100.
        • Wenn < 100, wählen Sie alle aus.
      • Validieren Sie die Abfrage. Wenn ungültig, geben Sie „falsch“ und ein leeres oder teilweises Array zurück.
    • Ausgaben:
      • Erfolg: Wahr/falsch
      • Conversation_IDs: Array von sys_IDs (max. 100)
    • Wenn Erfolg = wahr: Fahren Sie mit Aktion 3 fort. Andernfalls stoppen Sie, und protokollieren Sie den Validierungsfehler.
    Aktion 3: Auswertungstabelle suchen, um die vorherige Bewertung zu überprüfen
    • Zweck: Vermeiden Sie doppelte Auswertungen.
    • Logik: Überprüfen Sie für jede Konversations-sys_ID sn_na_conv_eval_Evaluation auf vorhandene Datensätze, die angeben, dass sie bereits ausgewertet wurde oder ausgeführt wird (Implementierungsauswahl: status nicht in „Abgebrochen/fehlgeschlagen“).
    • Wenn nicht zuvor ausgewertet: Fahren Sie für diese Konversation mit Aktion 4 fort.
    • Wenn bereits ausgewertet: Überspringen Sie diese Konversation, protokollieren Sie optional Bereits ausgewertet .
    Aktion 4: Interaktionsdatensatz suchen
    • Zweck: HR-Umfangsausschluss erzwingen.
    • Logik: Lösen Sie die Interaktion im Zusammenhang mit der Konversation auf. Wenn der Anwendungsbereich enthält HR , Überspringen Sie die Konversation.
    • Wenn der Umfang nicht enthält HR : Fahren Sie mit Aktion 5 fort.
    Aktion 5: Chat-Klassifiziererbewertung
    • Zweck: Validiert, ob die Konversation bewertet werden soll, und extrahiert allgemeine Bezeichnungen.
    • Logik:
      • Erstellen Sie ein schlankes Transkript aus sys_cs_message für die Klassifizierungseingabe.
      • Rufen Sie die Kompetenz „Chat-Themenklassifizierung“ mit dem Transkript auf.
      • Empfangen:
        • Auswertung ausführen: Wahr/falsch
        • Themenname
        • Kategorie: IT oder HR
    • Wenn „Auswertung ausführen“ = „wahr“: Fahren Sie mit Aktion 6 fort.
    • Bei „falsch“: Überspringen Sie die Konversation, und protokollieren Sie die Klassifizierungsentscheidung.
    Aktion 6: BuildTranscript
    • Zweck: Erstellen Sie das endgültige Transkript auf Minutenebene, und bestimmen Sie nachfolgende Kompetenzen und Schutzmaßnahmen.
    • Schritte:
      • Aggregieren Sie alle Konversationsnachrichten.
      • Anwendernachrichten als kennzeichnen [Anwender]: Und Virtual Agent-Nachrichten als [Virtual Agent]: .
      • Wissen artikel:
        • Wenn Genius-Ergebnisse auf Referenz verweisen Wissen artikel, fragen Sie ab Wissen artikel und ersetzen Sie das Genius-Fragment durch den gesamten artikeltext.
        • Anmerkungen mit versehen [Virtual Agent]: Hilfeartikel für Anwenderabfrage: Und umbrechen Sie den Inhalt innerhalb von Article_Start und Article_end.
        • Einschränkungen:
          • Wenn die KB einen HR-Bereich hat oder nicht zugänglich ist, bewerten Sie sie nicht (Konversation überspringen).
          • Kürzen Sie den artikeltext auf maximal 10.000 Wörter.
          • Wenn die KB-Inhaltsquelle angehängte Dateien (PDF/Word/txt) ist, greifen Sie auf das Genius-Ergebnis zurück, anstatt auf den vollständigen Dateiinhalt.
      • Katalogelemente:
        • Wenn Genius-Ergebnisse auf Katalogelemente verweisen, fragen Sie sc_Cat_item ab, und erstellen Sie eine Zeichenfolge: Katalogname, Kurzbeschreibung, Beschreibung.
        • Anmerkungen mit versehen [Virtual Agent]: Wählen Sie eine der folgenden Optionen aus: Und Bezugsreihenfolge einschließen.
      • Servicemitarbeiter-Ausschlüsse:
        • Wenn die erste Anwendernachricht einen Servicemitarbeiter anfordert, überspringen Sie die Bewertung.
        • Wenn ein Servicemitarbeiter innerhalb der ersten 120 Wörter aufgerufen wird, überspringen Sie die Auswertung.
    • Ausgaben:
      • ExecuteEvaluation: Wahr/falsch (Ergebnis nach der Schutzmaßnahme)
      • Chat-Transkript
      • Wissen artikel, auf die verwiesen wird
      • Katalogelemente referenziert
      • Erstes Vorkommen von Servicemitarbeitern: SYS_ID der Konversationsnachricht (falls vorhanden)
      • Aufzurufende Kompetenzen:
        • Coherence-Chat-Auswertung
        • Bewertung Des Kurzsichtigkeit-Chats
        • Kontextaufbewahrung
        • Unzureichende Chatauswertung Für Slot
        • Chat-Bewertung Für Absichtsgenauigkeit
        • Reibungslos Fließende Konversations-Chat-Bewertung
        • Bewertung Des Chats Zur Halluzination Der Wahrhaftigkeit
      • Zusätzliche Protokolle
    • Wenn ExecuteEvaluation = wahr: Fahren Sie mit Aktion 7 fort. Andernfalls überspringen Sie die Konversation.
    Aktion 7: Wenn Block
    • Zweck: Verzweigung zur Datensatzerstellung.
    • Logik: Wenn ExecuteEvaluation aus Aktion 6 auf „wahr“ festgelegt ist, wechseln Sie zu Aktion 8.
    Aktion 8: Auswertungsdatensatz erstellen oder aktualisieren
    • Zweck: Auswertungseintrag für diese Konversation beibehalten.
    • Tabelle: sn_na_conv_eval_Evaluation
    • Feldfüllung:
      • Dokumentkonversation: Konversationsreferenz
      • Status: Wird verarbeitet
      • Thema: Aus Aktion 5
      • Kategorie: Aus Aktion 5
      • KB referenziert: Von Aktion 6
      • Katalog referenziert: Aus Aktion 6
      • Erstes Servicemitarbeiter-Vorkommen: Aus Aktion 6
      • Typ: Chat-Zusammenfassung
      • Anwender: Anwender wird für die Konversation initiiert
      • Nachrichtenprotokoll: Zusätzliche Protokolle aus Aktion 6
    • Bei Erfolg: Fahren Sie mit Aktion 9 fort.
    Aktion 9: Für Loop-Over-Kompetenzen
    • Zweck: Führen Sie jede ausgewählte Bewertungskompetenz aus.
    • Für jede Kompetenz in der Liste aus Aktion 6:
      • Aktion 10: InvokeApiDefinition
        • Eingaben: Kompetenzname, Konversation, Transkript, Auswertungs-Id
        • Verhalten:
          • Rufen Sie auf Now Assist Kompetenz asynchron.
          • Der Postprozessor schreibt Ergebnisse in sys_generative_ai_response_validator.
          • JSON-Antwortfelder extrahieren:
            • Punktzahl
            • Grund für Punktzahl
            • Beispiele, die die Begründung unterstützen
          • Erstellen Sie untergeordnete Metrikdatensätze in sn_na_conv_eval_Evaluation_metrics, die mit der übergeordneten Auswertung verknüpft sind.
      • Aktion 11: Warten

        Halten Sie sieben Sekunden an, bevor Sie mit der nächsten Kompetenz fortfahren, um Quotengrenzen oder Drosselung zu verwalten.