Wertet eine Aufforderung aus

  • Freigeben Version: Yokohama
  • Aktualisiert 30. Januar 2025
  • 2 Minuten Lesedauer

    • Verwenden Sie die Bewertungstools Now Assist Skill Kit, um die Effektivität Ihrer Kompetenzaufforderungen zu bewerten.

    Vorbereitungen

    Erforderliche Rolle: sn_skill_builder.admin

    Prozedur

    1. Navigieren zu Alle > Now Assist-Kompetenzkit > Startseite.
    2. Wählen Sie die Kompetenz aus, die Sie bewerten möchten.
    3. Wählen Sie die Registerkarte Auswertung.
    4. Erstellen Sie einen Datensatz aus einer Tabelle oder Datensammlung.
      Tabelle : 1. Erstellen Sie einen Datensatz
      Methode Schritte
      Erstellen Sie einen Datensatz aus einer Tabelle
      1. Geben Sie dem Datensatz einen Namen und eine Beschreibung.
      2. Wählen Sie Tabelle aus.
      3. Suchen Sie die Tabelle, die Sie verwenden möchten.
      4. Wählen Sie die maximale Anzahl der Datensätze aus, die Sie verwenden möchten.
      5. Fügen Sie Bedingungen hinzu.
      6. Wählen Sie Vorschau generieren.
      7. Wählen Sie die Zuordnungen aus.
      8. Wählen Sie Erstellen aus.
      Erstellen Sie einen Datensatz aus einer Datensammlung
      1. Geben Sie dem Datensatz einen Namen und eine Beschreibung.
      2. Wählen Sie Datensammlung.
      3. Wählen Sie eine Datensammlung aus, die Sie in Now Assist-Datenkiterstellt haben.
      4. Wählen Sie Vorschau generieren.
      5. Wählen Sie die Zuordnungen aus.
      6. Wählen Sie Erstellen aus.
    5. Wählen Sie das Hinzufügen-Symbol Hinzufügen-Symbol für Auswertungsausführungen.
    6. Geben Sie der Auswertungsausführung einen Namen und eine Beschreibung.
    7. Wählen Sie eine oder mehrere Aufforderungen aus, die Sie auswerten möchten.
    8. Wählen Sie Speichern und weiter aus.
    9. Wählen Sie einen Datensatz aus.
    10. Wählen Sie Speichern und weiter aus.
    11. Erweitern Sie die Registerkarte Qualität.
    12. Wählen Sie die Metriken aus, die Sie auswerten möchten.
      Tabelle : 2. Auswertungsmetriken
      Bewertungsmethode Metrik Beschreibung
      Menschlich Menschliches Feedback Die menschliche Auswertung ist die Standardoption, die für alle Eingabeaufforderungsausführungen verfügbar ist, die eine Antwort generieren. Sie können die Antwort mit „Daumen hoch“ oder „Daumen runter“ je nach Zufriedenheit bewerten. Sie haben auch die Möglichkeit, detaillierteres Feedback zu geben, um Ihre Entscheidung für die Bewertung zu begründen.
      Automatisiert Korrektheit Die Richtigkeitsmetrik bewertet die Genauigkeit, Vollständigkeit, Relevanz und Schreibqualität der generierten Antwort im Vergleich zur gegebenen Anweisung. Mit dieser Metrik kann überprüft werden, ob der Text die Anweisung genau wiedergibt, alle wichtigen Punkte abdeckt, relevant bleibt und gut geschrieben ist.
      Automatisiert Korrektheit mit „goldener Antwort“ Die Korrektheit mit der automatischen Antwortmetrik verwendet eine vordefinierte Referenz, um die Genauigkeit, Vollständigkeit, Relevanz und Schreibqualität der generierten Antwort im Vergleich zur gegebenen Anweisung zu bewerten. Mit dieser Metrik kann überprüft werden, ob der Text die Anweisung genau wiedergibt, alle wichtigen Punkte abdeckt, relevant bleibt und gut geschrieben ist. Sie sollten diese Metrik wann immer möglich verwenden.
      Automatisiert Treue Die Texttreuemetrik bewertet, ob eine generierte Antwort die Informationen und den Kontext in der gegebenen Anweisung genau wiedergibt. Diese Metrik hilft zu überprüfen, dass der Text keine Wahnvorstellungen, falschen Fakten oder nicht unterstützten Schlussfolgerungen enthält, um die Übereinstimmung mit dem Quellmaterial zu gewährleisten.
    13. Wählen Sie Speichern und weiter aus.
    14. Überprüfen Sie die von Ihnen getroffenen Bewertungsauswahlen.
    15. Wählen Sie Speichern und auswerten aus.
    16. Wahlweise: Geben Sie eine menschliche Bewertung ab.
      1. Wählen Sie Manuelle Bewertungaus.
      2. Wählen Sie einen Datensatz für die Auswertung aus.
      3. Erweitern Sie die Eingabeaufforderung, und lesen Sie das Ergebnis.
      4. Wählen Sie das Symbol „Daumen hoch“ oder „Daumen runter“ für die menschliche Bewertung Symbol „Daumen hoch“ oder „Daumen runter“, um Ihre Bewertung abzugeben.
      5. Fügen Sie weitere Informationen hinzu, und wählen Sie Absendenaus.