Evaluierungs-Framework für Suchabfrageparameter

KI-Suche Führt A/B-Testauswertungen durch, die die Ergebnisrelevanz für alternative Sätze von Suchabfrageparameterwerten vergleichen. Diese Auswertungen bestimmen die Modelle, die KI-SucheWird für Relevanz von maschinellem Lernen und für Genius-Ergebnisse von F&A verwendet.

Das Evaluierungs-Framework für Suchabfrageparameter ermöglicht A/B-Relevanztests für Live-Suchverkehr. KI-SucheBerücksichtigt die Ergebnisse dieser Live-Tests zusammen mit der Offline-Auswertung der aggregierten Suchsignaldaten, wenn die folgenden Bestimmungen getroffen werden:

• Bestimmt, welches Relevanzmodell für ein Suchprofil veröffentlicht werden soll. Details zur Generierung und Veröffentlichung von Relevanzmodellen finden Sie unter Relevanz von maschinellem Lernen in KI-Suche.
• Bestimmt, welches MRC-Modell (Machine Reading Understanding) bei der Validierung potenzieller Genius-Ergebnisantworten verwendet werden soll. Weitere Informationen zum MRC-Modell, das für Genius-Ergebnisse von F&A verwendet wird, finden Sie unter Genius-Ergebnisse für F&A.

KI-Suche Berechnet nächtliche Ergebnisse der A/B-Testauswertung.

Das Evaluierungs-Framework für Suchabfrageparameter ist Teil der Funktionssuite für adaptive Telemetrie.

Evaluierungs-Framework-Tabellen für Suchabfrageparameter

Das Evaluierungs-Framework für Suchabfrageparameter für KI-SucheVerwendet Tabellen, um Ergebnisse und Metriken aus A/B-Tests des Live-Suchverkehrs zu speichern. KI-SucheVerwendet die gespeicherten Daten, wenn bestimmt wird, welches Relevanzmodell und das Validierungsmodell für Genius-Ergebnisse für eine Suchanwendung veröffentlicht werden sollen.

A/B-Testauswertungstabelle

Die Tabelle „A/B-Testauswertung [Auswertung]“ speichert Details für A/B-Testauswertungen, die im Live-Suchverkehr durchgeführt werden.

Hinweis:

Das System bereinigt diese Tabelle automatisch und entfernt Datensätze für inaktive Auswertungen, die älter als zwei Jahre sind.

Tabelle : 1. Bewertung

Spalte	Beschreibung
Nummer	Automatisch generierte Nummer zur Identifizierung der Auswertung.
Name	Name und Beschreibung für die Auswertung.
Quelle	Name der Tabelle mit Datensätzen, für die die Auswertung ausgeführt werden soll.
Testumfang	Umfang der Bewertung. Unterstützte Werte: ALL: Evaluierung für alle Datensätze in der von angegebenen Tabelle ausführen Quelle . SELECTED: Führt die Auswertung nur für Datensätze aus, die in angegeben sind Ausgewählte Artefakte Feldwert. Standardwert: ALL
Artefaktanbieter	Liste der Artefaktfilterklassen, die Datensätze zum Testen bereitstellen.
Ausgewählte Artefakte	Kommagetrennte Liste der sys_ID-Werte des Datensatzes. Wann Testumfang Ist auf festgelegt AUSGEWÄHLT , Die Auswertung wird nur für Datensätze mit in dieser Liste angegebenen sys_ID-Werten ausgeführt.
Mindestanzahl Signale für Auswertung	Mindestanzahl von Suchsignalen, die die Auswertung erfassen soll, bevor sie beendet wird. Typ: Ganzzahl Standardwert: 0(Kein Minimum) Höchstwert: 30000 Für Details zur Interaktion dieser Bedingung mit Mindestanzahl von Tagen für die Auswertung Bedingung, siehe Operator Für Endkriterien .
Mindestanzahl Tage für Auswertung	Mindestanzahl von Tagen, die die Auswertung aktiv sein muss, bevor sie endet. Typ: Ganzzahl Standardwert: 0(Kein Minimum) Höchstwert: 180 Für Details zur Interaktion dieser Bedingung mit Mindestanzahl der Signale für die Auswertung Bedingung, siehe Operator Für Endkriterien .
Operator für Endkriterien	Logischer Operator, der für Evaluierungs-Endbedingungen verwendet werden soll, wenn beide Mindestanzahl der Signale für die Auswertung Und Mindestanzahl von Tagen für die Auswertung Bedingungen sind vorhanden. Unterstützte Werte: AND: Die Auswertung bleibt bis zum aktiv Mindestanzahl der Signale für die Auswertung Und Mindestanzahl von Tagen für die Auswertung Bedingungen sind beide erfüllt. OR: Die Auswertung bleibt aktiv, bis einer der beiden Mindestanzahl der Signale für die Auswertung Oder Mindestanzahl von Tagen für die Auswertung Bedingungen sind erfüllt. Standardwert: OR

Tabelle der Ausführung der A/B-Testauswertung

Die Tabelle „Ausführung der A/B-Testauswertung“ [Evaluation_Execution] speichert Details zu einzelnen Vorgängen, die im Rahmen von A/B-Testauswertungen für Live-Suchverkehr ausgeführt werden.

Tabelle : 2. Evaluation_Execution

Spalte	Beschreibung
Nummer	Automatisch generierte Nummer zur Identifizierung des Evaluierungsvorgangs.
Bewertung	Verweis auf den Datensatz für die Auswertung in der Tabelle „A/B-Testauswertung [Auswertung]“.
Artefakt-ID	SYS_ID für den von diesem Evaluierungsvorgang analysierten Datensatz.
Status	Status für die Ausführung der Datensatzauswertung. Unterstützte Werte: Queued: Der Evaluierungsvorgang befindet sich zur Ausführung in der Warteschlange. In Progress: Der Evaluierungsvorgang wird ausgeführt. Scoring: Der Evaluierungsvorgang befindet sich in der Bewertungsphase. Complete: Der Evaluierungsvorgang wurde erfolgreich abgeschlossen. Errored: Der Evaluierungsvorgang ist mit einem Fehler fehlgeschlagen. Canceled: Der Evaluierungsvorgang wurde vom System abgebrochen. Suspended: Der Evaluierungsvorgang wurde vom System angehalten. Standardwert: Queued
Startdatum	Datum und Uhrzeit des Starts des Evaluierungsvorgangs.
Enddatum	Datum und Uhrzeit, zu der der Evaluierungsvorgang beendet wurde.

Parametertabelle für A/B-Testauswertung

Die Tabelle „Auswertungsparameter für A/B-Tests“ [Evaluation_Parameter] speichert Details einzelner Suchabfrageparameter, die in A/B-Testauswertungen für Live-Suchverkehr berücksichtigt werden.

Tabelle : 3. Evaluation_Parameter

Spalte	Beschreibung
Bewertung	Verweis auf den Datensatz für die Auswertung in der Tabelle „A/B-Testauswertung [Auswertung]“.
Name	Name und Beschreibung für den Auswertungsparameter.
Zugewiesenen Parameter des Artefakts verwenden	Typ: Boolesch Unterstützte Werte: true: Vergleichen Sie die angegebenen Parameter ValuesAn den aktuell zugewiesenen Suchabfrageparameterwert für das angegebene Artefakt. false: Vergleichen Sie die angegebenen nicht Parameter ValuesAn den aktuell zugewiesenen Suchabfrageparameterwert für das angegebene Artefakt Standardwert: true
Parameterwerte Prozentsatz des Datenverkehrs	Prozentsatz der Suchabfragen, um die angegebene anzuwenden Parameter ValuesBis während der A/B-Bewertung. Typ: Ganzzahl Standardwert: 0 Höchstwert: 100
Parameterwerte	JSON-Liste von Werten, die mit dem aktuellen Suchabfrageparameterwert verglichen werden sollen, wenn Use Artifact's Assigned ParameterIst „wahr“.
Parametertyp	Geben Sie den Suchabfrageparameter ein. Der ausgewählte Wert bestimmt, wie Parameter ValuesWerden während und nach einer A/B-Bewertung verwendet. Unterstützte Werte: Search Context Parameters: Zusammenführen und überschreiben Sie Kontextparameter des Suchprofils mit Parameter ValuesFür Suchabfrageanforderungen. Wenn die Auswertung endet, verwenden Sie den Wert des Suchabfragekontextparameters, der mit der Gewinnpunktzahl festgelegt ist, um die relevanten Suchprofil-Kontextparameter zu überschreiben oder zusammenzuführen. Search QnA Genius Result Configuration: Anwenden Parameter ValuesFür F&A Genius-Ergebniskonfigurationen, die in Suchabfrageanforderungen verwendet werden. Wenn die Auswertung endet, aktualisieren Sie das relevante Suchprofil, um den Konfigurationsparameterwert des Genius-Ergebnisses in die Gewinnpunktzahl aufzunehmen. Search QnA Model: Anwenden Parameter ValuesFür Genius-Ergebnismodelle für F&A, die in Suchabfrageanforderungen verwendet werden. Wenn die Auswertung endet, aktualisieren Sie das relevante Suchprofil, um den Parameterwert des Genius-Ergebnismodells für F&A in die Gewinnpunktzahl aufzunehmen. Search Relevancy Model: Anwenden Parameter ValuesAls Suchrelevanzmodelle zur Verwendung in Suchabfrageanforderungen. Wenn die Auswertung endet, aktualisieren Sie das relevante Suchprofil, um den Parameterwert des Relevanzmodells in die Gewinnpunktzahl aufzunehmen. Search REST Parameters: Führt Suchprofil-Abfrageparameter zusammen und überschreibt sie mit Parameter ValuesFür Suchabfrageanforderungen. Wenn die Auswertung endet, verwenden Sie den mit der Gewinnpunktzahl festgelegten Suchabfrageparameter-Wert, um die relevanten Suchprofilparameter zu überschreiben oder zusammenzuführen.
Berechnungstyp für Punktzahl	Berechnungsform, die zum Berechnen der Wertepunktzahlen von Suchabfrageparametern und zum Finden des besten Werts verwendet wird. Unterstützte Werte: Average Click Position: Der beste Parameterwert für die Suchabfrage ist der mit der niedrigsten durchschnittlichen Klickpositionspunktzahl. Hinweis: KI-Suche Berechnet die durchschnittliche Klickpositionspunktzahl, indem die Summe aller ausgewählten Suchergebnisränge durch die Anzahl der Suchen geteilt wird. Das Suchergebnis mit dem höchsten Rang hat Rang 1, das nächsthöchste hat Rang 2 usw. Wenn Sie beispielsweise zwei Suchen durchführen und das erste Ergebnis in einem Fall und das zweite Ergebnis im anderen auswählen, beträgt Ihre durchschnittliche Klickpositionspunktzahl (1 + 2) / 2 = 1,5. Genius Result Helpfulness: Der beste Parameterwert für die Suchabfrage ist der mit der höchsten Nützlichkeitspunktzahl. Diese Berechnung berücksichtigt, ob eine relevante Genius-Ergebnisantwort in Ihren Suchergebnissen angezeigt wurde. Hinweis: Die Nützlichkeitspunktzahl ist eine Metrik, die angibt, ob Genius-Ergebnisantworten im Kontext Ihrer Suche hilfreich waren. Helpfulness: Der beste Parameterwert für die Suchabfrage ist der mit der höchsten Nützlichkeitspunktzahl. Anders Als Genius Result Helpfulness, Bei dieser Berechnung wird nicht berücksichtigt, ob eine relevante Genius-Ergebnisantwort in Ihren Suchergebnissen angezeigt wurde.
Signalanbieter	Der Anbieter für Suchsignale, die zum Bewerten des Suchabfrageparameters erforderlich sind. Search Event Signal ProviderIst der einzige unterstützte Wert.

Ergebnistabelle für A/B-Testauswertungsparameter

Die Tabelle „Ergebnis des A/B-Testauswertungsparameters [Evaluation_Parameter_result]“ speichert Berechnungsergebnisse für einzelne Suchabfrageparameter, die in A/B-Testauswertungen für Live-Suchverkehr berücksichtigt werden.

Tabelle : 4. Evaluation_Parameter_result

Spalte	Beschreibung
Auswertungsausführung	Verweis auf den Datensatz für die Evaluierungsausführung in der Tabelle „A/B-Testauswertungsausführung [Evaluation_Execution]“.
Parameterauswertung	Verweis auf den Datensatz für den Suchabfrageparameter in der Tabelle „Auswertungsparameter für A/B-Tests [Evaluation_Parameter]“.
Bester Wert	Bester Wert für den Suchabfrageparameter, wie durch bestimmt Winning Score.
Punktzahl für Erfolg	Numerische Punktzahl für den Suchabfrageparameter, bestimmt mit Score Calculation Type.
Punktzahlmetadaten	Metadaten aus der Punktzahlberechnung für den Suchabfrageparameter.

Schließen Sie ein Suchprofil aus dem Evaluierungs-Framework für Suchabfrageparameter aus

Schließen Sie ein Suchprofil aus A/B-Testauswertungen von Live aus KI-SucheDatenverkehr. Dieses Verfahren verhindert KI-SucheAus der Verwendung von Ergebnissen Der A/B-Testauswertung bei der Veröffentlichung des Suchergebnisrelevanzmodells des Suchprofils und seines Validierungsmodells für Genius-Ergebnisse.

Vorbereitungen

Erforderliche Rolle: ais_admin

Warum und wann dieser Vorgang ausgeführt wird

Das Evaluierungs-Framework für Suchabfrageparameter führt A/B-Testauswertungen von Suchkonfigurationseinstellungen mithilfe von Live-Suchdatenverkehr durch. Standardmäßig KI-SucheWertet Konfigurationseinstellungen für alle Suchprofile aus.

Suchadministratoren können einzelne Suchprofile aus dem Evaluierungs-Framework für Suchabfrageparameter ausschließen. Das Ausschließen eines Suchprofils aus dem Framework verhindert KI-SucheAus der Durchführung von A/B-Testauswertungen für Live-Suchdatenverkehr, der das ausgeschlossene Suchprofil verwendet.

Hinweis:

Wenn Sie ein Suchprofil von Auswertungen ausschließen, KI-SucheBerücksichtigt beim Aktualisieren der Relevanzmodelle für maschinelles Lernen und maschinelles Leseverständnis (MRC) für dieses Suchprofil keine Auswertergebnisse mehr. Daher spiegeln die Einstellungen für die Relevanzbewertung und die Filtereinstellungen für Genius-Ergebnisse für das Suchprofil möglicherweise weniger Ihren Suchverkehr wider. Um weitere Informationen dazu zu erhalten KI-SucheVerwendet A/B-Evaluierungstestergebnisse beim Veröffentlichen dieser Modelle, siehe Relevanz von maschinellem Lernen in KI-SucheUnd Genius-Ergebnisse für F&A.

Prozedur

1. Navigieren zu Alle > KI-Suche > Experience durchsuchen > Suchprofilean.
2. Öffnen Sie den Datensatz für das Suchprofil, das Sie von A/B-Testauswertungen des Live-Suchverkehrs ausschließen möchten.
3. Wenn im Formular „Suchprofil“ nicht bereits angezeigt wird Von Auswertung ausschließen Feld: Konfigurieren Sie das Formularlayout, um das Feld sichtbar zu machen.
   Details zum Konfigurieren eines Formularlayouts, um Felder sichtbar zu machen, finden Sie unter Konfigurieren des Formularlayouts.
4. Wählen Sie aus Von Auswertung ausschließen Option.
5. Wählen Sie Aktualisieren.

Ergebnisse

KI-Suche Führt keine A/B-Testauswertungen mehr für Datenverkehr durch, der das ausgeschlossene Suchprofil verwendet. Die Relevanz von maschinellem Lernen aktualisiert das Relevanzmodell für das Suchprofil nicht mehr.