Auswertungsframework für Suchabfrageparameter

KI-Suche Führt A/B-Testauswertungen durch, die die Ergebnisrelevanz für alternative Sätze von Suchabfrageparameterwerten vergleichen. Diese Auswertungen bestimmen die Modelle, die KI-Suche Verwendet für Relevanz von maschinellem Lernen und für Genius-Ergebnisse von F&A.

Das Framework für die Auswertung von Suchabfrageparametern ermöglicht A/B-Relevanztests für Live-Suchdatenverkehr. KI-Suche Berücksichtigt die Ergebnisse dieses Live-Tests zusammen mit seiner Offline-Auswertung der aggregierten Suchsignaldaten, wenn die folgenden Feststellungen getroffen werden:

• Bestimmt, welches Relevanzmodell für ein Suchprofil veröffentlicht werden soll. Details zur Generierung und Veröffentlichung von Relevanzmodellen finden Sie unter Relevanz von maschinellem Lernen in KI-Suche.
• Bestimmt, welches MRC-Modell (Machine reading Understanding, maschinelles Leseverständnis) bei der Validierung potenzieller Genius-Ergebnisantworten verwendet werden soll. Weitere Informationen zum MRC-Modell, das für Genius-Ergebnisse von F&A verwendet wird, finden Sie unter Genius-Ergebnisse für F&A.

KI-Suche Berechnet nächtliche Ergebnisse der A/B-Testauswertung.

Das Framework für die Auswertung von Suchabfrageparametern ist Teil der Adaptive Telemetry-Suite von Funktionen.

Framework-Tabellen für Suchabfrageparameter-Auswertung

Das Auswertungs-Framework für Suchabfrageparameter für KI-Suche Verwendet Tabellen zum Speichern von Ergebnissen und Metriken aus A/B-Tests des Live-Suchverkehrs. KI-Suche Verwendet die gespeicherten Daten, wenn bestimmt wird, welches Relevanzmodell und das Validierungsmodell für Genius-Ergebnisse von F&A für eine Suchanwendung veröffentlicht werden sollen.

Tabelle der A/B-Testauswertung

Die Tabelle „A/B-Testauswertung“ [Auswertung] speichert Details für A/B-Testauswertungen, die im Live-Suchdatenverkehr durchgeführt werden.

Hinweis:

Das System bereinigt diese Tabelle automatisch und entfernt Datensätze für inaktive Auswertungen, die älter als zwei Jahre sind.

Tabelle : 1. Bewertung

Spalte	Beschreibung
Anzahl	Automatisch generierte Nummer zur Identifizierung der Auswertung.
Name	Name und Beschreibung für die Auswertung.
Quelle	Name der Tabelle mit Datensätzen, für die die Auswertung ausgeführt werden soll.
Testumfang	Umfang der Bewertung. Unterstützte Werte: ALL: Führt die Auswertung für alle Datensätze in der von angegebenen Tabelle aus Quelle . SELECTED: Führt die Auswertung nur für Datensätze aus, die in angegeben sind Ausgewählte Artefakte Feldwert. Standardwert: ALL
Artefaktanbieter	Liste der Artefaktfilterklassen, die Datensätze zum Testen bereitstellen.
Ausgewählte Artefakte	Kommagetrennte Liste der sys_ID-Werte des Datensatzes. Wenn Testumfang Ist auf festgelegt AUSGEWÄHLT , Die Auswertung wird nur für Datensätze mit sys_ID-Werten ausgeführt, die in dieser Liste angegeben sind.
Mindestanzahl Signale für Auswertung	Mindestanzahl von Suchsignalen, die die Auswertung erfassen soll, bevor sie beendet wird. Typ: Ganzzahl Standardwert: 0(Kein Minimum) Höchstwert: 30000 Um Details zur Interaktion dieser Bedingung mit zu erhalten Mindestanzahl Tage für Auswertung Bedingung, siehe Operator Für Endkriterien .
Mindestanzahl Tage für Auswertung	Mindestanzahl von Tagen, die die Auswertung aktiv sein muss, bevor sie endet. Typ: Ganzzahl Standardwert: 0(Kein Minimum) Höchstwert: 180 Um Details zur Interaktion dieser Bedingung mit zu erhalten Mindestanzahl der Signale für die Auswertung Bedingung, siehe Operator Für Endkriterien .
Operator für Endkriterien	Logischer Operator, der für Auswertungsendbedingungen verwendet werden soll, wenn beide Mindestanzahl der Signale für die Auswertung Und Mindestanzahl Tage für Auswertung Bedingungen sind vorhanden. Unterstützte Werte: AND: Die Auswertung bleibt aktiv bis Mindestanzahl der Signale für die Auswertung Und Mindestanzahl Tage für Auswertung Beide Bedingungen sind erfüllt. OR: Die Auswertung bleibt aktiv, bis einer der beiden Mindestanzahl der Signale für die Auswertung Oder Mindestanzahl Tage für Auswertung Bedingungen sind erfüllt. Standardwert: OR

Tabelle der Ausführung der A/B-Testauswertung

Die Tabelle „Ausführung der A/B-Testauswertung“ [Evaluation_Execution] speichert Details zu einzelnen Vorgängen, die als Teil von A/B-Testauswertungen für Live-Suchdatenverkehr ausgeführt werden.

Tabelle : 2. Evaluation_Execution

Spalte	Beschreibung
Anzahl	Automatisch generierte Nummer zur Identifizierung des Auswertungsvorgangs.
Bewertung	Verweis auf den Datensatz für die Auswertung in der Tabelle „A/B-Testauswertung“ [Auswertung].
Artefakt-ID	SYS_ID für den von diesem Auswertungsvorgang analysierten Datensatz.
Status	Status für die Ausführung der Datensatzauswertung. Unterstützte Werte: Queued: Der Auswertungsvorgang befindet sich zur Ausführung in der Warteschlange. In Progress: Der Auswertungsvorgang wird ausgeführt. Scoring: Der Auswertungsvorgang befindet sich in der Bewertungsphase. Complete: Der Auswertungsvorgang wurde erfolgreich abgeschlossen. Errored: Der Auswertungsvorgang ist mit einem Fehler fehlgeschlagen. Canceled: Der Auswertungsvorgang wurde vom System abgebrochen. Suspended: Der Auswertungsvorgang wurde vom System angehalten. Standardwert: Queued
Startdatum	Datum und Uhrzeit des Starts des Auswertungsvorgangs.
Enddatum	Datum und Uhrzeit, zu der der Auswertungsvorgang beendet wurde.

Parametertabelle für A/B-Testauswertung

Die Tabelle „Auswertungsparameter für A/B-Tests“ [Evaluation_Parameter] speichert Details zu einzelnen Suchabfrageparametern, die in A/B-Testauswertungen für Live-Suchdatenverkehr berücksichtigt werden.

Tabelle : 3. Evaluation_Parameter

Spalte	Beschreibung
Bewertung	Verweis auf den Datensatz für die Auswertung in der Tabelle „A/B-Testauswertung“ [Auswertung].
Name	Name und Beschreibung für den Auswertungsparameter.
Zugewiesenen Parameter des Artefakts verwenden	Typ: Wahr | Falsch Unterstützte Werte: true: Vergleichen Sie die angegebenen Parameter ValuesAn den aktuell zugewiesenen Suchabfrageparameterwert für das angegebene Artefakt. false: Vergleichen Sie die angegebenen nicht Parameter ValuesAn den aktuell zugewiesenen Suchabfrageparameterwert für das angegebene Artefakt Standardwert: true
Parameterwerte Prozentsatz des Datenverkehrs	Prozentsatz der Suchabfragen, um die angegebene anzuwenden Parameter ValuesBis während der A/B-Bewertung. Typ: Ganzzahl Standardwert: 0 Höchstwert: 100
Parameterwerte	JSON-Liste von Werten, die mit dem aktuellen Suchabfrageparameterwert verglichen werden sollen, wenn Use Artifact's Assigned ParameterIst „wahr“.
Parametertyp	Geben Sie den Suchabfrageparameter ein. Der ausgewählte Wert bestimmt, wie der Parameter ValuesWerden während und nach einer A/B-Bewertung verwendet. Unterstützte Werte: Search Context Parameters: Zusammenführen und überschreiben Sie Kontextparameter des Suchprofils mit Parameter ValuesFür Suchabfrageanforderungen. Wenn die Auswertung endet, verwenden Sie den Wert des Suchabfragekontextparameters, der mit der Gewinnpunktzahl festgelegt ist, um die relevanten Suchprofil-Kontextparameter zu überschreiben oder zusammenzuführen. Search QnA Genius Result Configuration: Anwenden Parameter ValuesFür F&A Genius-Ergebniskonfigurationen, die in Suchabfrageanforderungen verwendet werden. Wenn die Auswertung endet, aktualisieren Sie das entsprechende Suchprofil, um den Konfigurationsparameterwert des Genius-Ergebnisses in die Gewinnpunktzahl aufzunehmen. Search QnA Model: Anwenden Parameter ValuesFür Q&A Genius-Ergebnismodelle, die in Suchabfrageanforderungen verwendet werden. Wenn die Auswertung endet, aktualisieren Sie das entsprechende Suchprofil, um den Parameterwert des Genius-Ergebnismodells für F&A in die Gewinnpunktzahl aufzunehmen. Search Relevancy Model: Anwenden Parameter ValuesAls Suchrelevanzmodelle zur Verwendung in Suchabfrageanforderungen. Wenn die Auswertung endet, aktualisieren Sie das entsprechende Suchprofil, um den Parameterwert des Relevanzmodells in die Gewinnpunktzahl aufzunehmen. Search REST Parameters: Suchprofil-Abfrageparameter zusammenführen und mit überschreiben Parameter ValuesFür Suchabfrageanforderungen. Wenn die Auswertung endet, verwenden Sie den mit der Gewinnpunktzahl festgelegten Suchabfrageparameter-Wert, um die relevanten Suchprofilparameter zu überschreiben oder zusammenzuführen.
Berechnungstyp für Punktzahl	Berechnungsform, die zum Berechnen der Wertpunktzahlen von Suchabfrageparametern und zum Finden des besten Werts verwendet wird. Unterstützte Werte: Average Click Position: Der beste Suchabfrageparameterwert ist der mit der niedrigsten durchschnittlichen Klickpositionspunktzahl. Hinweis: KI-Suche Berechnet die durchschnittliche Klickpositionspunktzahl, indem die Summe aller ausgewählten Suchergebnisränge durch die Anzahl der Suchen geteilt wird. Das Suchergebnis mit dem höchsten Rang hat Rang 1, das nächsthöchste hat Rang 2 usw. Wenn Sie beispielsweise zwei Suchen durchführen und in einem Fall das erste Ergebnis und im anderen das zweite Ergebnis auswählen, beträgt Ihre durchschnittliche Klickpositionspunktzahl (1 + 2) / 2 = 1,5. Genius Result Helpfulness: Der beste Suchabfrageparameterwert ist der mit der höchsten Nützlichkeitspunktzahl. Diese Berechnung berücksichtigt, ob eine relevante Genius-Ergebnisantwort in Ihren Suchergebnissen angezeigt wurde. Hinweis: Die Nützlichkeitspunktzahl ist eine Metrik, die angibt, ob Genius-Ergebnisantworten im Kontext Ihrer Suche hilfreich waren. Helpfulness: Der beste Suchabfrageparameterwert ist der mit der höchsten Nützlichkeitspunktzahl. Anders Als Genius Result Helpfulness, Bei dieser Berechnung wird nicht berücksichtigt, ob eine relevante Genius-Ergebnisantwort in Ihren Suchergebnissen angezeigt wurde.
Signalanbieter	Der Anbieter für Suchsignale, der zum Bewerten des Suchabfrageparameters erforderlich ist. Search Event Signal ProviderIst der einzige unterstützte Wert.

Ergebnistabelle für A/B-Testauswertungsparameter

Die Tabelle „Ergebnis des A/B-Testauswertungsparameters“ [Evaluation_Parameter_result] speichert Berechnungsergebnisse für einzelne Suchabfrageparameter, die in A/B-Testauswertungen für Live-Suchdatenverkehr berücksichtigt werden.

Tabelle : 4. Evaluation_Parameter_result

Spalte	Beschreibung
Auswertungsausführung	Verweis auf den Datensatz für die Auswertungsausführung in der Tabelle „A/B-Testauswertungsausführung“ [Evaluation_Execution].
Parameterauswertung	Verweis auf den Datensatz für den Suchabfrageparameter in der Tabelle „Auswertungsparameter für A/B-Tests“ [Evaluation_Parameter].
Bester Wert	Bester Wert für den Suchabfrageparameter, wie durch bestimmt Winning Score.
Punktzahl für Erfolg	Numerische Punktzahl für den Suchabfrageparameter, bestimmt mit Score Calculation Type.
Punktzahlmetadaten	Metadaten aus der Punktzahlberechnung für den Suchabfrageparameter.

Schließen Sie ein Suchprofil aus dem Auswertungs-Framework für Suchabfrageparameter aus

Schließen Sie ein Suchprofil von A/B-Testauswertungen von Live aus KI-Suche Datenverkehr. Dieses Verfahren verhindert KI-Suche Aus der Verwendung von A/B-Testauswertergebnissen bei der Veröffentlichung des Suchergebnisrelevanzmodells des Suchprofils und seines Genius-Ergebnisvalidierungsmodells für F&A.

Vorbereitungen

Erforderliche Rolle: ais_admin

Warum und wann dieser Vorgang ausgeführt wird

Das Auswertungsframework für Suchabfrageparameter führt A/B-Testauswertungen von Suchkonfigurationseinstellungen mithilfe von Live-Suchdatenverkehr durch. Standardmäßig KI-Suche Wertet Konfigurationseinstellungen für alle Suchprofile aus.

Suchadministratoren können einzelne Suchprofile aus dem Auswertungs-Framework für Suchabfrageparameter ausschließen. Das Ausschließen eines Suchprofils aus dem Framework verhindert KI-Suche Aus der Durchführung von A/B-Testauswertungen für Live-Suchdatenverkehr, der das ausgeschlossene Suchprofil verwendet.

Hinweis:

Wenn Sie ein Suchprofil von Auswertungen ausschließen, KI-Suche Berücksichtigt beim Aktualisieren der Relevanz- und MRC-Modelle (maschinelles Lernen) für dieses Suchprofil keine Auswertergebnisse mehr. Daher spiegeln die Einstellungen für Relevanzbewertung und die Filtereinstellungen für Genius-Ergebnisse für das Suchprofil möglicherweise weniger Ihren Suchverkehr wider. Um weitere Informationen dazu zu erhalten KI-Suche Verwendet beim Veröffentlichen dieser Modelle Ergebnisse von A/B-Auswertungstests, siehe Relevanz von maschinellem Lernen in KI-Suche Und Genius-Ergebnisse für F&A.

Prozedur

1. Navigieren zu Alle > KI-Suche > Experience durchsuchen > Suchprofilean.
2. Öffnen Sie den Datensatz für das Suchprofil, das Sie von A/B-Testauswertungen des Live-Suchverkehrs ausschließen möchten.
3. Wenn im Formular „Suchprofil“ nicht bereits angezeigt wird Von Auswertung ausschließen Feld: Konfigurieren Sie das Formularlayout, um das Feld sichtbar zu machen.
   Weitere Informationen zum Konfigurieren eines Formularlayouts, um Felder sichtbar zu machen, finden Sie unter Formularlayout konfigurieren.
4. Wählen Sie aus Von Auswertung ausschließen Option.
5. Wählen Sie Aktualisieren.

Ergebnisse

KI-Suche Führt keine A/B-Testauswertungen mehr für Datenverkehr durch, der das ausgeschlossene Suchprofil verwendet. Die Relevanz von maschinellem Lernen aktualisiert das Relevanzmodell für das Suchprofil nicht mehr.