Verwenden Sie die rekursive Zusammenfassung, um die Anforderungen an die großen Sprachmodelle (LLMs) in kleinere Teile aufzugliedern, sodass Sie den Kontext für generative KI-Fähigkeiten beibehalten können.
Vorbereitungen
Erforderliche Rolle: admin
Warum und wann dieser Vorgang ausgeführt wird
LLMs haben eine maximale Anzahl von Token, die in einer einzelnen Anforderung verarbeitet werden können. Bestimmte Felder, z. B. Aktivitätsfelder, können mehr Informationen enthalten, als innerhalb dieser Einschränkungen passen. Bei der rekursiven Zusammenfassung werden die an ein LLM übergebenen Informationen in Blöcke aufgeteilt, jeder Block einzeln zusammengefasst und dann die ursprüngliche Anforderung mit den zusammengefassten Blöcken verarbeitet. Die Blöcke sind mit Überschneidungen zwischen den Teilen organisiert, sodass der Kontext für jeden Teil erhalten bleibt.
Hinweis: Das Aktivieren der rekursiven Zusammenfassung kann dazu führen, dass die Fähigkeiten große Eingaben langsamer verarbeiten, da sie mehrere Aufrufe an das LLM statt nur einen Aufruf durchführen müssen.
Prozedur
-
Wechseln Sie im Navigatorfilter zur Liste „OneExtend-Fähigkeit“, indem Sie sys_one_extend_capability.list eingeben.
-
Öffnen Sie den Datensatz für die OneExtend-Fähigkeit, die Sie ändern möchten.
-
Legen Sie in der zugehörigen Liste OneExtend-Definitionskonfiguration die Option Unterstützung großer Eingaben aktivieren für die OneExtend-Definition, für die Sie die rekursive Zusammenfassung aktivieren möchten, auf „true“ fest.
-
Legen Sie in der zugehörigen Liste „OneExtend-Fähigkeitsattribute“ für die Felder, in denen Sie eine rekursive Zusammenfassung hinzufügen möchten, die Option Enthält große Eingabe auf „true“ fest.
Die Werte der Felder, die höchstwahrscheinlich eine große Datenmenge enthalten, z. B. ein Aktivitätsfeld, sollten auf „true“ festgelegt werden. Sie können auch das Kontrollkästchen Enthält große Eingabe im Datensatz des OneExtend-Fähigkeitsattributs aktivieren und den Datensatz speichern, um den Wert auf true festzulegen.
Ergebnisse
Die rekursive Zusammenfassung ist für die OneExtend-Fähigkeit für die in diesem Verfahren angegebenen Felder aktiviert.