Verwenden Sie die rekursive Zusammenfassung, um die Anforderungen an die großen Sprachmodelle (LLMs) in kleinere Teile zu zerlegen, damit Sie den Kontext für die Fähigkeiten der generativen KI beibehalten können.
Vorbereitungen
Erforderliche Rolle: admin
Warum und wann dieser Vorgang ausgeführt wird
LLMs haben eine maximale Anzahl von Token, die in einer einzigen Anforderung verarbeitet werden können. Bestimmte Felder, z. B. Aktivitätsfelder, können mehr Informationen enthalten, als innerhalb dieser Einschränkungen passen. Die rekursive Zusammenfassung unterteilt die an ein LLM übergebenen Informationen in Blöcke, fasst jeden Block einzeln zusammen und verarbeitet dann die ursprüngliche Anforderung mit den zusammengefassten Blöcken. Die Blöcke sind mit Überlappungen zwischen den Teilen organisiert, sodass der Kontext für jeden Teil erhalten bleibt.
Hinweis: Das Aktivieren der rekursiven Zusammenfassung kann dazu führen, dass die Fähigkeiten große Eingaben langsamer verarbeiten, da sie mehrere Aufrufe an das LLM statt nur einen Aufruf tätigen müssen.
Prozedur
-
Wechseln Sie im Navigatorfilter zur Liste der OneExtend-Fähigkeiten, indem Sie sys_one_extend_capability.list eingeben.
-
Öffnen Sie den Datensatz für die OneExtend-Fähigkeit, die Sie ändern möchten.
-
Setzen Sie in der zugehörigen Liste „OneExtend-Definitionskonfiguration“ die Option Unterstützung für große Eingaben aktivieren für die OneExtend-Definition, für die Sie die rekursive Zusammenfassung aktivieren möchten, auf wahr.
-
Legen Sie in der zugehörigen Liste „OneExtend-Fähigkeitsattribute“ für die Felder, denen Sie eine rekursive Zusammenfassung hinzufügen möchten, die Option Enthält große Eingabe auf wahr fest.
Die Werte der Felder, die höchstwahrscheinlich eine große Menge von Daten enthalten, wie z. B. ein Aktivitätsfeld, sollten auf „wahr“ festgelegt werden. Sie können auch das Kontrollkästchen Enthält große Eingabe für den Datensatz des OneExtend-Fähigkeitsattributs aktivieren und den Datensatz speichern, um den Wert auf „true“ festzulegen.
Ergebnisse
Die rekursive Zusammenfassung ist für die OneExtend-Fähigkeit für die in diesem Verfahren angegebenen Felder aktiviert.