Verwenden Sie die rekursive Zusammenfassung, um die Anforderungen an die Large Language Models (LLMS) in kleinere Teile aufzugliedern, damit Sie den Kontext für generative KI-Fähigkeiten beibehalten können.
Vorbereitungen
Erforderliche Rolle: Administrator
Warum und wann dieser Vorgang ausgeführt wird
LLMS haben eine maximale Anzahl von Token, die in einer einzelnen Anforderung verarbeitet werden können. Bestimmte Felder, z. B. Aktivitätsfelder, können mehr Informationen enthalten, als in diese Einschränkungen passen. Die rekursive Zusammenfassung teilt die an ein LLM übermittelten Informationen in Blöcke auf, fasst jeden Block einzeln zusammen und verarbeitet dann die ursprüngliche Anforderung mit den zusammengefassten Blöcken. Die Blöcke werden mit Überschneidungen zwischen den Teilen organisiert, sodass der Kontext für jedes Stück beibehalten wird.
Hinweis: Das Aktivieren der rekursiven Zusammenfassung kann dazu führen, dass die Fähigkeiten große Eingaben langsamer verarbeiten, da sie mehrere Anrufe an das LLM anstelle von nur einem Anruf tätigen müssen.
Prozedur
-
Wechseln Sie im Navigator-Filter zur Liste der OneExtend-Fähigkeiten, indem Sie eingeben sys_one_extend_Capability.list .
-
Öffnen Sie den Datensatz für die OneExtend-Fähigkeit, die Sie ändern möchten.
-
Legen Sie in der zugehörigen Liste OneExtend-Definitionskonfiguration fest Aktivieren Sie Unterstützung Für Große Eingaben Auf „wahr“ für die OneExtend-Definition, für die Sie die rekursive Zusammenfassung aktivieren möchten.
-
Legen Sie in der zugehörigen Liste OneExtend-Fähigkeitsattribute fest Enthält Große Eingaben Auf „wahr“ für die Felder, in denen Sie eine rekursive Zusammenfassung hinzufügen möchten.
Für Felder, die wahrscheinlich eine große Datenmenge enthalten, z. B. ein Aktivitätsfeld, müssen die Werte auf „wahr“ festgelegt sein. Sie können auch auswählen Enthält Große Eingaben Aktivieren Sie das Kontrollkästchen im OneExtend-Fähigkeitsattribut-Datensatz, und speichern Sie den Datensatz, um den Wert auf „wahr“ festzulegen.
Ergebnisse
Die rekursive Zusammenfassung ist für die OneExtend-Fähigkeit für die in diesem Verfahren angegebenen Felder aktiviert.