大規模な入力の再帰的な要約を有効にする
再帰的な要約を使用して、大規模言語モデル (LLM) への要求を小さな断片に分割し、生成 AI 機能のコンテキストを維持できるようにします。
始める前に
必要なロール:admin
このタスクについて
LLM には、1 回の要求で処理できるトークンの最大数があります。アクティビティフィールドなどの特定のフィールドには、これらの制限内に収まりきらないほど多くの情報が含まれる場合があります。再帰的要約では、LLM に与えられた情報をチャンクに分割し、各チャンクを個別に要約してから、要約されたチャンクで元の要求を処理します。チャンクは、コンテキストがすべての部分にわたって保持されるように、部分間で重複するように編成されます。
注:
再帰的な要約を有効にすると、LLM を 1 回ではなく複数回呼び出す必要があるため、機能の大きな入力の処理が遅くなる可能性があります。
手順
タスクの結果
再帰要約は、この手順で指定されたフィールドの OneExtend 機能に対して有効になっています。