大規模な入力の再帰的な要約を有効にする

  • リリースバージョン: Xanadu
  • 更新日 2024年08月01日
  • 所要時間:1分
  • 再帰的な要約を使用して、大規模言語モデル (LLM) への要求を小さな断片に分割し、生成 AI 機能のコンテキストを維持できるようにします。

    始める前に

    必要なロール:admin

    このタスクについて

    LLM には、1 回の要求で処理できるトークンの最大数があります。アクティビティフィールドなどの特定のフィールドには、これらの制限内に収まりきらないほど多くの情報が含まれる場合があります。再帰的要約では、LLM に与えられた情報をチャンクに分割し、各チャンクを個別に要約してから、要約されたチャンクで元の要求を処理します。チャンクは、コンテキストがすべての部分にわたって保持されるように、部分間で重複するように編成されます。

    注:
    再帰的な要約を有効にすると、LLM を 1 回ではなく複数回呼び出す必要があるため、機能の大きな入力の処理が遅くなる可能性があります。

    手順

    1. ナビゲーターフィルターで、「 sys_one_extend_capability.list」と入力して OneExtend 機能リストに移動します。
    2. 変更する OneExtend 機能のレコードを開きます。
    3. [OneExtend 定義構成] 関連リストで、再帰的な要約を有効にする OneExtend 定義の [ 大きな入力のサポートを有効にする ] を true に設定します。
    4. [OneExtend 機能属性] 関連リストで、再帰的な要約を追加するフィールドの [大きな入力を含む ] を true に設定します。
      アクティビティフィールドなど、大量のデータが含まれる可能性が最も高いフィールドの値を true に設定する必要があります。OneExtend 機能属性レコードの [ 大きな入力を含む ] チェックボックスをオンにしてレコードを保存し、値を true に設定することもできます。

    タスクの結果

    再帰要約は、この手順で指定されたフィールドの OneExtend 機能に対して有効になっています。