Activer la synthèse récursive pour les entrées volumineuses

  • Rversion finale: Xanadu
  • Mis à jour 1 août 2024
  • 1 minute de lecture

    • Utilisez la synthèse récursive pour décomposer les demandes adressées aux grands modèles de langage (LLM) en petits morceaux afin de conserver le contexte des options de l’IA générative.

    Avant de commencer

    Rôle requis : administrateur

    Pourquoi et quand exécuter cette tâche

    Les LLM disposent d’un nombre maximum de jetons qui peuvent être traités dans une seule demande. Certains champs, tels que les champs d’activité, peuvent contenir plus d’informations que ne peuvent entrer dans ces restrictions. La synthèse récursive divise les informations données à un LLM en morceaux, résume chaque bloc individuellement, puis traite la demande d’origine avec les blocs résumés. Les morceaux sont organisés avec des chevauchements entre les pièces afin que le contexte soit conservé à travers chaque pièce.

    Remarque :
    L’activation de la synthèse récursive peut ralentir le traitement des entrées volumineuses, car elles doivent effectuer plusieurs appels au LLM au lieu d’un seul appel.

    Procédure

    1. Dans le filtre du navigateur, accédez à la liste des options OneExtend en saisissant sys_one_extend_capability.list.
    2. Ouvrez l’enregistrement de l’aptitude OneExtend que vous souhaitez modifier.
    3. Dans la liste connexe Configuration de définition OneExtend, définissez Activer la prise en charge des entrées volumineuses sur vrai pour la définition OneExtend pour laquelle vous souhaitez activer la synthèse récursive.
    4. Dans la liste connexe des attributs d’aptitude OneExtend, définissez l’entrée Contient une grande quantité sur vrai pour les champs dans lesquels vous souhaitez ajouter une synthèse récursive.
      Les champs les plus susceptibles de contenir une grande quantité de données, tels qu’un champ d’activité, doivent avoir leurs valeurs définies sur vrai. Vous pouvez également cocher la case Contient une entrée volumineuse sur l’enregistrement d’attribut d’aptitude OneExtend et enregistrer l’enregistrement pour définir la valeur sur vrai.

    Résultats

    La synthèse récursive est activée pour l’aptitude OneExtend pour les champs spécifiés dans cette procédure.