Activer la synthèse récursive pour les entrées volumineuses

  • Rversion finale: Washingtondc
  • Mis à jour 1 févr. 2024
  • 1 minute de lecture

    • Utilisez la synthèse récursive pour décomposer les demandes aux grands modèles de langage (LLM) en éléments plus petits afin de conserver le contexte pour les options de l’IA générative.

    Avant de commencer

    Rôle requis : admin

    Pourquoi et quand exécuter cette tâche

    Les LLM ont un nombre maximal de jetons qui peuvent être traités dans une seule demande. Certains champs, tels que les champs d’activité, peuvent contenir plus d’informations que ne peuvent en contenir dans les limites de ces restrictions. La synthèse récursive décompose les informations données à un LLM en blocs, résume chaque bloc individuellement, puis traite la demande d’origine avec les blocs résumés. Les blocs sont organisés avec des chevauchements entre les morceaux afin que le contexte soit conservé sur chaque élément.

    Remarque :
    L’activation de la synthèse récursive peut ralentir le traitement des entrées volumineuses, car elles doivent effectuer plusieurs appels au LLM au lieu d’un seul appel.

    Procédure

    1. Dans le filtre du navigateur, accédez à la liste des options OneExtend en saisissant sys_one_extend_capability.list.
    2. Ouvrez l’enregistrement de l’option OneExtend que vous souhaitez modifier.
    3. Dans la liste connexe Configuration de définition OneExtend, définissez Activer la prise en charge des entrées volumineuses sur vrai pour la définition OneExtend pour laquelle vous souhaitez activer la synthèse récursive.
    4. Dans la liste connexe Attributs de l’aptitude OneExtend, définissez Contient une entrée volumineuse sur vrai pour les champs dans lesquels vous souhaitez ajouter la synthèse récursive.
      Les champs les plus susceptibles de contenir une grande quantité de données, tels qu’un champ d’activité, doivent avoir leurs valeurs définies sur true. Vous pouvez également cocher la case Contient une entrée volumineuse sur l’enregistrement de l’attribut d’aptitude OneExtend et enregistrer l’enregistrement pour définir la valeur sur vrai.

    Résultats

    La synthèse récursive est activée pour l’aptitude OneExtend pour les champs spécifiés dans cette procédure.