Use o resumo recursivo para dividir as solicitações para os modelos de linguagem grandes (LLMs) em partes menores para que você possa manter o contexto dos recursos de IA generativa.
Antes de Iniciar
Função necessária: administrador
Por Que e Quando Desempenhar Esta Tarefa
Os LLMs têm um número máximo de tokens que podem ser processados em uma única solicitação. Determinados campos, como campos de atividade, podem ter mais informações do que podem caber nessas restrições. O resumo recursivo divide as informações fornecidas a um LLM em blocos, resume cada bloco individualmente e processa a solicitação original com os blocos resumidos. Os blocos são organizados com sobreposições entre as peças para que o contexto seja mantido em cada peça.
Nota: Habilitar o resumo recursivo pode fazer com que os recursos processem entradas grandes mais lentamente, pois precisam fazer várias chamadas para o LLM em vez de apenas uma chamada.
Procedimento
-
No filtro do navegador, acesse a lista de recursos do OneExtend inserindo sys_one_extend_capability.list .
-
Abra o registro da capacidade do OneExtend que você deseja mudar.
-
Na lista relacionada Configuração de definição do OneExtend, defina Habilitar suporte a entrada grande Para Verdadeiro para a Definição do OneExtend para a qual você deseja habilitar o resumo recursivo.
-
Na lista relacionada Atributos de capacidade do OneExtend, defina Contém entrada grande para verdadeiro para os campos nos quais você deseja adicionar resumo recursivo.
Os campos com maior probabilidade de conter uma grande quantidade de dados, como um campo Atividades, devem ter seus valores definidos como verdadeiros. Você também pode selecionar Contém entrada grande Marque a caixa de seleção no registro Atributo de capacidade do OneExtend e salve o registro para definir o valor como verdadeiro.
Resultado
O resumo recursivo está habilitado para o recurso OneExtend para os campos especificados neste procedimento.