Use o resumo recursivo para dividir as solicitações para os modelos de linguagem grandes (LLMs) em partes menores para que você possa manter o contexto das capacidades de IA generativa.
Antes de Iniciar
Função necessária: administrador
Por Que e Quando Desempenhar Esta Tarefa
Os LLMs têm um número máximo de tokens que podem ser processados em uma única solicitação. Certos campos, como campos de atividade, podem ter mais informações do que podem caber nessas restrições. O resumo recursivo divide as informações fornecidas a um LLM em blocos, resume cada bloco individualmente e processa a solicitação original com os blocos resumidos. Os blocos são organizados com sobreposições entre as partes para que o contexto seja mantido em cada parte.
Nota: Habilitar o resumo recursivo pode fazer com que as capacidades processem entradas grandes mais lentamente porque elas devem fazer várias chamadas para o LLM em vez de apenas uma chamada.
Procedimento
-
No filtro do navegador, acesse a lista Capacidade do OneExtend inserindo sys_one_extend_capability.list.
-
Abra o registro da capacidade do OneExtend que você deseja mudar.
-
Na lista relacionada Configuração de definição do OneExtend, defina Habilitar suporte a entrada grande como verdadeiro para a definição do OneExtend para a qual você deseja habilitar o resumo recursivo.
-
Na lista relacionada Atributos de capacidade do OneExtend, defina Contém entrada grande como verdadeiro para os campos em que você deseja adicionar o resumo recursivo.
Os campos com maior probabilidade de conter uma grande quantidade de dados, como um campo de atividades, devem ter seus valores definidos como verdadeiros. Você também pode marcar a caixa de seleção Contém entrada grande no registro de atributo de capacidade do OneExtend e salvar o registro para definir o valor como verdadeiro.
Resultado
O resumo recursivo está habilitado para a capacidade do OneExtend para os campos especificados neste procedimento.