큰 입력에 대해 재귀 요약 사용

재귀 요약을 사용하여 대규모 언어 모델(LLM)에 대한 요청을 더 작은 조각으로 세분화하면 생성형 AI 기능에 대한 컨텍스트를 유지할 수 있습니다.

시작하기 전에

필요한 역할: admin

이 태스크 정보

LLM에는 단일 요청에서 처리할 수 있는 최대 토큰 수가 있습니다. 활동 필드와 같은 특정 필드에는 이러한 제한에 들어갈 수 있는 것보다 더 많은 정보가 포함될 수 있습니다. 재귀 요약은 LLM에 제공된 정보를 청크로 나누고 각 청크를 개별적으로 요약한 다음 요약된 청크로 원래 요청을 처리합니다. 청크는 모든 조각에서 컨텍스트가 유지되도록 조각 사이에 겹치도록 구성됩니다.

주:

재귀 요약을 활성화하면 LLM에 대해 한 번의 호출이 아닌 여러 번 호출해야 하기 때문에 역량이 큰 입력을 더 느리게 처리할 수 있습니다.

프로시저

1. 탐색기 필터에서 sys_one_extend_capability.list를 입력하여 OneExtend 역량 목록으로 이동합니다.
2. 변경하려는 OneExtend 역량에 대한 기록을 엽니다.
3. OneExtend 정의 구성 관련 목록에서 재귀 요약을 사용하려는 OneExtend 정의에 대해 큰 입력 지원 사용을 예로 설정합니다.
4. OneExtend 역량 속성 관련 목록에서 재귀 요약을 추가할 필드에 대해 큰 입력 포함 을 true로 설정합니다.
   활동 필드와 같이 많은 양의 데이터를 포함할 가능성이 가장 높은 필드의 값은 true로 설정해야 합니다. OneExtend 역량 속성 기록에서 큰 입력 포함 확인란을 선택하고 기록을 저장하여 값을 true로 설정할 수도 있습니다.

결과

재귀 요약은 이 절차에 지정된 필드의 OneExtend 역량에 대해 활성화됩니다.