큰 입력에 대한 재귀 요약 사용

재귀 요약을 사용하여 대규모 언어 모델(LLM)에 대한 요청을 더 작은 조각으로 세분화하여 생성형 AI 기능에 대한 컨텍스트를 유지할 수 있습니다.

시작하기 전에

필요한 역할: 관리자

이 태스크 정보

LLM에는 단일 요청에서 처리할 수 있는 최대 토큰 수가 있습니다. 활동 필드와 같은 특정 필드에는 이러한 제한에 포함될 수 있는 것보다 더 많은 정보가 포함될 수 있습니다. 재귀 요약은 LLM에 제공된 정보를 청크로 나누고, 각 청크를 개별적으로 요약한 다음, 요약된 청크로 원래 요청을 처리합니다. 청크는 모든 조각에서 컨텍스트가 유지되도록 조각 간에 겹치도록 구성됩니다.

주:

재귀 요약을 활성화하면 LLM에 대한 호출을 한 번이 아니라 여러 번 호출해야 하기 때문에 대용량 입력을 처리하는 속도가 느려질 수 있습니다.

프로시저

1. 탐색기 필터에서 sys_one_extend_capability.list를 입력하여 OneExtend 역량 목록으로 이동합니다.
2. 변경하려는 OneExtend 역량에 대한 기록을 엽니다.
3. OneExtend 정의 구성 관련 목록에서 재귀 요약을 사용할 OneExtend 정의에 대해 큰 입력 지원 사용을 예로 설정합니다.
4. OneExtend 역량 속성 관련 목록에서 재귀 요약을 추가할 필드에 대해 큰 입력 포함 을 True로 설정합니다.
   활동 필드와 같이 많은 양의 데이터를 포함할 가능성이 가장 높은 필드는 해당 값을 true로 설정해야 합니다. OneExtend 역량 속성 기록에서 큰 입력 포함 확인란을 선택하고 기록을 저장하여 값을 True로 설정할 수도 있습니다.

결과

이 절차에 지정된 필드의 OneExtend 기능에 재귀 요약이 활성화됩니다.