대규모 언어 모델(LLM) 이해
대규모 언어 모델은 검색 기반이 아니라 생성적입니다. 확률을 사용하여 동적으로 응답을 생성하므로 매번 동일한 출력을 기대할 수는 없습니다. 이러한 가변성은 유연성, 창의성 및 적응성을 허용하기 때문에 버그가 아닌 기능입니다.
LLM 작동 방식
ChatGPT 또는 Copilot와 같은 대규모 언어 모델(LLM)은 인간과 유사한 언어를 이해하고 생성하기 위해 방대한 양의 텍스트에 대해 훈련된 고급 AI 시스템입니다. 그들은 언어의 통계 모델을 구축하므로 백과사전처럼 고정된 답을 저장하지 않습니다. 질문을 하면 모델은 한 번에 한 단어(또는 토큰)씩 답변을 생성하고, 교육 중에 학습한 확률을 기반으로 다음으로 가장 가능성이 높은 단어를 선택합니다. 이 예측 프로세스는 이를 강력하게 만들지만 이것이 비 결정론적인 이유이기도 합니다. 즉, 시스템이 항상 동일한 프롬프트(입력)에 대해 정확히 동일한 결과(출력)를 생성하지는 않습니다.
결과가 다를 수 있는 이유
- 확률적 샘플링
- 모델이 항상 가장 가능성이 높은 단일 단어를 선택하는 것은 아닙니다. 몇 가지 가능한 옵션에서 샘플링합니다. 이로 인해 변형이 발생합니다.
- 온도 설정
- 온도는 임의성을 제어하며 이 내부 매개변수는 LLM 모델에 따라 다릅니다. 온도가 높을수록 더 창의적인 반응을 제공하는 반면, 온도가 낮을수록 더 반복적인 경향이 있습니다.
- 유효한 답변이 여러 개 있습니다.
- 많은 질문에는 무언가를 설명하는 올바른 방법이 두 가지 이상 있습니다. 모델은 매번 다른 문구나 강조를 선택할 수 있습니다.
- 컨텍스트 민감도
- 구두점이나 이전 대화의 작은 변경으로 인해 출력이 바뀔 수 있습니다.
- 시스템 수준 요소
- 하드웨어 동시성, 부동 소수점 연산 및 백엔드 업데이트는 다른 모든 것이 고정된 경우에도 약간의 변화를 가져올 수 있습니다.
예를 들어, 주사위를 굴려 단어를 고르는 것과 같다고 생각하십시오. 질문을 할 때 모델은 고정된 스크립트를 따르지 않습니다. 대신 가능한 많은 다음 단어를 살펴보고 가중 주사위를 굴리는 것과 같이 확률에 따라 하나를 선택합니다. 주사위는 가장 가능성이 높은 단어에 가중치가 부여되지만 여전히 변동의 가능성이 있습니다. 다시 굴리면(같은 질문) 규칙이 변경되지 않았더라도 약간 다른 시퀀스가 나올 수 있습니다. 이러한 임의성은 의도적인 것입니다. 모델을 경직되고 반복적이지 않고 유연하고 창의적으로 만듭니다.
지원되는 LLM 모델에 대한 자세한 내용은 다음 문서를 참조하십시오 .