오픈 소스 LLM(대규모 언어 모델)은 공개적으로 사용할 수 있는 자연어 텍스트 및 소프트웨어 프로그램 코드 데이터를 사용하여 인간의 언어를 학습하고 이해해서 복제하는 AI 모델입니다.
오픈 소스 AI의 한 형태인 오픈 소스 LLM은 자유롭게 수정 및 공유할 수 있어 라이선싱 비용 없이도 공동 작업과 커스터마이제이션이 가능합니다. 이와 같은 개방성은 산업 전반에 걸쳐 투명성, 안전, 경쟁 및 다양한 활용을 촉진합니다. 오픈 소스 AI의 한 형태인 이러한 LLM은 자유롭게 수정 및 공유할 수 있으며, 허가나 라이선싱 비용 없이 어떠한 목적으로든 공동 작업과 커스터마이제이션이 가능하므로 투명성과 안전성, 경쟁과 다문화, 다양한 활용을 촉진합니다.
대규모 언어 모델은 인공 지능을 기반으로 하는 최신 사용자 인터페이스의 토대가 됩니다. 대규모 데이터 세트와 첨단 신경망 아키텍처로 학습한 이와 같은 모델을 통해 인간은 애플리케이션과 자연스럽게 상호 작용할 수 있습니다. LLM의 가치는 긴 텍스트의 요약과 같은 섬세한 언어 작업을 수행하거나 반대로 인간 사용자의 지시에 따라 긴 텍스트를 생성하는 능력에 있습니다. 고객 서비스, 연구, 콘텐츠 제작, 교육 등 다양한 분야에서 LLM을 사용하면 사용자는 복잡한 쿼리와 지침을 만들고 AI는 초보 사용자도 이해할 수 있는 방식으로 응답하며 경우에 따라서는 슈퍼 유저와 동등한 수준으로 대응할 수 있습니다.
이러한 모델이 사용자 친화적인 인터페이스를 제공할 수도 있지만, 내부 구조 및 역량에 대한 정보를 숨기는 독점 데이터를 기반으로 구축되어 매우 복잡한 경우가 많습니다. 일반적으로 오픈 소스 LLM이 더 접근하기 쉬운 대안을 제공하지만, 개방성의 정도는 다양합니다. 누구나 사용, 수정, 배포할 수 있도록 기본 학습 코드와 데이터를 공개하는 대규모 언어 모델도 있지만, 모델과 제한된 지원 아티팩트만 공개하여 업스트림 모델 공급망의 감사를 거의 불가능하게 만든 모델도 있습니다. 오픈 소스 LLM은 누구나 강력한 AI 도구를 활용할 수 있게 하여 다양한 개발자에게 AI 솔루션을 혁신하고 특정 요구 사항에 맞게 맞춤화할 수 있는 능력을 부여합니다.
오픈 소스 LLM에 대해 논의를 하다 보면 자연히 다음 질문이 떠오릅니다. 오픈 소스 LLM은 독점 LLM과 어떻게 다를까요? 오픈 소스 LLM과 독점 LLM은 투명성, 접근성, 적응성 및 커뮤니티 참여에서 큰 차이를 보입니다.
오픈소스 LLM은 사용자들이 마음대로 사용하고 수정할 수 있으며, 수정 사항을 포함해 모든 것을 다른 사람들과 공유할 수도 있습니다. 이는 다운스트림 혁신에 대한 협업 접근 방식을 장려하므로 개발자는 이러한 모델을 사용자 지정하여 구체적인 요구 사항을 충족할 수 있을 뿐 아니라 개선 사항과 새로운 애플리케이션이 계속해서 등장하는 역동적인 에코시스템에 기여할 수 있습니다. 기본적으로 기본 모델을 개선하고 미세 조정된 모델을 오픈 소스로 공개하는 모든 개발자는 해당 커뮤니티 AI 에코시스템의 구성원이 됩니다.
이를 위해 오픈 소스 LLM은 모델 아키텍처, 학습 및 이를 지원하도록 설계된 사용 목적에 대한 투명성에 크게 의존합니다. 커뮤니티 및 상업적 도입을 극대화하려면 사전 학습 및 평가에 사용되는 데이터, 관련 리소스 및 기본 코드 자체에 온전하게 액세스할 수 있어야 합니다. 독점 LLM은 일반적으로 내부 작동에 대한 가시성이 부족하므로 이는 오픈 소스 LLM의 주요 차별화 요소입니다.
오픈 소스 LLM은 유연성의 형태로 더 큰 자유를 제공하므로 조직에서는 고유한 요구 사항에 맞춰 조정할 수 있습니다. 반면, 파생 LLM에 변경 사항을 도입하면 보안이 약화될 수 있으므로, 새로운 모델이 다운스트림 사용자의 안전 및 성능 기대치를 충족할 수 있도록 강력한 데이터 및 모델 거버넌스 관행을 갖춘 오픈 소스 LLM을 선택하는 것이 중요합니다. 오픈 소스 솔루션을 사용하는 경우 전문 인력 채용 및 교육, 선불 법률 비용, 기능 업그레이드, 보안 준수, 지원, 인재 유지, 지속적인 소프트웨어 수명 주기 관리 등에 상당한 비용이 소요될 수 있습니다.
독점 LLM은 개별 기관에서 관리하고 소유하며, 일반적으로 라이선스와 비용을 통해 접근을 제한합니다. OpenAI 및 Google과 같은 기업은 강력한 LLM을 제공하지만, 사전 정의된 API(애플리케이션 프로그래밍 인터페이스) 또는 공급자가 지정한 특정 애플리케이션으로 사용이 제한되는 경우가 많습니다. 이와 같이 폐쇄적 접근 방식으로 인해 커스터마이제이션과 조정이 제한될 수 있으며, 잠재적으로는 비용이 증가하고 최종 사용자와 동일한 지역에 있지 않을 수 있는 추론 클라우드 컴퓨터 인프라에 대한 접근이 제한될 수 있습니다. 독점 LLM은 미세 조정된 오픈 소스 모델을 기반으로 빌드될 수도 있는데, 기업에서 성능 향상이나 특수 기능과 같이 고유한 개선 사항 또는 "특별한 비결"을 추가하여 이러한 버전을 독점적으로 만들 수 있습니다. 이러한 접근 방식의 예로는 Now LLM과 같은 제품이 있으며, Now LLM은 맞춤형 개선 기능을 갖추고 있어 다른 오픈 소스와 차별화됩니다.
물론 독점적인 LLM 솔루션을 사용할 때에도 몇 가지 이점이 있습니다. 특히 소유권과 라이선스를 보유한 LLM은 더 강력한 보안 기능을 제공하고, 사용자 친화적이며, 필요할 때 회사에서 지원 서비스를 제공합니다.
오픈 소스 소프트웨어는 새로운 개념이 아닙니다. 사실 가장 초기의 소프트웨어 중 일부는 컴퓨터를 사용하는 사람들 사이에서 자유롭게 공유되었습니다. 그런데 최근에 인공 지능이 등장하면서 오픈 소스의 개념이 AI의 근간을 이루기 시작했습니다. 투명성, 공동 작업, 접근성이라는 핵심 철학을 공유하기는 하지만, 다음과 같은 몇 가지 중요한 차이점도 있습니다.
오픈 소스 소프트웨어는 누구나 사용, 수정, 공유할 수 있도록 소스 코드가 자유롭게 제공되는 프로그램 또는 시스템을 의미합니다. 오픈 소스 소프트웨어는 GNU GPL(General Public License) 또는 Apache License와 같은 라이선스의 적용을 받으며, 여기에는 사용 및 재배포의 조건이 개괄적으로 설명되어 있습니다. 대표적인 예로는 Linux, Apache HTTP Server, Mozilla Firefox 등이 있으며, 이러한 오픈소스는 글로벌 개발자 커뮤니티의 기여를 통해 지속적으로 발전하고 있습니다.
인공 지능이 등장하면서 오픈 소스 소프트웨어의 기반이 되는 원리가 AI에 맞게 조정되었습니다. 그 결과 오픈 소스 AI가 탄생했습니다. 오픈 소스 이니셔티브에서는 오픈 소스 AI를 다음과 같이 정의합니다. "다음에 관한 자유를 부여하는 조건과 방식으로 제공되는 인공지능 시스템.
이러한 자유는 전체 기능 시스템과 시스템의 개별 요소에 모두 적용됩니다. 이러한 자유를 행사하기 위한 전제 조건은 선호하는 형식으로 시스템을 수정할 수 있어야 한다는 점입니다.”
- 어떤 목적으로든 권한을 요청하지 않고 시스템을 사용할 자유
- 시스템 작동 방식을 살펴보고 구성 요소를 검사할 자유
- 출력 변경을 비롯해 어떤 목적으로든 시스템을 수정할 자유
- 목적과 수정 여부를 불문하고 다른 사람이 시스템을 사용하도록 공유할 자유
이러한 자유는 전체 기능 시스템과 시스템의 개별 요소에 모두 적용됩니다. 이러한 자유를 행사하기 위한 전제 조건은 선호하는 형식으로 시스템을 수정할 수 있어야 한다는 점입니다.”
오픈 소스 소프트웨어와 마찬가지로 오픈 소스 AI는 개발자가 AI 코드에 직접 액세스할 수 있도록 하여 투명성과 공동 작업을 촉진합니다. 오픈 소스 라이선스는 이 에코시스템에서 중추적인 역할을 합니다. 라이선스(예: Blue Oak 모델 라이선스)에서는 AI 사용과 관련된 사용 약관을 개략적으로 설명합니다. 이러한 법적 구조가 있어 오픈 소스 인공지능의 접근성을 유지하면서도 기여자들은 책임으로부터 보호받을 수 있습니다.
오픈 소스 LLM은 라이선스를 통해 지원되는 오픈 소스 AI를 사용하여 개발자가 독점 시스템의 제약 없이 구체적인 요구 사항에 맞는 대규모 언어 모델을 자유롭게 사용자 정의하고 조정할 수 있도록 합니다.
오픈 소스 LLM 작업에 관심이 있는 조직에는 여러 가지 옵션이 주어집니다. 현재 제공되는 오픈 소스 언어 모델 중 가장 투명하게 개발된 모델은 다음과 같습니다.
StarCoder는 코드 생성을 위해 설계된 오픈 소스 LLM으로, Hugging Face와 ServiceNow가 주도하는 개방적이고 과학적인 공동 작업 프로젝트인 BigCode에 의해 개발되었습니다. 80개 이상의 프로그래밍 언어를 지원하는 이 프로그램은 코드 생성, 워크플로우 생성, 텍스트 요약 등 다양한 작업에서 우수한 성능을 발휘합니다. StarCoder는 큰 컨텍스트 창은 물론 채우기 역량과 같은 독보적인 기능을 갖추고 있어 기반 모델로 가장 적합한 옵션입니다. OpenRAIL-M에 따라 라이선스가 부여되어 상업적 무료 사용이 허용되지만 윤리적이고 책임 있는 AI 사용 사례 제한이 적용됩니다.
독일의 AI 스타트업인 Aleph Alpha에서 개발한 Luminous는 고급 자연어 이해 및 생성 역량을 제공하는 데 초점을 맞추고 있습니다. 이 제품은 투명성과 윤리적 AI 개발을 제공하는 동시에 고급 LLM(ChatGPT의 최신 버전 등)과 경쟁하도록 설계되었습니다. Luminous는 130억 개의 매개변수로 이루어져 있으며, 소규모부터 대규모 언어 애플리케이션까지 다양한 작업에 사용할 수 있습니다.
IBM의 Granite 모델은 엔터프라이즈급 애플리케이션을 위해 설계된 오픈 소스 코드 LLM입니다. Granite 모델은 116개의 프로그래밍 언어로 훈련되었으며 기존의 요약 및 설명 외에 코드 생성 및 버그 수정에도 사용할 수 있습니다. Apache 2.0 라이선스에 따라 출시되어 연구 및 상업적 용도로 모두 사용할 수 있습니다.
Microsoft Research에서 개발한 Phi-2는 27억 개 매개변수로 이루어진 경량 모델이지만 성능 면에서는 규모가 더 큰 여러 모델과 경쟁할 수 있습니다. Phi-2는 상식적 추론, 코딩, 수학 및 언어 이해 등 복잡한 작업을 수행할 수 있습니다. 컴팩트한 크기로 효율적인 실험에 적합하며 Azure AI Studio에서 제공됩니다.
Stable Diffusion 프레임워크의 성공을 기반으로 한 Stable Video Diffusion은 비디오 생성 및 편집에 중점을 둔 오픈 소스 모델입니다. AI 기술을 활용하여 실시간으로 시각 콘텐츠를 생성하고, 엔터테인먼트, 광고 등 다양한 산업에 강력한 도구를 제공합니다.
메타의 Llama 3(가장 최근 버전은 3.1)는 LLama 모델 제품군의 최신 제품입니다. 모델 크기가 80억~4,050억 개의 매개변수 버전으로 다양하게 제공되는 Llama 3는 이전 모델의 아키텍처를 기반으로 빌드됩니다. Llama 3는 추론, 코딩, 다국어 작업에서 우수한 성능을 발휘하며, 안전성 도구 또는 안전하지 않은 코드 탐지 기능을 확장했습니다.
Google에서 개발한 BERT(Bidirectional Encoder Representations from Transformers)는 인간의 언어를 이해하고 생성하도록 만들어진 인코더 전용 트랜스포머 모델입니다. 2018년 출시 이후 BERT는 텍스트 분류, 질문 응답 및 감정 분석과 같은 다양한 NLP(자연어 처리) 작업에 널리 채택되었습니다. 비교적 최근에 출시된 모델임에도 불구하고, 최신 NLP를 형성하는 데 계속해서 영향을 미치고 있습니다.
실용적이고 접근성이 뛰어난 오픈 소스 LLM은 다양한 산업 분야에서 광범위하게 활용되고 있습니다. 주로 적용될 수 있는 방식은 다음과 같습니다.
오픈 소스 LLM을 사용하여 PDF를 팟캐스트 스타일 오디오로 손쉽게 변환할 수 있습니다. 복합 LLM 워크플로우를 구현하면 PDF의 텍스트를 대화형 스크립트로 변환한 다음 고급 TTS(text-to-speech) 기술을 사용하여 텍스트를 음성으로 변환할 수 있습니다. 접근성 콘텐츠, 교육 자료를 만들거나 문서를 새로운 형식으로 구현하는 데 적합합니다.
고객 피드백에서 숨겨진 감정을 읽는 것은 쉽지 않을 수 있습니다. 오픈 소스 LLM은 텍스트를 분석하여 긍정, 부정, 중립 등 표현된 전반적인 감정을 판단하도록 학습시킬 수 있습니다. 이를 통해 기업은 고객의 반응을 보다 정확하게 이해하여 제품과 서비스를 개선할 수 있습니다. 감정 분석은 소셜 미디어를 모니터링하여 고객 인사이트를 얻을 수 있는 주요 도구입니다.
코드 제안, 복잡한 알고리즘 작성, 코드 버그 수정, 코드 문서화 등을 통해 개발자를 지원할 수 있는 오픈 소스 LLM 모델이 많습니다. 자연어 설명에서 코드 스니펫을 생성할 수 있기 때문에 사용자는 원하는 작업을 영어 평문으로 전달하면 됩니다.
LLM은 일관적이고 상황에 맞는 텍스트를 생성하는 데 널리 사용됩니다. 이러한 사례에는 문서, 스토리 및 가상 어시스턴트의 대화가 포함됩니다. 이러한 용도는 GenAI(생성형 AI)의 핵심적인 부분 중 하나로, 거의 모든 분야에서 적용할 수 있습니다.
오픈 소스 LLM은 컨텐츠 생성을 자동화하고 긴 문서를 요약해 주므로 사용자가 양이 많은 텍스트에서 요점을 빠르게 파악할 수 있습니다. 이는 대량의 정보를 효율적으로 처리해야 하는 전문가에게 특히 유용합니다.
LLM은 언어 장벽을 무너뜨리는 데 도움을 주고 있습니다. 많은 오픈 소스 LLM이 다국어 역량을 통해 여러 언어 간에 텍스트를 번역할 수 있으므로 전 세계 고객과의 명확한 의사소통이 가능해집니다. 이러한 모델은 다양한 언어 데이터 세트를 학습하므로 단순한 단어 단위 번역보다 정확하고 맥락에 맞는 번역을 제공합니다.
오픈 소스 LLM은 최신 AI 챗봇과 가상 어시스턴트가 질문에 신속하고 정확하게 응답하여 고객 지원을 개선할 수 있도록 지원합니다. 대화형 작업을 위해 설계된 LLM은 고객과의 상호작용을 자연스럽고 효과적으로 처리할 수 있습니다. 그리고 LLM이 처리할 수 없는 문제가 발생하면 해당 문제는 실제 에이전트에게 자동으로 에스컬레이션됩니다.
LLM을 교육 플랫폼에 통합되면 맞춤형 학습 경험을 제공할 수 있습니다. 개별 학습 스타일에 맞게 콘텐츠를 조정하거나, 설명을 제공하고, 사용자 개인의 요구 사항과 능력에 맞게 특별히 조정된 연습 문제를 생성해 줄 수도 있습니다.
- 헬스케어
LLM 기반 AI 원격 의료 솔루션은 언제나 진단을 내리고 정보를 제공하며 환자 정보를 정리할 수 있는 상시 가용 가상 의료인을 제공해 줍니다. AI 챗봇이나 가상 에이전트와 마찬가지로, 이러한 프로그램은 방대한 데이터 세트에서 얻은 인사이트를 바탕으로 환자의 문제를 평가하도록 설계되어 있으므로, 스스로 도움을 제공할 수 있는 경우와 의료팀에 알려야 하는 경우를 구분할 수 있습니다.
- 금융
금융 부문에서 오픈 소스 LLM은 사기 탐지를 강화하고, 고객 지원을 자동화하며, 감정 분석을 수행하여 새로운 추세를 파악합니다. 이러한 모델은 재무 문서와 기타 데이터를 분석하여 실시간 시장 인사이트를 제공합니다.
- 언론 및 뉴스
언론인과 뉴스 조직은 요약과 번역에 오픈 소스 LLM을 활용합니다. LLM은 보도국 외부로 독점 데이터를 공유하지 않고 내부적으로 정보를 분석하는 데 사용할 수 있습니다. 그리고 상황이 급변할 때에도 뉴스 에이전시는 오픈 소스 LLM을 통해 대상 청중에게 전달할 수 있는 관련성 있고 유익한 콘텐츠를 생성할 수 있습니다.
- 과학 기반 산업
LLM은 문헌 검토, 데이터 분석, 가설 생성을 자동화하여 과학 연구를 지원하지만 그 밖에도 많은 작업을 수행할 수 있습니다. 이러한 모델이 가진 극한의 유연성 덕분에 과학자들은 기후 변화에 대한 대처부터 DNA 염기서열 분석, 천체적 현상 모델링에 이르기까지 모든 종류의 연구에 이를 적용할 수 있습니다.
인간 언어 지시를 따르며 대응할 수 있는 사용자 정의 자율 시스템과 같은 모델이 비즈니스에 가져다 줄 이점을 상상하기란 어렵지 않습니다. 오픈 소스 LLM을 활용하는 기업은 다음을 기대할 수 있습니다.
오픈 소스 LLM은 많은 이점을 제공하지만, 특정 위험을 초래할 수도 있습니다. 다음과 같은 당면 과제와 이에 대처하는 방법을 이해하는 것은 책임감 있고 효과적인 사용을 보장하는 데 중요한 부분입니다.
오픈 소스 LLM은 무제한 액세스 덕분에 유용한 목적과 마찬가지로 유해한 목적으로도 손쉽게 사용될 수 있습니다. 잘못된 정보의 전파, 개인 정보 침해, 제한된 정보 또는 독점 정보에 대한 액세스 등 다양한 방법으로 AI가 악용됩니다. 윤리적인 사용을 보장하려면 커뮤니티에서 적극적으로 거버넌스를 수행하고 안전성과 책임성을 고려하여 혁신과 균형을 맞추는 명확한 지침이 필요합니다.
오픈 소스 LLM에 대한 커뮤니티 기여의 질이 다양하므로 일관성 없는 결과물이 나올 수 있습니다. 표준화된 감독이 없으면 이러한 모델은 특히 정확도가 중요한 분야에서 신뢰할 수 없는 결과를 도출할 수 있습니다. 높은 표준을 유지한다는 것은 모든 코드 기여를 면밀히 주시하고 필요한 경우 개선한다는 것을 의미합니다. 안타깝게도 오픈 소스 코드를 활용할 경우 이것이 주된 업무가 될 수 있습니다.
AI의 성능은 기반이 되는 정보의 품질에 따라 결정되며, 그 정보에 편향 또는 불공정한 가정이 포함되어 있다면 AI는 이를 고착화할 수 있습니다. LLM은 학습 데이터에 존재하는 편향의 영향을 받아 왜곡되고 불공정한 결과를 생성할 수 있습니다. AI 생성 콘텐츠 및 결정에서 편향을 완화하고 공정성과 다양성을 보장하기 위해서는 면밀한 감시와 다양한 데이터 큐레이션이 필수적입니다.
오픈 소스 LLM(대규모 언어 모델)을 선택할 때 조직은 요구 사항에 가장 적합한 것을 선택할 수 있도록 몇 가지 요소를 고려해야 합니다. 가장 중요한 고려 사항은 다음과 같습니다.
- 목표
LLM의 주요 목적을 식별합니다. 비즈니스가 달성하고자 하는 목표는 무엇입니까? 어디에 초점을 두고 있습니까? 연구에 적합한 모델이 있는가 하면, 상업용으로 알맞은 모델이 있습니다. LLM은 구체적인 목표에 부합해야 합니다.
- 정확도
모델이 처리할 작업의 정확도를 평가합니다. 코드를 사용자 지정할 수 있다고 할지라도 어떤 LLM은 다른 용도에 더 적합할 수 있습니다.
- 비용
오픈 소스 LLM은 무료이지만 모델을 호스팅하고 학습시키고 유지 관리하는 데 드는 비용을 고려합니다. 모델의 규모가 크면 필요한 리소스가 많아지므로 인프라 및 운영 비용이 증가할 수 있습니다.
- 성능
LLM의 언어 유창성, 일관성 및 컨텍스트 이해도를 평가합니다. 이러한 영역에서 성능이 뛰어나면 사용자 경험과 작업 효율성이 향상됩니다.
- 데이터 보안
이를 통해 LLM은 특히 개인 정보 또는 독점 정보를 다룰 때 민감한 데이터를 안전하게 처리할 수 있습니다.
- 학습 데이터의 품질
LLM에서 사용하는 원본 학습 데이터의 품질을 점검합니다. 양질의 데이터를 사용하면 출력이 개선됩니다. 필요한 경우 사용자 지정 데이터로 모델을 미세 조정하여 결과를 개선하세요.
- 가용 기술
복잡한 LLM에는 데이터 과학, MLOps(머신 러닝 운영) 및 NLP에 대한 고급 기술이 필요합니다. LLM을 가장 긴밀하게 활용할 팀에 필요한 경험이 갖춰져 있는지 확인하세요. 갖춰져 있지 않다면 기술 격차를 메울 수 있도록 교육 또는 고용 계획을 세우세요.
ServiceNow는 Now LLM 서비스를 통해 최상위 독점 언어 모델을 제공하여 채팅 요약, 에이전트 기록 요약, AI 강화 검색, 동적 변환, 원활한 대화형 플로우와 같은 고급 AI 기반 기능을 지원합니다. 이러한 역량은 오픈 소스 혁신을 기반으로 구축되었으며, ServiceNow는 이니셔티브의 일환으로 StarCoder와 같은 기초 모델을 공개적으로 학습시킵니다. 이러한 모델은 기업 전체의 생산성을 최적화하고 탁월한 생성형 AI 경험을 제공하도록 특별히 설계된 독점적 Now LLM으로 더욱 정교해졌습니다.
Hugging Face, NVIDIA 등 파트너와의 공동 작업으로 강화된 이 오픈 소스 기반을 통해, ServiceNow는 책임 있게 AI를 발전시키면서 커뮤니티와 가치 있는 혁신을 공유할 수 있습니다. 이러한 접근 방식을 통해 조직은 자동화된 워크플로우 권장 사항부터 정확한 텍스트-코드 생성까지 강력하고 전문화된 AI 기술을 활용할 수 있습니다. 그리고 Now LLM은 Now Platform®의 일부로 완전히 통합되어 기존 워크플로우와 애플리케이션을 원활하게 개선하여 모든 부서의 효율성을 높여줍니다.
ServiceNow의 작동 방식과 AI와 LLM이 어떻게 작업을 개선할 수 있는지 확인해 보세요. 지금 바로 데모를 예약하세요.