Open-source grote taalmodellen (LLM's) zijn AI-modellen die openbaar beschikbare tekst in natuurlijke taal en softwareprogrammacode gebruiken om menselijke taal te leren, te begrijpen en te repliceren.
Open-source LLM's, een vorm van open-source AI, kunnen vrijelijk worden gewijzigd en gedeeld, waardoor samenwerking en aanpassing zonder licentiekosten mogelijk is. Deze openheid bevordert transparantie, veiligheid, concurrentie en uiteenlopende toepassingen in alle branches. Deze LLM's zijn een vorm van open-source AI en kunnen vrijelijk worden gewijzigd en gedeeld, waardoor samenwerking en aanpassing voor elk doel mogelijk is zonder toestemming of licentiekosten. Dat bevordert transparantie, veiligheid, concurrentie, polycultuur en diverse toepassingen.
Grote taalmodellen vormen het fundament van moderne gebruikersinterfaces op basis van artificial intelligence. Deze modellen worden getraind met enorme gegevenssets en geavanceerde neurale netwerkarchitecturen, waardoor mensen op een natuurlijk niveau gebruik kunnen maken van toepassingen. De waarde van LLM's ligt in hun vermogen om genuanceerde taaltaken uit te voeren, zoals het samenvatten van grote tekstpassages of, omgekeerd, het genereren van grote tekstblokken in reactie op instructies van hun menselijke gebruiker. In uiteenlopende gebieden zoals klantenservice, onderzoek, contentcreatie en onderwijs kunnen gebruikers met LLM's complexe vragen en instructies maken en kan de AI reageren op een manier die zelfs onervaren gebruikers in sommige gevallen kunnen begrijpen op een vergelijkbaar niveau als superuser.
Maar hoewel deze modellen gebruiksvriendelijke interacties mogelijk maken, zijn ze uiterst complex en vaak gebouwd met bedrijfseigen gegevens die de zichtbaarheid van hun interne structuur en mogelijkheden verminderen. Hoewel open-source LLM's over het algemeen een toegankelijker alternatief bieden, varieert de mate van openheid. Sommige grote taalmodellen bieden volledig toegang tot de onderliggende trainingscode en -gegevens, zodat iedereen ze kan gebruiken, wijzigen of distribueren. Andere geven bijvoorbeeld alleen het model en beperkte ondersteunende artefacten vrij, waardoor het bijna onmogelijk is om de upstream leveringsketen van het model te controleren. Door de toegang tot krachtige AI-tools te democratiseren, bieden open-source LLM's een breder scala aan ontwikkelaars de kracht om te innoveren en AI-oplossingen aan te passen aan hun specifieke behoeften.
Elke bespreking van open-source LLM's begint bij de volgende vraag: in welk opzicht verschillen open-source LLM's van bedrijfseigen LLM's? Open-source LLM's en bedrijfseigen LLM's verschillen aanzienlijk in transparantie, toegankelijkheid, aanpassingsvermogen en betrokkenheid van de community.
Open-source LLM's kunnen vrijelijk worden gebruikt en gewijzigd zoals elke gebruiker dat wenst en kunnen worden gedeeld (inclusief wijzigingen) met anderen. Dit stimuleert een gezamenlijke aanpak van downstreaminnovatie, waardoor ontwikkelaars deze modellen kunnen aanpassen aan specifieke behoeften en tegelijkertijd kunnen bijdragen aan een dynamisch ecosysteem waar voortdurend verbeteringen en nieuwe toepassingen ontstaan. Elke ontwikkelaar die het basismodel verbetert en diens verfijnde model als open source beschikbaar stelt, wordt in feite lid van het AI-ecosysteem voor die community.
Om dit mogelijk te maken, zijn open-source LLM's sterk afhankelijk van transparantie in de architectuur, de training en het beoogde gebruik van het model waarvoor het is ontworpen. Om de adoptie door de community en de commerciële wereld te maximaliseren, moeten de gegevens die voor training vooraf en evaluatie worden gebruikt, de betreffende resources en de onderliggende code zelf volledig toegankelijk zijn voor beoordeling. Dit is een belangrijk onderscheidend kenmerk van open-source LLM's, aangezien de interne werking van bedrijfseigen LLM's doorgaans niet goed zichtbaar is.
Open-source LLM's bieden meer vrijheid in de vorm van flexibiliteit: organisaties kunnen het LLM aanpassen aan hun unieke specificaties. Aan de andere kant kunnen wijzigingen in het afgeleide LLM leiden tot een zwakkere beveiliging. Het is dus belangrijk om open-source LLM's te selecteren die robuuste governance-methoden voor de gegevens en het model hanteren om te zorgen dat nieuwe modellen voldoen aan de veiligheids- en prestatieverwachtingen voor gebruikers downstream. Het werken met een open-source oplossing kan aanzienlijke kosten met zich meebrengen, bijvoorbeeld voor het inhuren en trainen van expertise, juridische kosten vooraf, upgrades van functies, compliance met beveiligingsvoorschriften, ondersteuning, behoud van talent en doorlopend beheer van de levenscyclus van software.
Bedrijfseigen LLM's worden beheerd door en zijn eigendom van individuele entiteiten, waarbij de toegang doorgaans beperkt is door licenties en de kosten die daarvoor in rekening gebracht worden. Bedrijven als OpenAI en Google bieden krachtige LLM's, maar het gebruik ervan is vaak beperkt tot vooraf gedefinieerde API's (Application Programming Interfaces) of specifieke, door de provider voorgeschreven applicaties. Deze gesloten benadering kan de aanpassingsmogelijkheden beperken, met als mogelijk gevolg hogere kosten en beperkte toegang tot de infrastructuur van cloudcomputers die zich in een andere regio dan de eindgebruiker kunnen bevinden. Bovendien kunnen bedrijfseigen LLM's voortbouwen op verfijnde versies van open-source modellen doordat bedrijven unieke verbeteringen of 'geheime ingrediënten' zoals verbeterde prestaties of gespecialiseerde functionaliteiten toevoegen, waardoor deze versies bedrijfseigen worden. Een voorbeeld van deze aanpak zijn Now LLM's, die zich door verbeteringen op maat onderscheiden van open-source alternatieven.
Toch zijn er enkele voordelen aan het werken met bedrijfseigen LLM-oplossingen. LLM's in eigendom en onder licentie bieden vaak een betere beveiliging en zijn gebruiksvriendelijker, waarbij ondersteuning door het bedrijf wordt geboden wanneer dat nodig is.
Open-source software is niet nieuw: een deel van de vroegste software werd vrijelijk gedeeld door degenen die met computers werkten. Maar met de relatief recente opkomst van artificial intelligence beginnen de concepten achter open source opgang te maken in AI. Hoewel ze de kernwaarden van transparantie, samenwerking en toegankelijkheid delen, zijn er ook enkele belangrijke verschillen:
Open-source software zijn programma's of systemen waarvan de broncode voor iedereen vrijelijk beschikbaar is om te gebruiken, te wijzigen en te delen. Open-source software wordt beheerst door licenties zoals de GNU General Public License (GPL) of Apache License, waarin de voorwaarden voor gebruik en herdistributie worden beschreven. Populaire voorbeelden zijn Linux, Apache HTTP Server en Mozilla Firefox, die blijven floreren door bijdragen van wereldwijde community's van ontwikkelaars.
Met de opkomst van artificial intelligence zijn de principes achter open-source software aangepast aan AI. Met open-source AI als resultaat. Het Open Source Initiative definieert open-source-AI als volgt: "Een AI-systeem dat beschikbaar gesteld wordt onder voorwaarden en op een manier die de vrijheid verleent om:
Deze vrijheden gelden zowel voor een volledig functioneel systeem als voor afzonderlijke elementen van een systeem. Een voorwaarde voor het uitoefenen van deze vrijheden is toegang hebben tot de voorkeursvorm om het systeem te kunnen wijzigen."
- Het systeem te gebruiken voor welk doel dan ook en zonder toestemming te vragen.
- Te bestuderen hoe het systeem werkt en de onderdelen ervan te inspecteren.
- Het systeem te wijzigen voor welk doel dan ook, inclusief het wijzigen van de uitvoer ervan.
- Het systeem te delen zodat anderen het met of zonder wijzigingen en voor welk doel dan ook kunnen gebruiken.
Deze vrijheden gelden zowel voor een volledig functioneel systeem als voor afzonderlijke elementen van een systeem. Een voorwaarde voor het uitoefenen van deze vrijheden is toegang hebben tot de voorkeursvorm om het systeem te kunnen wijzigen."
Net als open-source software bevordert open-source AI transparantie en samenwerking door ontwikkelaars directe toegang te geven tot de AI-code. Open-source licenties spelen een centrale rol in dit ecosysteem. Licenties (zoals de Blue Oak Model License) geven een overzicht van de algemene voorwaarden die verbonden zijn aan het gebruik van de AI. Deze juridische frameworks houden open-source AI toegankelijk en beschermen bijdragers tegen aansprakelijkheid.
Open-source LLM's gebruiken door licenties ondersteunde open-source AI om ontwikkelaars de vrijheid te geven grote taalmodellen aan te passen aan hun specifieke behoeften zonder de beperkingen van bedrijfseigen systemen.
Er zijn veel opties voor organisaties die geïnteresseerd zijn in het werken met open-source LLM's. Hieronder volgen enkele van de meest transparant ontwikkelde open-source taalmodellen die momenteel beschikbaar zijn:
StarCoder is een open-source LLM voor codegeneratie dat ontwikkeld is door het open wetenschappelijke samenwerkingsproject BigCode onder leiding van Hugging Face en ServiceNow. Het is getraind in meer dan 80 programmeertalen en blinkt uit in het genereren van code, het genereren van workflows en zelfs het samenvatten van teksten. StarCoder heeft een groot contextvenster en beschikt over unieke functies zoals invullingsmogelijkheden, waardoor het een sterke keuze voor een basismodel is. Het is gelicentieerd onder OpenRAIL-M, waardoor vrij commercieel gebruik met beperkingen voor ethische en verantwoorde AI use cases mogelijk is.
Luminous is gemaakt door de Duitse AI-start-up Aleph Alpha en richt zich op het leveren van geavanceerde mogelijkheden voor begrip en generatie van natuurlijke taal. Het is ontworpen om te concurreren met geavanceerde LLM's (zoals recente versies van ChatGPT) terwijl het transparantie en ethische AI-ontwikkeling biedt. Luminous bestaat uit 13 miljard parameters en is beschikbaar voor taken variërend van kleine tot grootschalige taaltoepassingen.
De Granite-modellen van IBM zijn open-sourcecode LLM's voor toepassingen op ondernemingsniveau. Granite-modellen zijn getraind in 116 programmeertalen en kunnen worden gebruikt voor het genereren van code en het oplossen van bugs, plus traditionelere samenvattingen en uitleg. Ze zijn beschikbaar onder de Apache 2.0-licentie, zodat ze geschikt zijn voor onderzoeks- en commercieel gebruik.
Het door Microsoft Research ontwikkelde Phi-2 is een lichtgewicht model met 2,7 miljard parameters dat niettemin op het gebied van prestaties kan concurreren met veel grotere modellen. Phi-2 kan complexe taken uitvoeren, zoals logisch redeneren, coderen, wiskundige taken en taalbegrip. Het model is door de compacte omvang ideaal om efficiënt mee te experimenteren en is beschikbaar in Azure AI Studio.
Stable Video Diffusion bouwt voort op het succes van het Stable Diffusion-framework en is een open-source model dat gericht is op het genereren en bewerken van video's. Het maakt gebruik van AI om dynamische visuele content te creëren en biedt krachtige tools voor branches zoals entertainment en reclame.
Meta's Llama 3 (3.1 is de meest recente release) is het nieuwste model in de Llama-familie. Llama 3 is verkrijgbaar in modellen die in grootte variëren van 8 miljard tot 405 miljard parameterversies en bouwt voort op de architectuur van zijn voorgangers. Llama 3 presteert goed in redeneren, coderen en meertalige taken en heeft uitgebreide veiligheidstools om onveilige code te detecteren
BERT (Bidirectional Encoder Representations from Transformers) is ontwikkeld door Google en is een transformatormodel met alleen encoders dat is ontworpen om menselijke taal te begrijpen en te genereren. Sinds de release in 2018 wordt BERT op grote schaal gebruikt voor diverse taken voor natuurlijke taalverwerking (NLP) zoals tekstclassificatie, vragen beantwoorden en sentimentanalyse. Ondanks zijn relatief hoge leeftijd blijft het model van invloed op moderne NLP.
De veelzijdige en toegankelijke open-source LLM's hebben een breed scala aan toepassingen in diverse branches. Hier volgen enkele prominente manieren waarop ze kunnen worden toegepast:
Open-source LLM's kunnen worden gebruikt om pdf-bestanden moeiteloos om te zetten in meeslepende podcastaudio. Door een samengestelde LLM-workflow te implementeren, kun je tekst uit pdf-bestanden converteren naar een conversatiescript en dat vervolgens voordragen via geavanceerde tekst-naar-spraaktechnologie. Dit is ideaal voor het maken van toegankelijke content, educatief materiaal of het tot leven brengen van je documenten in een nieuw format.
Het kan moeilijk zijn om de emotie achter feedback van klanten te peilen. Open-source LLM's kunnen worden getraind om tekst te analyseren om het algemene gevoel te bepalen dat wordt uitgedrukt: positief, negatief of neutraal. Hierdoor kunnen bedrijven beter inzicht krijgen in de reacties van klanten om hun producten en services te verbeteren. Sentimentanalyse is een belangrijke tool bij het monitoren van social media voor klantinzichten.
Veel open-source LLM-modellen kunnen ontwikkelaars helpen door codesuggesties te geven, complexe algoritmen te schrijven, bugs in code te verhelpen en zelfs code te documenteren. Ze kunnen codefragmenten genereren uit natuurlijke taalbeschrijvingen, waardoor gebruikers in gewoon Nederlands kunnen vertellen wat de code moet doen.
LLM's worden op grote schaal gebruikt voor het genereren van coherente en contextueel relevante tekst. Dit omvat het maken van artikelen, verhalen en dialogen voor virtuele assistenten. Dit is een belangrijk onderdeel van generatieve AI (GenAI) en heeft toepassingen op vrijwel elk gebied.
Open-source LLM's kunnen het maken van content automatiseren en samenvattingen van lange documenten genereren, zodat gebruikers snel inzicht krijgen in de belangrijkste punten van uitgebreide teksten. Dit is met name waardevol voor professionals die grote hoeveelheden informatie efficiënt moeten verwerken.
LLM's helpen taalbarrières weg te nemen. Dankzij hun meertalige mogelijkheden kunnen veel open-source LLM's tekst vertalen van en naar meerdere talen, waardoor duidelijke communicatie met een wereldwijd publiek mogelijk wordt. Deze modellen zijn getraind in diverse taalgegevenssets, zodat nauwkeurige en contextbewuste vertalingen worden gegarandeerd die veel verder gaan dan eenvoudige woord-voor-woordvertalingen.
Open-source LLM's zijn de drijvende kracht achter de huidige AI-chatbots en virtuele assistenten die de klantenondersteuning verbeteren door snel nauwkeurige antwoorden op vragen te geven. LLM's die ontworpen zijn voor conversatietaken, kunnen interacties met klanten effectief en op een voor de gebruiker natuurlijk aanvoelende manier afhandelen. En mocht er iets zijn waar het LLM niet op voorbereid is, dan kan het model het probleem automatisch escaleren naar een servicemedewerker.
LLM's kunnen worden geïntegreerd in onderwijsplatforms om gepersonaliseerde leerbelevingen te bieden. Ze kunnen content aanpassen aan individuele leerstijlen, uitleg geven en praktijkproblemen genereren die specifiek zijn afgestemd op de behoeften en mogelijkheden van individuele gebruikers.
- Gezondheidszorg
LLM-gestuurde oplossingen voor AI-telegeneeskunde bieden altijd beschikbare virtuele zorgverleners die in staat zijn diagnoses te stellen, informatie te verstrekken en patiëntgegevens te ordenen. Net als AI-chatbots en virtuele agents zijn deze programma's ontworpen om patiëntproblemen te evalueren op basis van inzichten uit uitgebreide gegevenssets, zodat ze weten wanneer ze zelf hulp moeten bieden en wanneer ze menselijke medische teams moeten waarschuwen.
- Financiële sector
Open-source LLM's in de financiële sector verbeteren fraudedetectie, automatiseren klantenondersteuning en voeren sentimentanalyses uit om nieuwe trends te identificeren. Deze modellen analyseren financiële documenten en andere gegevens om realtime marktinzichten te bieden.
- Journalistiek en nieuws
Journalisten en nieuwsorganisaties gebruiken open-source LLM's voor samenvatten en vertalen. LLM's kunnen intern worden gebruikt om informatie te analyseren zonder bedrijfseigen gegevens buiten de nieuwsredactie te delen. En als de omstandigheden een onmiddellijke reactie vereisen, kunnen nieuwsagentschappen open-source LLM's relevante en informatieve content laten genereren die hun doelgroep aanspreekt.
- Wetenschappelijke branches
LLM's ondersteunen wetenschappelijk onderzoek door het beoordelen van literatuur, het analyseren van gegevens en het genereren van hypotheses te automatiseren, maar ze kunnen nog veel meer. De extreme flexibiliteit van deze modellen betekent dat wetenschappers ze kunnen aanpassen aan elk soort onderzoek: van de strijd tegen klimaatverandering tot het analyseren van DNA-sequenties en het modelleren van astrofysische fenomenen.
Aanpasbare autonome systemen die aanwijzingen in menselijke taal kunnen opvolgen en daar ook zo op kunnen reageren: het is niet moeilijk om te bedenken wat voor voordelen deze modellen bedrijven kunnen bieden. Bedrijven die open-source LLM's gebruiken, kunnen het volgende verwachten:
Hoewel open-source LLM's veel voordelen bieden, kunnen ze ook bepaalde risico's met zich meebrengen. Inzicht in de volgende uitdagingen en het tegengaan ervan is een belangrijk onderdeel van verantwoordelijk en effectief gebruik:
Open-source LLM's kunnen vanwege hun onbeperkte toegang even gemakkelijk voor schadelijke als voor nuttige doeleinden worden gebruikt. Onjuiste informatie verspreiden, privacy schenden, toegang verkrijgen tot vertrouwelijke of bedrijfseigen informatie, het zijn allemaal manieren waarop een AI kan worden misbruikt. Om ethisch gebruik te garanderen, zijn proactieve governance van de community en duidelijke richtlijnen vereist om de balans te vinden tussen innovatie enerzijds en veiligheid en verantwoordelijkheid anderzijds.
De kwaliteit van de bijdragen door de community aan open-source LLM's kan variëren, wat tot inconsistente uitvoer leidt. Zonder gestandaardiseerd toezicht kunnen deze modellen onbetrouwbare resultaten opleveren, met name in toepassingen waar nauwkeurigheid cruciaal is. Om hoge normen te handhaven, moeten alle bijdragen aan de code nauwlettend in de gaten worden gehouden en indien nodig verfijnd worden. Helaas kan dit bij het werken met open-source code een omvangrijke taak zijn.
Elke AI is slechts zo goed als de informatie waarop het is gebouwd. Als die informatie bevooroordeelde meningen of oneerlijke veronderstellingen bevat, kan de AI leren die te bestendigen. LLM's kunnen worden beïnvloed door de vooringenomenheden die in hun trainingsgegevens aanwezig zijn, met vertekende en oneerlijke uitvoer tot gevolg. Waakzaam toezicht en diverse gegevensbeheersing zijn essentieel om vooringenomenheid te verminderen en eerlijkheid en inclusiviteit in door AI gegenereerde content en beslissingen te waarborgen.
Bij het selecteren van een open-source LLM (Large Language Model) moeten organisaties rekening houden met verschillende factoren om te zorgen dat ze het model kiezen dat het beste bij hun vereisten past. Dit zijn de belangrijkste overwegingen:
- Doelen
Bepaal het hoofddoel van het LLM. Wat gaat het bereiken voor het bedrijf? Wat wordt de focus ervan? Sommige modellen zijn afgestemd op onderzoek, andere zijn geschikt voor commercieel gebruik. Zorg dat het LLM aansluit bij specifieke doelen.
- Nauwkeurigheid
Beoordeel de nauwkeurigheid van het model bij de taken waarvoor het gebruikt wordt. Sommige LLM's zijn beter geschikt voor andere toepassingen, ook al heb je toegang tot de code om die aan te passen.
- Kosten
Hoewel open-source LLM's gratis zijn, moet je rekening houden met de kosten van hosting, training en onderhoud van het model. Grotere modellen vereisen meer resources, wat kan leiden tot hogere infrastructuur- en operationele kosten.
- Prestaties
Beoordeel de taalvaardigheid, de coherentie en het contextbegrip van het LLM. Hoge prestaties op deze gebieden verbeteren de gebruikerservaring en de effectiviteit van taken.
- Gegevensbeveiliging
Controleer of het LLM gevoelige gegevens veilig kan verwerken, vooral als het gaat om persoonlijke of bedrijfseigen informatie.
- Kwaliteit van trainingsgegevens
Controleer de kwaliteit van de oorspronkelijke door het LLM gebruikte trainingsgegevens. Hoogwaardige gegevens leiden tot betere uitvoer. Gebruik indien nodig aangepaste gegevens om het model te verfijnen en betere resultaten te verkrijgen.
- Beschikbare vaardigheden
Complexe LLM's vereisen geavanceerde vaardigheden op het gebied van gegevenswetenschappen, machine learning-activiteiten (MLOps) en NLP. Zorg dat het team dat het meest met het LLM gaat werken over de nodige ervaring beschikt. Als dat niet het geval is, maak dan plannen om het team te trainen of nieuwe mensen in dienst te nemen om dat vaardigheidstekort aan te vullen.
ServiceNow levert bedrijfseigen taalmodellen van topniveau via de Now LLM-service die geavanceerde AI-gestuurde functies mogelijk maakt, zoals het samenvatten van chats en agentrecords, met AI verbeterde zoekfuncties, dynamische vertalingen en naadloze conversatiestromen. Deze mogelijkheden zijn gebouwd op open-source innovatie: ServiceNow traint openlijk basismodellen zoals StarCoder als onderdeel van zijn initiatieven. Deze modellen worden vervolgens verfijnd tot bedrijfseigen Now LLM's die speciaal afgestemd zijn op het optimaliseren van de productiviteit in de hele onderneming en het leveren van uitzonderlijke generatieve AI-belevingen.
Dit open-source fundament, versterkt door samenwerking met partners zoals Hugging Face en NVIDIA, stelt ServiceNow in staat AI op verantwoorde wijze te bevorderen en tegelijkertijd waardevolle innovaties te delen met de community. Dankzij deze aanpak profiteren organisaties van krachtige, gespecialiseerde AI-vaardigheden, variërend van geautomatiseerde workflowaanbevelingen tot precieze tekst-naar-codegeneratie. En doordat Now LLM's nu deel uitmaken van het volledig geïntegreerde Now Platform®, verbeteren ze naadloos bestaande workflows en toepassingen om de efficiëntie op elke afdeling te verhogen.
Bekijk ServiceNow in actie en ontdek hoe AI en LLM je activiteiten kunnen verbeteren; plan vandaag nog een demo!