Transformatormodellen zijn neurale netwerkmodellen die context en betekenis leren door relaties in gegevens te volgen via een mechanisme dat zelfaandacht wordt genoemd. Ze zijn in staat subtiele verbindingen te identificeren, zodat ze invoersequenties kunnen gebruiken om relevante uitvoer te creëren. Transformatoren hebben AI radicaal veranderd door baanbrekende prestaties mogelijk te maken in natuurlijke taalverwerking, computervisie en generatieve AI in grote taalmodellen, vertalingen en complexe redenering.
In artificial intelligence is het nauwkeurig begrijpen en verwerken van menselijke taal altijd een grote uitdaging geweest. Traditionele modellen hadden moeite om complexiteit en nuances vast te leggen en schoten vaak tekort bij taken waarvoor contextueel begrip vereist is. Deze behoefte aan geavanceerdere taalmodellen groeide naarmate toepassingen zoals realtime vertalingen en intelligente virtuele assistenten meer geïntegreerd werden in het dagelijks leven. Maar in de kern strekte het probleem zich verder uit dan taal tot andere aspecten van AI: de moeilijkheid van het identificeren en begrijpen van de relaties tussen gegevenspunten in complexe sets.
Transformatormodellen zijn gemaakt om dit probleem op te lossen. Transformatormodellen maken gebruik van geavanceerde technieken om de context en verbindingen binnen gegevens te begrijpen. Door gedetailleerde wiskundige modellen toe te passen, helpen ze een AI-systeem de chaos van invoer te organiseren zodat het de bedoelde betekenis ervan kan begrijpen.
Transformatormodellen zijn ontstaan uit een baanbrekend onderzoeksartikel uit 2017 met de titel "Attention is All You Need". Daarin werd een nieuwe neurale netwerkarchitectuur geïntroduceerd die gebruikmaakte van een mechanisme dat zelfaandacht genoemd wordt om de context binnen sequenties van gegevens te verwerken en te begrijpen. Het concept van aandacht, dat de basis vormt voor transformatoren, werd in 2014 geïntroduceerd door Dzmitry Bahdanau et al. Bahdanau is onderzoekswetenschapper bij ServiceNow Research. De naam 'transformator' is gekozen om aan te geven dat het model invoerweergaven kan transformeren naar betekenisvollere uitvoerweergaven.
De ontwikkeling van het eerste transformatormodel betekende een grote stap in AI-mogelijkheden. Het model werd in minder dan vier dagen getraind, een aanzienlijke verbetering ten opzichte van de langere en resource-intensievere trainingen van eerdere modellen. Dit, in combinatie met het vermogen van het model om machinevertalingen veel nauwkeuriger te kunnen uitvoeren, benadrukte het potentieel van transformatoren.
Transformatoren leidden tot nieuwe ontwikkelingen in natuurlijke taalverwerking (NLP) en legden de basis voor toekomstige grote taalmodellen zoals nieuwe oplossingen voor generatieve AI (GenAI). De introductie van transformatoren heeft niet alleen de nauwkeurigheid en efficiëntie van taalverwerking verbeterd, maar ook de weg vrijgemaakt voor het creëren van veelzijdigere AI-toepassingen. Het is daardoor een essentieel element van moderne AI geworden.
Terwijl transformatormodellen blijven uitbreiden om te voldoen aan de behoeften van AI-onderzoekers en computerwetenschappers, worden ze ook steeds specialistischer. Verschillende categorieën en typen transformatoren ontwikkelen zich om aan specifieke behoeften te voldoen. Hieronder volgen enkele architecturen die in moderne transformatoren voorkomen:
Bidirectionele encoderweergaven van transformatormodellen (BERT) zijn ontworpen om de context van woorden te begrijpen op basis van hun omringende woorden in een zin. BERT verwerkt tekst bidirectioneel en legt nuances en relaties tussen woorden effectiever vast dan eerdere modellen. Het wordt vaak gebruikt voor taken zoals het beantwoorden van vragen en gevolgtrekkingen in taal.
Generatieve vooraf getrainde transformatoren (GPT's) zijn autonome modellen die tekst genereren door het volgende woord in een sequentie te voorspellen. GPT-modellen, waaronder de populaire ChatGPT-lijn, staan bekend om hun vermogen menselijke tekst te produceren en worden gebruikt voor veel toepassingen, zowel professioneel als persoonlijk.
Bidirectionele en auto-regressieve transformatoren (BART) combineren het bidirectionele contextbegrip van BERT met de auto-regressieve tekstgeneratie van GPT. Ze zijn effectief bij tekstgeneratie-, samenvattings- en vertaaltaken en bieden veelzijdige mogelijkheden voor het verwerken en creëren van coherente tekstuitvoer.
Multimodale transformatoren integreren tekst- en beeldgegevens, waardoor AI-systemen content kunnen begrijpen en genereren die verschillende soorten media omvat. Deze modellen zijn van fundamenteel belang voor taken die simultaanvertaling van tekst en visuals vereisen, zoals visueel beantwoorden van vragen en bijschriften van afbeeldingen.
Visietransformatoren (ViT) passen de transformatorarchitectuur aan voor beeldverwerking door beelden te behandelen als sequenties van patches. Elke patch wordt op dezelfde manier verwerkt als woorden in tekst, waardoor het model contextuele relaties binnen de afbeelding kan vastleggen. ViT's worden gebruikt voor beeldclassificatie, objectdetectie en andere computervisietaken.
Transformatoren worden beschouwd als deep learning-modellen en vallen daardoor in de categorie van neurale netwerken. Maar dat betekent niet dat ze hetzelfde zijn als andere voorbeelden van die technologie. Transformatormodellen verschillen met name van terugkerende neurale netwerken (RNN's) en convolutionele neurale netwerken (CNN's).
Terugkerende neurale netwerken pakken gegevens sequentieel aan, wat betekent dat alle tokens na elkaar wordt verwerkt. Ze kunnen moeite hebben met langeafstandsafhankelijkheden doordat informatie verloren kan gaan over lange sequenties. Transformatoren daarentegen gebruiken zelfaandachtmechanismen waarmee ze alle tokens in de sequentie tegelijk kunnen beschouwen. Dankzij deze parallelle verwerking kunnen transformatoren langeafstandsafhankelijkheden effectiever vastleggen en sneller getraind worden dan mogelijk is met RNN's.
Convolutionele neurale netwerken blinken uit in het verwerken van rasterachtige gegevens (zoals afbeeldingen) door lokale patronen te detecteren. CNN's zijn echter minder effectief in het vastleggen van globale relaties binnen de gegevens. Transformatoren lossen dit op door zelfaandacht te gebruiken om het belang van verschillende delen van de invoergegevens als onderdeel van het grotere geheel af te wegen. CNN's worden voornamelijk gebruikt voor taken zoals beeldherkenning, maar transformatoren zijn aangepast voor zowel tekst- als beeldverwerking, waardoor ze een veelzijdiger pakket oplossingen bieden.
Zoals we hierboven al hebben aangegeven, waren transformatoren voor AI precies wat hun naam zegt: een transformatieve introductie die belangrijke beperkingen aanpakte en de deur opende voor aanzienlijke innovatie. Deze technologie maakt talrijke en gevarieerde voordelen mogelijk. Enkele van de belangrijkste voordelen zijn:
Transformatoren hebben een modulaire architectuur met lagen en aandachtspunten die gemakkelijk kunnen worden opgeschaald. Daardoor kunnen grootschalige modellen gemaakt worden die op efficiënte wijze uitgebreide sequenties van gegevens kunnen verwerken. Door lange sequenties parallel te verwerken, verminderen transformatoren de trainings- en verwerkingstijd aanzienlijk. Deze efficiëntie maakt de ontwikkeling van geavanceerde modellen (zoals BERT en GPT) mogelijk die complexe taalweergaven over miljarden parameters kunnen vastleggen.
Technieken zoals transfer learning en retrieval-augmented generation (RAG) maken snellere en effectievere aanpassing mogelijk. Deze modellen worden vooraf getraind met grote gegevenssets en kunnen worden verfijnd op kleinere, specifieke gegevenssets. Dat maakt gepersonaliseerde toepassingen voor verschillende branches mogelijk zonder dat er een grote investering nodig is, waardoor de toegang tot geavanceerde AI gedemocratiseerd wordt.
Transformatoren ondersteunen de ontwikkeling van multimodale AI-systemen die content van verschillende gegevenstypen kunnen interpreteren en genereren, zoals het maken van beelden uit tekstuele beschrijvingen. Door natuurlijke taalverwerking en computervisie te combineren, maken transformatoren een uitgebreider en menselijker begrip en creativiteit mogelijk.
Transformatoren leiden tot aanzienlijke vooruitgang in AI-onderzoek en innovatie in de branche, zoals positionele codering en zelfaandachtmechanismen. Positionele codering helpt modellen de positie van woorden in een sequenties te volgen, terwijl ze met zelfaandacht het belang van verschillende woorden kunnen afwegen op basis van hun relevantie voor de algehele context. Deze innovaties hebben geleid tot de versnelde ontwikkeling van nieuwe AI-architecturen en -toepassingen.
Net als de invoer die ze ontvangen, zijn transformatormodellen complex en ingewikkeld. Ze zijn gebouwd op verschillende softwarelagen die samenwerken om relevante, intelligente uitvoer te creëren. Elk van de volgende componenten is essentieel voor dit proces:
- Invoerinbeddingen
- Positionele codering
- Transformatorblok
- Lineaire/softmax-blokken
Invoerinbeddingen converteren invoersequenties naar wiskundige vectoren die AI-modellen kunnen verwerken. Tokens (zoals woorden) worden omgezet in vectoren die semantische en syntactische informatie bevatten die tijdens de training is geleerd.
Positionele codering voegt unieke signalen aan de inbedding van elke token toe om de positie ervan in de sequentie aan te geven. Daardoor kan het model de volgorde van tokens behouden en de context binnen de sequentie begrijpen.
Elk transformatorblok bestaat uit een zelfaandachtmechanisme met meerdere punten en een voorwaarts doorvoerend neuraal netwerk. Zelfaandacht weegt het belang van verschillende tokens af, terwijl het voorwaarts doorvoerende netwerk deze informatie verwerkt.
Het lineaire blok wijst complexe interne weergaven weer toe aan het oorspronkelijke invoerdomein. De softmax-functie zet de uitvoer vervolgens om in een waarschijnlijkheidsverdeling, die het vertrouwen van het model in elke mogelijke voorspelling weergeeft.
Het omzetten van complexe invoersequenties in relevante uitvoer is geen eenvoudige taak, Hiervoor zijn verschillende essentiële stappen nodig waarin de hierboven genoemde hoofdcomponenten zijn opgenomen. Deze softwarelagen proberen de werking van het menselijk brein na te bootsen en werken samen om het systeem de verwerkingskracht te geven die het nodig heeft om moeilijke problemen op te lossen. Deze neurale netwerken verwerken elk deel van de gegevens tegelijkertijd in volgorde. Hierbij doorlopen de gegevens de volgende stappen:
- De invoersequentie wordt omgezet in numerieke weergaven die inbeddingen worden genoemd en die de semantische betekenis van de tokens vastleggen.
- Positionele codering voegt unieke signalen aan de inbedding van elke token toe om de volgorde van tokens in de sequentie te behouden.
- Het aandachtsmechanisme met meerdere punten verwerkt deze inbeddingen om verschillende relaties tussen tokens vast te leggen.
- Normalisatie van lagen en restverbindingen stabiliseren en versnellen het trainingsproces.
- De uitvoer van de zelfaandachtlaag gaat door voorwaarts doorvoerende neurale netwerken voor niet-lineaire transformaties.
- Er worden meerdere transformatorblokken gestapeld, die elk de uitvoer van de vorige laag verfijnen.
- Bij taken zoals vertalingen wordt de uitvoersequentie gegenereerd door een aparte decodermodule.
- Het model wordt getraind via begeleid leren om het verschil tussen voorspellingen en fundamentele waarheid te minimaliseren.
- Tijdens de gevolgtrekking verwerkt het getrainde model nieuwe invoersequenties om voorspellingen of weergaven te genereren.
Transformatoren hebben bijna onbeperkte toepassingen in het bedrijfsleven, waardoor het mogelijk is complexe taken voor gegevensverwerking te automatiseren, de interactie met klanten te verbeteren en innovatie te stimuleren op gebieden als gezondheidszorg, financiën en creatieve branches. Enkele van de meest prominente toepassingen voor transformatormodellen zijn:
- Natuurlijke taalverwerking
- Machinevertaling
- Spraakherkenning
- Beeldgeneratie
- DNA-sequentieanalyse
- Analyse van eiwitstructuren
Dankzij transformatoren kunnen machines menselijke taal nauwkeuriger begrijpen, interpreteren en genereren. Dit ondersteunt toepassingen zoals het samenvatten van documenten en virtuele assistenten, die afhankelijk zijn van een exact begrip van taal.
Ook nauwkeurige realtime vertalingen worden mogelijk. Het vermogen van transformatoren om afhankelijkheden over lange afstand en context te verwerken, verbetert de nauwkeurigheid van vertalingen aanzienlijk, vooral vergeleken met eerdere oplossingen op basis van zoeken en vervangen.
Spraak-naar-tekst-toepassingen kunnen worden verbeterd door gesproken taal nauwkeurig om te zetten in geschreven tekst. Dit is met name nuttig bij het ontwikkelen van spraakgestuurde toepassingen en het verbeteren van de toegankelijkheid voor slechthorenden.
Modellen voor het genereren van beelden maken gebruik van transformatoren om visuele media te creëren op basis van tekstbeschrijvingen, waarbij natuurlijke taalverwerking en computervisie worden gecombineerd. Deze mogelijkheid wordt gebruikt in creatieve toepassingen, marketing en meer.
Door DNA-sequenties op dezelfde manier te behandelen als tekst, kunnen transformatoren worden getraind om genetische mutaties te voorspellen, genetische patronen te begrijpen en ziektegerelateerde gebieden te identificeren.
Transformatoren kunnen de sequentiële aard van aminozuren in eiwitten modelleren en hun 3D-structuren voorspellen. Dit inzicht is van vitaal belang voor het uitvinden van geneesmiddelen en het begrijpen van biologische processen.
Doordat transformatoren onder andere geavanceerde natuurlijke taalverwerking, machinevertalingen, spraakherkenning mogelijk maken, hebben ze de manier waarop bedrijven AI gebruiken voorgoed veranderd en de bedrijfsvoering in alle branches en markten verbeterd. Maar niet elke AI-benadering maakt optimaal gebruik van transformatortechnologie.
ServiceNow is een essentiële partner in het goed benutten van AI om de bedrijfsvoering te optimaliseren. De toepassingen van ServiceNow zijn gebouwd op het door AI ondersteunde Now Platform® en maken gebruik van AI- en transformatormodellen om gemakkelijk toegang te bieden tot taalbegrip, voorspellende analyses, geautomatiseerde workflows en meer. Met deze tools kunnen organisaties hun activiteiten stroomlijnen als nooit tevoren, hun interactie met klanten verbeteren, duidelijke inzichten verkrijgen en complexe gegevens omzetten in een echt concurrentievoordeel.
Zie welke voordelen transformatoren je organisatie kunnen bieden en probeer de demo van ServiceNow vandaag nog!