I modelli trasformatori sono modelli di reti neurali che apprendono il contesto e il significato tracciando le relazioni nei dati attraverso un meccanismo chiamato auto-attenzione. Sono in grado di identificare connessioni sottili che consentono loro di prendere sequenze di input e di utilizzarle per creare output pertinenti. I trasformatori hanno rivoluzionato l'AI consentendo prestazioni rivoluzionarie nell'elaborazione del linguaggio naturale, nella visione artificiale e nell'AI generativa su modelli linguistici di grandi dimensioni, traduzione e ragionamento complesso.
Nell'intelligenza artificiale, comprendere ed elaborare accuratamente il linguaggio umano è sempre stata una sfida significativa. I modelli tradizionali hanno avuto difficoltà a cogliere complessità e sfumature, spesso non riuscendo a svolgere compiti che richiedevano una comprensione contestuale. Questa esigenza, ovvero la richiesta di modelli di linguaggio più sofisticati, è cresciuta man mano che applicazioni come la traduzione in tempo reale e gli assistenti virtuali intelligenti sono diventati sempre più integrati nella vita di tutti i giorni. Tuttavia, in sostanza, il problema si estendeva oltre il linguaggio, coinvolgendo altri aspetti dell'AI: la difficoltà di identificare e comprendere le relazioni tra i punti dati in insiemi complessi.
Per risolvere questo problema sono stati creati i modelli trasformatori. I modelli trasformatori utilizzano tecniche avanzate per comprendere il contesto e le connessioni all'interno dei dati. Applicando modelli matematici dettagliati, aiutano un sistema AI a organizzare il caos degli input in modo che possa comprenderne il significato previsto.
I modelli trasformatori hanno avuto origine da un innovativo documento di ricerca del 2017 intitolato "Attention is All You Need, che ha introdotto una nuova architettura di rete neurale che utilizzava un meccanismo chiamato auto-attenzione per elaborare e comprendere il contesto all'interno di sequenze di dati. Il concetto di attenzione, fondamentale per i trasformatori, è stato introdotto nel 2014 da Dzmitry Bahdanau et al. Bahdanau è un Research Scientist in ServiceNow Research. Il nome "trasformatore" è stato scelto per riflettere la capacità del modello di trasformare le rappresentazioni di input in rappresentazioni di output più significative.
Lo sviluppo del primo modello trasformatore ha segnato un balzo in avanti significativo nelle funzionalità dell'AI. Il modello è stato addestrato in meno di quattro giorni, un miglioramento significativo rispetto ai tempi di addestramento più lunghi e dispendiosi in termini di risorse dei modelli precedenti. Se a questo si aggiunge la capacità del modello di stabilire nuovi record di accuratezza nella traduzione automatica, il potenziale dei trasformatori è risultato più che evidente.
I trasformatori hanno portato a nuovi progressi nell'elaborazione del linguaggio naturale (NLP) e hanno gettato le basi per futuri modelli linguistici di grandi dimensioni, come le nuove soluzioni di AI generativa (GenAI). L'introduzione dei trasformatori non ha solo migliorato l'accuratezza e l'efficienza dell'elaborazione del linguaggio, ma ha anche aperto la strada alla creazione di applicazioni di AI più versatili, consolidando il proprio ruolo di elemento essenziale dell'AI moderna.
Man mano che i modelli trasformatori continuano ad espandersi per soddisfare le esigenze dei ricercatori di AI e degli informatici, si assiste anche a una crescente specializzazione. Per soddisfare esigenze specifiche si stanno evolvendo categorie e tipologie di trasformatori distinte. Di seguito sono riportate alcune delle architetture che si trovano nei trasformatori moderni:
I modelli BERT (Bidirectional Encoder Representations from Transformers) sono progettati per comprendere il contesto delle parole in base alle parole che le circondano in una frase. BERT elabora il testo in modo bidirezionale, catturando sfumature e relazioni tra le parole in modo più efficace rispetto ai modelli precedenti. Viene comunemente utilizzato per compiti quali la risposta a domande e l'inferenza linguistica.
I trasformatori pre-addestrati generativi (GPT) sono modelli autoregressivi che generano testo prevedendo la parola successiva in una sequenza. I modelli GPT, tra cui la famosa linea ChatGPT, sono noti per la loro capacità di produrre testo simile a quello umano e vengono utilizzati in numerose applicazioni, sia professionali che personali.
I modelli BART (Bidirectional and Auto-Regressive Transformers) combinano la comprensione del contesto bidirezionale di BERT con la generazione di testo autoregressivo di GPT. Sono efficaci nelle attività di generazione, sintesi e traduzione di testi, offrendo funzionalità versatili per l'elaborazione e la creazione di output di testo coerenti.
I trasformatori multimodali integrano dati di testo e immagini, consentendo ai sistemi di AI di comprendere e generare contenuti che abbracciano vari tipi di contenuto multimediale. Questi modelli sono fondamentali per compiti che richiedono l'interpretazione simultanea di testo e immagini, come la risposta visiva alle domande e la didascalia delle immagini.
I trasformatori visivi (ViT) adattano l'architettura dei trasformatori all'elaborazione delle immagini, trattando le immagini come sequenze di patch. Ogni patch viene elaborata in modo simile a come vengono elaborate le parole in un testo, consentendo al modello di catturare le relazioni contestuali all'interno dell'immagine. I ViT vengono utilizzati nella classificazione delle immagini, nel rilevamento di oggetti e in altre attività di visione artificiale.
I trasformatori sono considerati modelli di deep learning, il che significa che rientrano nella categoria delle reti neurali. Tuttavia, ciò non significa che siano uguali ad altri esempi di questa tecnologia. Nello specifico, i modelli di trasformatori differiscono dalle reti neurali ricorrenti (RNN) e dalle reti neurali convoluzionali (CNN).
Le reti neurali ricorrenti elaborano i dati in sequenza, ovvero ogni token viene elaborato uno dopo l'altro, e possono avere difficoltà con le dipendenze a lungo raggio perché le informazioni possono perdersi in sequenze lunghe. I trasformatori, d'altro canto, utilizzano meccanismi di auto-attenzione che consentono loro di considerare simultaneamente tutti i token nella sequenza. Questa elaborazione parallela consente ai trasformatori di catturare le dipendenze a lungo raggio in modo più efficace e di essere addestrati più velocemente di quanto sia possibile con le RNN.
Le reti neurali convoluzionali eccellono nell'elaborazione di dati di tipo griglia (come le immagini) rilevando schemi locali. Tuttavia, le CNN sono meno efficaci nel catturare le relazioni globali all'interno dei dati. I trasformatori superano questo problema utilizzando l'auto-attenzione per soppesare l'importanza delle diverse parti dei dati di input come parte di un insieme più ampio. Mentre le CNN vengono utilizzate principalmente per attività come il riconoscimento delle immagini, i trasformatori sono stati adattati sia per l'elaborazione di testo che di immagini, offrendo un insieme di soluzioni più versatile.
Come abbiamo accennato sopra, i trasformatori erano proprio questo per il campo dell'AI: un'introduzione trasformativa che affrontava limitazioni chiave e apriva le porte a innovazioni significative. I vantaggi offerti da questa tecnologia sono molteplici e variegati, ma tra i più significativi rientrano:
I trasformatori hanno un'architettura modulare, con livelli e attention head che possono essere facilmente scalati. Ciò consente di creare modelli su larga scala in grado di gestire in modo efficiente sequenze di dati estese. Elaborando lunghe sequenze in parallelo, i trasformatori riducono notevolmente i tempi di addestramento e di elaborazione. Questa efficienza consente lo sviluppo di modelli avanzati (come BERT e GPT) in grado di catturare rappresentazioni linguistiche complesse attraverso miliardi di parametri.
Tecniche come il transfer learning e la retrieval augmented generation (RAG) facilitano una personalizzazione più rapida ed efficace. Preaddestrati su grandi set di dati, questi modelli possono essere perfezionati su set di dati più piccoli e specifici, consentendo applicazioni personalizzate per diversi settori senza la necessità di ingenti investimenti, democratizzando di fatto l'accesso all'AI avanzata.
I trasformatori supportano lo sviluppo di sistemi di AI multimodali in grado di interpretare e generare contenuti da diversi tipi di dati, ad esempio creando immagini da descrizioni testuali. Combinando l'elaborazione del linguaggio naturale e la visione artificiale, i trasformatori consentono una comprensione e una creatività più complete e simili a quelle umane.
I trasformatori promuovono progressi significativi nella ricerca sull'AI e nell'innovazione industriale, come la codifica posizionale e i meccanismi di auto-attenzione. La codifica posizionale aiuta i modelli a tracciare la posizione delle parole in una sequenza, mentre l'auto-attenzione consente loro di valutare l'importanza di diverse parole in base alla loro pertinenza rispetto al contesto generale. Queste innovazioni hanno portato allo sviluppo accelerato di nuove architetture e applicazioni di AI.
Proprio come gli input che ricevono, i modelli trasformatori sono complessi e intricati, basati su diversi livelli software che operano di concerto per creare output pertinenti e intelligenti. Ciascuno dei seguenti componenti è essenziale per questo processo:
- Embedding di input
- Gli embedding di input convertono le sequenze di input in vettori matematici che i modelli di AI possono elaborare. I token (come le parole) vengono trasformati in vettori che trasportano informazioni semantiche e sintattiche apprese durante l'addestramento.
- Codifica posizionale
La codifica posizionale aggiunge segnali univoci all'embedding di ciascun token per indicare la sua posizione nella sequenza. Ciò garantisce che il modello possa preservare l'ordine dei token e comprenderne il contesto all'interno della sequenza.- Blocco trasformatore
Ogni blocco trasformatore è costituito da un meccanismo di auto-attenzione multi-head e da una rete neurale feed-forward. L'auto-attenzione valuta l'importanza dei diversi token, mentre la rete feed-forward elabora queste informazioni.- Blocchi lineari/softmax
Il blocco lineare mappa le rappresentazioni interne complesse nel dominio di input originale. La funzione softmax converte quindi l'output in una distribuzione di probabilità, che rappresenta la fiducia del modello in ogni possibile previsione.
Trasformare sequenze di input complesse in output pertinenti non è un compito semplice; si basa su diversi passaggi essenziali che incorporano i componenti chiave indicati sopra. Questi livelli software tentano di replicare il funzionamento del cervello umano, operando insieme per fornire al sistema la potenza di elaborazione necessaria per risolvere problemi complessi. Queste reti neurali elaborano simultaneamente ogni parte dei dati in sequenza. Durante questa operazione, i dati attraversano i seguenti passaggi:
- La sequenza di input viene trasformata in rappresentazioni numeriche chiamate embedding, che catturano il significato semantico dei token.
- La codifica posizionale aggiunge segnali univoci all'embedding di ciascun token per preservare l'ordine dei token nella sequenza.
- Il meccanismo di attenzione multi-head elabora questi embedding per catturare diverse relazioni tra i token.
- La normalizzazione dei livelli e le connessioni residue stabilizzano e velocizzano il processo di addestramento.
- L'output del livello di auto-attenzione passa attraverso reti neurali feed-forward per trasformazioni non lineari.
- Vengono impilati più blocchi di trasformatori, ognuno dei quali perfeziona l'output del livello precedente.
- In compiti come la traduzione, un modulo decodificatore separato genera la sequenza di output.
- Il modello viene addestrato utilizzando l'apprendimento supervisionato per ridurre al minimo la differenza tra previsioni e dati di base.
- Durante l'inferenza, il modello addestrato elabora nuove sequenze di input per generare previsioni o rappresentazioni.
I trasformatori trovano applicazioni pressoché infinite in ambito aziendale, consentendo di automatizzare compiti complessi di elaborazione dati, migliorare le interazioni con i clienti e promuovere l'innovazione in settori quali sanità, finanza e industrie creative. Tra gli utilizzi più importanti dei modelli trasformatori troviamo:
- Elaborazione del linguaggio naturale
- I trasformatori consentono alle macchine di comprendere, interpretare e generare il linguaggio umano in modo più accurato. Ciò supporta applicazioni come la sintesi di documenti e gli assistenti virtuali, che si basano su un linguaggio di comprensione preciso.
- Traduzione automatica
- Sono inoltre possibili traduzioni accurate e in tempo reale tra più lingue. La capacità dei trasformatori di gestire dipendenze e contesti a lungo raggio migliora significativamente la precisione delle traduzioni, soprattutto rispetto alle precedenti soluzioni basate su ricerca e sostituzione.
- Riconoscimento vocale
- Le applicazioni di conversione da parlato a testo possono essere migliorate trascrivendo accuratamente il linguaggio parlato in testo scritto. Ciò è particolarmente utile nello sviluppo di applicazioni a controllo vocale e nel miglioramento dell'accessibilità per le persone con problemi di udito.
- Generazione di immagini
- I modelli di generazione delle immagini utilizzano trasformatori per creare contenuti multimediali visivi a partire da descrizioni testuali, unendo l'elaborazione del linguaggio naturale alla visione artificiale. Questa funzionalità viene utilizzata in applicazioni creative, marketing e altro ancora.
- Analisi delle sequenze del DNA
- Trattando le sequenze di DNA in modo simile al testo, i trasformatori possono essere addestrati a prevedere mutazioni genetiche, comprendere schemi genetici e identificare regioni correlate alle malattie.
- Analisi della struttura proteica
- I trasformatori possono modellare la natura sequenziale degli amminoacidi nelle proteine, prevedendone le strutture 3D. Questa comprensione è fondamentale per la scoperta di farmaci e la comprensione dei processi biologici.
Introducendo l'elaborazione avanzata del linguaggio naturale, la traduzione automatica, il riconoscimento vocale e molto altro, i trasformatori hanno cambiato per sempre il modo in cui le aziende utilizzano l'AI, migliorando le operazioni in tutti i settori e mercati. Detto questo, non tutti gli approcci basati sull'AI sfruttano al meglio la tecnologia dei trasformatori.
ServiceNow si propone come partner essenziale per sfruttare al meglio l'AI per ottimizzare le attività aziendali. Basata sulla Now Platform® con tecnologie AI, la gamma di applicazioni di ServiceNow incorpora modelli di AI e trasformatori per fornire un facile accesso alla comprensione del linguaggio, all'analisi predittiva, a flussi di lavoro automatizzati e altro ancora. Questi strumenti consentono alle organizzazioni di semplificare le operazioni come mai prima d'ora, migliorando le interazioni con i clienti, ottenendo informazioni chiare e trasformando dati complessi in un vero e proprio vantaggio competitivo.
Scopri come i trasformatori possono trasformare la tua organizzazione in meglio; chiedi una demo ServiceNow oggi stesso!