L'apprendimento per rinforzo da feedback umano (RLHF) è una tecnica del machine learning in cui i modelli IA acquisiscono comportamenti attraverso un feedback umano diretto anziché tramite funzioni di ricompensa più tradizionali, migliorando in modo efficace le prestazioni e allineando meglio l'intelligenza artificiale con gli obiettivi e le aspettative umani.
La maggior parte dei moderni modelli linguistici dell'intelligenza artificiale è sorprendentemente utile per generare testo preciso, pertinente e simile a quello umano. Purtroppo, anche con tutte queste funzionalità, non sempre creano contenuti che un utente potrebbe considerare validi. Questo, almeno in parte, perché il concetto di validità è difficile da definire: persone diverse vogliono cose diverse dai modelli linguistici IA e ciò che rende una risposta valida varia naturalmente in base agli standard dell'utente e al contesto della situazione.
I metodi tradizionali di addestramento dell'intelligenza artificiale non sono sufficienti a risolvere le problematiche connesse all'utilizzo di questi sistemi. Al contrario, sono in genere progettati per prevedere la parola successiva più probabile in una sequenza basata sulle sequenze effettive di parole presentate nei rispettivi set di dati. Le metriche possono essere utilizzate per confrontare i contenuti generati con testi di riferimento specifici, ma rimangono comunque degli aspetti da migliorare. Alla fine, solo il giudizio umano può determinare se il testo generato dall'intelligenza artificiale è valido. Questo è il ragionamento alla base dell'apprendimento per rinforzo da feedback umano, o RLHF.
L'RLHF è una metodologia utilizzata per affinare ulteriormente i modelli linguistici IA, andando ben oltre gli approcci tradizionali di addestramento. Prevede l'addestramento del modello in base alle preferenze o alle correzioni fornite da agenti umani. Anziché semplicemente prevedere le sequenze di parole esaminando i dati, l'intelligenza artificiale può applicare l'RLHF in modo da allinearsi maggiormente con le idee umane di ciò che costituisce una risposta utile o positiva secondo gli standard umani. L'RLHF come concetto è stato suggerito per la prima volta da OpenAI nel 2019 ed è un'evoluzione dell'apprendimento per rinforzo (RL).
L'apprendimento per rinforzo da feedback umano e l'apprendimento per rinforzo tradizionale sono entrambi metodi di machine learning (ML) per l'addestramento dei sistemi di intelligenza artificiale, ma differiscono in modo significativo nel modo in cui conducono il processo di apprendimento. L'RL tradizionale si affida ai segnali di ricompensa provenienti dall'ambiente, il che significa che l'intelligenza artificiale riceve feedback dalle sue azioni nell'ambito di una serie predefinita di automazioni, imparando a massimizzare queste ricompense attraverso tentativi ed errori. Questo feedback automatizzato consente di definire ciò che è preciso o naturale ma non necessariamente in linea con le complesse preferenze umane.
Al contrario, l'RLHF incorpora un feedback umano diretto nel ciclo di apprendimento, fornendo all'intelligenza artificiale informazioni reali e contestualmente rilevanti su ciò che gli esseri umani considerano risultati di alta qualità o auspicabili. Questo metodo consente all'intelligenza artificiale di imparare non solo ad eseguire le attività, ma anche ad adattare le sue risposte in base ai giudizi umani, rendendola più efficace per le applicazioni in cui è essenziale una comprensione simile a quella umana.
L'RLHF è un approccio unico per addestrare i modelli linguistici di intelligenza artificiale, che coinvolge diversi passaggi critici progettati per allineare ulteriormente l'AI alle aspettative e ai valori umani. Gli aspetti principali di queste fasi includono:
La base dell'RLHF prevede l'addestramento preliminare di un modello linguistico su un ampio numero di dati di testo. Questa fase permette al modello di acquisire una vasta gamma di schemi e contesti linguistici, prima ancora che avvenga l'addestramento più specialistico.
L'addestramento preliminare fornisce all'IA abilità linguistiche generali, rendendo possibile la comprensione e la generazione di testo coerente. Questa fase utilizza in genere tecniche di apprendimento senza supervisione, in cui il modello impara a prevedere la parola successiva in frasi senza alcun feedback esplicito sulla qualità dei risultati.
Una volta completato l'addestramento preliminare iniziale, la fase successiva prevede la raccolta di dati appositamente progettata per l'addestramento di un modello di ricompensa. Questo modello è fondamentale per l'RLHF, poiché traduce le valutazioni umane dei risultati testuali del modello in un segnale di ricompensa numerico.
L'addestramento di un modello di ricompensa RLHF inizia raccogliendo il feedback umano sui risultati generati dal modello linguistico. Questo feedback può includere classifiche dirette, valutazioni o scelte tra le opzioni disponibili. I dati raccolti vengono quindi utilizzati per insegnare al modello di ricompensa la capacità del testo di allinearsi alle preferenze umane. L'efficacia del modello di ricompensa dipende dalla qualità e dal volume del feedback umano.
La fase finale del processo di RLHF prevede la messa a punto del modello linguistico pre-addestrato utilizzando il modello di ricompensa addestrato attraverso tecniche di apprendimento per rinforzo. Questa fase regola i parametri del modello linguistico per massimizzare le ricompense ricevute dal modello di ricompensa, ottimizzando in modo efficace la generazione di testo per produrre risultati maggiormente allineati alle preferenze umane.
L'uso dell'apprendimento per rinforzo consente al modello di migliorare iterativamente in base al feedback continuo, ottimizzando la sua capacità di generare testo che soddisfi gli standard umani specifici o raggiunga altri obiettivi specifici.
L'apprendimento per rinforzo da feedback umano rappresenta un progresso significativo nell'addestramento dell'intelligenza artificiale, andando oltre i metodi tradizionali per incorporare informazioni umane dirette nello sviluppo dei modelli. In parole semplici, può fare molto più che prevedere quali parole (statisticamente) sono le successive in sequenza. Ciò avvicina ulteriormente il mondo alla realizzazione di modelli linguistici di intelligenza artificiale che possano fornire risposte davvero intelligenti.
Naturalmente, l'RLHF presenta molti vantaggi più immediati, in particolare in relazione agli aspetti che sono di maggiore preoccupazione per le aziende. Questo approccio all'addestramento dell'intelligenza artificiale offre numerosi vantaggi degni di nota, quali:
Riduzione dei tempi di addestramento
Integrando il feedback diretto, l'RLHF accelera il processo di apprendimento, consentendo ai modelli di raggiungere più rapidamente i risultati desiderati. Ciò può essere applicato ai chatbot interni ed esterni, così che possano comprendere e rispondere più rapidamente a diverse richieste di informazioni da parte degli utenti.Parametri di addestramento più complessi
L'RLHF è in grado di gestire scenari di addestramento delicati e sofisticati che i modelli tradizionali non possono gestire, utilizzando il giudizio umano per guidare l'apprendimento e stabilire parametri in aree che altrimenti sarebbero considerate soggettive. I sistemi di raccomandazione dei contenuti possono trarre vantaggio da questo aspetto dell'RLHF, adattandosi a variazioni sottili nelle preferenze degli utenti nel tempo.Miglioramento delle prestazioni IA
I modelli addestrati con RLHF in genere mostrano prestazioni migliori, in quanto vengono costantemente perfezionati attraverso feedback iterativi per soddisfare meglio gli standard umani. L'ottimizzazione delle prestazioni degli strumenti di traduzione con RLHF produce traduzioni più naturali e contestuali.Mitigazione del rischio
L'integrazione del feedback umano garantisce che i sistemi di intelligenza artificiale agiscano come previsto, riducendo al minimo il rischio di comportamenti dannosi o indesiderati. Ad esempio, all'implementazione di veicoli autonomi è dedicata una più rigida supervisione umana in fase di addestramento dell'intelligenza artificiale.Maggiore sicurezza
I modelli di addestramento incentrati sul feedback umano assicurano che i sistemi di intelligenza artificiale agiscano in modo sicuro e prevedibile in scenari reali. Il miglioramento dei sistemi di diagnostica medica con RLHF aiuta gli operatori sanitari assistiti da intelligenza artificiale a evitare raccomandazioni dannose e a dare maggiore priorità alla sicurezza dei pazienti.Conformità etica
L'RLHF consente ai modelli di riflettere considerazioni etiche e norme sociali, garantendo che le decisioni relative all'intelligenza artificiale vengano prese tenendo conto dei valori umani. I pregiudizi possono essere identificati ed eliminati in maniera più tempestiva, impedendone la penetrazione nei post pubblicati sui social o in altri contenuti del marchio.Maggiore soddisfazione degli utenti
Allineando ulteriormente gli output dell'intelligenza artificiale alle aspettative umane, l'RLHF migliora l'esperienza utente complessiva.Garanzia di apprendimento e l'adattamento continui
I modelli RLHF sono progettati per adattarsi nel tempo alle nuove informazioni e ai cambiamenti delle preferenze umane, mantenendo la loro rilevanza ed efficacia.
Sebbene l'apprendimento con rinforzo da feedback umano offra numerosi vantaggi, presenta anche diverse sfide che possono ostacolarne l'efficacia nel contesto aziendale. Comprendere queste sfide è fondamentale per le organizzazioni che considerano l'RLHF un'opzione per migliorare i propri sistemi di intelligenza artificiale:
La necessità di un intervento umano continuo può rendere l'RLHF una possibilità costosa, in particolare perché si richiede il contributo di addetti all'annotazione esperti per fornire un feedback preciso e utile. L'automazione di alcune fasi del processo di feedback attraverso il machine learning può rappresentare una soluzione parziale al problema, contribuendo a ridurre la dipendenza dell'input umano e quindi abbassando i costi complessivi.
I giudizi umani possono variare ampiamente e sono spesso influenzati dai pregiudizi individuali. Ciò può influire sulla coerenza e l'affidabilità dei dati di addestramento. Per contrastare questo rischio, è opportuno utilizzare un team diversificato di agenti umani addetti all'annotazione per fornire una prospettiva più bilanciata sulle prestazioni dell'IA.
Gli agenti umani addetti all'annotazione non sempre concordano su ciò che costituisce una risposta "valida" o "utile", aspetto che può portare a valutazioni incoerenti o contraddittorie. Per garantire concordanza, i team di revisione possono impiegare meccanismi di risoluzione dei conflitti e strategie di consenso per incoraggiare un feedback più armonizzato.
Incorporare il feedback umano nel processo di addestramento dell'intelligenza artificiale può apparire come un approccio meno complesso quando confrontato con i metodi di addestramento più autonomi. Tuttavia, l'RLHF utilizza modelli matematici complessi per ottimizzare il comportamento dell'intelligenza artificiale in base a input umani diversi. Questo approccio sofisticato combina feedback valutativo umano e addestramento algoritmico per guidare i sistemi IA, rendendoli più efficaci e reattivi alle preferenze umane.
Di seguito sono riportati i componenti essenziali coinvolti in questo processo:
Lo spazio di stato nell'RLHF rappresenta tutte le informazioni rilevanti disponibili all'intelligenza artificiale in un dato momento durante il processo decisionale. Ciò include tutte le variabili che potrebbero influenzarne le decisioni, indipendentemente dal fatto che siano già fornite o che debbano essere dedotte. Lo spazio di stato è dinamico, poiché cambia costantemente a seconda delle interazioni dell'IA con l'ambiente circostante e dei nuovi dati che vengono acquisiti.
Lo spazio d'azione è straordinariamente ampio e comprende la serie completa di risposte o generazioni di testo che il modello di intelligenza artificiale potrebbe produrre in risposta a un prompt. L'enorme spazio d'azione nei modelli linguistici rende l'RLHF particolarmente difficile ma, al contempo, incredibilmente potente per la generazione di risposte contestualmente appropriate.
La funzione di ricompensa nell'RLHF quantifica il successo delle azioni dell'intelligenza artificiale in base al feedback umano. A differenza dell'apprendimento per rinforzo tradizionale, in cui le ricompense sono predefinite e spesso semplice, l'RLHF utilizza il feedback umano per creare un segnale di ricompensa meno rigido. Il feedback valuta i risultati dell'intelligenza artificiale in base alla qualità, alla rilevanza o all'aderenza ai valori umani, convertendo questa valutazione in una misura quantitativa che guida l'apprendimento.
Ci si avvale di vincoli per impedire all'intelligenza artificiale di cadere in comportamenti indesiderati. Può trattarsi di linee guida etiche, considerazioni sulla sicurezza o semplicemente di stabilire limiti entro i quali l'intelligenza artificiale deve operare. Un modello linguistico può essere penalizzato se genera contenuti offensivi o se si discosta troppo dal tema principale. I vincoli contribuiscono a garantire che i risultati dell'intelligenza artificiale rimangano entro i limiti di ciò che è considerato accettabile o previsto dagli addestratori umani.
Il criterio RLHF stabilisce il processo decisionale dell'intelligenza artificiale, mappando lo stato corrente all'azione successiva. Si tratta essenzialmente delle linee guida per il comportamento del modello, che vengono continuamente ottimizzate in base al feedback delle ricompense. L'obiettivo del criterio è massimizzare la ricompensa cumulativa, allineando in tal modo le azioni dell'IA ancora di più alle aspettative e preferenze umane.
In quanto approccio potente e innovativo all'addestramento linguistico dell'IA, l'RLHF ha anche un impatto evidente sul campo correlato dell'intelligenza artificiale generativa (GenAI). Ciò rende possibili output più approfonditi e contestualmente appropriati in varie applicazioni generative. Esempi di come l'RLHF può essere applicato alla GenAI includono:
L'RLHF estende la sua utilità oltre i modelli linguistici ad altre forme di intelligenza artificiale generativa, come la generazione di immagini e musica. Ad esempio, nella generazione di immagini con intelligenza artificiale, l'RLHF può essere utilizzato per valutare e migliorare l'aspetto realistico o l'impatto emotivo delle opere d'arte, fondamentale per le applicazioni nell'arte digitale o nella pubblicità. Analogamente, nell'ambito della generazione di musica, l'RLHF aiuta a creare tracce maggiormente affini con specifiche attività o stati emotivi, aumentando il coinvolgimento degli utenti in aree come le app per il fitness o le terapie per la salute mentale. Ciò può portare la GenAI oltre l'applicazione più comune per la generazione di contenuti scritti.
Nella tecnologia vocale, l'RLHF perfeziona il modo in cui gli assistenti vocali interagiscono con gli utenti, dandone un'impressione di maggiore cordialità, curiosità, affidabilità e così via. Grazie al'addestramento degli assistenti vocali per rispondere in modo sempre più simile a quello umano, l'RLHF aumenta la probabilità di soddisfazione degli utenti e di coinvolgimento a lungo termine.
Dal momento che ciò che viene considerato "utile" o "interessante" può variare notevolmente da una persona a un'altra, l'RLHF consente di personalizzare i comportamenti dell'IA per soddisfare meglio le diverse aspettative degli utenti e le diverse norme culturali. Ogni modello può essere addestrato mediante il feedback di diversi gruppi di persone, il che consente di delineare una più ampia gamma di risposte simili a quelle umane, per una maggiore probabilità di soddisfare le preferenze specifiche degli utenti.
L'RLHF è un approccio all'addestramento dell'IA incentrato sulle persone, il che lo rende indubbiamente vantaggioso per i modelli linguistici progettati per interagire direttamente con gli utenti. ServiceNow, leader nell'automazione dei flussi di lavoro, ha sfruttato questo concetto.
La pluripremiata piattaforma Now Platform® di ServiceNow è completamente integrata con funzionalità di intelligenza artificiale avanzate in grado di supportare le strategie RLHF di ogni azienda. Con funzionalità progettate per migliorare l'esperienza utente e semplificare le operazioni, la Now Platform facilita la creazione e la manutenzione di flussi di lavoro intelligenti che possono essere adattati in base al feedback e alle interazioni degli utenti.
Ottieni il massimo da strumenti completi, controllo centralizzato, visibilità senza pari e dal supporto affidabile che hanno reso ServiceNow lo standard di riferimento tra i fornitori di soluzioni di intelligenza artificiale. Guarda la demo di ServiceNow oggi stesso e inizia a ottimizzare il tuo approccio all'intelligenza artificiale.