L’apprentissage par renforcement avec rétroaction humaine (ARRH) est une technique d’apprentissage machine par laquelle les modèles d’IA apprennent des comportements par l’entremise de la rétroaction humaine directement formulée plutôt que par des fonctions de récompense plus traditionnelles, ce qui améliore efficacement la performance tout en harmonisant mieux l’intelligence artificielle avec les objectifs et les attentes de l’être humain.
La plupart des modèles modernes de langage IA sont étonnamment capables de générer des textes exacts, pertinents et semblables à ceux générés par des êtres humains. Malheureusement, même avec toutes ces capacités, ils ne créent pas toujours du contenu qu’un utilisateur pourrait considérer comme « bon ». C’est, du moins en partie, parce que le concept de « bon » est très difficile à définir : différentes personnes veulent des choses différentes des modèles de langage IA, et ce qui constitue une bonne réponse variera naturellement selon les normes de l’utilisateur et le contexte de la situation.
Les méthodes traditionnelles d’entraînement de l’IA ne répondent pas à ces préoccupations. Elles sont plutôt conçues pour prédire le prochain mot le plus probable dans une séquence en fonction des séquences réelles de mots présentées dans leur ensemble de données. Des mesures peuvent être prises pour comparer le contenu généré à des textes de référence précis, mais elles laissent toujours à désirer. En fin de compte, seul le jugement humain peut déterminer si le texte généré par l’IA est « bon ». Voilà le raisonnement qui sous-tend l’apprentissage par renforcement avec rétroaction humaine, ou ARRH.
L’ARRH est une méthode utilisée pour affiner les modèles de langage IA au-delà des méthodes d’entraînement traditionnelles. Elle consiste à entraîner le modèle en fonction des préférences ou des corrections apportées par des êtres humains vivants. Plutôt que de simplement prédire les séquences de mots en examinant les données, l’IA peut appliquer l’ARRH pour correspondre plus étroitement aux idées humaines sur ce qui constitue une réponse bonne ou utile selon les normes humaines. C’est en 2019 qu’OpenAI a proposé pour la première fois le concept d’ARRH; et c’était là une évolution de la technique de l’apprentissage par renforcement.
L’apprentissage par renforcement avec rétroaction humaine et l’apprentissage par renforcement traditionnel sont tous deux des méthodes d’apprentissage machine utilisées pour l’entraînement de systèmes d’IA, mais elles diffèrent considérablement dans la façon dont elles orientent le processus d’apprentissage. L’apprentissage par renforcement traditionnel s’appuie sur les signaux de récompense provenant de l’environnement, ce qui signifie que l’IA reçoit une rétroaction de ses actions dans un ensemble prédéfini d’automatisations, apprenant à maximiser ces récompenses par essais et erreurs. Cette rétroaction automatisée aide à définir ce qui est exact ou naturel, mais ne correspond pas nécessairement aux préférences humaines complexes.
En revanche, l’ARRH intègre la rétroaction humaine directe dans la boucle d’apprentissage, fournissant à l’IA des aperçus réels et pertinents sur le plan contextuel de ce que les humains considèrent comme des résultats de grande qualité ou souhaitables. Cette méthode permet à l’IA d’apprendre non seulement à accomplir des tâches, mais aussi à adapter ses réponses en fonction des jugements humains, ce qui la rend plus efficace pour des applications où la compréhension de type humain est essentielle.
L’ARRH est une approche unique de l’entraînement des modèles de langage IA, une approche qui comprend plusieurs étapes essentielles conçues pour mieux aligner l’IA sur les attentes et valeurs des êtres humains. Les principaux aspects de ces étapes sont les suivants :
La base de l’ARRH implique l’entraînement préalable d’un modèle de langage à l’aide d’un vaste corpus de données textuelles. Cette phase permet au modèle d’apprendre un large éventail de motifs et de contextes linguistiques avant l’entraînement plus spécialisé.
L’entraînement au préalable de l’IA dote celle-ci de capacités linguistiques générales, ce qui lui permet de comprendre et de générer des textes cohérents. Cette étape utilise généralement des techniques d’apprentissage non supervisées, où le modèle apprend à prédire le prochain mot dans les phrases sans rétroaction explicite sur la qualité de ses extrants.
Une fois l’entraînement au préalable initial terminé, la prochaine étape consiste à recueillir des données spécialement conçues pour l’entraînement d’un modèle de récompense. Ce modèle est fondamental pour l’ARRH, car il traduit les évaluations humaines des extrants textuels du modèle en un signal de récompense numérique.
L’entraînement d’un modèle de récompense ARRH commence par la collecte de rétroaction humaine sur les extrants générés par le modèle de langage. Cette rétroaction pourrait comprendre des classements directs, des cotes ou des choix entre les options disponibles. Les données recueillies sont ensuite utilisées pour enseigner le modèle de récompense à estimer dans quelle mesure le texte correspond aux préférences humaines. L’efficacité du modèle de récompense dépend de la qualité et du volume de la rétroaction humaine.
La dernière étape du processus d’ARRH consiste à peaufiner le modèle de langage préentraîné en utilisant le modèle de récompense entraîné au moyen de techniques d’apprentissage par renforcement. À cette étape, les paramètres du modèle de langage sont ajustés afin d’optimiser les récompenses qu’il reçoit du modèle de récompense, en tirant parti efficacement de la génération de texte pour produire des extrants qui correspondent davantage aux préférences humaines.
L’utilisation de l’apprentissage par renforcement permet au modèle de s’améliorer de façon itérative en fonction de la rétroaction continue, ce qui améliore sa capacité à générer du texte qui répond à des normes humaines particulières ou qui atteint d’autres objectifs précis.
L’apprentissage par renforcement avec rétroaction humaine représente une avancée notable dans l’entraînement de l’IA, allant au-delà des méthodes traditionnelles pour intégrer des connaissances humaines directes dans l’élaboration de modèles. En d’autres termes, il peut faire plus que simplement prédire quels mots (statistiquement parlant) devraient suivre dans une séquence. Cette technologie rapproche le monde de la création de modèles de langage IA qui peuvent fournir des réponses vraiment intelligentes.
Bien sûr, l’ARRH offre de nombreux avantages immédiats, en particulier pour les entreprises. Cette approche de l’entraînement de l’IA offre plusieurs avantages dignes de mention, notamment :
Réduction du temps d’entraînement
En intégrant la rétroaction directe, l’ARRH accélère le processus d’apprentissage, ce qui permet aux modèles d’atteindre les résultats souhaités plus rapidement. Cela peut s’appliquer aux robots conversationnels internes et externes, de sorte que ceux-ci peuvent comprendre les diverses demandes des utilisateurs et y répondre plus rapidement.Paramètres d’entraînement plus complexes
L’ARRH peut traiter des scénarios d’entraînement subtils et complexes, contrairement aux modèles traditionnels, en utilisant le jugement humain pour orienter l’apprentissage et établir des paramètres dans des domaines qui seraient autrement considérés comme subjectifs. Les systèmes de recommandation de contenu peuvent tirer parti de cet aspect de l’ARRH, en s’adaptant aux légères variations des préférences des utilisateurs au fil du temps.Amélioration des performances de l’IA
Les modèles entraînés avec l’ARRH affichent généralement une meilleure performance, car ils sont continuellement peaufinés grâce à une rétroaction itérative pour mieux répondre aux normes humaines. L’amélioration de la performance des outils de traduction linguistique grâce à l’ARRH produit des traductions plus naturelles et pertinentes sur le plan contextuel.Atténuation des risques
L’intégration de la rétroaction humaine permet de s’assurer que les systèmes d’IA agissent de la façon prévue et attendue, en réduisant au minimum le risque de comportements nuisibles ou involontaires. Par exemple, le déploiement de véhicules autonomes bénéficie d’une plus grande surveillance humaine durant l’entraînement de l’IA.Amélioration de la sécurité
Les modèles d’entraînement axés sur la rétroaction humaine garantissent que les systèmes d’IA agissent de façon sécuritaire et prévisible dans des scénarios concrets. L’amélioration des systèmes de diagnostic médical à l’aide de l’ARRH aide les fournisseurs de soins de santé assistés de l’IA à éviter de formuler des recommandations dangereuses et à mieux hiérarchiser la sécurité des patients.Respect de l’éthique
L’ARRH permet aux modèles de refléter les considérations éthiques et les normes sociales, en veillant à ce que les décisions en matière d’IA soient prises en tenant compte des valeurs humaines. Les préjugés peuvent être repérés et éliminés plus rapidement, afin de prévenir leur intégration dans les publications générées dans les médias sociaux ou d’autres contenus de marque.Satisfaction des utilisateurs accrue
En alignant plus étroitement les résultats de l’IA sur les attentes humaines, l’ARRH améliore l’expérience globale de l’utilisateur.Apprentissage et adaptation en continu
Les modèles fondés sur l’ARRH s’adaptent au fil du temps à de nouvelles informations et à l’évolution des préférences humaines, en maintenant leur pertinence et leur efficacité.
Bien que l’apprentissage par renforcement avec rétroaction humaine offre de nombreux avantages, il comporte également un certain nombre de défis qui peuvent nuire à son efficacité dans le secteur des affaires. Il est essentiel que les entreprises qui considèrent l’ARRH comme une option pour améliorer leurs systèmes d’IA comprennent les défis suivants :
La nécessité d’un apport humain continu peut faire de l’ARRH une solution potentiellement coûteuse, en particulier parce que des annotateurs experts sont nécessaires pour fournir une rétroaction précise et utile. L’automatisation de certaines parties du processus de rétroaction au moyen de techniques d’apprentissage machine peut fournir une solution partielle, réduisant une partie de la dépendance à l’égard de la contribution humaine, ainsi que les coûts.
Les jugements humains peuvent varier considérablement et sont souvent influencés par des préjugés personnels. Cela peut avoir une incidence sur la cohérence et la fiabilité des données d’entraînement. Pour contrer ce risque, utilisez un groupe diversifié d’annotateurs humains capables de fournir une perspective plus équilibrée sur la performance de l’IA.
Les annotateurs, des êtres vivants, ne s’entendront pas toujours sur ce qui constitue une réponse « bonne » ou « utile », ce qui peut mener à des évaluations incohérentes ou contradictoires. Afin d’assurer la solidarité, les équipes d’examen peuvent utiliser des mécanismes de résolution des conflits et des stratégies de recherche de consensus pour encourager une rétroaction plus harmonisée.
La méthode de l’intégration de la rétroaction humaine dans l’entraînement de l’IA peut sembler moins compliquée que les méthodes d’entraînement plus autonomes. La réalité est que l’ARRH s’appuie néanmoins sur des modèles mathématiques complexes pour optimiser le comportement de l’IA en fonction de l’apport humain nuancé. Cette méthode complexe combine la rétroaction évaluative humaine et l’entraînement algorithmique pour orienter les systèmes d’IA, les rendant plus efficaces et plus sensibles aux préférences humaines.
Voici les composantes essentielles de ce processus :
L’espace d’états dans l’ARRH représente tous les renseignements pertinents dont dispose l’IA à tout moment au cours de son processus décisionnel. Cela inclut toutes les variables susceptibles d’influencer ses décisions, qu’elles soient déjà fournies ou qu’elles doivent être déduites. L’espace d’états est dynamique et évolue à mesure que l’IA interagit avec son environnement et collecte de nouvelles données.
L’espace d’actions est extraordinairement vaste, englobant l’ensemble complet des réponses ou des générations de texte que le modèle d’IA pourrait produire en réponse à une invite. L’ampleur de l’espace d’actions dans les modèles de langage rend l’ARRH particulièrement difficile, mais aussi incroyablement puissant pour générer des réponses adaptées au contexte.
La fonction de récompense dans l’ARRH quantifie la réussite des actions de l’IA en fonction de la rétroaction humaine. Contrairement à l’apprentissage par renforcement traditionnel, où les récompenses sont prédéfinies et souvent simplistes, l’ARRH utilise la rétroaction humaine pour créer un signal de récompense plus nuancé. La rétroaction évalue les extrants de l’IA en fonction de la qualité, de la pertinence ou du respect des valeurs humaines, et convertit cette évaluation en une mesure quantitative qui favorise l’apprentissage.
Les contraintes servent à éloigner l’IA des comportements indésirables. Il peut s’agir de lignes directrices éthiques, de considérations de sécurité ou simplement de limites établies à l’intérieur desquelles l’IA doit fonctionner. Par exemple, un modèle de langage peut être pénalisé s’il génère un contenu injurieux ou qui s’écarte trop d’un sujet. Les contraintes permettent de s’assurer que les extrants de l’IA demeurent dans les limites de ce qui est considéré comme acceptable ou souhaité par les formateurs humains.
La politique relative à l’ARRH dicte le processus décisionnel de l’IA, en établissant une correspondance entre l’état actuel et l’action suivante. Il s’agit essentiellement de la ligne directrice du modèle en matière de comportement, qui est optimisée en permanence en fonction de la rétroaction de récompense. La politique vise à maximiser la récompense cumulative, en alignant ainsi les actions de l’IA sur les attentes et les préférences humaines.
En tant que méthode percutante et novatrice de l’entraînement du langage IA, l’ARRH a également un impact évident sur le domaine connexe de l’IA générative. Cela permet d’obtenir des extrants plus pertinents et mieux adaptés au contexte pour diverses applications génératives. Exemples d’application de l’ARRH à l’IA générative :
L’ARRH étend son utilité au-delà des modèles de langage à d’autres formes d’IA générative, telles que la génération d’images et de musique. Par exemple, dans le cadre de la génération d’images par IA, l’ARRH peut servir à évaluer et améliorer le réalisme ou l’impact émotionnel des œuvres d’art, ce qui est crucial pour les applications dans les secteurs de l’art numérique ou de la publicité. De même, concernant la génération de musique, l’ARRH permet de créer des pistes qui résonnent mieux avec des tonalités ou des activités émotionnelles particulières, afin d’augmenter la mobilisation des utilisateurs dans des domaines tels que les applications de conditionnement physique ou la thérapie en santé mentale. L’IA générative peut ainsi aller au-delà de l’application plus courante de la génération de contenu écrit.
Dans le domaine de la technologie vocale, l’ARRH affine la façon dont les assistants vocaux interagissent avec les utilisateurs, en les rendant plus conviviaux, curieux, fiables, etc. En entraînant les assistants vocaux à répondre d’une façon qui est de plus en plus humaine, l’ARRH augmente la probabilité de satisfaction et d’engagement des utilisateurs à long terme.
Compte tenu du fait que ce qui est considéré comme « utile » ou « attrayant » peut varier considérablement d’une personne à l’autre, l’ARRH permet la personnalisation des comportements liés à l’IA afin de mieux répondre aux diverses attentes des utilisateurs et aux normes culturelles. Il est possible d’entraîner chaque modèle au moyen de la rétroaction de différents groupes de personnes, ce qui permet d’obtenir un plus large éventail de réponses semblables à celles formulées par des humains, qui sont plus susceptibles de satisfaire à des préférences particulières des utilisateurs.
L’ARRH est une méthode centrée sur l’humain pour l’entraînement de l’IA, ce qui en fait un avantage indéniable pour les modèles de langage conçus pour interagir directement avec les utilisateurs. ServiceNow, le chef de file de l’automatisation des flux de travail, a exploité ce concept.
L’outil primé ServiceNow AI Platform de ServiceNow est entièrement intégré et doté de capacités avancées en matière d’IA qui permettent de soutenir les stratégies liées à l’ARRH de votre entreprise. Grâce à des fonctionnalités conçues pour améliorer l’expérience utilisateur et simplifier les activités, ServiceNow AI Platform facilite la création et l’entretien de flux de travail intelligents qui peuvent s’adapter en fonction de la rétroaction des utilisateurs et des interactions avec ceux-ci.
Profitez des outils complets, du contrôle centralisé, d’une visibilité inégalée et d’un soutien fiable qui ont fait de ServiceNow la référence incontournable parmi les fournisseurs de solutions d’IA. Demandez une démonstration de ServiceNow dès aujourd’hui et commencez à optimiser votre approche en matière d’IA.