La génération augmentée par récupération (RAG) améliore les grands modèles de langage en intégrant des données provenant de bases de connaissances externes, afin d’améliorer la précision et la pertinence des résultats sans réentraînement. Elle est ainsi efficace et adaptable pour des domaines spécifiques.
La génération augmentée par récupération est un terme créé par Patrick Lewis dans un article de 2020. Il y présente une méthode qui a considérablement élargi les capacités des modèles d’IA générative en les intégrant à des sources de connaissances externes. Cette intégration a été conçue pour améliorer la précision et l’applicabilité des modèles dans différents contextes, propulsant la RAG dans un champ de recherche et d’application en rapide expansion.
Le terme « génération augmentée par récupération » décrit précisément la fonction principale de la méthodologie : augmenter le processus de génération des modèles d’IA par la récupération de données externes. Le concept a rapidement pris de l’ampleur, puis a été largement adopté par les milieux universitaires et commerciaux. Aujourd’hui, la RAG est à la base de nombreux systèmes d’IA dans des environnements de recherche et des applications réelles, ce qui représente une évolution cruciale dans la façon dont les modèles génératifs sont utilisés et développés.
La RAG commence par collecter des données auprès de diverses sources telles que des sites Web, des bases de données ou des documents. Ces données sont ensuite converties dans un format que le modèle peut rechercher et utiliser, créant ainsi une sorte de bibliothèque de connaissances externes.
Les grands modèles de langage (LLM) sont à la pointe du progrès en matière d’intelligence artificielle, notamment dans les applications de traitement du langage naturel telles que les chatbots intelligents. Ces modèles sont conçus pour comprendre et générer du texte de type humain dans le but de fournir des réponses justes dans différents contextes. Cependant, il existe des difficultés inhérentes aux LLM qui nuisent à leur fiabilité.
L’un des principaux problèmes des LLM est leur tendance à fournir des réponses qui peuvent être inexactes, obsolètes ou basées sur des sources non officielles. Étant donné que les LLM fonctionnent sur des ensembles de données fixes, leurs connaissances sont figées au moment de leur dernier entraînement.
La RAG répond à ces problématiques en intégrant un mécanisme de récupération qui puise dans des sources de connaissances externes fiables et à jour avant de générer des réponses. Cette approche améliore la justesse et la pertinence des informations fournies par les LLM tout en garantissant que les réponses sont fondées sur des données vérifiées. Ainsi, la RAG renforce la confiance des utilisateurs et le contrôle des résultats des applications d’IA.
La génération augmentée par récupération révolutionne diverses fonctions business en améliorant la précision et la personnalisation des tâches guidées par l’IA. Voici quelques exemples de cas d’utilisation clés dans lesquels la RAG a une influence majeure.
La technologie de RAG transforme le service client grâce à des chatbots et des assistants virtuels de pointe qui fournissent des réponses plus précises et pertinentes en contexte. En accédant aux informations et données les plus récentes provenant de sources fiables, ces systèmes d’IA peuvent offrir des solutions rapides et personnalisées aux demandes des clients. Cela permet d’améliorer la rapidité de réponse et donc de renforcer la satisfaction client et l’efficacité opérationnelle.
La RAG aide également les entreprises à créer des contenus pertinents et de grande qualité, tels que des articles de blog ou des descriptions de produits. En exploitant sa capacité à extraire et à intégrer des données provenant de diverses sources externes et internes, la RAG garantit que le contenu est à la fois attrayant et riche en informations vérifiées. Cela permet d’économiser beaucoup de temps et de ressources dans les processus de développement de contenu.
La RAG est un outil précieux pour mener des études de marché approfondies en compilant et en analysant des informations provenant d’un large éventail de sources en ligne, notamment des organes de presse, des rapports du secteur et des réseaux sociaux. Cela permet aux entreprises de garder une longueur d’avance sur les tendances du marché et de prendre des décisions étayées par les données qui s’alignent sur la dynamique actuelle du marché et les comportements des consommateurs.
L’utilisation de la RAG peut considérablement améliorer le processus de vente en fournissant une assistance virtuelle qui peut accéder aux informations sur les produits (spécifications, niveaux d’inventaire, etc.) et les transmettre. Elle peut répondre aux questions des clients en temps réel et formuler des recommandations personnalisées en fonction de leurs préférences et des interactions précédentes. Elle peut même extraire des avis et des commentaires issus de différents canaux pour aider les consommateurs à prendre des décisions en matière d’achats.
La RAG peut améliorer l’expérience employé en créant un centre de connaissances facile d’accès. En s’intégrant aux bases de données internes, la RAG fournit aux employés des informations précises et à jour sur tous les sujets : politiques de l’entreprise, procédures opérationnelles, etc. Le personnel est donc mieux informé et les processus internes peuvent être rationalisés en réduisant le temps consacré à la recherche d’informations.
La RAG et la recherche sémantique améliorent toutes deux les LLM, mais elles remplissent des fonctions distinctes. La RAG améliore les LLM en les intégrant à des sources de connaissances externes, ce qui contribue à générer des réponses justes et pertinentes. Elle est particulièrement utile dans des domaines comme l’assistance client ou la génération de contenu qui nécessitent des informations précises et à jour.
De son côté, la recherche sémantique est axée sur la compréhension de l’intention et du sens contextuel des requêtes. Elle utilise la compréhension du langage naturel pour parcourir de grandes bases de données et récupérer des informations qui concordent sur le plan sémantique avec les demandes des utilisateurs.
Alors que la RAG exploite les données externes pour enrichir les résultats des LLM, la recherche sémantique automatise le processus de récupération des données, en gérant des complexités telles que les plongements lexicaux ou la segmentation des documents. Cela réduit les efforts manuels de préparation des données et garantit la pertinence et la qualité des informations utilisées par les LLM.
Ensemble, la RAG et la recherche sémantique renforcent le fonctionnement et la précision des applications d’IA en améliorant à la fois les processus de récupération et de génération.
La RAG s’appuie sur plusieurs composants essentiels au sein de son architecture pour améliorer le fonctionnement des LLM.
- Couche d’orchestration
Ce composant joue le rôle de coordinateur central au sein du système de RAG. Il traite les entrées de l’utilisateur ainsi que toutes les métadonnées associées, telles que l’historique des conversations. La couche d’orchestration dirige les requêtes vers le LLM et gère la transmission de la réponse générée. Cette couche intègre généralement différents outils et scripts personnalisés, souvent écrits en Python, pour garantir un fonctionnement fluide sur l’ensemble du système. - Outils de récupération
Ils sont essentiels pour trouver le contexte nécessaire en vue d’ancrer et d’étayer les réponses du LLM. Les outils de récupération incluent des bases de données servant de bases de connaissances et des systèmes basés sur des API qui récupèrent les informations pertinentes. Ces outils constituent le socle factuel des réponses : ils veillent à ce qu’elles soient à la fois justes et pertinentes sur le plan contextuel. - LLM
Le grand modèle de langage est l’élément principal qui génère des réponses basées sur les invites et les informations récupérées. Qu’il soit hébergé par un fournisseur tiers comme OpenAI ou opéré en interne, le LLM utilise des paramètres entraînés par de nombreuses données pour produire des résultats nuancés et adaptés au contexte.
La mise en œuvre de la génération augmentée par récupération s’accompagne d’un ensemble de défis auxquels les entreprises doivent faire face. Voici quelques points importants à prendre en compte :
Technologie relativement nouvelle, la RAG nécessite une connaissance approfondie et un personnel qualifié pour une mise en œuvre efficace. Cette nouveauté peut entraîner des incertitudes quant à son déploiement et à l’intégration aux systèmes existants.
L’intégration de la RAG dans les infrastructures existantes suppose souvent des investissements de départ en technologie et en formation. Les entreprises peuvent être confrontées à des coûts initiaux importants lorsqu’elles acquièrent des ressources et une expertise spécifiques.
Il est essentiel de déterminer les méthodes les plus efficaces pour modéliser et structurer les données à utiliser dans un système de RAG. Il faut pour cela sélectionner les sources et les formats de données adaptés aux besoins de l’entreprise et aux capacités du LLM.
Il est indispensable d’établir des exigences claires pour les processus qui utiliseront la RAG. Il s’agit notamment de définir les objectifs et les résultats escomptés de la mise en œuvre d’applications basées sur la RAG.
Il est essentiel de créer des processus pour corriger les éventuelles inexactitudes dans les résultats générés par les systèmes de RAG. Cela implique de développer des mécanismes pour identifier les erreurs, les corriger et en tirer des enseignements, afin d’améliorer la fiabilité des réponses.
La RAG offre plusieurs avantages intéressants qui peuvent considérablement améliorer les options des systèmes d’IA.
- Mise en œuvre efficace et rentable
La RAG permet aux entreprises de tirer parti des bases de données et des sources de connaissances existantes sans réentraînement approfondi des modèles. La mise en œuvre est donc à la fois rapide et rentable. - Informations précises et à jour
En récupérant des informations auprès de sources fiables en temps réel, la RAG garantit que les données utilisées pour générer des réponses sont exactes et à jour, ce qui améliore la qualité des résultats. - Confiance renforcée des utilisateurs
La justesse et la pertinence des informations fournies par les systèmes de RAG contribuent à renforcer la confiance des utilisateurs, car les réponses sont plus fiables et fondées sur des données vérifiées. - Plus de contrôle pour les développeurs
Les développeurs ont un meilleur contrôle sur les réponses générées par les systèmes d’IA avec RAG. Ils peuvent préciser les sources auprès desquelles les informations sont récupérées et adapter les résultats en fonction de besoins et de contextes spécifiques. - Diminution des réponses inexactes et des hallucinations
En basant les réponses sur des données factuelles, la RAG réduit considérablement la probabilité de générer des réponses incorrectes ou inventées, communément appelées « hallucinations » dans la terminologie de l’IA. - Réponses pertinentes et spécifiques au domaine
La RAG se distingue par ses réponses sur mesure, basées sur des connaissances spécifiques d’un secteur ou des domaines spécialisés. Elle est donc très efficace pour des applications ciblées. - Plus facile à entraîner
Les modèles de RAG peuvent être plus simples à entraîner, car ils utilisent des bases de connaissances et des données existantes, ce qui réduit la complexité et l’intensité des ressources du processus d’entraînement.
Voici une explication étape par étape du fonctionnement de la RAG.
La RAG commence par collecter des données auprès de diverses sources telles que des sites Web, des bases de données ou des documents. Ces données sont ensuite converties dans un format que le modèle peut rechercher et utiliser, créant ainsi une sorte de bibliothèque de connaissances externes.
Lorsqu’un utilisateur pose une question, la RAG la met sous une forme adaptée aux recherches et trouve les informations les plus pertinentes dans sa bibliothèque de connaissances. Par exemple, si quelqu’un cherche à connaître son solde de congés, la RAG trouvera et utilisera les politiques de congés de l’entreprise et le dossier des congés de cette personne.
Ensuite, la RAG associe la question d’origine de l’utilisateur aux informations qu’elle vient de trouver. Ces informations combinées sont alors transmises au LLM, qui les utilise pour donner une réponse plus précise et plus pertinente.
Pour que les réponses restent pertinentes, la RAG met régulièrement à jour ses sources de données externes. Cette opération peut être effectuée automatiquement ou à des heures planifiées, afin de garantir que les informations utilisées soient toujours à jour.
La mise en œuvre d’un système de génération augmentée par récupération se compose de plusieurs étapes clés. Il convient de les suivre pour que le système de RAG renforce la capacité d’un LLM à générer des réponses basées non seulement sur ses connaissances internes, mais également sur des données externes à jour.
La première étape consiste à recueillir et préparer les données qui seront utilisées par le système de RAG. Ces données doivent ensuite être nettoyées et formatées correctement pour garantir leur cohérence et leur exactitude. Cette étape peut s’accompagner de la suppression des doublons et de la résolution des éventuels problèmes de qualité des données.
Une fois les données préparées, elles doivent être indexées pour pouvoir être recherchées. Il s’agit donc de créer un format structuré, souvent dans une base de données ou un index de recherche, où chaque donnée est étiquetée avec des mots-clés spécifiques ou convertie en représentation numérique. Ce processus d’indexation détermine l’efficacité avec laquelle le système pourra récupérer les informations pertinentes lors des étapes ultérieures.
Une fois les données indexées, le système de RAG peut alors récupérer les informations pertinentes en fonction des requêtes des utilisateurs. Cette étape consiste à faire correspondre la requête ou certains mots-clés de la requête avec les données indexées. Des algorithmes avancés permettent de ne récupérer que les données les plus pertinentes et exactes qui seront utilisées pour la génération des réponses.
Enfin, intégrez les données récupérées dans le workflow du LLM. Cette étape consiste à configurer le LLM pour qu’il accepte les entrées de l’utilisateur ainsi que les données récupérées dans le cadre de son invite d’entrée. Le LLM utilise ensuite ses connaissances pré-entraînées et les données externes récemment récupérées pour générer des réponses plus précises.
Pour améliorer les performances d’un système de RAG, envisagez de mettre en œuvre les stratégies suivantes :
Fournissez des données de haute qualité
Des données claires et précises permettent d’éviter le problème courant de « garbage in, garbage out » (de mauvaises données engendrent de mauvais résultats). Il s’agit donc de supprimer les marquages non pertinents et de s’assurer que les données sont à jour. Cela implique également de préserver leur intégrité (par exemple, en conservant les en-têtes de feuilles de calcul importants). Des données de haute qualité améliorent la capacité du LLM à comprendre et à générer des réponses pertinentes.Testez différentes tailles de segments de texte
La manière dont les données sont segmentées peut influer considérablement sur les performances de votre système de RAG. Les petits segments peuvent manquer de contexte, tandis que les plus grands peuvent être difficiles à traiter efficacement. En testant différentes tailles de segments, vous pourrez trouver l’équilibre optimal permettant de conserver le contexte sans surcharger le système.Mettez à jour I’invite de votre système
L’invite que vous utilisez pour communiquer avec le LLM peut influencer ses résultats. Si ces derniers ne sont pas satisfaisants, envisagez de revoir l’invite pour mieux préciser comment le modèle doit interpréter et utiliser les données fournies. Il peut s’agir de clarifier le contexte ou d’ajuster la formulation pour orienter le modèle.Filtrez les résultats de votre base de données vectorielle
Le filtrage des résultats extraits de votre base de données vectorielle peut améliorer leur pertinence et leur précision. Par exemple, vous pouvez définir des filtres pour exclure ou prioriser certains types de documents en fonction de métadonnées, comme le type de document ou la date de publication. Vous avez ainsi l’assurance que les informations récupérées sont celles qui répondent le mieux à la requête.Essayez différents modèles d’incorporation
Les différents modèles d’incorporation ne traitent et ne représentent pas les données de la même façon. Vous pouvez en essayer plusieurs pour identifier celui qui correspond le mieux à vos besoins spécifiques. En outre, vous pouvez affiner vos propres modèles d’incorporation à l’aide de votre jeu de données pour adapter le modèle à la terminologie et aux nuances de votre domaine.
En mettant soigneusement en application ces stratégies, vous pouvez considérablement améliorer l’efficacité et la précision de votre système de RAG pour obtenir de meilleures performances et des résultats plus fiables.
La génération augmentée par récupération fait actuellement des progrès importants dans l’amélioration des capacités des applications d’IA conversationnelle en fournissant des réponses plus pertinentes sur le plan contextuel. Cependant, les futures applications potentielles de la RAG vont bien au-delà des utilisations actuelles.
À l’avenir, la technologie de RAG pourrait évoluer pour permettre à l’IA générative non seulement de fournir des informations, mais aussi d’entreprendre les actions appropriées en fonction du contexte des entrées utilisateur et des données externes. Par exemple, une IA optimisée par la RAG pourrait analyser diverses options pour trouver la meilleure location de vacances, réserver automatiquement des hébergements lors d’événements spécifiques et même gérer les déplacements associés : tout ceci en réponse à la demande d’un utilisateur.
Bien sûr, la RAG pourrait même améliorer la richesse des échanges dans des domaines d’information plus complexes. Par exemple, la RAG pourrait ne pas se contenter d’informer un employé sur les politiques de remboursement des frais de formation, mais aussi ajouter des conseils détaillés et personnalisés sur des programmes de cours correspondant à ses objectifs de carrière et à son parcours de formation. Elle pourrait également faciliter le processus de candidature à ces programmes et gérer les tâches administratives consécutives, comme les demandes de remboursement.
Alors que la technologie de RAG continue de se développer, son intégration à l’IA pourrait redéfinir les limites de l’assistance automatisée et de l’aide à la décision.
La RAG vise à améliorer les capacités de l’IA dans un large éventail de secteurs. La ServiceNow AI Platform de ServiceNow intègre des technologies d’IA telles que l’apprentissage machine et la compréhension du langage naturel pour rationaliser les opérations, automatiser les tâches et améliorer la prise de décision. Avec les systèmes de RAG, ServiceNow peut offrir des solutions d’IA encore plus précises et sensibles au contexte, boostant ainsi la productivité et l’efficacité dans différents workflows.
Pour découvrir comment ServiceNow peut transformer vos opérations business avec des technologies d’IA avancées, essayez ServiceNow dès aujourd’hui.