Les modèles de transformeurs sont des modèles de réseau neuronal qui apprennent le contexte et la signification en suivant les relations dans les données via un mécanisme appelé « auto-attention ». Ils sont capables d’identifier des connexions subtiles, ce qui leur permet d’utiliser des séquences d’entrée pour créer des sorties pertinentes. Les transformeurs ont révolutionné l’IA en offrant des performances exceptionnelles en matière de traitement du langage naturel, de vision par ordinateur et d’IA générative sur de grands modèles de langage, de traduction et de raisonnement complexe.
Dans le domaine de l’intelligence artificielle, la compréhension et le traitement précis du langage humain ont toujours constitué un défi de taille. Les modèles traditionnels avaient du mal à saisir les complexités et les nuances, et échouaient souvent à effectuer des tâches nécessitant une compréhension contextuelle. Ce besoin de modèles de langage plus sophistiqués s’est accru à mesure que des applications telles que la traduction en temps réel et les assistants virtuels intelligents ont envahi de plus en plus notre vie quotidienne. Mais le problème s’est étendu bien au-delà du langage, à d’autres aspects de l’IA, avec des difficultés à identifier et comprendre les relations entre les points de données dans des ensembles complexes.
Les modèles de transformeurs ont donc été créés pour y remédier. Ils exploitent des techniques avancées pour comprendre le contexte et les connexions au sein des données. En appliquant des modèles mathématiques détaillés, ils aident les systèmes d’IA à organiser le chaos des entrées pour comprendre leur signification.
Les modèles de transformeurs ont été introduits avec la parution en 2017 d’un article de recherche révolutionnaire intitulé « Attention is All You Need » (L’attention est tout ce dont vous avez besoin), qui a introduit une nouvelle architecture de réseau neuronal utilisant un mécanisme appelé « auto-attention » pour traiter et comprendre le contexte dans des séquences de données. Le concept d’attention, fondamental pour les transformeurs, a été introduit en 2014 par Dzmitry Bahdanau et al. Dzmitry Bahdanau occupe le poste de Research Scientist chez ServiceNow Research. Le nom « transformeur » a été choisi pour refléter la capacité du modèle à transformer les représentations d’entrée en représentations de sortie plus significatives.
Le développement du premier modèle de transformeur a marqué une grande avancée des capacités d’IA. Le modèle a été entraîné en moins de quatre jours, une amélioration remarquable par rapport aux entraînements des modèles précédents, plus longs et plus gourmands en ressources. Avec la capacité du modèle à définir de nouveaux enregistrements de précision pour la traduction automatique, cela rendait évident le potentiel des transformeurs.
Les transformeurs ont conduit à de nouvelles avancées en matière de traitement du langage naturel (NLP) et ont posé les bases des futurs grands modèles de langage, tels que les nouvelles solutions d’IA générative (GenAI). L’introduction des transformeurs a non seulement amélioré la précision et l’efficacité du traitement du langage, mais elle a également ouvert la voie à la création d’applications d’IA plus polyvalentes, renforçant ainsi son rôle, essentiel dans l’IA moderne.
À mesure que les modèles de transformeurs continuent de s’étendre pour répondre aux besoins des chercheurs en IA et des scientifiques informatiques, ils deviennent de plus en plus spécialisés. Les différents types et catégories de transformeurs évoluent pour répondre à des besoins spécifiques. Voici quelques-unes des architectures utilisées dans les transformateurs modernes :
Le modèle BERT (Bidirectional encoder representations from transformer) est conçu pour comprendre le contexte des mots en fonction du reste de la phrase. Il traite le texte de façon bidirectionnelle, en capturant les nuances et les relations entre les mots plus efficacement que les modèles précédents. Il est couramment utilisé pour des tâches telles que la réponse aux questions et l’inférence de langage.
Les modèles GPT (transformateurs génératifs pré-entraînés) sont autorégressifs ; ils génèrent du texte en prévoyant le mot suivant dans une séquence. À l’instar du célèbre ChatGPT, ils sont connus pour leur capacité à produire du texte ressemblant à celui qu’écrirait un humain, et sont utilisés dans de nombreuses applications professionnelles et personnelles.
Les transformeurs bidirectionnels et autorégressifs (BART) combinent la compréhension du contexte bidirectionnel des modèles BERT avec la génération automatique de texte des GPT. Ils sont efficaces pour la génération de texte, les résumés et les tâches de traduction, et offrent des fonctionnalités polyvalentes pour le traitement et la création de sorties de texte cohérentes.
Les transformeurs multimodaux intègrent des données de texte et d’image, ce qui permet aux systèmes d’IA de comprendre et de générer du contenu couvrant différents types de médias. Ces modèles sont fondamentaux pour les tâches qui nécessitent d’interpréter simultanément du texte et des visuels, par exemple pour fournir des réponses visuelles aux questions et des légendes pour des images.
Les modèles ViT (Vision transformer) adaptent l’architecture du transformeur pour le traitement des images, en traitant ces dernières comme des séquences de correctifs. Chaque cellule est traitée de la même manière que les mots d’un texte, ce qui permet au modèle de capturer les relations contextuelles dans l’image. Les modèles ViT sont utilisés dans la classification des images, la détection d’objets et d’autres tâches de vision par ordinateur.
Les transformeurs sont considérés comme des modèles d’apprentissage profond. Ils appartiennent donc à la catégorie des réseaux neuronaux. Toutefois, ils ne ressemblent pas aux autres exemples de cette technologie. Plus précisément, les modèles de transformeurs diffèrent des réseaux neuronaux récurrents (RNN) et des réseaux neuronaux convolutifs (CNN).
Les réseaux neuronaux récurrents traitent les données de manière séquentielle (chaque jeton est traité l’un après l’autre). Ils peuvent donc avoir des difficultés à gérer les dépendances à long terme en raison du risque de perte d’informations sur les longues séquences. Les transformeurs, quant à eux, utilisent des mécanismes d’auto-attention qui leur permettent de prendre en compte tous les jetons de la séquence simultanément. Avec ce traitement parallèle, les transformeurs peuvent capturer les dépendances à long terme plus efficacement et s’entraîner plus rapidement qu’avec les RNN.
Les réseaux neuronaux convolutifs excellent dans le traitement des données de type grille (comme les images) en détectant les schémas locaux. Cependant, les CNN sont moins efficaces pour saisir les relations globales au sein des données. Les transformeurs surmontent cet obstacle en faisant appel à l’auto-attention pour évaluer l’importance des différentes parties des données d’entrée dans un ensemble plus large. Bien que les CNN soient principalement utilisés pour des tâches telles que la reconnaissance d’image, les transformeurs ont été adaptés pour le traitement du texte et de l’image, offrant ainsi un ensemble de solutions plus polyvalent.
Comme nous l’avons mentionné ci-dessus, les transformeurs ont transformé l’IA en repoussant les principales limites et en ouvrant la voie à une innovation significative. Les avantages de cette technologie sont nombreux et variés, mais certains des plus notables sont les suivants :
Les transformeurs ont une architecture modulaire, avec des couches et des têtes d’attention qui peuvent facilement monter en puissance. Cela permet de créer des modèles à grande échelle, capables de gérer efficacement des séquences de données massives. En traitant de longues séquences en parallèle, les transformeurs réduisent considérablement les temps d’entraînement et de traitement. Cette efficacité permet de développer des modèles avancés (tels que les BERT et les GPT) qui peuvent capturer des représentations de langage complexes sur des milliards de paramètres.
Des techniques telles que l’apprentissage par transfert et la génération augmentée de récupération (RAG) facilitent une personnalisation plus rapide et plus efficace. Pré-entraînés sur de grands ensembles de données, ces modèles peuvent être affinés avec des ensembles de données spécifiques plus petits. Cela permet de les utiliser pour des applications personnalisées dans différents secteurs sans investir massivement et de démocratiser l’accès à l’IA avancée.
Les transformeurs prennent en charge le développement de systèmes d’IA multimodaux capables d’interpréter et de générer du contenu à partir de différents types de données, tels que la création d’images à partir de descriptions textuelles. En combinant le traitement du langage naturel et la vision par ordinateur, les transformeurs permettent une compréhension et une créativité plus complètes et plus humaines.
Les transformeurs sont à l’avant-garde d’avancées significatives en matière de recherche sur l’IA et d’innovation industrielle, telles que l’encodage positionnel et les mécanismes d’auto-attention. L’encodage positionnel aide les modèles à suivre la position des mots dans une séquence, tandis que l’auto-attention permet d’évaluer l’importance des différents mots en fonction de leur pertinence par rapport au contexte global. Ces innovations ont conduit au développement accéléré de nouvelles architectures et applications d’IA.
Tout comme les entrées qu’ils reçoivent, les modèles de transformeurs sont complexes, construits sur plusieurs couches logicielles qui fonctionnent ensemble pour créer des sorties pertinentes et intelligentes. Chacun des composants suivants est essentiel à ce processus :
- Plongements d’entrée
- Encodage positionnel
- Bloc transformeurs
- Blocs linéaires/softmax
Les plongements d’entrée convertissent les séquences d’entrée en vecteurs mathématiques que les modèles d’IA peuvent traiter. Les jetons (tels que les mots) sont transformés en vecteurs qui contiennent les informations sémantiques et syntaxiques apprises pendant l’entraînement.
L’encodage positionnel ajoute des signaux uniques aux plongements de chaque jeton pour indiquer leur position dans la séquence. Cela garantit que le modèle peut conserver l’ordre des jetons et comprendre leur contexte dans la séquence.
Chaque bloc transformeur se compose d’un mécanisme d’auto-attention à têtes multiples et d’un réseau neuronal à propagation avant. L’auto-attention évalue l’importance des différents jetons, tandis que le réseau à propagation avant traite ces informations.
Les blocs linéaires remappent les représentations internes complexes vers le domaine d’entrée d’origine. La fonction softmax convertit ensuite la sortie en une distribution de probabilités qui représente le niveau de fiabilité du modèle pour chaque prédiction possible.
Transformer des séquences d’entrée complexes en sorties pertinentes n’est pas chose aisée. Cela implique plusieurs étapes essentielles qui intègrent les composants clés identifiés ci-dessus. Ces couches logicielles tentent de reproduire le fonctionnement du cerveau humain, pour donner au système la puissance de traitement nécessaire à la résolution de problèmes complexes. Ces réseaux neuronaux traitent chaque partie des données de la séquence simultanément. Les données passent alors par les étapes suivantes :
- La séquence d’entrée est transformée en représentations digitales appelées « plongements », qui capturent la signification sémantique des jetons.
- L’encodage positionnel ajoute des signaux uniques aux plongements de chaque jeton pour préserver leur ordre dans la séquence.
- Le mécanisme d’attention multi-tête traite ces plongements pour capturer différentes relations entre les jetons.
- La normalisation des couches et les connexions résiduelles stabilisent et accélèrent le processus d’entraînement.
- La sortie de la couche d’auto-attention passe par des réseaux neuronaux à propagation avant pour effectuer les transformations non linéaires.
- Plusieurs blocs transformeurs sont empilés, chacun affinant la sortie de la couche précédente.
- Pour certaines tâches comme la traduction, un module décodeur séparé génère la séquence de sortie.
- Le modèle est entraîné via un apprentissage supervisé pour minimiser la différence entre les prédictions et la réalité.
- Pendant l’inférence, le modèle entraîné traite de nouvelles séquences d’entrée pour générer des prédictions ou des représentations.
Les transformeurs ont un nombre presque illimité d’applications professionnelles et permettent d’automatiser les tâches complexes de traitement des données, d’améliorer les interactions avec les clients et de stimuler l’innovation dans des domaines tels que la santé, la finance et les industries créatives. Voici quelques-unes des principales utilisations des modèles de transformeurs :
- Traitement du langage naturel
- Traduction automatique
- Reconnaissance vocale
- Génération d’images
- Analyse de séquences d’ADN
- Analyse de la structure des protéines
Les transformeurs permettent aux machines de comprendre, d’interpréter et de générer du langage humain plus précisément. Cela permet diverses applications telles que la synthèse de documents et les assistants virtuels, qui reposent sur une compréhension précise du langage.
Il est également possible d’effectuer des traductions précises et en temps réel d’une langue à l’autre. La capacité des transformeurs à gérer le contexte et les dépendances à long terme améliore considérablement la précision des traductions, en particulier par rapport aux solutions de type rechercher-remplacer précédentes.
Les applications de synthèse vocale peuvent être améliorées en transcrivant avec précision le langage parlé en texte écrit. Cela est particulièrement utile pour développer des applications à commande vocale et améliorer l’accessibilité pour les malentendants.
Les modèles de génération d’images utilisent des transformeurs pour créer des supports visuels à partir de descriptions textuelles, en fusionnant le traitement du langage naturel et la vision par ordinateur. Cette fonctionnalité est utilisée dans les applications créatives, le marketing, etc.
En traitant les séquences d’ADN de la même manière que le texte, les transformeurs peuvent être entraînés pour prédire les mutations génétiques, comprendre les schémas génétiques et identifier les régions liées à la maladie.
Les transformeurs peuvent modéliser la nature séquentielle des acides aminés dans les protéines et prévoir leurs structures 3D. Cette compréhension est essentielle pour la découverte de médicaments et la compréhension des processus biologiques.
En permettant le traitement avancé du langage naturel, la traduction automatique, la reconnaissance vocale et bien plus encore, les transformeurs ont changé à jamais la façon dont les entreprises utilisent l’IA, améliorant leurs opérations dans tous les secteurs et sur tous les marchés. Cela dit, toutes les approches de l’IA ne permettent pas d’exploiter de façon optimale la technologie de transformeur.
ServiceNow est un partenaire essentiel pour tirer le meilleur parti de l’IA et optimiser vos activités. Basée sur la Now Platform®, la gamme d’applications de ServiceNow intègre des modèles d’IA et de transformeurs pour fournir facilement des capacités de compréhension du langage, des analyses prédictives, des workflows automatisés, etc. Ces outils permettent aux entreprises de rationaliser leurs opérations comme jamais auparavant, d’améliorer leurs interactions avec les clients, d’obtenir des informations claires et de transformer les données complexes en un véritable avantage concurrentiel.
Découvrez comment les transformeurs peuvent révolutionner vos activités. Essayez ServiceNow dès aujourd’hui !