On vous explique le RAG : la mécanique invisible derrière chaque source citée par une IA
Il y a encore trois ans, une IA qui citait ses sources tenait de l’exception. Aujourd’hui, c’est presque devenu la norme. Entre les deux, l’avènement d’une technique née dans un labo de recherche : le RAG.
Ouvrez Claude, cliquez sur le petit bouton « + » à côté de la zone de texte. Recherche web, fichiers, connecteurs Google Drive, project knowledge : chacune de ces options fait, au fond, exactement la même chose. Elle dit au modèle « voici une source externe, va la consulter avant de répondre ». Cette mécanique a un nom : le RAG, pour Retrieval-Augmented Generation.
Cette appellation, on la doit à un laboratoire londonien de Meta. En 2020, Patrick Lewis, doctorant à University College London, et son équipe travaillent sur un problème central : comment faire en sorte qu’un modèle de langage réponde avec des connaissances précises, sans avoir à tout stocker dans ses paramètres ? Le fruit de ce travail, publié en avril 2021, propose de coupler un système de génération de texte à un index de récupération, permettant de produire n’importe quelle réponse textuelle, à condition d’aller la chercher au bon endroit.
Pour comprendre l’importance de cette technique, il est essentiel de saisir la limite qu’elle vise à résoudre. Un modèle de langage classique répond uniquement avec ce qu’il a « en tête », soit les connaissances figées au moment de son entraînement. Cela signifie qu’il ignore tout de ce qui s’est passé après sa date de coupure et n’a aucune idée des documents privés ou de l’actualité du jour.
Le RAG répond à ce défi en introduisant un processus en trois étapes : Récupération, Augmentation et Génération. Lorsque vous posez une question, le système cherche d’abord dans une base de documents les passages les plus pertinents. Ces passages sont ensuite injectés dans le prompt, comme contexte, avant que le modèle ne rédige sa réponse.
Depuis son introduction, le RAG a été adopté par des acteurs majeurs du secteur. Le grand public a découvert cette approche avec Perplexity AI, lancé fin 2022, qui propose des réponses avec des sources cliquables. En février 2023, Microsoft a intégré cette technique dans Bing Chat, couplant GPT-4 à une recherche web en temps réel. Cela a permis au RAG de devenir un standard dans l’industrie.
Malgré ses avantages, le RAG n’est pas une solution infaillible. Le modèle peut toujours mal interpréter un document ou mélanger plusieurs sources. De plus, la recherche des passages pertinents reste probabiliste, ce qui peut entraîner des échecs silencieux, où le modèle répond honnêtement à partir d’informations incomplètes ou erronées.
Actuellement, le RAG est omniprésent mais ne représente plus la seule méthode pour élargir le contexte d’un modèle de langage. Les fenêtres de contexte des modèles modernes ont considérablement augmenté, permettant de traiter des milliers de mots à la fois. Cependant, le RAG demeure essentiel pour des informations actuelles ou en ligne, car aucune fenêtre de contexte ne peut contenir des données qui n’existent pas encore au moment de la réponse.
Source : Numerama
