Qu'est-ce que la génération augmentée par récupération (RAG) dans l'IA ?

Qu'est-ce que la génération augmentée par récupération (RAG) dans l'IA ?

La génération augmentée par récupération (Retrieval-Augmented Generation, RAG) correspond au processus qui consiste à optimiser un grand modèle linguistique (LLM) afin de l'utiliser dans un contexte spécifique, sans avoir besoin de le réentraîner complètement, en lui donnant accès à une base de connaissances spécialisée pour ce contexte. La technique RAG est un moyen économique d'adapter rapidement un LLM à un scénario d'utilisation spécifique. Il s'agit d'une des méthodes que les développeurs peuvent utiliser pour affiner un modèle d'intelligence artificielle (IA).

Les LLM sont entraînés sur de gigantesques quantités de données, mais ils peuvent ne pas être en mesure de générer les informations spécifiques nécessaires dans certains contextes. Ils possèdent une compréhension générale du fonctionnement du langage humain, mais ne disposent pas toujours d'une expertise spécifique dans un domaine donné. La technique RAG est un moyen de remédier à cela.

Imaginons qu'un mécanicien automobile soit amené à travailler sur une Chevrolet de 1964. Peu importent sa grande expertise générale en matière de révision automobile et ses milliers d'heures de pratique, le mécanicien aura toujours besoin du manuel du propriétaire pour réviser efficacement la voiture. Mais le mécanicien n'a pas besoin d'être à nouveau diplômé en mécanique ; il lui suffit de consulter le manuel, puis d'appliquer sa connaissance générale des voitures.

La solution RAG est similaire. Elle donne à un LLM un « manuel » (ou une base de connaissances) lui permettant d'adapter ses connaissances générales au scénario d'utilisation spécifique. Par exemple, un LLM général peut être capable de générer du contenu sur le fonctionnement des requêtes d'API, mais il ne sera pas pour autant en mesure d'indiquer à un utilisateur comment interroger l'API d'une application spécifique. Avec la technique RAG, toutefois, ce LLM pourrait être adapté à une utilisation avec cette application en le reliant à la documentation technique de celle-ci.

Comment fonctionne la technique RAG ?

Normalement, lorsqu'un LLM reçoit une requête, il la traite en fonction de ses paramètres et de son entraînement préexistants.

La RAG permet au LLM de se référer à des « données externes », c'est-à-dire une base de données qui ne fait pas partie de l'ensemble de données d'entraînement du LLM. Ainsi, contrairement à son fonctionnement normal, un LLM associé à la technique RAG utilise des données externes pour améliorer ses réponses. D'où le nom de génération (création d'une réponse) augmentée (amélioration des réponses avec ces données) par récupération (récupération des données externes en premier lieu).

Supposons que le mécanicien automobile de l'exemple ci-dessus souhaite utiliser un LLM au lieu de consulter directement les manuels du propriétaire. Avec la RAG, le LLM peut intégrer la consultation des manuels du propriétaire directement dans ses processus. Malgré le fait que le LLM n'a probablement pas été entraîné à partir de manuels de voitures classiques (ou, si ces informations ont été incluses dans ses données d'entraînement, il est probable qu'il ne s'agisse que d'un infime pourcentage), le LLM peut utiliser la RAG pour produire des requêtes dignes d'intérêt et précises.

Pour que le LLM puisse utiliser et interroger la source de données externe (comme les manuels d'utilisation de la voiture), les données sont d'abord converties en vecteurs, puis stockées dans une base de données vectorielle. Ce processus utilise des modèles d'apprentissage automatique pour générer des représentations mathématiques des éléments d'un ensemble de données. (Chaque « vecteur » est une suite de nombres, telle que [-0,41522345,0,97685323...].)

Lorsqu'un utilisateur envoie une invite, le LLM convertit cette invite en vecteur, puis cherche des informations pertinentes dans la base de données vectorielle créée à partir de la source de données externe. Il ajoute ces informations comme contexte supplémentaire à l’invite, puis exécute l’invite augmentée dans son modèle habituel pour créer une réponse.

Quels sont les avantages et les inconvénients liés à l’utilisation de la technique RAG en IA ?

L'utilisation de la RAG pour affiner un LLM présente les avantages suivants :

• Précision accrue au sein du scénario d'utilisation : un LLM est plus susceptible de fournir une réponse correcte s'il a accès à une base de connaissances liée à l'invite, de la même façon qu'un mécanicien est mieux armé pour réparer correctement une voiture s'il dispose du manuel.
• Une manière d'adapter un modèle à faible coût : aucun nouvel entraînement n'étant nécessaire, l'utilisation d'un LLM dans un nouveau contexte se révèle moins coûteuse et prend moins de temps.
• Flexibilité : comme les paramètres du modèle ne sont pas ajustés, le même modèle peut être rapidement transféré dans différents scénarios d'utilisation.

Voici quelques-unes des inconvénients potentiels :

• Temps de réponse plus lents : quand bien même la RAG n'implique aucun nouvel entraînement, l'inférence (c'est-à-dire le processus de raisonnement et de réponse aux Invites) peut prendre plus de temps, car le LLM doit désormais interroger plusieurs ensembles de données pour produire une réponse.
• Incohérences entre les ensembles de données : la base de connaissances externe peut ne pas s'intégrer de manière harmonieuse dans l'ensemble de données d'entraînement du modèle, tout comme deux encyclopédies différentes peuvent décrire des événements historiques de manière légèrement différente. Cet état de fait peut donner lieu à des réponses incohérentes lors des requêtes.
• Maintenance manuelle : chaque fois que la base de connaissances externe est mise à jour (par exemple, lorsque de nouveaux modèles de voitures sont lancés), les développeurs doivent déclencher manuellement le processus de conversion des nouvelles données en vecteurs et mettre à jour la base de données vectorielle. (Cloudflare a développé AutoRAG pour épargner aux développeurs processus manuel. Vous trouverez plus d'informations ci-dessous).

Qu'est-ce qu'un chatbot RAG ?

Un chatbot RAG est un chatbot basé sur LLM qui a été spécialisé dans des cas d'utilisation spécifiques avec la technique RAG, ; il est ainsi connecté à une ou plusieurs sources de données externes dignes d'intérêt pour le contexte dans lequel le chatbot fonctionne. Un chatbot RAG utilisé dans un garage automobile aurait accès à la documentation automobile ; il serait plus utile pour les mécaniciens du garage qu'un chatbot LLM à usage général auquel ils devraient poser des questions.

RAG ou adaptation par modèle auxiliaire (LoRA)

L'adaptation par modèle auxiliaire (LoRA) est un autre moyen d'affiner un modèle, c'est-à-dire de l'adapter à un contexte spécifique sans réentraînement complet. Cependant, LoRA implique d'ajuster les paramètres du modèle, tandis que la RAG ne modifie aucun des paramètres du modèle. En savoir plus sur LoRA.

Qu'est-ce qu'AutoRAG ?

AutoRAG configure et gère les pipelines RAG pour les développeurs. Il connecte les outils nécessaires à l’indexation, à la récupération et à la génération, et maintient l’ensemble à jour en synchronisant régulièrement les données avec l’index. Une fois la fonctionnalité configurée, AutoRAG indexe le contenu en arrière-plan et répond aux requêtes en temps réel. Apprenez comment fonctionne AutoRAG.

FAQ

Qu'est-ce que la génération augmentée par récupération (RAG) ?

La RAG est une technique qui optimise les grands modèles de langage (LLM) pour des contextes spécifiques en leur fournissant un accès à une base de connaissances pertinente sans nécessiter de réentraînement complet. La technique RAG est un moyen efficace de personnaliser un LLM pour des tâches spécialisées.

Comment la RAG améliore-t-elle les capacités des LLM ?

RAG permet à un LLM de consulter des sources de données externes, telles qu'une base de données dédiée, pour enrichir ses réponses. Lorsqu'un utilisateur soumet une requête, le LLM la convertit en vecteur, trouve des informations connexes dans la source de données externe (qui est également vectorisée), puis utilise ce contexte élargi pour générer une réponse plus informée et précise.

Quels sont les principaux avantages liés à l’utilisation de la technique RAG avec les modèles d’IA ?

La génération augmentée par récupération (RAG) améliore la précision d'un modèle d'IA pour une application particulière, car le LLM peut puiser dans une base de connaissances spécialisée. La RAG est également une méthode rentable pour adapter un modèle, car elle évite les ressources de calcul considérables et le temps nécessaire à un réentraînement complet. En outre, la RAG offre une flexibilité, permettant d'appliquer le même modèle à divers scénarios spécifiques sans modifier ses paramètres de base.

Quels sont les inconvénients potentiels liés à la mise en œuvre de RAG dans l'IA ?

Malgré ses avantages, la génération augmentée par récupération (RAG) peut entraîner un allongement des temps de réponse car le modèle de langage (LLM) doit récupérer et traiter des informations issues de plusieurs ensembles de données. Il y a aussi un risque d'incohérences si la base de connaissances externe ne s'aligne pas parfaitement avec les données d'entraînement originales du modèle. De plus, la maintenance de la RAG exige un effort manuel pour convertir et actualiser les nouvelles données en vecteurs dans la base de données chaque fois que la base de connaissances externe est modifiée.

Qu'est-ce qu'un chatbot RAG ?

Un chatbot RAG est un chatbot basé sur un LLM qui a été spécialisé pour des cas d'utilisation particuliers grâce au processus RAG. Cela signifie qu'il a accès à des sources de données externes utiles pour son contexte opérationnel spécifique, il est ainsi en mesure de fournir des réponses plus ciblées et précises qu'un chatbot à usage général.

En quoi la diffère-t-elle de l'adaptation par modèle auxiliaire (LoRA)?

La RAG et l'adaptation par modèle auxiliaire (LoRA) sont deux méthodes permettant d'affiner les modèles d'IA sans un réentraînement complet. Cependant, ils diffèrent dans leur approche : la RAG ne modifie pas les paramètres du modèle, tandis que LoRA implique de les ajuster.

Qu'est-ce qu'AutoRAG ?

AutoRAG est un outil développé par Cloudflare qui simplifie la configuration et la gestion des pipelines RAG pour les développeurs. Il automatise la connexion des outils nécessaires à l'indexation, à la récupération et à la génération, ce qui garantit la synchronisation des données et la réponse en temps réel aux requêtes avec une mise à jour en continu du contenu en arrière-plan.