Un grand modèle de langage (Large Language Model, LLM) est un modèle d'apprentissage automatique capable de comprendre et générer des textes en langage humain. Ces modèles opèrent en analysant d'immenses volumes de données linguistiques.
Cet article s'articule autour des points suivants :
Contenu associé
Qu'est-ce que l'intelligence artificielle (IA) ?
Qu'est-ce que l'IA générative ?
Qu'est-ce que l'apprentissage automatique ?
IA prédictive
Qu'est-ce que l'IA agentique ?
Abonnez-vous à theNET, le récapitulatif mensuel par Cloudflare des informations les plus populaires sur Internet !
Copier le lien de l'article
Un grand modèle de langage (Large Language Model, LLM) est un type de programme d'intelligence artificielle (IA) capable, entre autres tâches, de reconnaître et de générer du texte. Les LLM sont entraînés sur d'immenses ensembles de données, d'où l'emploi du terme « large » (grand) dans la dénomination anglaise. Ils s'appuient sur l'apprentissage automatique (Machine Learning, ML), et plus spécifiquement sur un type de réseau neuronal appelé « modèle transformeur ».
En termes plus simples, un LLM est un programme informatique qui a assimilé suffisamment d'exemples pour être capable de reconnaître et d'interpréter le langage humain ou d'autres types de données complexes. De nombreux LLM sont entraînés avec des données collectées sur Internet, représentant des milliers, voire des millions de gigaoctets de texte. Certains LLM continuent d'explorer le web afin d'obtenir plus de contenu après leur apprentissage initial. Cependant, la qualité des échantillons affecte la capacité des LLM à apprendre le langage naturel. Les programmeurs d'un LLM peuvent donc utiliser un ensemble de données sélectionnées avec soin, au moins, pour commencer.
Les LLM utilisent un type d'apprentissage automatique appelé apprentissage profond (Deep Learning) pour comprendre comment les caractères, les mots et les phrases interagissent. L'apprentissage en profondeur implique l'analyse probabiliste de données non structurées, ce qui permet au modèle d'apprentissage profond de distinguer les différences entre les éléments de contenu sans intervention humaine.
Une étape d'affinage vient ensuite renforcer l'entraînement des LLM. Leurs résultats sont affinés avec précision (ou à l'aide d'invites plus précises) en fonction de la tâche particulière que souhaite leur confier le programmeur, par exemple, l'interprétation de questions et la génération de réponses ou la traduction d'un texte d'une langue dans une autre.
Les LLM peuvent être entraînés pour effectuer un certain nombre de tâches. L'une des utilisations les plus connues est leur application en tant qu'IA générative : ils sont capables de produire un texte en réponse à un prompt (ou invite) ou une question. ChatGPT, un LLM accessible au public, peut par exemple générer des essais, des poèmes et d'autres formes de texte en réponse à la saisie de l'utilisateur.
N'importe quel ensemble de données volumineux et complexe peut être utilisé pour entraîner des LLM, notamment les langages de programmation. Certains LLM peuvent d'ailleurs aider les programmeurs à rédiger du code. Ils peuvent ainsi écrire des fonctions à la demande ou terminer l'écriture d'un programme à partir de code qui leur a été donné comme point de départ. Les LLM peuvent également être utilisés pour les besoins suivants :
Parmi les exemples concrets de LLM figurent ChatGPT (OpenAI), Bard (Google), Llama (Meta) et Bing Chat (Microsoft). GitHub Copilot est un autre exemple, toutefois, dédié au codage et non au langage humain naturel.
Les LLM reposent fondamentalement sur l'apprentissage automatique. L'apprentissage automatique est un sous-ensemble de l'intelligence artificielle, qui consiste à alimenter un programme avec de grandes quantités de données afin de l'entraîner à identifier les caractéristiques de ces données sans intervention humaine.
Les LLM utilisent un type d'apprentissage automatique appelé « apprentissage profond » (Deep Learning). Les modèles d'apprentissage profond peuvent concrètement s'entraîner à reconnaître les différences, sans intervention humaine, bien qu'un minimum de mise au point humaine reste généralement nécessaire.
L'apprentissage profond utilise les probabilités pour « apprendre ». Ainsi, dans la phrase « Le renard brun et rapide a sauté par-dessus le chien paresseux, », par exemple, les lettres « a » et « e » sont les plus courantes. Elles apparaissent respectivement six et dix fois. Partant de là, un modèle d'apprentissage en profondeur peut conclure (à raison) que ces caractères sont parmi les plus susceptibles d'apparaître dans un texte en français.
De manière réaliste, un modèle d'apprentissage profond ne peut tirer aucune conclusion à partir d'une phrase unique. Toutefois, après avoir analysé plusieurs millions de milliards de phrases, il peut en apprendre suffisamment pour prédire comment terminer une phrase incomplète de façon logique, voire générer ses propres phrases.
Pour permettre ce type d'apprentissage profond, les LLM sont construits sur des réseaux neuronaux. À l'image du cerveau humain, qui est constitué de neurones qui se connectent et s'envoient des signaux, un réseau neuronal artificiel (généralement abrégé en « réseau neuronal ») est constitué de nœuds de réseau qui se connectent les uns aux autres. Ils sont constitués de plusieurs « couches » : une couche d'entrée, une couche de sortie et une ou plusieurs couches intermédiaires. Les couches ne se transmettent des informations que si leurs propres résultats dépassent un certain seuil.
Le type spécifique de réseau neuronal utilisé pour les LLM est appelé « modèle transformeur » (ou modèle auto-attentif). Les modèles transformeurs sont capables d'apprendre le contexte ; il s'agit d'une caractéristique particulièrement importante pour le langage humain, qui est fortement contextuel. Ces modèles s'appuient sur une technique mathématique nommée « auto-attention » pour détecter les relations subtiles entre les éléments d'une séquence. L'utilisation de cette technique les rend plus à même de comprendre le contexte que d'autres types d'apprentissage automatique. Ils peuvent ainsi comprendre, par exemple, comment la fin d'une phrase est reliée au début et de quelle manière les phrases d'un paragraphe sont reliées entre elles.
Cette technique permet aux LLM d'interpréter le langage humain, même lorsque le langage est vague ou mal défini, présenté dans des combinaisons qu'ils n'ont jamais rencontrées auparavant ou contextualisé d'une nouvelle manière. Dans une certaine mesure, les modèles « comprennent » la sémantique, dans le sens où ils parviennent à associer des mots et des concepts en fonction de leur signification, après les avoir vus regroupés de cette manière des millions, voire des milliards de fois.
L'une des caractéristiques essentielles des LLM est leur capacité à répondre à des requêtes imprévisibles. Un programme informatique traditionnel reçoit des commandes dans sa syntaxe acceptée, ou à partir d'un certain ensemble d'entrées provenant de l'utilisateur. Un jeu vidéo dispose d'un ensemble fini de boutons, une application dispose d'un ensemble fini d'éléments sur lequel l'utilisateur peut cliquer ou qu'il peut saisir, et un langage de programmation est composé d'énoncés if/then précis.
À l'inverse, un LLM peut répondre au langage humain naturel et utiliser l'analyse de données pour répondre de manière logique à une question non structurée ou à un prompt (ou invite). Un programme informatique classique ne reconnaîtrait pas une question du type « Quels sont les quatre plus grands groupes de funk de l'histoire ? ». En revanche, un LLM peut répondre en établissant une liste de quatre groupes de ce type et présenter un argumentaire convaincant des raisons pour lesquelles ils sont les meilleurs.
Au regard des informations qu'ils fournissent, toutefois, les LLM ne sont fiables que si les données qu'ils ingèrent le sont également. S'ils assimilent des informations incorrectes, les réponses qu'ils donneront aux demandes des utilisateurs seront également erronées. Il arrive également que les LLM « hallucinent », c'est-à-dire qu'ils génèrent de fausses informations lorsqu'ils ne sont pas en mesure de fournir une réponse précise. Par exemple, en 2022, le magazine Fast Company a interrogé ChatGPT sur le dernier trimestre financier de l'entreprise Tesla. ChatGPT a produit un article cohérent en réponse, toutefois, une grande partie des informations contenues dans l'article étaient inventées.
En matière de sécurité, les applications destinées aux utilisateurs et basées sur les LLM sont aussi sujettes aux bugs que n’importe quelle autre application. Les LLM peuvent également être manipulés avec des données malveillantes afin de produire certains types de réponses plutôt que d’autres, notamment des réponses dangereuses ou contraires à l’éthique. Enfin, ces modèles posent également un certain nombre de problèmes de sécurité liés par exemple au fait que les utilisateurs peuvent y importer des données sécurisées et confidentielles afin d’accroître leur propre productivité. Toutefois, les LLM utilisent également les entrées qu’ils reçoivent pour entraîner leurs modèles. Or, ils ne sont pas conçus pour être des coffres-forts sécurisés. Il peut ainsi leur arriver d’exposer des données confidentielles en réponse à des requêtes provenant d’autres utilisateurs. Découvrez les meilleures manières de sécuriser les LLM.
Pour concevoir une application LLM, les développeurs doivent pouvoir accéder facilement à une multitude d'ensembles de données, et ils ont besoin d'endroits où les conserver. Le stockage cloud et le stockage sur site développés à ces fins peuvent nécessiter des investissements d'infrastructure qui dépassent le budget des développeurs. En outre, les ensembles de données d'apprentissage sont généralement stockés dans plusieurs endroits, mais le fait de déplacer ces données vers un emplacement central peut entraîner des frais de trafic sortant considérables.
Heureusement, Cloudflare propose plusieurs services permettant aux développeurs de commencer rapidement à concevoir des applications LLM et d'autres types d'IA. Vectorize est une base de données vectorielle distribuée dans le monde entier, qui permet d'interroger les données stockées dans un système de stockage d'objets sans frais de trafic sortant (R2) ou des documents stockés dans le référentiel clé-valeur Workers. Les développeurs peuvent utiliser Cloudflare en conjonction avec la plateforme de développement Cloudflare Workers AI pour commencer rapidement à réaliser des expériences avec leurs propres LLM.
Un grand modèle de langage (LLM) est un modèle d’IA entraîné sur d’énormes ensembles de données dans le but de reconnaître, d’interpréter et de générer du texte. Lorsqu’ils sont sollicités, les LLM peuvent générer du texte ou des blocs de code en quelques secondes. Les utilisateurs peuvent leur soumettre des invites à l’aide du langage naturel, plutôt que par le biais d’une interface utilisateur prédéfinie ou via des langages de programmation.
Les LLM recourent à un processus appelé apprentissage en profondeur pour analyser de grandes quantités de données non structurées et en tirer des enseignements. Ils reposent sur des réseaux neuronaux artificiels (plus précisément sur des modèles transformeurs) qui utilisent une technique appelée auto-attention, permettant au modèle d’apprendre et de comprendre le contexte, point essentiel pour l’interprétation du langage humain.
Les LLM peuvent être entraînés pour de nombreuses tâches. L’une des utilisations les plus populaires est l’IA générative, où ils créent du texte en réponse à une invite d’un utilisateur. Ils sont également utilisés dans l’analyse des sentiments, les chatbots du service client, la recherche en ligne, et même pour aider les programmeurs à écrire du code.
Parmi les exemples bien connus figurent ChatGPT (d’OpenAI), Gemini (de Google), Llama (de Meta) et Bing Chat (de Microsoft). Pour la programmation, GitHub Copilot en est un exemple majeur.
L’un des avantages majeurs des LLM est leur capacité à répondre à des requêtes imprévisibles et non structurées. Contrairement à un programme informatique traditionnel qui nécessite des commandes spécifiques, un LLM peut comprendre le langage humain naturel et y répondre, même si la question est vague ou formulée d’une manière inédite pour lui. Les utilisateurs peuvent avoir à affiner légèrement leurs invites pour obtenir le résultat exact souhaité, mais même des invites imprécises produisent généralement des réponses compréhensibles.
La fiabilité des LLM dépend des données sur lesquelles ils sont entraînés. Alimentés par des données incorrectes, ils peuvent fournir de fausses informations. Ils sont également connus pour « halluciner » ou inventer des informations. Du point de vue de la sécurité, ces outils peuvent être manipulés à l’aide d’entrées malveillantes et ne sont pas conçus comme des coffres-forts sécurisés, ce qui signifie que les utilisateurs risquent d’exposer des données confidentielles via leurs saisies.