LLM : comment fonctionnent les grands modèles de langage

Premier arrêt du dossier sur IA : LLM, VLM, OCR... le panorama des familles de modèles : le LLM, celui que tout le monde connaît. C’est Claude, ChatGPT, Gemini ou Mistral. Texte en entrée, texte en sortie, et une puissance de raisonnement qui a redéfini ce qu’on attend d’un ordinateur depuis fin 2022.

Le principe de base

Un LLM (Large Language Model, grand modèle de langage) est un réseau de neurones entraîné sur d’énormes quantités de texte pour prédire la suite d’une séquence¹. Concrètement : donne-lui le début d’une phrase, il calcule le mot (ou plutôt le “token”, un fragment de mot) le plus probable pour continuer. Répète l’opération token après token, et tu obtiens un paragraphe entier, une explication, du code, un poème.

Ce principe simple devient puissant à grande échelle. Les premiers LLM s’entraînaient sur des centaines de millions de mots. Les modèles récents comme Llama 3 ingèrent des dizaines de billions de tokens¹. Plus il y a de données et de paramètres, plus le modèle capture de nuances, mais aussi plus il coûte cher à entraîner et à faire tourner.

L’architecture transformer

Avant 2017, les modèles de langage traitaient le texte mot par mot, dans l’ordre, ce qui limitait leur capacité à relier des idées distantes dans une phrase longue. L’architecture transformer (le “T” de GPT) a changé la donne en introduisant le mécanisme d’auto-attention : chaque mot peut “regarder” tous les autres mots de la séquence en une seule passe, et pondérer leur importance relative. C’est ce qui permet à un LLM de garder le fil sur un document entier plutôt qu’une phrase isolée.

flowchart LR
    A[Texte en entrée] --> B[Tokenisation]
    B --> C[Auto-attention<br/>transformer]
    C --> D[Prédiction du<br/>token suivant]
    D --> E[Texte généré,<br/>token par token]
    E -.boucle.-> C

Le paysage 2026

Le marché s’est structuré autour de quelques familles :

• Les labs propriétaires : Claude (Anthropic), GPT (OpenAI), Gemini (Google DeepMind). Accès via API ou interface, poids fermés.
• Les modèles ouverts : Llama (Meta), Qwen (Alibaba), Mistral, GLM. Poids téléchargeables, hébergeables chez soi ou chez un cloud souverain.
• Les architectures Mixture of Experts (MoE) : une tendance forte de 2025-2026. Au lieu d’activer tous les paramètres du modèle à chaque requête, seule une partie du réseau (“les experts” pertinents) s’active, ce qui réduit le coût de calcul sans trop sacrifier la qualité².

Un chiffre donne la mesure de la baisse des coûts : un niveau de qualité comparable à GPT-4 est passé d’environ 30 $ par million de tokens en 2023 à moins d’1 $ en 2026².

Les limites qui restent

Un LLM ne “sait” rien au sens strict : il génère la suite la plus probable d’après ce qu’il a appris à l’entraînement. Deux conséquences pratiques :

• Les hallucinations : le modèle peut produire une réponse fluide et confiante mais factuellement fausse, surtout sur des sujets pointus ou récents.
• La date de coupure : sans outil de recherche, un LLM ignore tout ce qui s’est passé après son entraînement.

C’est pour ça que les LLM modernes sont de plus en plus couplés à d’autres briques : recherche web, RAG (voir l’article sur Embeddings et reranking : les briques invisibles derrière le RAG), ou appel d’outils externes.

Où ça s’arrête

Un LLM pur ne voit pas d’image, n’entend pas de son. Dès qu’il faut analyser une photo ou une capture d’écran, on change de famille : direction l’article sur les VLM : quand un modèle d’IA sait lire une image. Et quand la contrainte devient “faire tourner ça sur un téléphone sans connexion”, c’est la famille des SLM : les petits modèles de langage qui tournent sans le cloud qui prend le relais.