VLM : quand un modèle d'IA sait lire une image

Deuxième famille du dossier sur IA : LLM, VLM, OCR... le panorama des familles de modèles : le VLM, ou modèle vision-langage. C’est la brique qui a permis à Claude ou ChatGPT de passer de “je lis du texte” à “je regarde une capture d’écran et je te dis ce qui cloche dans ton graphique”.

Ce qu’un LLM classique ne peut pas faire

Un LLM comme décrit dans l’article sur les LLM : comment fonctionnent les grands modèles de langage ne traite que du texte. Demande-lui de décrire une photo sans lui donner l’image en entrée, et il ne peut que deviner ou refuser. Un VLM comble ce manque : c’est un système d’IA capable d’interpréter conjointement des images et du texte, en étendant les capacités des LLM au-delà du texte seul¹.

Comment ça marche sous le capot

Un VLM combine généralement deux briques² :

1. Un encodeur visuel : il transforme l’image en une représentation numérique (souvent via une architecture type CLIP), capturant les formes, objets et relations spatiales.
2. Un encodeur de langage : c’est le LLM classique, qui capture le sens des mots et leur contexte.

Un module de projection fait le lien entre les deux, en plaçant les représentations visuelles et textuelles dans un même espace mathématique. Résultat : le modèle peut raisonner sur une image et une question en même temps, plutôt que de traiter les deux séparément.

flowchart LR
    A[Image] --> B[Encodeur visuel]
    C[Texte / question] --> D[Encodeur de langage]
    B --> E[Espace de représentation<br/>partagé]
    D --> E
    E --> F[Réponse textuelle]

Ce que ça permet concrètement

• Description d’image : générer une légende pertinente pour une photo, utile pour l’accessibilité ou l’indexation³.
• Question-réponse visuelle : poser une question sur une image (“de quelle couleur est la voiture ?”) et obtenir une réponse basée sur ce que le modèle "voit"³.
• Analyse de documents et de graphiques : lire un tableau de chiffres dans un rapport, une capture d’écran d’erreur, un schéma technique.
• Recherche sémantique par l’image : retrouver une image en la décrivant avec des mots, même si ces mots n’apparaissent dans aucune métadonnée³.

VLM et OCR, la confusion fréquente

Un VLM peut lire du texte dans une image (un panneau, une facture) et beaucoup de gens l’assimilent à de l’OCR. La différence : un moteur OCR dédié est spécialisé uniquement dans l’extraction de texte brut, alors qu’un VLM raisonne sur l’ensemble de la scène visuelle et peut répondre à des questions ouvertes, pas seulement extraire des caractères. Le détail est dans l’article dédié à l’OCR : la reconnaissance de texte, entre pipelines classiques et VLM.

Les limites

Un VLM hérite des limites du LLM sur lequel il s’appuie (hallucinations, absence de connaissance après sa date d’entraînement), et y ajoute les siennes : il peut mal interpréter une image de mauvaise qualité, se tromper sur des détails fins (compter des objets reste un point faible classique), ou halluciner un élément qui n’est pas présent dans l’image. Comme toujours avec l’IA générative, la sortie mérite une vérification sur les cas à enjeu.