IA

Quantification

Quantification : réduction de la précision des nombres qui composent un modèle d'IA, pour qu'il occupe moins de mémoire et tourne sur du matériel plus modeste.

Deux sphères de cristal sur deux socles bas en métal brossé : à gauche une grande sphère taillée en milliers de minuscules facettes, à droite une plus petite réduite à quelques grandes facettes planes, reflets bordeaux sur un sol sombre
Quantification — Image générée par IA (Qwen-Image 2.1, ComfyUI)

La quantification consiste à réduire la précision des nombres qui composent un modèle d'intelligence artificielle. Le modèle devient plus léger, tient dans moins de mémoire et peut tourner sur une carte graphique ordinaire. C'est la technique qui a rendu possible l'usage de grands modèles de langage en dehors des centres de données.

Définition technique

Des milliards de nombres à stocker

Un modèle de langage est une immense table de nombres, ses poids. Un modèle de 27 milliards de paramètres en contient 27 milliards. Stockés avec une grande précision, ils occupent des dizaines de gigaoctets. La quantification remplace chacun par une valeur approchée, codée sur moins de bits.

Un compromis taille contre fidélité

Moins de bits, c'est un fichier plus petit et des réponses légèrement moins fidèles à celles du modèle d'origine. On choisit donc un niveau : huit bits pour rester au plus près de l'original, quatre pour diviser encore la taille au prix d'une perte modérée.

Une opération faite après coup

La quantification ne demande pas de réentraîner le modèle. Elle s'applique à un modèle déjà publié. C'est pourquoi un même modèle circule en de nombreuses versions, produites par son éditeur ou par des contributeurs indépendants.

Enjeux actuels

L'accès aux modèles ouverts

Sans quantification, faire tourner un modèle récent demanderait du matériel de centre de données. Avec elle, un ordinateur portable équipé d'une carte graphique suffit pour les modèles de taille moyenne. C'est un levier direct de maîtrise des coûts et de confidentialité, puisque les données ne quittent pas la machine.

Une qualité à vérifier soi-même

Deux fichiers portant le même nom de modèle peuvent se comporter différemment selon leur niveau de quantification et l'outil qui les a produits. Les comparatifs publiés portent rarement sur la version que l'on a téléchargée. La seule mesure fiable est un essai sur ses propres tâches.

La provenance des fichiers

Les versions quantifiées sont souvent publiées par des tiers. Avant d'en déployer une, il faut savoir qui l'a produite, à partir de quel modèle, et si elle a été modifiée au passage.

Questions fréquentes

La quantification dégrade-t-elle la qualité d'un modèle ?

Oui, un peu, et de plus en plus à mesure qu'on compresse. À 8 bits, la différence avec l'original est en général imperceptible. À 4 bits, le compromis reste bon pour la plupart des usages. En dessous, les erreurs deviennent visibles. La documentation de llama.cpp précise que cette perte se mesure, notamment par la perplexité.

Que signifient Q4_K_M ou Q8_0 dans le nom d'un fichier ?

Ce sont des niveaux de quantification. Le chiffre indique le nombre de bits par poids : 4 pour Q4, 8 pour Q8. Les lettres qui suivent désignent la variante de la méthode. Plus le chiffre est bas, plus le fichier est léger et plus la perte est sensible. Certains auteurs ajoutent leurs propres suffixes, que les outils de téléchargement automatique ne reconnaissent pas toujours.

Comment choisir le bon niveau de quantification ?

On part de la mémoire graphique disponible. Le fichier doit y tenir en entier, avec une marge pour la fenêtre de contexte. On prend ensuite le niveau le plus précis qui respecte cette contrainte. Un petit modèle peu compressé n'est pas forcément meilleur qu'un grand modèle plus compressé : c'est à comparer sur ses propres cas d'usage.

Ressources et documentation