# Quantification

> Quantification : réduction de la précision des nombres qui composent un modèle d&#39;IA, pour qu&#39;il occupe moins de mémoire et tourne sur du matériel plus modeste.

- **Catégorie** : IA
- **URL** : https://www.romaindelfosse.fr/glossary/quantification/

---

La **quantification** consiste à réduire la précision des nombres qui composent un modèle d'intelligence artificielle. Le modèle devient plus léger, tient dans moins de mémoire et peut tourner sur une carte graphique ordinaire. C'est la technique qui a rendu possible l'usage de grands modèles de langage en dehors des centres de données.

## Définition technique

### Des milliards de nombres à stocker

Un modèle de langage est une immense table de nombres, ses poids. Un modèle de 27 milliards de paramètres en contient 27 milliards. Stockés avec une grande précision, ils occupent des dizaines de gigaoctets. La quantification remplace chacun par une valeur approchée, codée sur moins de bits.

### Un compromis taille contre fidélité

Moins de bits, c'est un fichier plus petit et des réponses légèrement moins fidèles à celles du modèle d'origine. On choisit donc un niveau : huit bits pour rester au plus près de l'original, quatre pour diviser encore la taille au prix d'une perte modérée.

### Une opération faite après coup

La quantification ne demande pas de réentraîner le modèle. Elle s'applique à un modèle déjà publié. C'est pourquoi un même modèle circule en de nombreuses versions, produites par son éditeur ou par des contributeurs indépendants.

## Enjeux actuels

### L'accès aux modèles ouverts

Sans quantification, faire tourner un modèle récent demanderait du matériel de centre de données. Avec elle, un ordinateur portable équipé d'une carte graphique suffit pour les modèles de taille moyenne. C'est un levier direct de maîtrise des coûts et de confidentialité, puisque les données ne quittent pas la machine.

### Une qualité à vérifier soi-même

Deux fichiers portant le même nom de modèle peuvent se comporter différemment selon leur niveau de quantification et l'outil qui les a produits. Les comparatifs publiés portent rarement sur la version que l'on a téléchargée. La seule mesure fiable est un essai sur ses propres tâches.

### La provenance des fichiers

Les versions quantifiées sont souvent publiées par des tiers. Avant d'en déployer une, il faut savoir qui l'a produite, à partir de quel modèle, et si elle a été modifiée au passage.


## Chiffres clés

- La quantification réduit la précision des poids d&#39;un modèle, par exemple de nombres flottants sur 32 bits à des entiers sur 4 bits, ce qui réduit sa taille et peut accélérer l&#39;inférence *(llama.cpp — Documentation de l&#39;outil quantize — consultée en novembre 2026)*



## Questions fréquentes

### La quantification dégrade-t-elle la qualité d&#39;un modèle ?

Oui, un peu, et de plus en plus à mesure qu'on compresse. À 8 bits, la différence avec l'original est en général imperceptible. À 4 bits, le compromis reste bon pour la plupart des usages. En dessous, les erreurs deviennent visibles. La documentation de llama.cpp précise que cette perte se mesure, notamment par la perplexité.

### Que signifient Q4_K_M ou Q8_0 dans le nom d&#39;un fichier ?

Ce sont des niveaux de quantification. Le chiffre indique le nombre de bits par poids : 4 pour Q4, 8 pour Q8. Les lettres qui suivent désignent la variante de la méthode. Plus le chiffre est bas, plus le fichier est léger et plus la perte est sensible. Certains auteurs ajoutent leurs propres suffixes, que les outils de téléchargement automatique ne reconnaissent pas toujours.

### Comment choisir le bon niveau de quantification ?

On part de la mémoire graphique disponible. Le fichier doit y tenir en entier, avec une marge pour la fenêtre de contexte. On prend ensuite le niveau le plus précis qui respecte cette contrainte. Un petit modèle peu compressé n'est pas forcément meilleur qu'un grand modèle plus compressé : c'est à comparer sur ses propres cas d'usage.



## Ressources

- [Outil quantize](https://github.com/ggml-org/llama.cpp/blob/master/tools/quantize/README.md?utm_source=romaindelfosse&amp;utm_medium=glossaire&amp;utm_campaign=quantification) — llama.cpp

- [GGUF](https://huggingface.co/docs/hub/gguf?utm_source=romaindelfosse&amp;utm_medium=glossaire&amp;utm_campaign=quantification) — Hugging Face

