# GGUF

> GGUF : format de fichier unique qui contient un modèle d&#39;IA et toutes les informations nécessaires pour le charger, conçu pour faire tourner des modèles en local.

- **Catégorie** : IA
- **URL** : https://www.romaindelfosse.fr/glossary/gguf/

---

**GGUF** est un format de fichier conçu pour distribuer et exécuter des modèles d'intelligence artificielle en local. Un seul fichier contient le modèle et tout ce qu'il faut pour le charger. C'est le format de fait des modèles de langage que l'on fait tourner soi-même, hors des services en ligne.

## Définition technique

### Un fichier, tout compris

Sa spécification fixe trois objectifs : un déploiement en un seul fichier, sans dépendance à des fichiers annexes ; un format extensible, auquel on peut ajouter des informations sans casser les modèles existants ; et un chargement rapide. GGUF a succédé à plusieurs formats antérieurs du même projet, dont GGML.

### Des métadonnées lisibles

Outre les nombres du modèle, le fichier embarque des métadonnées structurées en paires clé-valeur : l'architecture, la taille maximale du contexte, le gabarit de conversation, le niveau de quantification. Un outil peut donc charger un modèle sans qu'on lui fournisse sa configuration à part.

### Le compagnon de la quantification

Un même modèle est en général proposé en plusieurs fichiers GGUF, un par niveau de quantification. On choisit celui qui tient dans la mémoire de sa machine. Le nom du fichier indique ce niveau par un suffixe.

## Enjeux actuels

### Faire tourner un modèle chez soi

GGUF a simplifié l'accès aux modèles ouverts : là où il fallait assembler un environnement technique, il suffit désormais d'un fichier et d'un outil. Pour une organisation, cela ouvre des usages où les données ne quittent ni le poste ni le serveur interne.

### Ce que le fichier décide à votre place

Les métadonnées embarquées pilotent le comportement du modèle. Un gabarit de conversation incomplet ou modifié change la façon dont le modèle traite les consignes ou les appels d'outils. Quand un modèle local se comporte bizarrement, le fichier est un suspect aussi sérieux que le modèle.

### Une chaîne d'approvisionnement à surveiller

La plupart des fichiers GGUF en circulation ne viennent pas des éditeurs des modèles. Ils sont produits et republiés par des tiers, parfois avec des modifications. Vérifier la provenance d'un fichier avant de le déployer relève de la même hygiène que pour n'importe quelle dépendance logicielle.



## Questions fréquentes

### À quoi sert un fichier GGUF ?

À faire tourner un modèle de langage sur sa propre machine, avec des outils comme llama.cpp, Ollama, LM Studio ou GPT4All. Le fichier contient le modèle et ses réglages : on le télécharge, on le charge, il fonctionne. Les modèles y sont le plus souvent quantifiés, donc allégés pour tenir dans une carte graphique ordinaire.

### Quelle différence entre GGUF et safetensors ?

Les deux stockent les nombres d'un modèle. La documentation de Hugging Face résume l'écart : safetensors ne contient que les tenseurs, alors que GGUF y ajoute un jeu de métadonnées standardisé. Safetensors est le format des modèles d'origine, utilisé pour l'entraînement. GGUF est un format d'exécution, pensé pour un chargement rapide.

### Où trouver des modèles au format GGUF ?

Principalement sur Hugging Face, qui permet de filtrer les dépôts par ce format et d'inspecter le contenu d'un fichier avant de le télécharger. Beaucoup de ces fichiers sont publiés par des contributeurs indépendants et non par l'éditeur du modèle : il faut vérifier l'auteur, le modèle d'origine et le niveau de quantification.



## Ressources

- [GGUF](https://huggingface.co/docs/hub/gguf?utm_source=romaindelfosse&amp;utm_medium=glossaire&amp;utm_campaign=gguf) — Hugging Face

- [Spécification du format GGUF](https://github.com/ggml-org/ggml/blob/master/docs/gguf.md?utm_source=romaindelfosse&amp;utm_medium=glossaire&amp;utm_campaign=gguf) — ggml

