Quel modèle mon GPU peut-il servir ?

Un modèle n'est pas un fichier unique. Le même modèle est livré en plusieurs quantisations — les mêmes poids stockés à moindre précision — et chacune exige une quantité de VRAM différente. C'est ainsi qu'un modèle 27B atteint une carte de 8 Go.

L'échelle

Votre carte	Ce qu'elle peut servir
6–8 Go (GTX 1060, RX 580, RTX 3070)	Gemma 4 E4B, les petits Qwen2.5
10 Go (RTX 3080)	+ Gemma 4 12B
12 Go (RTX 3060 12G, RTX 4070)	+ Qwen3.8 27B en Q2_K_XL
16 Go (RTX 4060 Ti 16G, RX 6900 XT)	+ gpt-oss 20B, Qwen3.8 en Q3_K_XL
24 Go (RTX 3090/4090, RX 7900 XTX)	tout, y compris Gemma 4 26B-A4B et Qwen3.8 en Q4_K_M ou Q5_K_M

La liste complète, avec prix et licences, est sur la page des modèles.

Ce que la quantisation vous coûte

Moins de bits par poids, c'est un fichier plus petit et moins de VRAM, contre un certain coût en qualité. Le catalogue étiquette chaque build pour que le compromis soit visible plutôt que caché :

référence — ce contre quoi nous benchmarkons et ce que nous ferions tourner à choix libre (Q4/Q5).
équilibré — proche de la référence, nettement plus petit (Q3).
compact — tient sur les petites cartes, avec un vrai coût en qualité (Q2, IQ2).

Un modèle 27B en 2 bits est souvent encore meilleur qu'un 4B en 4 bits — mais pas toujours, et pas pour le code. Quand un modèle publie des poids quantization-aware (Google le fait pour Gemma), nous les utilisons : ils perdent bien moins qu'une quantisation appliquée après coup.

Ne devinez pas — mesurez

Les chiffres de VRAM d'un catalogue sont des estimations : les poids, plus le cache KV pour le contexte et chaque slot parallèle, plus de la place pour calculer. Votre pilote, votre bureau et vos autres applications prennent tous leur part. C'est pour cela que le catalogue adapte le nombre de slots concurrents à chaque build, et que mahout mesure au lieu de prédire :

$ mahout models                    # ce que le catalogue offre, et ce qui tient sur votre carte
$ mahout bench --model qwen3.8-27b # le charger pour de vrai, mesurer les tokens/seconde

Tant qu'un modèle n'a pas été benchmarké sur votre machine, votre dashboard l'affiche comme estimation et ne cite jamais de chiffre de gains pour lui. Un nombre mesuré est le seul qui vaille d'être montré.