un modèle, chaque carte : comment un 27b tourne sur 8 go

Un ami a posé la question qui décide si tout ceci fonctionne : « J'ai une 3060 avec 12 Go. Je suis hors jeu ? »

Il y a six semaines, la réponse honnête était oui. Notre catalogue avait deux petits modèles, et un identifiant de modèle et une quantisation étaient la même chose — soit vous teniez le seul build livré, soit vous ne serviez rien. Aujourd'hui sa carte sert Qwen3.8 27B, et voici ce qui a dû changer.

un modèle n'est pas un fichier

Le correctif était une distinction que nous aurions dû tracer dès le premier jour. Un modèle est ce qu'un client demande : qwen3.8-27b. Un build est un artefact concret — une quantisation, un moteur, un fichier exact d'une révision amont exacte, avec son SHA-256 publié.

Un modèle, plusieurs builds. La requête du client ne change jamais ; l'hôte choisit le build que sa carte peut réellement faire tourner :

Carte	Build	Sur disque
24 Go	Q5_K_M — référence	18,4 Go
20 Go	Q4_K_M — référence	15,3 Go
16 Go	Q3_K_XL — équilibré	12,2 Go
12 Go	Q2_K_XL — compact	9,2 Go
9 Go	IQ2_XXS — compact	6,8 Go

Nous étiquetons le compromis au lieu de le cacher. Un 27B en 2 bits est un vrai modèle avec un vrai coût en qualité — souvent encore meilleur qu'un 4B en 4 bits, mais pas toujours, et pas pour le code. L'appeler « compact » et dire pourquoi est plus utile que le servir en silence.

la paire de flags qui a doublé notre contexte

Dimensionner ces builds nous a appris quelque chose d'embarrassant. Notre premier essai a chargé Qwen3.8 Q4_K_M sur une RX 7900 XTX de 24 Go avec 16K de contexte et quatre slots de batching. La carte avait 345 Mio de libre et a passé le run à s'étouffer.

Le correctif est venu de la lecture d'une configuration qui servait exactement ce modèle, tous les jours, sur exactement cette carte : --flash-attn on avec --cache-type-k q4_1 --cache-type-v q4_1. Un cache KV quantisé fait environ le quart de la taille par défaut. Même carte, même modèle, après :

avant :  16K de contexte  →    345 Mio libres   (étouffement)
après :  32K de contexte  →  6 812 Mio libres

Le double de contexte et six gigas de marge, pour une paire de flags. C'est désormais la base de lancement de chaque build GGUF.

l'estimation n'est pas la promesse

Chaque build porte une estimation de VRAM : les poids, plus le cache KV pour son contexte et ses slots, plus de la marge. Cette estimation décide de ce qui vaut la peine d'être téléchargé — elle existe pour que personne ne tire 15 Go avant de découvrir que ça ne tient pas.

Ce n'est pas ce qui est annoncé aux clients. Un build ne devient réclamable sur une machine qu'après que cette machine l'a chargé et benchmarké. Les estimations filtrent les téléchargements ; les mesures décident du routage. Quand votre dashboard dit que votre carte fait 37 tokens par seconde, ce chiffre est sorti de votre carte, pas d'une table.

ce que votre carte peut servir

Votre carte	Modèles
6–8 Go	Gemma 4 E4B, les petits Qwen2.5
10 Go	+ Gemma 4 12B
12 Go	+ Qwen3.8 27B (Q2_K_XL)
16 Go	+ gpt-oss 20B, Qwen3.8 en Q3_K_XL
24 Go	tout, y compris Gemma 4 26B-A4B et Qwen3.8 en Q4/Q5

Le catalogue a la liste complète avec les prix. Ou installez l'agent et demandez à votre propre machine :

$ mahout models
this machine: 24 GiB VRAM detected

* qwen3.8-27b  (Qwen3.8 27B Instruct)
      > UD-Q5_K_M      18.4 GiB  needs ~23 GiB   32K ctx  reference   <- this machine

Donc : 12 Go n'est pas hors jeu. C'est, depuis cette semaine, assez pour servir le vaisseau amiral.

Voir le catalogue · Quel modèle pour mon GPU ? · Installer mahout