Choisir exactement ce que sert votre GPU

Votre carte, votre décision. Vous choisissez quels modèles cette machine sert et à quelle quantisation, et le réseau suit — sans ticket, sans nous attendre.

Deux décisions, gardées distinctes

Quels modèles vous servez, et à quelle qualité. Ce sont deux questions différentes, donc deux réglages différents : vous pouvez épingler une qualité sans restreindre votre catalogue, ou restreindre votre catalogue sans toucher à la qualité.

$ mahout config set models_allowed=qwen3.8-27b
$ mahout config set preferred_builds=qwen3.8-27b@ud_iq4_xs

Ou les deux mêmes choix dans votre dashboard, sur la ligne de la machine : une case par modèle, une liste déroulante par quantisation. Seuls les builds que votre carte peut réellement tenir sont proposés — impossible de choisir quelque chose qui ne tournera pas.

Neuf façons de faire tourner un même modèle

Qwen3.8 27B existe en neuf builds, de 18,4 Gio à 6,8 Gio. Un gros build répond mieux ; un petit répond plus vite. Sur une carte de 24 Go vous pouvez faire tourner les poids de référence, ou choisir délibérément l'IQ4_XS et servir davantage de requêtes à l'heure. Les deux sont des commerces légitimes.

Modifiable en marche

L'agent relit vos réglages chaque minute. Changez de quantisation depuis votre téléphone : la machine décharge les anciens poids et charge les nouveaux toute seule — pas de redémarrage, pas de SSH, rien à retenir. Ce que vous avez réglé est ce qu'elle retrouve après un reboot.

Un épinglage est une promesse tenue

Si vous épinglez un build que votre carte ne peut pas tenir, nous n'en servons pas un plus petit en douce. Le modèle est retiré et l'agent dit pourquoi. Vous avez demandé une qualité ; une rétrogradation silencieuse réapparaîtrait des semaines plus tard sous forme d'un benchmark inexplicable.

Ce que vous servez est aussi ce pour quoi vous êtes payé — voir ce que vous payez, et ce qu'un hôte gagne.