Ce qui rend votre GPU rapide, et ce que ça paie

Vous êtes payé par token produit par votre machine. Le débit n'est donc pas ici un score de benchmark — c'est le taux horaire. Une carte qui décode deux fois plus vite gagne deux fois plus avec la même électricité, la même usure et les mêmes heures d'indisponibilité pour tout le reste.

L'essentiel de ce qui le détermine est notre travail, et nous le faisons une fois pour tout le monde. Une partie est le vôtre.

Ce que nous réglons pour vous

Le build du moteur est choisi par la mesure

Chaque hôte fait tourner le même moteur d'inférence : une release llama.cpp précise, épinglée par digest dans mahout et vérifiée au téléchargement. Nous ne suivons pas simplement le tag le plus récent. Un build candidat est benchmarké contre l'actuel sur de vraies cartes grand public, et l'épingle ne bouge que si le candidat est plus rapide. La performance amont sur un backend et une classe de matériel n'est pas quelque chose que les notes de release décrivent fiablement, et la différence entre deux builds à quelques mois d'écart peut être de plusieurs fois le débit.

Nous livrons l'artefact amont plutôt que de compiler le nôtre : un build compilé localement de la même release mesure à environ dix pour cent près — pas de quoi justifier de poser un binaire non signé sur les machines des autres.

La bonne carte, automatiquement

Sur une machine à plusieurs GPU, mahout choisit la carte avec le plus de mémoire libre et dit au moteur d'utiliser exactement celle-là. Il annonce son choix avant de rien télécharger :

  [  PULLING] gpu Vulkan1 (Radeon RX 7900 XTX (RADV NAVI31) (24576 MiB, 22726 MiB free))

Mémoire libre plutôt que totale, ce qui a une conséquence utile : si vous utilisez déjà la grosse carte pour autre chose, mahout prend l'autre au lieu de vous la disputer.

Le décodage spéculatif, là où le modèle le permet

Certains modèles ouverts livrent à côté des poids une petite tête de prédiction, entraînée à deviner les deux tokens suivants depuis l'état caché du modèle lui-même. Le moteur peut alors vérifier plusieurs hypothèses en une seule passe — quand elles sont justes, vous obtenez plusieurs tokens pour à peu près le coût d'un. Sur un build sain, cela vaut plus de trois fois le débit de décodage simple.

Cela dépend des poids, pas de la configuration : ça s'applique aux builds de notre catalogue publiés avec une telle tête. Là où c'est disponible, mahout l'active ; là où ça ne l'est pas, rien n'est perdu.

La mémoire dépensée au bon endroit

Le cache KV — la mémoire que le modèle garde de la conversation — est stocké quantisé, ce qui divise son coût par environ quatre. C'est ce qui permet à un modèle 27B de tenir un long contexte sur une carte grand public au lieu de dépenser toute sa VRAM en comptabilité. Flash attention est activée, la longueur de contexte et le nombre de slots concurrents sont réglés par build plutôt que globalement, et le modèle est gardé entièrement sur le GPU : un modèle qui déborde en mémoire système décode plusieurs fois plus lentement, et le catalogue dimensionne les builds pour l'éviter.

Ce qui est entre vos mains

Quelle carte, si vous en avez plusieurs. mahout choisit bien par défaut ; mahout serve --gpu 1 l'emporte.
Votre plafond de puissance. Plus bas, c'est plus frais, plus silencieux, moins cher — et plus lent, donc ça gagne moins. Un vrai arbitrage, et le vôtre. Voir décider quand votre GPU travaille.
Ce qui tourne à côté. Le moteur est en concurrence avec tout le reste sur la carte. vram_reserve_bytes garde une tranche libre pour votre propre usage.
Quels modèles vous servez. Un modèle plus petit décode plus vite mais se vend moins cher au token ; l'équilibre diffère selon la carte. Votre dashboard affiche les euros par heure de service pour chacun que votre machine a mesuré.

Voir vos propres chiffres

Rien ici n'est une promesse sur votre matériel. Lancez le benchmark et sachez :

$ mahout models                    # ce qui tient sur cette carte
$ mahout bench --model qwen3.8-27b # le charger, mesurer les tokens par seconde

Le résultat est signé sur votre machine et apparaît dans votre dashboard comme chiffre mesuré. Tant qu'un modèle n'a pas été benchmarké sur votre matériel, il est montré comme estimation et jamais cité comme chiffre de gains — voir ce que votre GPU gagne réellement.