Was Ihre GPU schnell macht, und was das zahlt

Sie werden je Token bezahlt, den Ihre Maschine produziert. Durchsatz ist hier also kein Benchmark-Wert — er ist der Stundenlohn. Eine Karte, die doppelt so schnell dekodiert, verdient doppelt so viel mit demselben Strom, demselben Verschleiß und denselben Stunden, in denen sie für nichts anderes verfügbar ist.

Das meiste davon ist unsere Aufgabe, und wir erledigen sie einmal für alle. Ein Teil gehört Ihnen.

Was wir für Sie einstellen

Der Engine-Build wird per Messung gewählt

Jeder Host fährt dieselbe Inferenz-Engine: ein bestimmtes llama.cpp-Release, per Digest in mahout gepinnt und beim Download verifiziert. Wir folgen nicht einfach dem neuesten Tag. Ein Kandidat wird auf echten Consumer-Karten gegen den aktuellen Build gebenchmarkt, und der Pin wandert nur, wenn der Kandidat schneller ist. Release Notes beschreiben die Leistung eines Backends auf einer Hardwareklasse nicht zuverlässig, und der Abstand zwischen zwei Builds wenige Monate auseinander kann ein Mehrfaches des Durchsatzes sein.

Wir liefern das Upstream-Artefakt statt selbst zu kompilieren: ein lokal kompilierter Build desselben Releases misst sich auf etwa zehn Prozent genau gleich — zu wenig, um ein unsigniertes Binary auf fremde Maschinen zu legen.

Die richtige Karte, automatisch

Auf einer Maschine mit mehr als einer GPU wählt mahout die Karte mit dem meisten freien Speicher und weist die Engine an, genau diese zu nutzen. Die Wahl wird gemeldet, bevor irgendetwas geladen wird:

  [  PULLING] gpu Vulkan1 (Radeon RX 7900 XTX (RADV NAVI31) (24576 MiB, 22726 MiB free))

Freier statt Gesamtspeicher, mit einer nützlichen Folge: nutzen Sie die große Karte gerade selbst, nimmt mahout die andere, statt mit Ihnen darum zu streiten.

Spekulatives Dekodieren, wo das Modell es trägt

Manche offenen Modelle liefern neben den Gewichten einen kleinen Vorhersagekopf, trainiert, die nächsten zwei Tokens aus dem verborgenen Zustand des Modells zu raten. Die Engine prüft mehrere Vermutungen in einem Durchgang — stimmen sie, kosten mehrere Tokens ungefähr so viel wie einer. Auf einem gesunden Build ist das mehr als das Dreifache der einfachen Dekodier-Rate wert.

Es hängt an den Gewichten, nicht an der Konfiguration: es gilt für die Katalog-Builds, die mit einem solchen Kopf veröffentlicht wurden. Wo es verfügbar ist, aktiviert mahout es; wo nicht, geht nichts verloren.

Speicher für die richtigen Dinge

Der KV-Cache — das Gedächtnis des Modells über das bisherige Gespräch — wird quantisiert gespeichert, was seine Kosten ungefähr viertelt. Das lässt ein 27B-Modell langen Kontext auf einer Consumer-Karte halten, statt sein VRAM in Buchhaltung zu stecken. Flash Attention ist an, Kontextlänge und Slot-Zahl werden je Build gesetzt statt global, und das Modell bleibt komplett auf der GPU: eines, das in den Systemspeicher überläuft, dekodiert um ein Mehrfaches langsamer — der Katalog dimensioniert Builds, um das zu vermeiden.

Was in Ihrer Hand liegt

• Welche Karte, wenn Sie mehrere haben. mahout wählt standardmäßig gut; mahout serve --gpu 1 überstimmt es.
• Ihr Leistungslimit. Niedriger ist kühler, leiser, billiger — und langsamer, verdient also weniger. Ein echter Tausch, und Ihrer. Siehe entscheiden, wann Ihre GPU arbeitet.
• Was sonst noch läuft. Die Engine konkurriert mit allem anderen auf der Karte. vram_reserve_bytes hält eine Scheibe für Sie frei.
• Welche Modelle Sie bedienen. Ein kleineres Modell dekodiert schneller, verkauft sich aber je Token billiger; die Balance ist je Karte anders. Ihr Dashboard zeigt Euro je Bedienstunde für jedes, das Ihre Maschine gemessen hat.

Ihre eigenen Zahlen sehen

Nichts hier ist ein Versprechen über Ihre Hardware. Fahren Sie den Benchmark und wissen Sie es:

$ mahout models                    # was auf diese Karte passt
$ mahout bench --model qwen3.8-27b # laden, Tokens pro Sekunde messen

Das Ergebnis wird auf Ihrer Maschine signiert und erscheint im Dashboard als gemessene Zahl. Bis ein Modell auf Ihrer Hardware gebenchmarkt wurde, wird es als Schätzung gezeigt und nie als Einnahmen-Zahl zitiert — siehe was Ihre GPU wirklich verdient.