Welches Modell kann meine GPU bedienen?

Ein Modell ist nicht eine Datei. Dasselbe Modell erscheint in mehreren Quantisierungen — dieselben Gewichte mit geringerer Präzision gespeichert — und jede braucht anders viel VRAM. Nur so erreicht ein 27B-Modell überhaupt eine 8-GB-Karte.

Die Leiter

Ihre Karte	Was sie bedienen kann
6–8 GB (GTX 1060, RX 580, RTX 3070)	Gemma 4 E4B, die kleinen Qwen2.5
10 GB (RTX 3080)	+ Gemma 4 12B
12 GB (RTX 3060 12G, RTX 4070)	+ Qwen3.8 27B als Q2_K_XL
16 GB (RTX 4060 Ti 16G, RX 6900 XT)	+ gpt-oss 20B, Qwen3.8 als Q3_K_XL
24 GB (RTX 3090/4090, RX 7900 XTX)	alles, inkl. Gemma 4 26B-A4B und Qwen3.8 als Q4_K_M oder Q5_K_M

Die vollständige Liste mit Preisen und Lizenzen steht auf der Modellseite.

Was Quantisierung Sie kostet

Weniger Bits pro Gewicht heißt kleinere Datei und weniger VRAM, gegen einen gewissen Qualitätspreis. Der Katalog etikettiert jeden Build, damit der Kompromiss sichtbar ist statt versteckt:

• Referenz — wogegen wir benchmarken und was wir bei freier Wahl fahren würden (Q4/Q5).
• ausgewogen — nahe an der Referenz, deutlich kleiner (Q3).
• kompakt — passt auf kleine Karten, mit echtem Qualitätspreis (Q2, IQ2).

Ein 27B mit 2 Bit ist oft immer noch besser als ein 4B mit 4 Bit — aber nicht immer, und nicht für Code. Wenn ein Modell quantization-aware Gewichte veröffentlicht (Google tut das für Gemma), nutzen wir diese: sie verlieren weit weniger als eine nachträglich angewandte Quantisierung.

Nicht raten — messen

VRAM-Zahlen in jedem Katalog sind Schätzungen: Gewichte, plus KV-Cache für Kontext und jeden parallelen Slot, plus Rechenraum. Ihr Treiber, Ihr Desktop und Ihre anderen Programme nehmen alle ihren Anteil. Deshalb skaliert der Katalog die Zahl der gleichzeitigen Slots je Build, und mahout misst statt vorherzusagen:

$ mahout models                    # was der Katalog bietet, und was auf Ihre Karte passt
$ mahout bench --model qwen3.8-27b # wirklich laden, Tokens/Sekunde messen

Solange ein Modell nicht auf Ihrer Maschine gebenchmarkt wurde, zeigt Ihr Dashboard es als Schätzung und nennt nie eine Einnahmen-Zahl dafür. Eine gemessene Zahl ist die einzige, die es wert ist, gezeigt zu werden.