Was wirklich auf Ihrer Maschine läuft

Zwei Dinge laufen auf einer Host-Maschine, und von beiden können Sie den Quelltext lesen.

1. mahout — der Agent

mahout ist ein einzelnes Rust-Binary, rund 5 MB. Es sondiert Ihre Hardware, registriert sich mit einem Einmal-Code, lädt und verifiziert Modellgewichte, startet und beaufsichtigt die Inferenz-Engine, pollt nach Arbeit und signiert für jeden abgeschlossenen Job eine Quittung. Es läuft als Ihr Benutzer, braucht kein Root und öffnet keinen eingehenden Port — nur ausgehendes HTTPS, weshalb es hinter jedem Heimrouter unangetastet funktioniert.

Es ist Open Source, und der Installer, den Sie in sh leiten, ist vierzig Zeilen Shell, die Sie vorher lesen können.

2. Die Inferenz-Engine

mahout rechnet nicht selbst; es steuert eine Engine. Heute ist das llama.cpp — ein bestimmtes, gepinntes Release, einmal in mahouts Cache geladen und gegen einen SHA-256 geprüft, der ins mahout-Binary eingebrannt ist. Es läuft als Kindprozess, gebunden an 127.0.0.1 — nichts außerhalb Ihrer Maschine erreicht es.

Ein llama.cpp-Build (der Vulkan-Build) bedient AMD-, NVIDIA- und Intel-GPUs gleichermaßen. Das ist Absicht: AMD-Besitzer sind hier keine zweite Klasse, und unsere eigene Flotte fährt RX 7900 XTX-Karten.

Und wo sind die Docker-Images?

Es gibt keine, und das ist ein Feature. Ein Container-Image für eine Serving-Engine wiegt 10–30 GB, braucht ein Container-Runtime, ein GPU-Toolkit und oft Root zur Einrichtung. Für einen Gaming-PC im Wohnzimmer ist das viel Zeremonie für ein Modell, das ein 5-MB-Binary längst bedient.

Container lohnen sich am anderen Ende des Markts: viele gleichzeitige Anfragen auf einer Workstation- oder Datacenter-Karte, wo vLLM mit kontinuierlichem Batching und Paged Attention davonzieht. Wenn wir diese Stufe hinzufügen, ändern sich die Regeln nicht:

das Image wird per Digest referenziert, nie über einen wandernden Tag;
die Liste der Images, die ein Host fahren darf, ist ins mahout-Release kompiliert — der Server kann Ihrer Maschine kein beliebiges Image unterschieben;
der Container bekommt keinen Netzwerkausgang und ein Nur-Lese-Mount der Gewichte;
es bleibt Opt-in pro Host.

Bis dahin lautet die ehrliche Antwort auf „welche Images fahrt ihr auf meinem Rechner?": keine.

Was es tun darf

mahout führt nur Artefakte aus, die gepinnt und per Checksumme geprüft sind: ein bestimmtes Engine-Release, eine bestimmte Modelldatei einer bestimmten Upstream-Revision. Es gibt bewusst keinen Weg, es auf eine beliebige URL aus dem Netz zu richten, und ein Job ist Daten — ein Prompt — kein Code. Prompts leben im RAM, berühren Ihre Platte nie und sind mit dem Ende des Jobs verschwunden.