Beveiliging en privacy: wat we doen en wat niet

Gedistribueerde inferentie roept twee terechte vragen op: wat gebeurt er met de prompt van een klant, en wat met de machine van een host. Dit is het huidige antwoord op beide, inclusief de delen die nog in ontwikkeling zijn.

Als je ons prompts stuurt

Er wordt niets bewaard. Een prompt leeft in het geheugen zolang de taak duurt. Het taakrecord verliest zijn berichten op het moment dat het wordt afgerekend; wat overblijft zijn tellingen — tokens, kosten, model, tijdstip — zonder enige tekst.
Er wordt niets mee getraind. Niet door ons, niet door hosts. Er is geen pijplijn die het zou kunnen: de tekst is weg.
EU als standaard. Het besturingsvlak draait in de EU, op eigen hardware, onder Belgisch recht. Geen CLOUD Act-verplichting bereikt het via een Amerikaanse moeder, want die is er niet.

Als je host

Je draait alleen vastgezette artefacten. Een specifieke engineversie en specifieke modelbestanden, elk geverifieerd met SHA-256 tijdens het downloaden en bij elke keer laden. Er bestaat geen mechanisme waarmee de server je machine willekeurige code of een willekeurige URL kan geven.
De engine is lokaal. Hij luistert op 127.0.0.1 en is van buitenaf niet bereikbaar. mahout heeft geen inkomende poort nodig.
Een prompt is data. Een taak brengt tekst naar een model, nooit instructies naar je besturingssysteem. Er wordt aan hostzijde geen gereedschap uitgevoerd.
Jij houdt de regie. mahout pauzeert terwijl je de machine gebruikt, mahout pause stopt het aannemen van werk, en mahout uninstall toont het verwijderplan voordat er iets wordt aangeraakt.

Wat nog niet af is

De engine draait vandaag als onbevoorrecht kindproces, niet in een sandbox met syscall-filter. Dat harden — seccomp en Landlock op Linux, containers zonder netwerkuitgang voor het komende vLLM-niveau — staat gepland, en we zeggen dat liever ronduit dan een grens te suggereren die er nog niet is.

Controleren in plaats van vertrouwen

mahout is open source en de releases hebben checksums. Je kunt lezen wat het doet voordat je het draait, en controleren dat wat je downloadde is wat wij publiceerden.