Sicurezza e privacy: cosa facciamo e cosa no

L'inferenza distribuita solleva due domande legittime: che fine fa il prompt di un cliente e che fine fa la macchina di un host. Ecco la risposta attuale a entrambe, comprese le parti ancora in lavorazione.

Se ci mandi dei prompt

Non conserviamo nulla. Un prompt vive in memoria per la durata del lavoro. Il record del lavoro perde i suoi messaggi nel momento in cui viene liquidato; restano solo conteggi — token, costo, modello, data — senza alcun testo.
Nulla viene usato per l'addestramento. Né da noi né dagli host. Non esiste una pipeline che potrebbe farlo: il testo non c'è più.
UE per impostazione predefinita. Il piano di controllo gira nell'UE, su hardware nostro, secondo il diritto belga. Nessun obbligo del CLOUD Act lo raggiunge tramite una capogruppo statunitense, perché non esiste.

Se ospiti

Esegui solo artefatti fissati. Una versione precisa del motore e file di modello precisi, ciascuno verificato con SHA-256 durante il download e a ogni caricamento. Non esiste alcun meccanismo con cui il server possa consegnare alla tua macchina codice o URL arbitrari.
Il motore è locale. Ascolta su 127.0.0.1 e non è raggiungibile dall'esterno. mahout non ha bisogno di alcuna porta in entrata.
Un prompt è un dato. Un lavoro porta testo a un modello, mai istruzioni al tuo sistema. Lato host non viene eseguito alcuno strumento.
Mantieni il controllo. mahout si mette in pausa mentre usi la macchina, mahout pause ferma la presa di lavoro e mahout uninstall mostra il piano di cancellazione prima di toccare qualsiasi cosa.

Cosa non è ancora fatto

Oggi il motore gira come processo figlio non privilegiato, non in una sandbox con filtro delle chiamate di sistema. Irrobustirlo — seccomp e Landlock su Linux, container senza uscita di rete per il futuro livello vLLM — è pianificato, e preferiamo dirlo chiaramente piuttosto che lasciar intendere un confine che ancora non c'è.

Verificare invece di fidarsi

mahout è open source e le sue release hanno checksum. Puoi leggere cosa fa prima di eseguirlo e verificare che ciò che hai scaricato sia ciò che abbiamo pubblicato.