Pourquoi nous ne servons que des modèles à poids ouverts

Chaque modèle que nous servons est un modèle que vous pourriez télécharger et faire tourner sur votre propre matériel. C'est une contrainte que nous avons choisie, et elle façonne le produit plus qu'aucune autre décision.

Vous n'êtes jamais enfermé

Si nous augmentions les prix demain, ou si nous disparaissions, votre application continue de fonctionner : mêmes poids, même forme d'API, un autre endpoint. C'est une position faible pour un fournisseur et forte pour un client — c'est à peu près le but. Cela oblige aussi notre tarification à rester honnête : la sortie est toujours à une URL de base près.

C'est la seule chose qui pouvait marcher ici

Un pool distribué, ce sont des poids de modèles posés sur des machines qui ne nous appartiennent pas. Aucune licence de modèle propriétaire ne le permet, et aucune ingénierie ne le rend permis. Les poids ouverts ne sont pas une fioriture philosophique par-dessus l'architecture ; c'est ce qui rend l'architecture légale.

Auditables, jusqu'en bas

Chaque build est épinglé à une révision amont exacte avec un SHA-256 publié : « quels poids m'ont répondu » a une réponse vérifiable.
L'agent qui les fait tourner est open source, et ses releases sont vérifiées par checksum.
Le moteur est une release amont épinglée, vérifiée avant de tourner.

Vous pouvez reproduire toute la pile. Nous préférons nous battre sur le prix, la latence et l'honnêteté que sur le fait d'être les seuls à savoir ce qu'il y a dedans.

Les licences, prises au sérieux

Les modèles Apache-2.0 et MIT sont simples. D'autres — les conditions de Gemma, par exemple — portent des conditions d'usage que nous lisons avant d'ajouter un modèle, et la licence est affichée sur chaque entrée du catalogue plutôt qu'enterrée. Si les conditions d'un modèle ne permettent pas ce que nous faisons, il n'entre pas, aussi bons que soient les benchmarks.

Ce que nous abandonnons

Les modèles fermés de frontière restent, sur certaines tâches, devant. Nous n'allons pas prétendre le contraire. Ce que le catalogue ouvert vous donne à la place : un prix plusieurs fois plus bas, des poids que vous pouvez inspecter, et un chemin souverain UE qui n'existe pas pour un modèle que vous n'avez pas le droit de déplacer. Pour énormément de charges de travail, l'échange est évidemment le bon ; pour certaines il ne l'est pas, et vous devriez utiliser le bon outil.