Warum wir nur Open-Weight-Modelle bedienen
Jedes Modell im Katalog ist eines, das Sie selbst fahren könnten. Was das für Lock-in, Auditierbarkeit und Lizenzen bedeutet — und warum ein geschlossenes Modell in einem verteilten Pool ohnehin nicht funktionieren könnte.
Jedes Modell, das wir bedienen, könnten Sie herunterladen und auf eigener Hardware fahren. Diese Einschränkung haben wir gewählt, und sie formt das Produkt mehr als jede andere Entscheidung.
Sie sind nie eingesperrt
Erhöhten wir morgen die Preise, oder verschwänden wir, liefe Ihre Anwendung weiter: dieselben Gewichte, dieselbe API-Form, ein anderer Endpunkt. Für einen Anbieter ist das eine schwache Position und für einen Kunden eine starke — das ist ungefähr der Punkt. Es zwingt auch unsere Preise zur Ehrlichkeit: der Ausgang ist immer eine Basis-URL entfernt.
Es ist das Einzige, das hier funktionieren konnte
Ein verteilter Pool heißt: Modellgewichte liegen auf Maschinen, die uns nicht gehören. Keine proprietäre Modelllizenz erlaubt das, und keine Ingenieursleistung macht es erlaubt. Offene Gewichte sind keine philosophische Verzierung der Architektur; sie sind das, was die Architektur legal macht.
Auditierbar, bis ganz nach unten
- Jeder Build ist auf eine exakte Upstream-Revision mit veröffentlichtem SHA-256 gepinnt: „welche Gewichte haben mir geantwortet" hat eine überprüfbare Antwort.
- Der Agent, der sie fährt, ist Open Source, seine Releases sind mit Checksummen versehen.
- Die Engine ist ein gepinntes Upstream-Release, verifiziert bevor es läuft.
Sie können den ganzen Stack reproduzieren. Wir konkurrieren lieber über Preis, Latenz und Ehrlichkeit als darüber, die Einzigen zu sein, die wissen, was drin ist.
Lizenzen, ernst genommen
Apache-2.0- und MIT-Modelle sind einfach. Andere — Gemmas Bedingungen etwa — tragen Nutzungsauflagen, die wir lesen, bevor ein Modell aufgenommen wird, und die Lizenz steht auf jedem Katalogeintrag statt vergraben zu sein. Erlauben die Bedingungen eines Modells nicht, was wir tun, kommt es nicht hinein — so gut die Benchmarks auch aussehen.
Was wir aufgeben
Die geschlossenen Frontier-Modelle sind auf manchen Aufgaben noch vorn. Das werden wir nicht wegreden. Was der offene Katalog Ihnen stattdessen gibt: ein mehrfach niedrigerer Preis, Gewichte, die Sie inspizieren können, und ein EU-souveräner Pfad, den es für ein Modell, das Sie nicht bewegen dürfen, nicht gibt. Für sehr viele Workloads ist der Tausch offensichtlich richtig; für manche nicht, und dann nehmen Sie das richtige Werkzeug.
Verwandt
Model catalogue · Download mahout · How the whole system works · Blog