← Knowledge base

Warum wir nur Open-Weight-Modelle bedienen

Jedes Modell im Katalog ist eines, das Sie selbst fahren könnten. Was das für Lock-in, Auditierbarkeit und Lizenzen bedeutet — und warum ein geschlossenes Modell in einem verteilten Pool ohnehin nicht funktionieren könnte.

Jedes Modell, das wir bedienen, könnten Sie herunterladen und auf eigener Hardware fahren. Diese Einschränkung haben wir gewählt, und sie formt das Produkt mehr als jede andere Entscheidung.

Sie sind nie eingesperrt

Erhöhten wir morgen die Preise, oder verschwänden wir, liefe Ihre Anwendung weiter: dieselben Gewichte, dieselbe API-Form, ein anderer Endpunkt. Für einen Anbieter ist das eine schwache Position und für einen Kunden eine starke — das ist ungefähr der Punkt. Es zwingt auch unsere Preise zur Ehrlichkeit: der Ausgang ist immer eine Basis-URL entfernt.

Es ist das Einzige, das hier funktionieren konnte

Ein verteilter Pool heißt: Modellgewichte liegen auf Maschinen, die uns nicht gehören. Keine proprietäre Modelllizenz erlaubt das, und keine Ingenieursleistung macht es erlaubt. Offene Gewichte sind keine philosophische Verzierung der Architektur; sie sind das, was die Architektur legal macht.

Auditierbar, bis ganz nach unten

  • Jeder Build ist auf eine exakte Upstream-Revision mit veröffentlichtem SHA-256 gepinnt: „welche Gewichte haben mir geantwortet" hat eine überprüfbare Antwort.
  • Der Agent, der sie fährt, ist Open Source, seine Releases sind mit Checksummen versehen.
  • Die Engine ist ein gepinntes Upstream-Release, verifiziert bevor es läuft.

Sie können den ganzen Stack reproduzieren. Wir konkurrieren lieber über Preis, Latenz und Ehrlichkeit als darüber, die Einzigen zu sein, die wissen, was drin ist.

Lizenzen, ernst genommen

Apache-2.0- und MIT-Modelle sind einfach. Andere — Gemmas Bedingungen etwa — tragen Nutzungsauflagen, die wir lesen, bevor ein Modell aufgenommen wird, und die Lizenz steht auf jedem Katalogeintrag statt vergraben zu sein. Erlauben die Bedingungen eines Modells nicht, was wir tun, kommt es nicht hinein — so gut die Benchmarks auch aussehen.

Was wir aufgeben

Die geschlossenen Frontier-Modelle sind auf manchen Aufgaben noch vorn. Das werden wir nicht wegreden. Was der offene Katalog Ihnen stattdessen gibt: ein mehrfach niedrigerer Preis, Gewichte, die Sie inspizieren können, und ein EU-souveräner Pfad, den es für ein Modell, das Sie nicht bewegen dürfen, nicht gibt. Für sehr viele Workloads ist der Tausch offensichtlich richtig; für manche nicht, und dann nehmen Sie das richtige Werkzeug.

Verwandt

Model catalogue · Download mahout · How the whole system works · Blog