Modelle

Zwei Familien, ein Verhalten.

Beide antworten in drei Kanälen: von den Belegen gedeckt, nicht gedeckt oder von ihnen widerlegt. Was sie unterscheidet: wem die Gewichte gehören, und ob dieses Urteil nach der Antwort entsteht oder während sie geschrieben wird.

Beide sind nach Masseinheiten benannt, und das ist keine Dekoration. Lumen misst, wie viel Licht tatsächlich ankommt, nicht wie hell eine Lampe beworben wird. Und Gauss ist der Name hinter der Mathematik der Unsicherheit: eine Verteilung, an der sich ablesen lässt, wie sicher etwas ist. Genau das berechnet die zweite Familie aus ihrem eigenen verborgenen Zustand.

LUMENDie Schicht sitzt davoreine FrageOpen-Weight-Modellvon uns angepasst und betriebenKonsistenzschichtliest die fertigen Aussagenbelegt · nicht belegt · widerlegtANTWORTET HEUTEGAUSSDie Schicht sitzt darineine FrageUnser ModellGewichte von null an trainiertKonsistenzkopfliest den verborgenen Zustandbelegt · nicht belegt · widerlegtIN PLANUNG
Auf beiden Seiten dieselben drei Kanäle. Was sich ändert, ist der Ort, an dem das Urteil entsteht: nachdem die Antwort geschrieben ist, oder während sie geschrieben wird.
Antwortet heute

Lumen

Die Modelle, die heute antworten. Jede Grösse ist ein Open-Weight-Modell, das wir anpassen und betreiben, und die Konsistenzschicht sitzt als äussere Stufe davor: Sie zerlegt die Antwort in Aussagen, prüft jede gegen die Belege, die für diese Runde tatsächlich abgerufen wurden, und leitet das Ergebnis in einen von drei Kanälen: belegt, nicht belegt, widerlegt. Das Basismodell sieht diese Stufe nie und muss es auch nicht.

  • Drei Grössen, die heute produktiv antworten
  • Der Abstain-Kanal verhält sich bei jeder Grösse gleich
  • Kalibriert auf einem ausgewogenen Testset, kreuzvalidiert
  • Dieselbe Schicht entscheidet, ob das grössere Modell überhaupt laufen muss
In Planung

Gauss

Die nächste Familie, und der Grund, weshalb es die Firma gibt. Von null an auf unserem eigenen Datenmix trainiert, statt aus fremden Gewichten angepasst, und mit dem Konsistenzkopf in der Architektur statt darum herum. So entsteht der Wert aus dem verborgenen Zustand des Modells und nicht aus dem Text, auf den es sich schon festgelegt hat. Diese Familie ist in Planung und hängt von einer Finanzierung ab. Was es heute gibt, ist ein funktionierender Nachweis im kleinen Massstab.

  • Nachweis im kleinen Massstab: ein deutsches Modell mit 1.16 Milliarden Parametern, von null an trainiert
  • Konsistenzkopf mit 525’445 Parametern und drei Wegen: Sprache, Beleg, Abstain
  • Eigener Tokenizer mit 56’000 Einträgen, für Deutsch gebaut statt nachträglich angepasst
  • Jede Trainingsquelle mit Herkunft, Lizenz, Datum und Umfang erfasst
EigenschaftLumenGauss
GewichteOffene Basismodelle, von uns angepasst und betriebenUnsere eigenen, von null an trainiert, jede Quelle protokolliert
Wo die Schicht sitztUm das Modell herum, im AnfragepfadIn der Architektur, am verborgenen Zustand
GrössenSmall, Medium und Large. Max in Planung.Small, Medium, Large - noch keine davon
StandIn Produktion, kalibriert auf einem ausgewogenen TestsetNachgewiesen mit 1.16 Milliarden Parametern, noch nicht gemessen
Lumen

Drei Grössen jetzt, eine vierte in Planung.

Sie unterscheiden sich darin, wie viel sie ohne Hilfe wissen und wie lange Gedankenketten sie halten können. Gemeinsam ist ihnen, dass sie sagen können, wenn sie unsicher sind.

KOSTEN UND WARTEZEIT →WIE TIEF ES GEHT →Smallantwortet im NuMediumfür jeden TagLargeab ProMaxin PlanungTextText · Bilder · DateienText · Bilder · Dateien
Die drei Grössen von Lumen. Relative Einordnung, kein Benchmark. Die Kurve flacht bewusst ab: Ab einem gewissen Punkt bringt mehr Rechenleistung immer weniger zusätzliche Tiefe. Deshalb schickt der Router die meisten Fragen an das kleinere Modell.
Small

Lumen Small

Schnell und günstig. Kurze Antworten, Klassifizieren, Umformulieren, Extrahieren. Das Modell hinter dem Gratis-Plan.

Text

Medium

Lumen Medium

Das Arbeitsmodell. Längere Texte, Code, Dokumente und Bilder im selben Gespräch.

Text, Bilder, Dokumente

Large

Lumen Large

Für lange Kontexte und tiefe Gedankenketten, wenn die Antwort davon abhängt, viele Dinge gleichzeitig im Blick zu behalten. Ab Pro enthalten.

Text, Bilder, Dokumente

Lumen Max Geplant

In Planung. Die Spitze dieser Familie, für Arbeit, bei der eine falsche Antwort teurer ist als die Antwort selbst.

Gauss

Was es gibt, und was noch fehlt.

Die nächste Familie ist keine Folie. Ein kleines Modell davon ist von null an trainiert, mit dem Konsistenzkopf im Inneren und einem durchgehend verdrahteten Abstain-Kanal. Was fehlt, ist Grösse, und die Messung, die zeigen würde, dass die innere Schicht so gut funktioniert wie die äussere.

Gebaut

Ein Modell mit 1.16 Milliarden Parametern, von null an trainiert

Vierundzwanzig Schichten, Hidden Size 2048, ein eigener Tokenizer mit 56’000 Einträgen, für Deutsch gebaut statt nachträglich angepasst. Mit Instruction-Tuning, einem Vision-Projektor und jeder Trainingsquelle protokolliert mit Herkunft, Lizenz, Datum und Umfang.

Gebaut

Der Konsistenzkopf, in der Architektur

525’445 Parameter, fünf Hundertstelprozent des Modells. Er projiziert den verborgenen Zustand und die Belegvektoren in einen gemeinsamen 128-dimensionalen Raum, bewertet die Übereinstimmung und leitet weiter an Sprache, Beleg oder Abstain.

Fehlt

Die Messung, und die Rechenleistung

Die innere Schicht ist trainiert, aber nicht kalibriert: Es gibt noch keine ECE und keine AUC dafür, und wir veröffentlichen keine, bevor es sie gibt. Und wir besitzen kein Rechenzentrum. Training in einer Grösse, die sich zu betreiben lohnt, braucht Rechenleistung, die jemand bezahlen muss.

Architektur

Zwei Räume, und ein dritter, der sie prüft.

Sprache und Belege liegen in getrennten Repräsentationsräumen. Verbunden werden sie über einen dritten Raum, dessen einziger Zweck es ist, zu bewerten, wie verlässlich diese Verbindung ist.

RAUM ASprache und Denkenverborgener Zustand · d = 2048RAUM BWissen und BelegeRetrieval-Index · d = 768RAUM VKonsistenzorthogonale Projektion · d = 128αASpracheAntwort aus dem ModellαBBelegAntwort aus einer QuelleαAbstaindie beiden widersprechen sich
Die Kopplung
v = MLP( [ u ⊙ w ; |u − w| ; u ; w ] )

Das Produkt erfasst, wo die beiden Räume übereinstimmen, die absolute Differenz, wo nicht, und die rohen Vektoren behalten, was keines der beiden bewahrt.

V ist ein Raum, kein Wert

Eine einzelne Zahl sagt dir, wie stark zwei Quellen uneins sind. Ein Raum sagt dir, worin. Genau das macht die Schicht offline nützlich: Clustert man die Vektoren, werden die wiederkehrenden Fehlermuster des Systems als Gruppen sichtbar, statt als lange Liste einzeln verwirrender Fälle.

Der Abstain-Kanal ist nicht optional

Wenn sich die Räume widersprechen, lautet die richtige Ausgabe: Hier stimmt etwas nicht. Nicht ein Mittelwert zweier widersprüchlicher Quellen: Wer eine richtige mit einer falschen Aussage mittelt, bekommt einen flüssigen Satz, der subtil falsch ist, und subtile Fehler sind schwerer zu finden als offensichtliche.

Dieselbe Schicht entscheidet über die Kosten

Die Konsistenzschicht ist zugleich der Router. Sie entscheidet, ob Retrieval überhaupt laufen muss und ob eine Anfrage das grössere Modell braucht. Ihre eigenen Kosten bleiben unter einem niedrigen einstelligen Prozentsatz des Inferenzbudgets, und nur deshalb kann sie überhaupt im Anfragepfad sitzen.