Beide antworten in drei Kanälen: von den Belegen gedeckt, nicht gedeckt oder von ihnen widerlegt. Was sie unterscheidet: wem die Gewichte gehören, und ob dieses Urteil nach der Antwort entsteht oder während sie geschrieben wird.
Die Familie, die heute jedes Gespräch beantwortet.
Eigene Frontier-Modelle, von Grund auf trainiert.
Beide sind nach Masseinheiten benannt, und das ist keine Dekoration. Lumen misst, wie viel Licht tatsächlich ankommt, nicht wie hell eine Lampe beworben wird. Und Gauss ist der Name hinter der Mathematik der Unsicherheit: eine Verteilung, an der sich ablesen lässt, wie sicher etwas ist. Genau das berechnet die zweite Familie aus ihrem eigenen verborgenen Zustand.
Sie unterscheiden sich darin, wie viel sie ohne Hilfe wissen und wie lange Gedankenketten sie halten können. Gemeinsam ist ihnen, dass sie sagen können, wenn sie unsicher sind.
Schnell und günstig. Kurze Antworten, Klassifizieren, Umformulieren, Extrahieren. Das Modell hinter dem Gratis-Plan.
Das Arbeitsmodell. Längere Texte, Code, Dokumente und Bilder im selben Gespräch.
Für lange Kontexte und tiefe Gedankenketten, wenn die Antwort davon abhängt, viele Dinge gleichzeitig im Blick zu behalten. Ab Pro enthalten.
In Planung. Die Spitze dieser Familie, für Arbeit, bei der eine falsche Antwort teurer ist als die Antwort selbst.
Kleine, von Hand geschriebene Testsets, so ausgewogen, dass ein Modell, das immer antwortet, und eines, das nie antwortet, beide null Punkte erreichen. Sie zeigen, ob etwas funktioniert, nicht, wie es im Vergleich zu anderen Systemen abschneidet.
Gemessen · 18. September 202656 Fragen zu kurzen Textstellen, die Hälfte davon durch die Stelle beantwortet, die andere Hälfte nicht. Die Trennschärfe ist die Ablehnungsquote bei unbeantwortbaren Fragen minus die Ablehnungsquote bei beantwortbaren: 0 heisst, es rät, 100 heisst, es verwechselt sie nie.
60 Aussagen, jede mit ihrem Beleg, die Hälfte belegt und die Hälfte nicht; jeder Fall bewertet mit Gewichten, die ohne ihn angepasst wurden.
Auf diesem Set stuft sie jede belegte Aussage höher ein als jede unbelegte.
Der Wert selbst ist noch nicht gut kalibriert. Bei Aussagen, die alle belegt sind, sagt er etwa 0.8, er ist also zu vorsichtig. Das ist das Nächste, was wir beheben, und der Grund, weshalb der Wert in Antworten noch nicht als Prozentzahl erscheint.
Elf alltägliche Aufgaben, jede zweimal durch den echten Agenten geschickt: aktuelle Preise, Organigramme, Diagramme, Vergleiche, Zeitachsen, Formeln, Karten, Antworten in der Sprache der Person, eine Datei auf dem Computer schreiben, mit einer angehängten Tabelle rechnen.
Sprache und Belege liegen in getrennten Repräsentationsräumen. Verbunden werden sie über einen dritten Raum, dessen einziger Zweck es ist, zu bewerten, wie verlässlich diese Verbindung ist.
Das Produkt erfasst, wo die beiden Räume übereinstimmen, die absolute Differenz, wo nicht, und die rohen Vektoren behalten, was keines der beiden bewahrt.
Eine einzelne Zahl sagt dir, wie stark zwei Quellen uneins sind. Ein Raum sagt dir, worin. Genau das macht die Schicht offline nützlich: Clustert man die Vektoren, werden die wiederkehrenden Fehlermuster des Systems als Gruppen sichtbar, statt als lange Liste einzeln verwirrender Fälle.
Wenn sich die Räume widersprechen, lautet die richtige Ausgabe: Hier stimmt etwas nicht. Nicht ein Mittelwert zweier widersprüchlicher Quellen: Wer eine richtige mit einer falschen Aussage mittelt, bekommt einen flüssigen Satz, der subtil falsch ist, und subtile Fehler sind schwerer zu finden als offensichtliche.
Die Konsistenzschicht ist zugleich der Router. Sie entscheidet, ob Retrieval überhaupt laufen muss und ob eine Anfrage das grössere Modell braucht. Ihre eigenen Kosten bleiben unter einem niedrigen einstelligen Prozentsatz des Inferenzbudgets, und nur deshalb kann sie überhaupt im Anfragepfad sitzen.