Arthur, mein persönlicher Assistent, leitet mit einem kleinen Modell weiter und führt das Gespräch mit einem großen — eine Aufteilung, die nie gemessen wurde. Drei konkrete Fehler, und eine Frage, die ihre Form geändert hat: nicht ob das Modell recht hat, sondern ob ich es beweisen kann.
Die Modellaufteilung war keine Messung
Arthur ist ein persönlicher Multi-Agenten-Assistent, den ich täglich nutze. Zwei Modelle laufen darin. mistral-small-latest klassifiziert die Anfrage: Ist sie für den Intendant, der ablegt und wiedergibt, oder für den Mentor, der Projekte verfolgt? mistral-large-latest führt anschließend das gesamte Gespräch.
Diese Aufteilung beruht auf einer Überlegung, nicht auf einer Messung. Das große Modell erschien mir wegen der Anzahl der Tools, der im Kopf zu behaltenden Präferenzen und der aneinanderzureihenden Entscheidungen notwendig. Das kleine erschien mir ausreichend, um zwischen zwei Zielen zu entscheiden. Nichts davon wurde je verglichen.
Was „die Arbeit erledigen“ hier bedeutet
Arthur dient mir als zweites Organisationsgedächtnis. Er notiert Erinnerungen, Daten, Uhrzeiten. Er gibt sie auf Anfrage wieder, schriftlich oder mündlich.
Das oberste Entwurfskriterium ist also nicht die Leistung: es ist die Genauigkeit. Exakt festzuhalten, was ich gesagt habe, ohne umzuformulieren, ohne etwas zu verschieben.
Drei gemessene Fehler
Ein ausgetauschtes Wort, am 20. August. Ich diktiere: „erinnere mich daran, die Akte erneut zu senden“. Was in der Datenbank landet: „die Akte senden“. Ein Wort, und aus einem zweiten Mal wird ein erstes Mal. Das Schreiben gelang, die Frist stimmte, die Spur wirkte perfekt. Am selben Morgen hatte derselbe Satz noch die richtige Formulierung ergeben.
Ein falscher Tag, am selben Tag. Ich sage „Freitag“, der Kontext zeigt Donnerstag, den 20. Die Erinnerung wird für Samstag, den 22., angelegt.
Ein instabiles Routing. Derselbe Satz ging an den Intendant, zwanzig Minuten später an den Mentor. Der Router erzeugte außerdem ein abgeschnittenes Wort, das die gesamte Antwort zum Absturz brachte.
Der erste und der zweite stammen vom großen Modell. Der dritte vom kleinen.
Die Zuverlässigkeit kam nicht von einem größeren Modell
Für die Daten habe ich die Berechnung dem Modell entzogen. Eine Code-Funktion löst relative Tage auf, mit eigenen Tests. Es geht nicht darum, dass ein größeres Modell sich häufiger irren würde: Ich kann es schlicht nicht beweisen. Ein Modell ist stochastisch, es kann auf dieselbe Frage zwei unterschiedliche Antworten geben. Eine deterministische Funktion liefert für dieselbe Eingabe immer dasselbe Ergebnis, und das lässt sich testen.
Die Frage hat ihre Form geändert. Nicht „kann das Modell recht haben?“, sondern „kann ich beweisen, dass es recht hat?“
Derselbe Reflex hat den Rest hervorgebracht: Wenn ein Tool sich weigert, verfasst der Code die Antwort, nicht das Modell. Es kann nicht mehr kommentieren, was es gerade verpasst hat.
Das ausgetauschte Wort bleibt dagegen offen. Keiner dieser Mechanismen erfasst es: Nichts ist fehlgeschlagen, also löst nichts aus. Der Code-Vergleich zwischen diktiertem und geschriebenem Text würde legitime Umformulierungen fälschlich melden, etwa eine Umstellung in den Infinitiv. Ich will zunächst messen, wie oft das vorkommt.
Was nicht gemessen wurde
Ist das große Modell notwendig? Das wurde nicht gemessen. Ich kann beschreiben, was es gut macht — mehrere Tools über mehrere Runden verketten, die versteckte Handlung in einem Satz erkennen —, aber ich habe nie überprüft, ob ein kleineres daran scheitern würde.
Dabei ist der Test günstig: das Gesprächsmodell austauschen, dieselben Abläufe in einem neuen Gespräch wiederholen, vergleichen. Nur eine Variable ändert sich.
Zehn am 8. und 9. September aufgezeichnete Anfragen kosten jeweils 0,003 bis 0,008 Dollar, bei einer Obergrenze von 10 € pro Monat. Es geht nicht um den Betrag. Es geht darum, dass eine ungemessene Überzeugung eine Überzeugung bleibt.