Benchmark ≠ echter Agent

Dieselben Fälle, drei Monate später

Der Vergleich lief wie im Juni gegen die Modell-Schnittstelle, aber mit der Juni-Oberfläche unseres Agenten: denselben Werkzeug-Beschreibungen und demselben Systemprompt. Fälle, Werkzeuge und Prompt sind damit dieselben wie im Juni.

→ Tabelle seitlich wischen

Direct-Messung gegen die Modell-Schnittstelle mit der Agenten-Oberfläche vom 26.06.2026 (31 Werkzeuge, Juni-Systemprompt), 12.09.2026, 48 Fälle mit erwartetem Werkzeug und 11 Fälle ohne, jeweils 3× wiederholt. ¹ 14.09.2026, ein Durchlauf. ² 15.09.2026; Claude Opus 4.8 aus dem Juni haben wir nicht erneut gemessen. Eine zweite, unabhängige Messung am selben Tag ergab dieselbe Rangfolge; GPT-5.4 lag dort bei 41 %.

Die Spitzengruppe steht wie im Juni, und unser Modell ist mit rund 1.3 Sekunden Antwortzeit das schnellste in dieser Tabelle. Die Überraschung liegt am unteren Ende: Zwei OpenAI-Modelle, die ohne unseren Prompt einwandfrei Werkzeuge aufrufen, tun es mit ihm kaum oder gar nicht.

Eine Zeile, zwei Lesarten

GPT-5.4 und GPT-5.6-sol antworteten auf «Zeig mir die offenen Tickets» mit einem Satz wie «Ich suche kurz in den Tickets …» und beendeten dann ihren Zug, ohne das Werkzeug aufzurufen. In einem echten Agenten heisst das: Der Nutzer bekommt eine Ankündigung als Antwort, und nichts passiert.

Die Spur führte zu einer Zeile in unseren Agenten-Regeln: «Briefly explain why you choose a tool.» Claude- und Qwen-Modelle lesen sie als «erkläre und rufe gleichzeitig auf». Die GPT-5-Familie liest sie als Reihenfolge: erst erklären, dann aufhören. Die Gegenprobe war eindeutig. Ohne unseren Systemprompt rief GPT-5.6-sol in 18 von 18 Fällen ein Werkzeug auf; GPT-5.4 mit der alten Zeile in 0 von 18, mit einer umformulierten in 16 von 18.

Die neue Zeile durfte aber nicht einfach mehr Werkzeug-Nutzung fordern. Genau das haben wir zuerst probiert, und es kostete Disziplin:

→ Tabelle seitlich wischen

Direct-Messung, Juni-Oberfläche mit jeweils nur dieser einen Zeile geändert, 70 Fälle × 3, 14.09.2026. Claude Sonnet 4.6, Sonnet 5 und Haiku 4.5 verloren mit dem Zwischenstand je einen Punkt Treffsicherheit und keinen bei der Disziplin.

Die neue Fassung verbietet die Ankündigung ohne Aufruf, verlangt aber kein Werkzeug: «If you need a tool, call it now, in this turn. Announcing what you are about to do is never a complete answer. If you can answer directly or must ask the user back, do that without a tool.» Damit ruft GPT-5.4 wieder Werkzeuge auf und stellt Rückfragen, statt vorschnell zu handeln. Bei unserem Modell liegt der Unterschied von einem Punkt im Rauschen.

Den Agenten härten

Die Tools-Zeile ist nur die jüngste von mehreren Korrekturen, die direkt aus Messungen entstanden sind. Alle stecken heute im Agenten:

Werkzeug-Aufrufe als Text. Manche Modelle schreiben einen Werkzeug-Aufruf als Text in die Antwort, statt ihn als strukturierten Aufruf zu liefern. Im Juni war das das Aus für das Infomaniak-Qwen im Agenten. Seit September erkennt Botster solche Aufrufe, im JSON-Format seit dem 13.09., im XML-Format der Qwen-Modelle seit dem 24.09., und führt sie trotzdem aus. Mit Szenario-Tests abgesichert.

Der «keine-Treffer»-Reflex. Schwächere Modelle behaupten im langen Loop manchmal «nichts gefunden», obwohl das Werkzeug Ergebnisse geliefert hat. Ein Sicherheits-Fallback prüft das: Sagt die finale Antwort «keine Treffer», obwohl Ergebnisse vorliegen, formuliert der Agent sie aus den echten Ergebnissen neu. Je Mandant zuschaltbar, mit Unit-Tests abgesichert.

Rückfrage statt Schnellschuss. «Buche mir einen Termin» ohne Datum, «markiere die Rechnung als bezahlt» ohne zu sagen welche: Hier soll der Agent fragen, nicht handeln. Die Regel steht heute in derselben Zeile wie oben. Unser Modell hält sie im Direct-Lauf und im echten Agenten zu 100 %.

Der Thinking-Stolperstein. Manche Modelle «denken» per Default ausführlich vor, was unter knappem Token-Budget zu leeren Antworten führt. Bei unserem self-hosted Modell ist das am Gateway passend konfiguriert. Das Infomaniak-Qwen3.5-122B ignorierte die Anweisung, das Denken abzuschalten, in unserer Messung vom 13.09. weiterhin.

Arbeitsteilung statt Entweder-oder. Weil das 122B ein starker Denker ist, aber kein verlässlicher Werkzeug-Nutzer, setzen wir es seit September dort ein, wo es glänzt: Bei den Aufwandsstufen «Gründlich» und «Maximal» schreibt es vor dem Loop einen Arbeitsplan ohne Werkzeuge, bei «Maximal» zusätzlich die Schlussantwort. Die Werkzeuge bedient auf jeder Stufe unser 35B.

Der Vergleich durch den echten Agenten

Jetzt die eigentliche Probe: zwei Modelle durch den echten Botster-Agenten, als wäre jedes das produktive Modell des Assistenten, mit allem, was dazugehört: Sicherheits-Schranken, Berechtigungs-Prüfungen, wachsende Gesprächs-Historie und echte Werkzeug-Ausführung.

→ Tabelle seitlich wischen

Echter Botster-Agent, Test-Mandant, Agenten-Stand mit der neuen Tools-Zeile, 14.09.2026, 59 Fälle (48 mit erwartetem Werkzeug, 11 ohne), ein Durchlauf je Modell. «Richtiges Werkzeug» ist hier eine Obergrenze des Test-Mandanten, kein Modell-Ranking: Von den 13 Fehlgriffen unseres Modells unterliefen 12 auch GPT-5.6-sol. Ein Teil davon liegt nicht am Modell. Einige Werkzeuge bietet der Agent in diesem Mandanten gar nicht an (etwa den Mail-Entwurf), andere scheitern an fehlenden Zugangsdaten (Kalender, Buchhaltung); von 20 vorab geprüften Werkzeugen lieferten am 12.09. nur 6 ein echtes Ergebnis.

Drei Befunde, die kein Direct-Vergleich liefert:

1. Die Korrektur wirkt dort, wo es zählt. Unter der alten Zeile wäre ein GPT-5-Agent nach dem ersten Satz stehen geblieben. Mit der neuen ruft GPT-5.6-sol in 90 % der Werkzeug-Fälle tatsächlich ein Werkzeug auf, praktisch gleichauf mit unserem Modell (92 %). Die verbleibenden Fälle ohne Aufruf sind echte Antworten, keine Ankündigungen.
2. Integrität ist die harte Grenze. Beide Modelle liefen ohne einen Leak, ohne eine leere Antwort und ohne einen Abbruch durch. Genau daran scheiterten im Juni das Infomaniak-Qwen (Werkzeug-Aufrufe als Text), Claude Opus 4.8 und DeepSeek (Generierungsfehler in jedem Fall).
3. Manche Hürden zeigen sich erst im Pfad. DeepSeek-V4-Pro trifft im Direct-Lauf 98 %. Im Denk-Modus verlangt es aber, dass der Agent den Denk-Text der vorigen Antwort mitschickt; unser Agent tut das nicht. Schon im Direct-Lauf wies es 11 von 70 Fällen mit vorbefüllten Werkzeug-Ergebnissen ab, im echten Agenten träfe das jeden Schritt nach einem Werkzeug-Aufruf. Für unseren Betrieb ist es ohnehin ausgeschlossen: Die Daten würden in China verarbeitet.

Eine faire Einordnung, gerade zum Infomaniak-Qwen. Das ist kein Urteil über Modell oder Anbieter: Infomaniak ist ein starker Schweizer Souveränitäts-Anbieter (wir nutzen selbst viele seiner Dienste), und Qwen3.5-122B ist als Sprachmodell exzellent, im Direct-Lauf mit 96 % in der Spitzengruppe. Der Punkt ist technisch und eng: Über den gemanagten Endpunkt liefert es Werkzeug-Aufrufe (Stand 13.09.2026) als Text statt strukturiert und lässt sich das Vordenken nicht abschalten. Botster fängt solche Aufrufe inzwischen ab, aber ein Agenten-Modell, dessen Ausgabe wir laufend reparieren müssen, ist kein verlässliches Agenten-Modell. Deshalb betreiben wir das Modell, das die Werkzeuge bedient, selbst und setzen das 122B als Planer ein.

Was wir im September nicht erneut im echten Agenten gemessen haben: Claude Sonnet, Haiku und Opus. Für Sonnet 4.6 und Haiku 4.5 bleibt der Juni-Befund die letzte Messung: Direct hielten beide die Disziplin zu 100 %, im echten Agenten fielen sie auf 73 % bzw. 64 %. Im Direct-Lauf vom September halten alle drei weiterhin 100 %.

Die eigentliche Lehre

Hätten wir im Juni nur die rohe API angeschaut, hätten wir vielleicht ein Infomaniak-Qwen oder Claude Opus gewählt und es erst im Betrieb gemerkt, beim Kunden. Hätten wir im September nicht wiederholt, liefe jeder Mandant mit einem GPT-5-Modell in einen Agenten, der Aktionen ankündigt und nicht ausführt. Erst der Lauf durch die reale Pipeline zeigt, welches Modell den Job tatsächlich macht, und erst die Wiederholung zeigt, ob es ihn noch macht.

Darum gilt bei uns eine feste Regel: Ein Modell löst unser amtierendes nur ab, wenn es im echten Agenten am selben Tag gemessen messbar besser trifft, nicht schlechter formuliert und höchstens das Doppelte kostet. Im September hat das keines der getesteten Modelle geschafft. Unser self-hosted Modell bleibt.

In A-04 schliessen wir den Kreis: die Kosten im echten Loop, und warum am Ende unser self-hosted Modell gewinnt.