27 Modelle, ein Massstab
Die wichtigste Modell-Eigenschaft steht auf keinem Leaderboard: die Disziplin, kein Werkzeug zu rufen, wenn keins gebraucht wird.
Werkstatt
Wie es gebaut ist
AI generated
Das Gehirn
Womit der Agent denkt – offengelegt.
- 27 Modelle, dieselben echten Support-Fälle, vier Achsen – in vier Sprachen.
- Routing schaffen fast alle; beim Über-Triggern trennt sich die Spreu vom Weizen.
- Generische Leaderboards beantworten nie die eigene Frage – darum messen wir selbst.
Leaderboards ranken Sprachmodelle nach Wissen, Mathematik, Code. Für einen IT-Support-Agenten, der echte Aktionen auslöst – Tickets suchen, Rechnungen auflisten, Mails durchforsten – zählt eine Fähigkeit, die auf keinem Leaderboard steht. Und auf ihr stürzt ein bekanntes Modell von 100 auf 9 Prozent. Wir haben 27 Modelle auf genau die Achsen geprüft, die im Betrieb entscheiden: unsere eigenen, Infomaniak-gehostete und die Frontier-Modelle von OpenAI, Anthropic, Google und xAI.
Benchmark – 70 Fälle × 3 Läufe
Schiedsrichter – unabhängiges Modell
Stand – Juni 2026
Vier Achsen, die im Betrieb wirklich zählen
Jeder Fall läuft in Deutsch, Französisch, Italienisch und Englisch, jeder Fall dreimal (gegen das Zufallsrauschen der Modelle gemittelt). Gemessen wird:
- Werkzeug-Treffsicherheit (Routing) – wählt das Modell bei einer Anfrage das richtige Werkzeug? Wir zählen gleichwertige Geschwister-Werkzeuge als Treffer (wer für «morgen» die Wettervorhersage statt das aktuelle Wetter wählt, hat recht).
- Über-Trigger-Resistenz – und das ist die unterschätzte Achse: Lässt das Modell bei einer Frage, die kein Werkzeug braucht, korrekt die Finger davon? «Was ist 7 × 8?» beantwortet man aus dem Kopf, nicht mit einer Datenbanksuche.
- Parameter-Treffsicherheit – ruft es das Werkzeug nicht nur richtig auf, sondern auch mit den richtigen Argumenten (Absender, Datum, Betrag)?
- Antwortqualität – formuliert das Modell aus echten Werkzeug-Ergebnissen eine korrekte, belegte Antwort? Bewertet 1–10 durch ein unabhängiges Schiedsrichter-Modell (GPT-5.4).
Dazu messen wir durchgehend Verlässlichkeit und Antwortzeit – leere Antworten, Fehler, Median-Latenz.
Das Ergebnis – die Spitzengruppe
→ Tabelle seitlich wischen
| Modell | Routing | Qualität /10 | Über-Trigger-Resistenz | Parameter | Antwortzeit |
|---|---|---|---|---|---|
| Claude Opus 4.8 | 98 % | 9.1 | 100 % | 100 % | 3.1 s |
| GPT-5.4 | 97 % | 8.6 | 85 % | 100 % | 1.7 s |
| Claude Sonnet 4.6 | 97 % | 8.4 | 100 % | 100 % | 2.7 s |
| xAI Grok-4 | 96 % | 9.3 | 97 % | 100 % | 3.1 s |
| Qwen3.5-122B (Infomaniak) | 95 % | 9.4 | 88 % | 100 % | 1.4 s |
| Claude Haiku 4.5 | 94 % | 7.8 | 100 % | 100 % | 1.6 s |
| Qwen3.5-35B-A3B (self-hosted CH) unsere Wahl | 92 % | 8.5 | 100 % | 100 % | 1.0 s |
Direct-Messung gegen die rohe Modell-Schnittstelle, Juni 2026. Routing über 48 Fälle mit erwartetem Werkzeug; Qualität 1–10 über die Antwort-Fälle, Judge GPT-5.4; jeweils 3× wiederholt.
Zur Einordnung gegenüber «Womit unser Agent denkt»: Das ist ein anderer, härterer Fall-Satz als dort – mit harten Ablenkern und Fällen, die mehrere Werkzeuge verlangen, und dreifach wiederholt statt einmal. Die Werte beider Kapitel sind darum nicht direkt vergleichbar; wo unser Modell hier tiefer liegt als dort, ist das kein Rückschritt, sondern die schwerere Prüfung.
Auf der Werkzeug-Treffsicherheit liegt die ganze Spitze eng beieinander – zwischen 92 % und 98 % trennen oft nur ein, zwei Fälle, gut im Rauschbereich eines Einzellaufs. Unser self-hosted 35B-Modell ist hier auf Frontier-Niveau, 100 % bei Parametern und Über-Trigger-Resistenz, und das schnellste der Gruppe.
Zur Antwortqualität: Mit 8.5/10 liegt unser Modell solide im Feld – die etwas grösseren Modelle formulieren minim stärker (Qwen3.5-122B 9.4, Grok-4 9.3, Opus 9.1), die kleineren Frontier-Modelle teils schwächer (Haiku 7.8). Für korrekte, belegte Support-Antworten reicht unser Niveau klar; für Literaturpreise gäbe es Stärkere. Wichtiger Kontext: Diese Note misst die Formulierung aus vorliegenden Ergebnissen. Sie sagt nichts darüber, ob ein Modell im echten Agenten überhaupt sauber dorthin kommt. Genau das trennt sich erst in A-03.
Die Achse, die wirklich trennt
Routing schaffen heute fast alle. Wo Modelle dramatisch auseinandergehen, ist die Über-Trigger-Resistenz – die Disziplin, ein Werkzeug nicht zu rufen, wenn keins gebraucht wird:
→ Tabelle seitlich wischen
| Modell | Über-Trigger-Resistenz |
|---|---|
| Claude (Opus/Sonnet/Haiku), agentic-llm, GPT-5.3-codex | 100 % |
| xAI Grok-4 | 97 % |
| GPT-5.4 | 85 % |
| GPT-5.4-nano | 58 % |
| GPT-5.4-mini | 27 % |
| Gemini Flash | 9 % |
Ein Modell mit 9 % Über-Trigger-Resistenz ruft bei fast jeder harmlosen Frage unnötig ein Werkzeug auf – das kostet Zeit, Tokens und produziert Fehlerquellen, wo gar keine sein müssten. Diese Achse sehen Sie auf keinem Leaderboard, aber sie entscheidet im Betrieb über Ruhe oder Chaos. Unser Modell und die Claude-Familie sind hier perfekt.
Wo wir bewusst nicht schönrechnen
Zwei Dinge, die ein Hochglanz-Vergleich verschweigen würde – wir nicht:
- Hohe Direct-Werte ≠ brauchbar im echten Agenten. Die Infomaniak-gehosteten Qwen-Modelle glänzen in dieser Tabelle (95 % Routing). Im echten Agenten-Loop fallen sie aus – der Grund füllt A-03. Eine saubere API-Antwort ist eben noch kein funktionierender Agent.
- Kosten korrelieren nicht mit Qualität. Claude Opus ist eines der teuersten Modelle – und keineswegs das treffsicherste. GPT-5.4 ist top und günstig. Mehr dazu, inklusive einer überraschenden Kostenumkehr im echten Betrieb, in A-04.
Warum überhaupt ein eigener Benchmark?
Weil ein generisches Leaderboard nie unsere Frage beantwortet: Wie gut bedient dieses Modell unsere Werkzeuge, in unseren vier Sprachen, auf unseren Support-Fällen? Die Fälle stammen aus echten Botster-Konversationen. Das Ergebnis ist kein Marketing-Ranking, sondern eine Entscheidungsgrundlage – wiederholbar und versioniert.
Und es ist der Eintrittstest für jeden künftigen Wechsel: Kein Modell kommt in unseren Agenten, ohne diesen Benchmark bestanden zu haben (siehe A-04).
A-03 zeigt, was passiert, wenn man dieselben Modelle nicht gegen die rohe API, sondern durch den echten Agenten schickt – und warum sich dort alles ändert.
Diese Bestenliste gilt – bis man dieselben Modelle durch den echten Agenten schickt. Dann fällt mancher Sieger durch.
A-03 · Benchmark ≠ echter Agent →
Alle zwei Wochen donnerstags ein neues Kapitel, vom Fundament bis zum fertigen Assistenten. Tragen Sie sich ein – wir melden uns nur, wenn ein neues Kapitel erscheint.