Bei KI-Agenten für Unternehmen hält sich hartnäckig eine Faustregel: Willst du Qualität, zahlst du mit Tempo. Willst du Tempo, zahlst du mit Qualität. Ich habe diese Regel gerade in einem openWORK Hub-Testlauf mit sechs echten KI-Modellen geprüft — und das Ergebnis widerspricht ihr. Wer aktuell einen KI-Modell-Vergleich für den eigenen Unternehmenseinsatz sucht, findet hier keine Marketing-Tabelle, sondern zehn extrem harte Fragen, echte Fehler und ein Modell, das beide Seiten der Regel gleichzeitig einlöst.
- Der Testaufbau
- Das Ergebnis auf einen Blick
- Die Scorecard im Detail
- Was die Auswertung zeigt
- Jedes Modell in einem Satz
- Die Entscheidung
Der Testaufbau
Der Agent in diesem Test betreut das Firmenwissen eines mittelständischen Handwerksbetriebs aus der Haustechnik-Branche — ERP-Daten, Postfach, Dokumente, Belege. Er läuft in meinem openWORK Hub Lab, meiner eigenen Testumgebung für genau solche Fragen. Für den Vergleich habe ich sechs Sprachmodelle nacheinander in exakt denselben Agenten eingesetzt: identische Persönlichkeit und Arbeitsanweisung, identische Werkzeuge, identisches Firmenwissen. Der einzige Unterschied zwischen den sechs Durchläufen ist das Modell, das im Hintergrund denkt.
Getestet habe ich mit zehn Fragen, die ich bewusst so schwer wie möglich gemacht habe — quer über ERP-Status, Mail-Verlauf, Dokumente und Belege, jede gegen eine vorher von mir geprüfte Grundwahrheit bewertet. Es geht um rechnerische Aufgaben mit Stornoabzug, um Widersprüche zwischen zwei Datenquellen, um eine Preiserhöhung, die es nur in einer von zwei Quellen wirklich gibt, und um mindestens eine Frage, bei der die korrekte Antwort schlicht "nein, das gibt es nicht" lautet — ein Test darauf, ob ein Modell auch mal nichts findet, statt sich etwas auszudenken.
Die niedrige CPU-Auslastung ist kein Zufall, sondern der Punkt: Die eigentliche Rechenarbeit läuft remote beim Modell-Anbieter in Deutschland, nicht auf der eigenen Maschine. Der Agent selbst bleibt schlank — er stellt nur die Fragen und prüft die Antworten.
Das Ergebnis auf einen Blick
Bewertet wurde zuerst nach Qualität, erst bei Gleichstand nach Tempo. So sieht die Rangliste aus:
Persönliche Einschätzung
Du willst wissen, welches Modell für deinen eigenen KI-Einsatz das richtige wäre?
Zum kostenlosen KI-Orientierungs-Call →Die Scorecard im Detail
Die Rangliste allein verrät nicht, WO ein Modell scheitert. Deshalb hier jede der zehn Fragen einzeln, mit der von mir vorab geprüften Grundwahrheit und dem Urteil für die vier auffälligsten Modelle im Feld:
| Frage & Grundwahrheit | Qwen397B | Qwen27B | gpt-oss120B | Mistral24B |
|---|---|---|---|---|
| F1 Entwickler summieren, Storno gegenrechnen = 9.738,75 € (4 Entwickler − Storno 1.800 €) |
~Storno nicht abgezogen | ✓ | ✗ | ✗ |
| F2 Fristen 7 Tage + Geldrisiko Bindefrist & Zugangsliste kosten Geld |
✓ | ✓ | ✓ | ✓ |
| F3 ERP-Status-Widersprüche Ein Auftrag gleichzeitig „bestätigt" und „storniert" |
✓ | ✓ | ✓ | 3 Widersprüche erfunden |
| F4 Kundenvorgang zusammenfassen Auftrag · Zugang · Ankündigung · Fristen |
✓ | ✓ | ✓ | ~ |
| F5 Auftrag rechnerisch zerlegen 2×460 € + 8×68 € = 1.464 € |
✓ | ✓ | „nicht gefunden" | „nicht gefunden" |
| F6 Tankfüllung €/Liter, max & min max 1,85 € · min 1,80 €/Liter |
✓ | ✓ | ✓ | ✓ |
| F7 Echtes Negativ prüfen Nein — kein Falsch-Positiv erlaubt |
✓ | ✓ | ✓ | ✓ |
| F8 ERP-Datum vs. neueste Mail ERP-Eintrag veraltet, Mail zwei Wochen neuer |
✓ | ✓ | ✓ | ✓ |
| F9 Preiserhöhung + Rechnung +6,5 % ab 01.10 · Rechnung schon davor · KEINE zweite Erhöhung |
✓sauber | Phantom, „schon durch" | 2. Erhöhung erfunden | ✓ |
| F10 Personalplanung + Rufbereitschaft Neuer Satz korrekt, nicht der alte |
✓ | ✓+2 Doku-Widersprüche gefunden | alten Satz genannt | alten Satz genannt |
| Bilanz | 9 ✓ | 9 ✓ | 6 ✓ | 5 ✓ |
Was die Auswertung zeigt
Fünf Muster, die sich quer über die sechs Modelle ziehen — und ein Ergebnis, das die alte Faustregel kippt.
★ Der Kompromiss löst sich auf
Bisher hieß die Regel: Große Modelle liefern Qualität, schnelle Modelle liefern Tempo — man musste sich entscheiden. Qwen3.5-397B beendet das. Es hält die volle Güte des bisherigen 27B-Champions (9 von 10), läuft aber genauso schnell wie das deutlich kleinere, auf Tempo optimierte Modell. Bezahlt wird der Fortschritt in Geld, nicht in Zeit — rund das Dreifache pro zehn Fragen, aber im Bereich weniger Cent.
01 Preisangaben trennen die Modellfamilien
Eine Frage mit einer aktualisierten Preisangabe im Verlauf lesen alle drei Qwen-Modelle korrekt — sie erkennen, dass der neuere Wert gilt. gpt-oss und Mistral greifen zum alten Wert, Llama gibt bei der Frage ganz auf. Ein sauberer Trennstrich entlang der Modellfamilie, nicht entlang der Größe.
02 Halluzination bei fehlendem Fakt
Eine zweite, gar nicht existierende Preiserhöhung wird von gpt-oss und dem kleinen Qwen-9B als Tatsache präsentiert. Qwen-27B flaggt sie immerhin als fraglich, Mistral und Qwen-397B lassen sie ganz weg. Die gefährlichste Antwort ist nicht die falsche Zahl — es ist die falsche Zahl ohne Warnhinweis.
03 Die Abruf-Strategie entscheidet
397B, 27B und (überraschend) auch Llama fragen die Auftragsliste aktiv ab und finden den gesuchten Auftrag. gpt-oss, Mistral und Qwen-9B suchen stur nach der exakten Auftragsnummer als Freitext, finden nichts und melden „nicht gefunden" — obwohl die Daten im System längst vorhanden sind.
04 Klein ist nicht gleich gut
Qwen3.5-9B ist spottbillig und liest sogar die aktualisierte Preisangabe richtig — aber die Sprachqualität bricht ein, dazu eine erfundene Zahl und verpasste ERP-Daten. Die Zuverlässigkeit der Qwen-Familie trägt bis 27 Milliarden Parameter, nicht bis 9.
05 Manche Fixes wirken modellunabhängig
Die Frage mit dem echten Negativ und die reine Rechenaufgabe lösen alle sechs Modelle ausnahmslos richtig. Ein sauber formulierter Werkzeug-Hinweis wirkt offenbar unabhängig davon, welches Modell dahintersteckt — die Fehlerquote sitzt woanders, nicht im Grundhandwerk.
Jedes Modell in einem Satz
Die Entscheidung
Die Lage ist jetzt einfacher als noch vor diesem Test. Qwen3.5-397B liefert Spitzenqualität im Tempo eines schnellen, günstigen Modells — der Preis dafür ist reines Geld, keine Wartezeit: rund 0,14 € statt 0,04 € pro zehn Fragen. Für ein Werkzeug, das mit Zahlen und Terminen der Geschäftsführung hantiert und bei dem ein leise falsches Ergebnis teurer ist als drei Cent mehr pro Abfrage, ist das jetzt der naheliegende Standard. Wer die Kosten trotzdem drücken will, fährt das schnelle Modell als Basis und schickt nur die Geld- und Prüffragen an das stärkere Modell — dann zahlt man das Premium genau dort, wo Richtigkeit tatsächlich zählt.
Was mich an diesem Test am meisten überrascht hat: Die Unterschiede zwischen den Modellen liegen selten am fehlenden Wissen. Sie liegen daran, WIE ein Modell mit Werkzeugen umgeht — ob es hartnäckig nachfragt, wenn die erste Suche nichts findet, und ob es kennzeichnet, wenn es sich nicht sicher ist. Genau das lässt sich mit dem richtigen Modell UND den richtigen Werkzeugen lösen — Modellwahl allein ist nur die halbe Miete.
Gleiche Agenten-Konfiguration für alle sechs Modelle (Persönlichkeit, Werkzeuge, Firmenwissen), Inferenz über den IONOS AI Model Hub in Deutschland, Kosten nach aktueller IONOS-Preisliste, Grundwahrheit je Frage vorab gegen ERP, Postfach, Dokumente und Belege geprüft.
So funktioniert ein Company Brain, das dein eigenes Firmenwissen als Grundlage für so einen Agenten nutzt.
openWORK Hub ansehen →