Zum Inhalt springen
Eigene Messung

38 % richtig.
Dann 100 %.

Gleiches Modell, gleiche Aufgabe. Verändert wurde nur die Schicht, über die der Agent an die Daten kommt. Hier steht, wie gemessen wurde — mit allem, was die Zahl nicht hergibt.

Worum es geht

Das Modell war nicht das Problem

Kurz gesagt

In einem Abrechnungstest mit einem KI-Agenten lagen 38 Prozent der Ergebnisse richtig, solange sich der Agent seinen Rechenweg selbst schreiben musste. Mit geprüften Werkzeugen waren es 90 Prozent. Mit zusätzlich durchgesetztem Werkzeug-Vertrag — das Werkzeug lehnt unvollständige Aufrufe ab, statt sie zu schlucken — 100 Prozent.

Dabei wurde weder das Modell gewechselt noch der Prompt verbessert. Verändert wurde ausschließlich die Werkzeugschicht. Das Urteilsvermögen des Agenten war über alle Läufe hinweg nie die Fehlerquelle: Die eingebauten Fallen hat er in 100 Prozent der Fälle erkannt.

Messung August 2026, Mistral Large 2512, 27 Läufe. Die Grenzen dieser Zahl stehen weiter unten.

Wenn ein KI-Agent im Betrieb Unsinn produziert, ist der erste Reflex fast immer derselbe: ein besseres Modell muss her.

Ich wollte wissen, ob das stimmt. Also habe ich eine Aufgabe gebaut, die nah an dem liegt, was in der Auftragsabwicklung tatsächlich passiert — Bestellungen gegen Leistungen abgleichen, abrechnen, dabei zwei Stolperstellen übersehen oder eben nicht. Und dann habe ich nicht das Modell getauscht, sondern das, womit es arbeitet.

Das Ergebnis hat mich ehrlich gesagt überrascht. Nicht die Richtung — dass gute Werkzeuge helfen, war zu erwarten. Sondern der Abstand.

Abgleich von Bestellungen und Leistungen in der Auftragsabwicklung
Aufbau

Was gemessen wurde

Die Aufgabe simuliert die Abrechnung von Streckenpflege-Aufträgen: fünf Bestellungen, dazu die gemeldeten Leistungen. Der Agent muss prüfen, was abgerechnet werden darf, und am Ende ein Ergebnis-Dokument schreiben. Zwei Fallen sind eingebaut.

Falle 1Fehlende AbnahmeEine Leistung ist gemeldet, aber nicht abgenommen — sie darf nicht in die Abrechnung.
Falle 2Mehrdeutige ZuordnungEine Meldung passt auf zwei Aufträge. Wer rät, liegt in der Hälfte der Fälle falsch.
ModellMistral Large 2512In allen drei Aufbauten identisch. Auch der Prompt blieb gleich.
Läufe27 insgesamt8 ohne Werkzeuge, 10 mit geprüften Werkzeugen, 9 mit zusätzlichem Vertrag.
PrüfungGegen geprüfte GrundwahrheitNicht „klingt plausibel", sondern Abgleich mit dem von Hand gerechneten Soll-Ergebnis.

Die drei Aufbauten unterscheiden sich allein darin, wie der Agent an die Daten kommt. Im ersten bekommt er die Rohdaten und schreibt sich seinen Auswertungsweg selbst. Im zweiten stehen ihm geprüfte Werkzeuge zur Verfügung — kleine Programme, die suchen, nachschlagen und schreiben können. Im dritten lehnen diese Werkzeuge zusätzlich jeden unvollständigen Aufruf ab.

Ergebnis

Gleiches Modell, dreimal anders ausgestattet

Ohne WerkzeugeDer Agent schreibt sich seinen Auswertungsweg selbst3 von 838 Prozent
Mit geprüften WerkzeugenSuchen, nachschlagen und schreiben übernimmt getesteter Code9 von 1090 Prozent
Zusätzlich mit Werkzeug-VertragDas Werkzeug weist unvollständige Aufrufe zurück9 von 9100 Prozent
Was mich daran interessiert

Der Sprung von 38 auf 90 Prozent kostet keinen Modellwechsel und keinen besseren Prompt. Er kostet ein paar Werkzeuge, die jemand einmal baut und testet. Der Rest bis 100 Prozent kostet noch weniger: eine Abfrage im Werkzeug, die prüft, ob der Aufruf vollständig ist.

Jürgen Johannes Schimmöller

Befunde

Was in den Läufen tatsächlich passiert ist

Das Urteilsvermögen war nie das Problem

Die verbreitete Sorge lautet: Im Zweifel rät der Agent. Hier ist das nicht passiert — in keinem einzigen der 27 Läufe. Die fehlende Abnahme und die mehrdeutige Zuordnung wurden jedes Mal erkannt, auch in den Durchgängen, die am Ende ein falsches Ergebnis lieferten.

Das ist für mich der eigentliche Befund dieser Messung. Der Agent hat verstanden, worum es geht. Er ist beim Ausrechnen gestolpert, nicht beim Denken.

Der Fehler saß immer im Mechanischen

Im ersten Aufbau schrieb sich der Agent einen Vergleich, der prüfen sollte, ob eine Leistung zu einem Auftrag gehört. Er verglich dafür Textbausteine miteinander — „RRF Rückschnitt" gegen „Streckenpflege RRF, Rückschnitt…". Die beiden sind für jeden Menschen offensichtlich dasselbe. Für den Textvergleich nicht. Das Ergebnis war schlicht „passt nicht", und damit verschwand die Position aus der Abrechnung.

Ohne Fehlermeldung. Ohne Warnung. Die Rechnung war am Ende einfach kürzer.

Im zweiten Aufbau tauchte ein anderer auf: Der Agent ließ bei einem Werkzeugaufruf die Auftragsnummer weg, und das Werkzeug nahm den leeren Wert anstandslos entgegen. Genau das verhindert der Vertrag im dritten Aufbau.

Der gefährlichste Fehler ist die fehlende Zeile

Beide Fehler oben haben dieselbe Form: Es stand nichts Falsches in der Abrechnung. Es fehlte etwas.

Eine falsche Zahl fällt auf. Beim Gegenlesen, spätestens beim Kunden. Eine Position, die gar nicht erst auftaucht, fällt niemandem auf — es sei denn, jemand rechnet die Sache parallel noch einmal von Hand. Dann aber braucht man den Agenten nicht.

Selbstgeschriebener Code ist jedes Mal ein anderer

Der Agent löst solche Aufgaben gern, indem er sich ein kleines Programm schreibt. Der Instinkt ist richtig — rechnen soll Code, nicht Sprachmodell. Nur: Dieses Programm wird bei jedem Lauf neu erfunden. Mal ist es korrekt, mal nicht.

Damit wandert die Unberechenbarkeit des Sprachmodells genau dorthin, wo man sie am wenigsten gebrauchen kann. Geprüfte Werkzeuge sind deshalb nicht nur besser, sie sind vor allem jedes Mal gleich.

Wenn es schiefgeht, geht es sauber schief

Ein Lauf ist an einem fehlerhaft formatierten Werkzeugaufruf gestorben und hat gar nichts geschrieben. Kein halbes Ergebnis, kein falscher Datensatz.

Das ist betrieblich das angenehmere Scheitern. Ein Lauf, der abbricht, lässt sich wiederholen und überwachen. Ein Lauf, der still eine Position unterschlägt, nicht.

Einordnung

Was diese Zahl nicht hergibt

Ich halte die Messung für aussagekräftig genug, um danach zu bauen. Für eine Studie ist sie zu klein, und wer sie zitiert, sollte wissen, wo sie dünn wird.

Grenzen

Es ist ein Szenario, nicht fünf. Eine Abrechnungsaufgabe mit zwei Fallen sagt nichts über Recherche, Textarbeit oder mehrstufige Planung.

Es ist ein Modell. Gemessen wurde mit Mistral Large 2512. Ein Vergleichslauf mit einem offenen 27-Milliarden-Modell lag bei 3 von 3 — abgebrochen, weil das Guthaben beim Anbieter aufgebraucht war. Daraus lässt sich nichts ableiten, und ich tue es auch nicht.

Es sind 27 Läufe. Die 38 Prozent beruhen sogar nur auf acht davon. Bei dieser Größe ist jeder einzelne Lauf rund zwölf Prozentpunkte wert.

Es ist eine Simulation, kein Echtbetrieb. Die Daten sind nachgebaut, die Fallen bewusst gesetzt. In einem echten Betrieb sind Daten unordentlicher — und die Fallen stehen nicht da, wo man sie erwartet.

Stand: August 2026

Was die Messung trotzdem trägt: Der Abstand zwischen 38 und 100 Prozent ist zu groß, um Zufall zu sein, und die Fehler waren nicht zufällig verteilt — sie hatten alle dieselbe Form. Dass das Urteilsvermögen in 27 von 27 Läufen stimmte, ist für mich das belastbarste Einzelergebnis, weil es gegen die Erwartung läuft.

Konsequenz

Wonach wir seitdem bauen

Aus der Messung ist eine Bauregel geworden, die für jeden Agenten gilt, den wir für Kunden einrichten.

Der Agent urteilt

Beurteilen, abwägen, Zweifel anmelden — das kann er, und das soll er. Werkzeuge liefern ihm deshalb vollständige Kandidatenlisten und entscheiden nicht vor.

Das Werkzeug rechnet und schreibt

Zahlen, Vollständigkeit, Datensätze — dafür ist Code zuständig, einmal gebaut und getestet. Und er lehnt unvollständige Aufrufe ab, statt sie zu schlucken.

Daraus folgt noch etwas, das zuerst unlogisch klingt: Für die Gegenprüfung ist ein zweiter Agent oft die schlechtere Wahl. Zwei Sprachmodelle teilen sich blinde Flecken — wenn das eine eine Position übersieht, übersieht das andere sie mit einiger Wahrscheinlichkeit auch. Eine Prüfung im Werkzeug ist billiger, schneller, und ihre Fehler haben mit denen des Agenten nichts zu tun.

Ein zweiter Agent lohnt sich dort, wo wirklich geurteilt wird. Bei Zahlen und Vollständigkeit ist Code überlegen. Und wo es um Geld geht, ist das echte Vier-Augen-Prinzip ohnehin ein anderes: Der Agent bereitet vor, ein Mensch gibt frei.

Häufige Fragen

Nachgefragt

Heißt das, das Modell ist egal?

Nein. Es heißt, dass die Werkzeugschicht in dieser Aufgabe den größeren Hebel hatte. Bei guten Werkzeugen schrumpft der Abstand zwischen Modellen spürbar — das entspannt die Modellwahl, schafft sie aber nicht ab. Bei schwierigeren Aufgaben, mehrstufiger Planung oder langen Dokumenten zählt das Modell wieder stärker.

Was ist ein Werkzeug-Vertrag?

Eine Prüfung im Werkzeug selbst, die festlegt, was ein gültiger Aufruf ist. Fehlt eine Angabe, nimmt das Werkzeug den Aufruf nicht an, statt mit einem leeren Wert weiterzurechnen. Im Test war genau das der Unterschied zwischen 90 und 100 Prozent — der Agent hatte eine Auftragsnummer weggelassen, und das Werkzeug hatte es hingenommen.

Warum schreibt sich der Agent überhaupt eigenen Code?

Weil es der naheliegende Weg ist, wenn ihm nichts anderes zur Verfügung steht. Rechnen soll ein Programm übernehmen, nicht ein Sprachmodell — der Instinkt ist richtig. Das Problem ist nicht der Code, sondern dass er bei jedem Lauf neu entsteht und niemand ihn geprüft hat.

Lässt sich das auf andere Aufgaben übertragen?

Vorsichtig. Gemessen wurde eine Abrechnungsaufgabe mit klaren Soll-Werten. Überall dort, wo am Ende eine prüfbare Zahl oder eine vollständige Liste stehen muss, erwarte ich ein ähnliches Muster. Bei Aufgaben ohne eindeutig richtiges Ergebnis — Textentwürfe, Recherche, Einschätzungen — trägt die Übertragung nicht.

Warum ist die fehlende Position schlimmer als eine falsche Zahl?

Weil sie keinen Anlass zum Nachsehen gibt. Eine falsche Zahl irritiert jemanden — im Zweifel den Empfänger der Rechnung. Eine Position, die nie aufgetaucht ist, hinterlässt keine Spur im Ergebnis. Auffallen würde sie nur dem, der die Sache parallel noch einmal selbst rechnet.

Kann ich den Test nachbauen?

Ja. Der ursprüngliche Aufbau ist nicht erhalten — er lag in einer Arbeitsumgebung, die inzwischen gelöscht ist. Deshalb habe ich ihn als Testfeld nachgebaut: fünf Bestellungen, beide Fallen, die Werkzeuge in drei Ausbaustufen und das Prüfskript. Herunterladen und selbst messen. Es ist ein Nachbau, kein Abzug des Originals — wer damit misst, misst sein eigenes Ergebnis.

Zum Nachbauen

Das Testfeld

Eine Messung, die niemand nachvollziehen kann, ist eine Behauptung. Den ursprünglichen Aufbau gibt es nicht mehr — also habe ich ihn nachgebaut: dieselbe Aufgabe, dieselben beiden Fallen, die Werkzeuge in den drei Ausbaustufen und das Prüfskript, das gegen ein von Hand gerechnetes Soll vergleicht.

Was drin ist

Fünf Bestellungen, fünf Leistungsmeldungen, die Grundwahrheit, die Werkzeuge in den Stufen ohne / geprüft / mit Vertrag, das Prüfskript und die Aufgabe im Wortlaut.

Was es zeigt

Ein Agent, der in Stufe A völlig richtig urteilt und beide Fallen erkennt, kommt trotzdem auf 1.500 statt 3.900 Euro. Es fehlt eine Position über 2.400 Euro — ohne Fehlermeldung.

Wichtig

Das ist ein Nachbau, kein Abzug des Originals. Aufgabe, Fallen und Prüfverfahren folgen dem Protokoll der Messung, die konkreten Beträge und Bezeichnungen sind neu gesetzt. Wer damit misst, misst sein eigenes Ergebnis — nicht meines nach.

Stand: November 2026

Weiterlesen

Wenn du das für deinen Betrieb durchdenken willst

Die Werkzeugschicht entscheidet, ob ein KI-Agent im Tagesgeschäft trägt. Welche Werkzeuge dein Betrieb dafür braucht, hängt daran, wo deine Daten liegen und wer sie heute zusammensetzt.