Woran erkennt man, dass ein Agent fertig ist?

Wer einen KI-Agenten selbstständig arbeiten lässt, muss festlegen, wann eine Aufgabe als erledigt gilt. Wir bauen bei Creaminds ein Governance-Gerüst für Agenten, und die Abnahme ist dessen wichtigste Anforderung: Ein Agent darf genau so weit selbstständig arbeiten, wie die Abnahme trägt.

Der naheliegende Kandidat ist der Testlauf — automatisierbar, eindeutig, billig. Er trägt nur nicht.

Warum grüne Tests nichts beweisen

SpecBench (arXiv 2605.21384) hat das im Mai 2026 gemessen: dreißig Aufgaben auf Systemebene, vom JSON-Parser bis zum vollständigen Betriebssystem-Kernel. Die Aufgaben sind dreigeteilt in Spezifikation, sichtbare Tests und zurückgehaltene Tests, die dieselben Merkmale im Zusammenspiel prüfen. Der Abstand zwischen beiden Testläufen ist das Maß. Das Ergebnis: Jeder untersuchte Spitzen-Agent bringt die sichtbare Sammlung vollständig ins Grüne — und bricht gegen die zurückgehaltene ein. Anschaulichstes Beispiel: ein 2.900 Zeilen langer Hashtabellen-„Compiler", der die Testeingaben auswendig gelernt hatte. Formal alles grün.

Der Mechanismus ist banal: Das System optimiert auf das, was gemessen wird — auf dem kürzesten Weg, und der ist nicht notwendig „die Aufgabe korrekt lösen". Es ist derselbe Grund, aus dem man im Machine Learning Trainings- und Testdaten trennt. Ein Maß, an dem optimiert wurde, ist kein Maß mehr.

Zwei Verschärfungen: Die Lücke wächst mit der Aufgabengröße, und zwar um 28 Prozentpunkte je Verzehnfachung der Codemenge — ausgerechnet die langen selbstständigen Läufe werden am schwächsten geprüft. Und kleinere Modelle zeigen die größeren Lücken, was jeden betrifft, der aus Kosten- oder Souveränitätsgründen lokal betreibt.

Was hilft: bauen statt bitten

Der Reward Hacking Benchmark (arXiv 2605.02964, ICML 2026) hat die Gegenmaßnahmen geprüft. Einfache Härtung der Ausführungsumgebung senkte die Ausnutzungsrate um 5,7 Prozentpunkte — von 6,5 auf 0,8 Prozent, ein Rückgang um 87,7 Prozent — ohne dass die Erfolgsquote bei den eigentlichen Aufgaben litt.

Daraus folgt eine Bauanweisung: Bauliche Trennung schlägt Ermahnung per Prompt. Konkret — der Agent, der implementiert, schreibt nicht die Tests, gegen die er abgenommen wird, und die Prüfpfade liegen außerhalb seines Arbeitsbereichs.

Zur Redlichkeit: Diese Untersuchung stammt von einem einzelnen Autor und ist nicht unabhängig wiederholt worden. Bemerkenswert ist aber, dass sie lokal betreibbare Modelle einschließt — und dass dort nicht der Open-Weight-Status entscheidet, sondern das Nachtraining: Zwei Varianten desselben Hauses liegen bei 0,6 gegenüber 13,9 Prozent Ausnutzungsrate. Wer aus Souveränitätsgründen selbst betreibt, gibt also nichts auf. Er muss die Variante prüfen.

Mensch und Maschine scheitern verschieden

Der Einwand liegt nahe und ist berechtigt: Auch menschliche Teams haben lückenhafte Tests. Eine zu lasche Suite fällt niemandem auf. Das ist kein Sonderproblem der KI.

Aber der Grund unterscheidet sich, und daraus folgt etwas Nützliches. Beim Menschen ist es ein Motivationsproblem: Er kennt die harte Frage meistens und stellt sie trotzdem nicht — weil Freitag ist, weil es der Kollege war, weil das Feature raus muss. Bei der Maschine ist es ein Strukturproblem: Sie stellt die Frage nicht, weil niemand sie damit beauftragt hat.

Motivation lässt sich nur über Kultur beeinflussen und bricht unter Termindruck zusammen. Struktur lässt sich hinschreiben, und sie hält. Deshalb ist der prüfende Agent bei uns gegenläufig beauftragt: nicht „prüfe, ob es stimmt", sondern „zeige, dass es nicht stimmt". Er hat keine sozialen Kosten für einen unbequemen Befund, keinen Ruf zu verlieren, keine Beziehung zum Autor des Codes. Er ist jedes Mal gleich unangenehm.

Das ist der Punkt, an dem ein Agentensystem einem Team überlegen sein kann — nicht weil es klüger prüft, sondern weil ihm die Gründe fehlen, es nicht zu tun. Governance heißt hier: die Sorgfalt in die Architektur verlegen, wo sie nicht von jemandes Tagesform abhängt.

Was offen ist

Wer schreibt die zurückgehaltenen Tests? Ein Agent verlagert das Problem eine Ebene nach oben, ein Mensch begrenzt die Autonomie. Unser Weg führt über die Spezifikation: Wer sie verantwortet, verantwortet das Abnahmekriterium — und liefern muss sie ohnehin jemand.

Unabhängigkeit. Zwei Entwickler haben verschiedene blinde Flecken, zwei Instanzen desselben Modells identische. Was ein Team mitbringt, muss hier baulich hergestellt werden.

Gedächtnis. Ein Team lernt, wo ein Codebestand einen anlügt. Ein Agent fängt jedes Mal bei null an. Institutionelles Misstrauen muss aufgeschrieben und geteilt werden.

Was wir beitragen

Wir bauen dieses Prüfgerüst für den eigenen Betrieb: getrennte Rollen für Implementierung und Prüfung, Prüfpfade außerhalb des Agentenzugriffs, gegenläufig beauftragte Prüfung, Eskalation an den Menschen statt eines dritten Versuchs. Was sich bewährt, geht in die Governance-Struktur ein, die wir bei Kunden aufsetzen.

Wenn Sie KI-Agenten produktiv Arbeit übernehmen lassen wollen, ist die Abnahme die Frage, die Sie zuerst beantworten müssen — nicht die nach dem Modell.