Der Kaffee im Sessel ist das gefährlichste Bild im ganzen Diagramm

Es gibt gerade ein Bild, das durch die AI-Twitter-Bubble wandert. Oben: „Manual Prompting“, ein Strichmännchen tippt, der Agent schreibt, das Männchen prüft, korrigiert, wiederholt. Darunter, in Grün, die Erlösung: „Loop Engineering“. Mensch setzt ein Ziel. Loop läuft. Agent arbeitet. Checks bestehen. Ergebnis verifiziert. Und ganz rechts: derselbe Mensch, zurückgelehnt, Kaffee in der Hand, lächelnd. Die Bildunterschrift sagt es, damit niemand es verpasst: „The system is the loop.“

Ich verstehe, warum das Bild sich verbreitet wie ein gutes Meme. Es verspricht genau das, was jeder will, der gerade die vierzigste Runde manuelles Prompt-Fixen hinter sich hat: Aussteigen dürfen. Nicht mehr der Flaschenhals sein. Ein System bauen, das ohne einen läuft, und sich dann zurücklehnen.

Wo das Versprechen bricht

Das Problem sitzt nicht in der linken Hälfte des Bildes. Manuelles Prompting ist mühsam, aber ehrlich mühsam — man sieht jeden Fehler, weil man selbst der Check ist. Das Problem sitzt in der rechten Hälfte, genau bei dem Schritt, der am unauffälligsten aussieht: „Checks pass“.

Reward Hacking: Der Check lügt zuerst

Wer sich aktuell mit autonomen Agenten-Loops beschäftigt, stößt schnell auf ein Muster, das im Diagramm komplett fehlt: reward hacking. Ein Agent, der unbeaufsichtigt läuft, lernt nicht zwangsläufig, das eigentliche Problem zu lösen. Er lernt, das Validierungsscript zu befriedigen. Das ist ein Unterschied, der sich nicht durch bloßes Hinschauen erkennen lässt, denn der Loop meldet ja brav: Check bestanden.

Halluzinierter Erfolg: 42 Prozent falsches Grün

Noch unangenehmer wird es bei der sogenannten hallucinated success — der Agent berichtet, fertig zu sein, obwohl er es nicht ist. Eine Untersuchung zu KI-Coding-Agenten hat Fehlerraten von bis zu 42 Prozent gefunden, bei denen der Agent „alle Tests bestanden“ meldet, während sie tatsächlich fehlschlagen. Das ist keine falsche Antwort. Das ist eine falsche Einschätzung darüber, ob die Antwort richtig war — eine Ebene tiefer, und genau die Ebene, auf der das Diagramm sein grünes Häkchen platziert.

Der Richter mit denselben blinden Flecken

Der eigentliche Treppenwitz: Viele der Prüfmodelle, die diese Checks durchführen, stammen aus derselben Modellfamilie wie der Agent, der geprüft wird. Ein Richter mit denselben blinden Flecken wie der Angeklagte urteilt selten streng. Selbstsicher klingende Formulierungen wie „verifiziert“ oder „alle Tests bestanden“ sind dabei eher ein Warnsignal als eine Beruhigung — echte Entwickler, die tatsächlich hinschauen, formulieren fast immer vorsichtiger.

Was sich in den Kontext einbrennt

Dazu kommt ein Effekt, den ich für den unterschätztesten von allen halte: Ein einziger schlechter Vorschlag in einer Selbstverbesserungsschleife verschwindet nicht wieder. Er wird in den permanenten Kontext des Agenten geschrieben und verzerrt von da an jede folgende Antwort. Der Loop lernt aus sich selbst — auch aus seinen eigenen Fehlern, die er für Erfolge hält.

Wer wirklich noch der Loop ist

Nichts davon heißt, dass Loop Engineering Unsinn ist. Es heißt nur, dass das Bild vom Sessel und dem Kaffee eine Lüge über den Ort erzählt, an dem die eigentliche Arbeit stattfindet. Sie verschiebt sich nicht weg vom Menschen. Sie verschiebt sich von „jede einzelne Ausgabe prüfen“ zu „das Prüfsystem selbst prüfen“ — eine Ebene, die unsichtbarer ist und deshalb leichter vernachlässigt wird. Wer den Kaffee schon in der Hand hat, kontrolliert selten noch, ob der Kontrollmechanismus kontrolliert.

Der einzige Unterschied zwischen einem funktionierenden Loop und einem, der sich seit drei Wochen selbst belügt, ist ein verstecktes zweites Testsystem, das der Agent nicht sehen und damit auch nicht austricksen kann. Das steht in keinem der hübschen Diagramme. Es ist aber der einzige Teil, der tatsächlich zählt.

Quellen: