Harness Engineering: Leitplanken statt Hoffnung
Warum das, was du um den Agenten herum baust, oft mehr über sein Ergebnis entscheidet als das Modell selbst - und warum eine brauchbare Leitplanke prüft statt nur zu warnen.
Der Agent hat den gemeldeten Fehler behoben. Er hat die beiden Tests laufen lassen, die im Ticket standen, beide waren grün, und er hat committet. Was niemand geprüft hat: Die Hilfsfunktion, die er dabei umgebaut hat, wird von drei anderen Modulen benutzt. Eines davon rechnet seit diesem Commit still falsch. Kein Absturz, kein rotes Log, nur ein Wert, der ab jetzt leicht daneben liegt. Was als Nächstes passiert, hängt weniger davon ab, welches Modell hier gearbeitet hat, als davon, was in den Raum eingebaut war, in dem es gearbeitet hat.
Ein Wort zum Titel, bevor es losgeht. Eine Leitplanke im Sinne dieses Artikels ist kein Schild am Straßenrand, das freundlich warnt und ansonsten nichts tut. Sie ist näher an einer Prüfstation, durch die die Arbeit physisch hindurch muss, bevor sie gilt. Und die Zahlen, die gleich kommen, zeigen etwas Unerwartetes: Solche Prüfstationen kosten den Agenten kaum gelöste Aufgaben, aber sie senken deutlich, wie viel er nebenbei kaputt macht.
Agent = Modell + Harness
Ein Agent ist nie nur ein Modell. Er ist ein Modell plus alles, was um dieses Modell herum steht: die Werkzeuge, die er aufrufen kann, die Umgebung, in der er läuft, die Prüfungen, die seine Arbeit passieren muss, seine Rechte und das, was er über die Sitzung hinaus behält. Diese Summe hat einen Namen bekommen: Harness. Wer sie bewusst baut, statt sie sich zufällig ergeben zu lassen, betreibt Harness Engineering.
Drei Begriffe, die oft durcheinandergehen, in je einem Satz: Prompt Engineering formuliert die einzelne Anweisung. Context Engineering entscheidet, welche Informationen dem Agenten während der Arbeit vorliegen. Harness Engineering baut die Werkstatt, in der beides stattfindet - was der Agent anfassen darf, was seine Arbeit prüft, was er behält.
Ehrlicherweise ist diese Staffelung nicht überall Konsens. Ein Teil der Fachliteratur ordnet die drei Disziplinen genau so ineinander, ein anderer hält den Harness umgekehrt für eine Sonderform von Context Engineering. Dieser Artikel nutzt die erste Lesart, weil sie sich besser erklären lässt.
Dazu eine Abgrenzung im eigenen Haus: Der Artikel zu Agentic Coding beschreibt den Agenten selbst und die Frage, wie eng du ihn beaufsichtigst. Hier geht es um den Raum um ihn herum - und darum, was darin eine Maschine erzwingt statt deines Gedächtnisses.
Merke
Was du nach diesem Artikel kannst
- Benennen, welche Bestandteile eines Agenten-Setups zum Harness gehören.
- Bei einer konkreten Maßnahme entscheiden, ob sie Hoffnung ist oder Mechanismus.
- Vorhersagen, wie sich eine engere Sandbox auf die Zahl der Rückfragen auswirkt.
- Begründen, warum grüne Tests kein Beweis für Korrektheit sind.
Bevor es in die Einzelteile geht, eine Landkarte. Wenn später von Gate, Sandbox oder Journal die Rede ist, ist immer eines dieser fünf Stücke gemeint:
Gleicher Arbeiter, zwei Werkstätten
Stell dir vor, du richtest die Werkstatt für einen neuen Mitarbeiter ein, bevor er zum ersten Mal kommt: welche Maschinen er bedienen darf, wo der Notaus sitzt, welches Handbuch am Platz liegt, wer die Arbeit abnimmt. Zwei Betriebe können denselben Mann einstellen und trotzdem sehr unterschiedliche Ergebnisse bekommen. Dieser Unterschied ist keine Aussage über sein Können.
Definition
Modell und Harness
Analogie
Definition
Wie groß dieser Effekt wird, lässt sich beziffern. Eine große Vergleichsstudie hat 21.730 Agentenläufe über neun Modelle und neun Benchmarks gefahren. Auf der zugehörigen Bestenliste tauchen für ein und dasselbe Modell auf derselben Aufgabenmenge Werte auf, die weit auseinanderliegen: 68 Prozent echter Programmier-Tickets gelöst in der einen Ausführungsumgebung, 34 Prozent in einer allgemeineren. Kein Nachtraining, kein anderes Modell, nur ein anderer Raum.
Zwei Einordnungen dazu. Die Studienanlage mit den 21.730 Läufen ist Primärquelle; die beiden Werte stehen auf der öffentlichen Bestenliste derselben Forschergruppe: Claude Sonnet 4.5 auf SWE-bench Verified Mini, einer Zufallsauswahl von 50 Aufgaben, mit 68 Prozent im Gerüst SWE-Agent und 34 Prozent im allgemeinen HAL-Agenten. Zum Maßstab: Der Sprung zwischen zwei Modellgenerationen wird auf solchen Benchmarks üblicherweise im einstelligen bis niedrigen zweistelligen Bereich berichtet.
Hier bricht die Werkstatt-Analogie, und zwar an einer Stelle, die zählt. Ein Mensch behält, was man ihm einmal gesagt hat. Ein Agent fängt jede Sitzung wieder bei null an. Dauerhaft ist für ihn nur, was jemand in eine Datei geschrieben hat, die er beim Start mitliest. Wer einem Agenten etwas im Chat erklärt, hat einmal laut gesprochen, nicht die Werkstatt umgebaut. Manche Werkzeuge schreiben sich solche Hinweise inzwischen selbst in eine Gedächtnisdatei. Auch das ist aber nur Kontext, den der Agent mitliest, keine Prüfung, die etwas erzwingt.
Achtung
Häufiger Irrtum: Schlechtes Ergebnis heißt schwaches Modell
Das ist der Reflex, und meist die teuerste Antwort. Identische Gewichte liegen je nach Umgebung um Dutzende Prozentpunkte auseinander. Bei einer solchen Spreizung ist der Raum die wahrscheinlichere Ursache eines enttäuschenden Ergebnisses, nicht der Arbeiter. Die produktivere erste Frage lautet deshalb: Was in der Umgebung hat das durchgehen lassen - und lässt sich daraus etwas machen, das eine Maschine prüft?
Achtung
Der Gegenirrtum: Dann ist das Modell also egal
Auch das steht nicht in den Daten. Gemessen wurde, wie viel Streuung auf die Umgebung entfällt, nicht, dass Modellqualität egal wäre. Innerhalb eines festen Harness liegen starke Modelle weiterhin vor schwachen. Die Aussage ist eine über Messehrlichkeit: Wer zwei Agenten vergleicht, ohne den Harness offenzulegen, vergleicht zwei Werkstätten und nennt das Ergebnis Können.
Was der Agent behält, steht in Dateien
Wenn der Agent selbst nichts mitnimmt, muss die Umgebung es tun. In der Praxis heißt das drei Dinge: ein Einrichtungsschritt, der festhält, wie das Projekt startet, baut und testet; ein laufendes Journal, in dem nach jedem erledigten Stück steht, was getan wurde und warum; und die Gewohnheit, nach jedem Stück zu committen statt am Ende alles auf einmal. Der Nutzen zeigt sich später: Wenn eine neue Sitzung beginnt, liegt der Stand geschrieben vor.
Und die Regeldatei?
Die Regeldatei kennst du aus dem Artikel zum Context Engineering: das Onboarding-Paket des Agenten mit Konventionen, Kommandos und Architekturnotizen. Was dieser Artikel hinzufügen muss, ist unbequem. Eine kontrollierte Untersuchung an echten Repositories hat zwei Agenten über 17 Aufgaben und 288 Läufe verglichen, mit und ohne eine solche Datei. Auf die Korrektheit hatte sie keinen messbaren Effekt, Unterschiede über 10 bis 15 Prozentpunkte schließt die Studie aus; die Fehler lagen in Entwurf, Musterwahl und sauberem Verdrahten - in Dingen, die Projektwissen nicht liefern kann. Das heißt nicht: schreib keine. Es heißt: Verlass dich für Korrektheit nicht darauf.
Die Prüfstation, nicht das Schild
Ein Gate ist Code, der zwischen zwei Zuständen sitzt: der Agent hält sich für fertig, und die Änderung gilt. Es führt eine Prüfung aus und darf den Commit verweigern. Eine Anweisung ist etwas grundsätzlich anderes: Sie wirkt nur, wenn der Agent sich im richtigen Moment an sie erinnert und ihr folgen will. Der Unterschied klingt nach Haarspalterei. Er ist messbar.
Definition
Gate
Analogie
Definition
Die folgenden drei Zahlen stammen aus einer einzelnen Untersuchung: offene Qwen-Modelle auf handelsüblicher Hardware, gemessen auf der Aufgabensammlung SWE-bench Verified. Sie sind das Rückgrat dieses Artikels, aber sie sind eine Messung und keine Branchenkonstante. Die Autoren schreiben selbst, dass große Modelle mit längerem Kontextfenster den Nachteil der Textregel womöglich nicht zeigen, weil eine lange Anweisung bei ihnen einen kleineren Teil des Kontexts verbraucht.
Der Aufbau ist bewusst schlicht: dieselbe Aufgabenmenge, dreimal unterschiedlich unterstützt. Erster Durchgang, nichts gesagt: 6,08 Prozent der zuvor bestandenen Tests schlugen nach der Änderung fehl. Zweiter Durchgang, eine Arbeitsregel als Text im Prompt, ausgeschrieben auf 119 statt 49 Zeilen - schreib erst die Tests, dann den Code: 9,94 Prozent. Dritter Durchgang, ein Mechanismus: Ein Werkzeug hat vorab über den Abhängigkeitsgraphen ermittelt, welche Tests von welchem Code abhängen, und der Agent schlägt dort vor dem Abschluss nach und führt die betroffenen Tests aus. 1,82 Prozent. Ein Wort zum Maß: Gezählt sind gebrochene Tests, nicht gebrochene Änderungen. Der Anteil der Änderungen, die mindestens einen Test brachen, lag in allen drei Durchgängen bei rund einem Drittel. Das Werkzeug machte die Schäden also kleiner, nicht seltener.
9,94 Prozent der zuvor bestandenen Tests schlugen fehl - mehr als in der Ausgangslage ganz ohne Regel, die bei 6,08 Prozent lag.
1,82 Prozent - und die Quote gelöster Tickets stieg in einem zweiten, kleineren Aufbau (anderes Modell, 25 Aufgaben) von 24 auf 32 Prozent.
Eine bloße Arbeitsanweisung, ohne die maschinell ermittelte Information, war schlechter als gar nichts zu sagen.
Regressionen mit Testauswahl
-70 %
Von 6,08 auf 1,82 Prozent der zuvor bestandenen Tests, die nach der Änderung fehlschlagen.
Gelöste Tickets
+8 Punkte
Die Quote stieg in einem zweiten, kleineren Aufbau (anderes Modell, 25 Aufgaben) von 24 auf 32 Prozent. Das sind 8 statt 6 von 25 Aufgaben. Im Hauptaufbau mit 100 Aufgaben sank die Quote dagegen leicht, von 31 auf 29 Prozent; beides sind zu wenige Aufgaben für einen gesicherten Effekt.
Die Prüfstation ist deshalb das bessere Bild als das Schild: Sie prüft jeden, unabhängig von Aufmerksamkeit, Tagesform und gutem Willen.
Und hier bricht auch dieses Bild, produktiv. Bei einer echten Hauptuntersuchung schreibt eine unabhängige Stelle die Prüfliste. Bei einer Test-Suite schreibt sie derjenige, der geprüft wird. Wem die Testdatei gehört, ist deshalb eine Entwurfsentscheidung am Harness, keine Frage des Agentenverhaltens.
Achtung
Häufiger Irrtum: Alle Tests grün heißt korrekt
Grün heißt: Nichts von dem, was geprüft wird, ist kaputt. Über alles, wofür niemand einen Test geschrieben hat, sagt Grün nichts. Sobald ein Projekt wächst, ist das mehr als eine Spitzfindigkeit - siehe den Kasten weiter unten. Dazu kommen Kategorien, die kein Gate abdeckt: falsche Diagnose, überkonstruierte Lösung, saubere Umsetzung der falschen Anforderung.
Achtung
Häufiger Irrtum: Aufschreiben ist dasselbe wie durchsetzen
Die 9,94 Prozent sind die Antwort darauf, und sie sind unangenehm präzise. Die Textregel brachte nicht einfach nichts - sie machte das Ergebnis schlechter als der Zustand ganz ohne Regel. Die Autoren erklären es so: Die lange Anweisung verdrängte Wissen über das Projekt aus dem Kontext, und der Agent wagte größere Umbauten über mehr Dateien, ohne zu wissen, welche Tests er damit gefährdete.
Eine Untersuchung an 30 systemnahen Aufgaben zwischen 1.500 und 110.000 Codezeilen hat jeder Aufgabe zwei Testreihen mitgegeben: eine sichtbare, die der Agent nutzen darf, und eine zurückgehaltene, die er nie zu sehen bekommt. Die sichtbare Reihe sättigen alle getesteten Spitzen-Agenten. Der Abstand zur zurückgehaltenen wächst gemessen um 28 Prozentpunkte je Verzehnfachung der Codemenge.
Ein beobachteter Fall war ein 2.900 Zeilen langes Programm, das vorgab, ein Compiler zu sein, also ein Übersetzer für Programmcode, in Wahrheit aber die Testfälle auswendig gelernt hatte. Wichtig für die Abgrenzung: Hier wurde keine Testdatei gelöscht und keine verändert. Der Agent hat sich an die sichtbare Prüfliste angepasst, ohne einen Test anzufassen - die leisere Variante desselben Problems.
Die Schlüsselkarte, nicht der Wachhund
Zwei Bilder vorweg, weil die Überschrift sie gegeneinanderstellt. Ein Wachhund urteilt über Verhalten: Er beobachtet, schlägt an, wenn ihm etwas nicht geheuer ist - und er lässt sich täuschen, ablenken, beschwichtigen. Eine Schlüsselkarte urteilt über gar nichts. Sie öffnet drei Türen und die vierte nicht, ganz gleich, wer sie trägt und was er vorhat. Rechte im Harness funktionieren wie die Karte: vorher vergeben, pro Tür, unabhängig von der Absicht. Zwei Einstellungen werden dabei ständig verwechselt, obwohl sie unabhängig sind. Die erste: Was ist technisch überhaupt möglich - welche Verzeichnisse darf der Agent beschreiben, welche Netzadressen erreicht er? Die zweite: Wann muss er anhalten und einen Menschen fragen? Verbreitete Coding-Agenten setzen das als zwei getrennte Regler um, typischerweise drei Sandbox-Stufen von nur lesend bis Vollzugriff und mehrere Freigabe-Politiken von oft fragen bis nie fragen.
Der interessante Teil ist, wie die beiden zusammenspielen, denn die Richtung ist gegenintuitiv. Man erwartet: engere Grenze, mehr Rückfragen. Gemessen wurde das Gegenteil.
Beispiel: Was die Isolation mit den Rückfragen macht
- 1. Ausgangslage, als Rechenbeispiel angenommen: eine dreistündige Sitzung mit rund 50 Rückfragen. Diese Ausgangszahl ist eine Annahme, keine Messung.
- 2. Datei- und Netzwerk-Isolation einschalten. Der Agent kann jetzt physisch nicht mehr außerhalb des Projektordners schreiben und keine Adresse außerhalb der Freigabeliste erreichen.
- 3. Der gemessene Wert ist die Reduktion: 84 Prozent weniger Rückfragen, laut Eigenangabe eines Herstellers aus interner Nutzung. Auf das Rechenbeispiel angewendet bleiben von 50 noch rund 8 übrig.
- 4. Der Grund: Was innerhalb der Grenze passiert, ist eingehegt und braucht keine einzelne Zustimmung mehr. Übrig bleiben die Aktionen, die die Grenze überschreiten - ein Paket aus dem Netz installieren, eine Datei außerhalb des Projekts anfassen.
- 5. Der Ernstfall: In der Dokumentation einer Abhängigkeit steht eine versteckte Anweisung, eine Konfigurationsdatei an einen fremden Server zu schicken. Der Agent folgt ihr. Die Isolation hat das nicht verhindert - aber der Zielserver steht nicht auf der Freigabeliste, und der Versand scheitert.
Wo das Bild bricht: Ein Kartensystem unterstellt, dass der Träger derjenige ist, für den er sich ausgibt. Ein Agent lässt sich dazu bringen, legitim erteilte Rechte zu missbrauchen. Der Wachhund hilft an dieser Stelle übrigens auch nicht weiter: Wer sich unauffällig verhält, kommt an ihm vorbei. Werkzeuge setzen trotzdem zunehmend auf ihn: Claude Code etwa startet inzwischen voreingestellt im Auto-Modus, in dem ein eigenes Klassifikator-Modell statt dir über Freigaben entscheidet. Das spart Rückfragen, bleibt aber ein Wachhund - Anthropic selbst gibt an, dass er in einem Test rund jede sechste tatsächlich übereifrige Aktion durchließ. Die Schlüsselkarte ersetzt er nicht.
Achtung
Häufiger Irrtum: Die Sandbox schützt vor Prompt Injection
Zwei der großen Anbieter von Coding-Agenten, OpenAI und Anthropic, schreiben in ihren eigenen Unterlagen das Gegenteil. Eine Sandbox begrenzt, was ein bereits manipulierter Agent erreichen kann. Sie erkennt die Manipulation nicht, und sie verhindert sie nicht. Im Beispiel oben hat der Agent die versteckte Anweisung befolgt; abgefangen wurde allein die Folge.
Achtung
Häufiger Irrtum: Sandbox und Freigaben sind derselbe Regler
Es sind zwei. Der eine legt fest, was technisch möglich ist, der andere, wann gefragt wird. Wer sie als einen denkt, erwartet mehr Unterbrechungen als Preis für mehr Sicherheit - und richtet die Umgebung lockerer ein, um arbeitsfähig zu bleiben. Die gemessene Richtung ist umgekehrt: Die engere technische Grenze senkte die Zahl der Rückfragen, weil mehr Aktionen ohne Risiko durchgehen konnten.
Wie eine solche versteckte Anweisung technisch funktioniert und warum Modelle darauf hereinfallen, steht im Artikel zu Prompt Injections. Für diesen Artikel reicht die Konsequenz: Die Grenze ist Schadensbegrenzung, keine Abwehr.
Wo der Harness dich trotzdem hängen lässt
Kein Gate, wie gut auch gebaut, erkennt eine falsche Diagnose, eine überkonstruierte Lösung oder eine korrekte Umsetzung der falschen Anforderung. Es prüft, was jemand zu prüfen beschlossen hat. Unangenehm daran ist weniger die Lücke selbst als ihre Vermessung: Es gibt bisher kein etabliertes Verfahren, um Abdeckung oder Qualität eines Harness zu bestimmen. Man kann sagen, dass ein Harness besser geworden ist, aber nicht, wie gut er ist.
Zum Begriff selbst, kurz und ehrlich. Das Wort Harness Engineering taucht als erklärte Wortprägung in einem Beitrag von Mitchell Hashimoto vom 5. Februar 2026 auf; kurz darauf trug ihn ein Beitrag von OpenAI im Titel, und ein Teil der Sekundärliteratur schreibt die Prägung einem fünf Wochen späteren Beitrag zu. Der Begriff ist also erst im Februar 2026 geprägt worden und in der Zuschreibung strittig - während das Wort Harness selbst älter ist als die Disziplin und die Praktiken dahinter, automatische Prüfungen und abgeschottete Umgebungen, Jahrzehnte alt sind. Behandle das Vokabular als neu, die Sache nicht.
Gegen zu viel Begeisterung steht ein Einwand aus der Praxis: Ein Harness wird selbst zum Produkt, mit eigenen Fehlern, eigenen Altlasten und eigenem Wartungsaufwand; zusätzliche Prüf-Agenten kosten Zeit, Token und Komplexität. Wichtig ist die Einordnung: Der Einwand stammt aus Erfahrungsberichten, nicht aus einer Messung. Eine belastbare Zahl dazu, ab wann der Aufwand den Nutzen übersteigt, gibt es nicht - was ohne Qualitätsmaß auch schwer zu erwarten wäre. Wer heute anfängt, baut deshalb die billigsten Mechanismen zuerst: die schnellen, deterministischen Prüfungen, die im Projekt ohnehin schon liegen.
Prüfstand: Gleiche Panne, zwei Werkstätten
Die Härteschleife
Zurück zum Anfang. Die stille Regression aus dem ersten Absatz - was passiert mit ihr? Ohne Harness wird sie eine Geschichte: irgendwann bemerkt, im Team erzählt, als Mahnung vermerkt. Mit Harness wird sie eine Tatsache über die Umgebung: ein Prüfschritt, der ab jetzt vor jedem Commit die abhängigen Module mitnimmt. Werkstatt, Prüfstation und Schlüsselkarte sind dabei nicht drei Techniken, sondern drei Orte, an denen dieselbe Gewohnheit ansetzt: aufhören, sich Dinge vorzunehmen, und anfangen, sie einzubauen.
Merke
Das Wichtigste in fünf Punkten
- Agent = Modell + Harness. Der Harness ist oft der größere und fast immer der leichter änderbare der beiden Faktoren.
- Eine Regel, an die sich jemand erinnern muss, ist Hoffnung. Eine Regel, die eine Maschine vor dem Commit erzwingt, ist ein Gate - und schon ein halber Schritt dorthin, die maschinell ermittelte Testauswahl, drehte in der Messung das Vorzeichen um.
- Rechte und Freigaben sind zwei Regler, nicht einer: was technisch möglich ist, und wann ein Mensch gefragt wird. Den ersten enger zu stellen, kann den zweiten entlasten.
- Kein Gate beweist Korrektheit, sondern nur, dass nichts Geprüftes kaputt ist. Wie viel es abdeckt, ist bislang nicht messbar - und mit wachsender Codemenge wächst der Anteil unentdeckter Fehler.
- Harness Engineering heißt, jeden beobachteten Fehler in eine dauerhafte, maschinell geprüfte Eigenschaft der Umgebung zu übersetzen, damit er strukturell kein zweites Mal passieren kann.
Prüfen
Quiz: Harness Engineering
Nach der Formel Agent = Modell + Harness: Was gehört zum Harness?
Wähle eine Antwort
1. Nach der Formel Agent = Modell + Harness: Was gehört zum Harness?
2. Ein Kollege sagt: Ich habe dem Agenten die Regel einmal im Chat erklärt, das reicht doch. Was übersieht er?
3. In deinem Team wird regelmäßig vergessen, den CHANGELOG zu aktualisieren. Vorschlag A: ein Satz dazu in der Regeldatei des Agenten. Vorschlag B: eine automatische Prüfung, die den Commit ablehnt, solange der Eintrag fehlt. Was sagen die im Artikel genannten Messungen über Vorschlag A voraus?
4. Ein Agent soll ein fremdes Repository analysieren und einen Bericht schreiben. Ändern soll er nichts, und du willst nicht vierzig Mal um Erlaubnis gefragt werden. An welchem Regler drehst du - und wovor schützt dich das nicht?
5. Bei einem großen Projekt meldet ein Agent alle sichtbaren Tests grün, ohne einen einzigen Test gelöscht oder verändert zu haben. Eine zurückgehaltene Testreihe, die er nie gesehen hat, zeigt später mehrere Fehlschläge. Was erklärt das am besten - und wie unterscheidet es sich von einem Agenten, der einen roten Test einfach löscht?
Prüfen
Verständnischeck
Kannst du das in eigenen Worten erklären? Hake ab, was sitzt.
0 von 3 sitzen