Risiko autonomer Agenten: Schutz und Kontrolle
»Wann Schluss ist
Anforderungen an einen Agentenlauf. Die Workshop-Demos setzen diese Regeln nicht vollständig um.
| Regel | Abbrechen, wenn … | Was erhalten bleiben soll |
|---|---|---|
| Dreimal derselbe Fehler | dieselbe Fehlermeldung zum dritten Mal | der Stand vor dem dritten Versuch, gesichert und als unfertig markiert |
| Kein Fortschritt | zweimal derselbe Aufruf, ohne dass sich etwas geändert hat | der letzte Stand, unverändert; geschrieben wurde nichts |
| Zeit überschritten | die Laufzeit steht über der vereinbarten Obergrenze | alles bis hierher, halbfertig und markiert; der nächste Schritt steht im Protokoll |
| Budget erreicht | Tokenverbrauch erreicht das Tokenlimit oder berechnete Kosten erreichen das Geldbudget | Verbrauch, Berechnungsgrundlage und letzter gesicherter Stand; kein weiterer kostenpflichtiger Aufruf |
| Not-Aus | ein Mensch drückt Stopp | der Stand im Moment des Drucks, gesichert; niemand muss begründen, warum |
Geprüftes Beispiel: Endlosschleife in „Code prüfen“
while (true) {}- Grenze
- 2 Sekunden CPU-Zeit, 5 Sekunden Laufzeitlimit.
- Ergebnis
- Der isolierte PHP-Prozess endet. Die Prüfung liefert „Nicht geprüft“, kein bestandenes Ergebnis.
- Erhaltener Stand
- Der Quellcode bleibt unverändert. „Code prüfen“ archiviert einen separaten Prüfbericht. Die abgebrochene Funktion wird nicht fortgesetzt.
Ein Browser-Zeitlimit beendet das Warten auf die Antwort. Ein Stopp des Modellservers ist damit nicht nachgewiesen.
Die Grenzen prüft die Umgebung, nicht der Agent. Sie stehen vorher fest.