Agentic AI: Warum KI-Agenten klassisches Software-Testing sprengen

👁 116 Aufrufe

Traditionelle Enterprise-Systeme basieren auf drei Grundannahmen: Aufgaben enden schnell, ein Neustart kostet praktisch nichts und dieselben Eingaben liefern dieselben Ergebnisse. Agentische Workloads hebeln alle drei Annahmen gleichzeitig aus. Genau das erklärt, warum Pilotprojekte mit KI-Agenten unter menschlicher Aufsicht reibungslos laufen, im Produktivbetrieb jedoch scheitern.

Eine Analyse dieser Problematik veröffentlichte M. Touheed bei SiliconAngle und benennt darin drei konkrete Bruchstellen in den bisherigen Test- und Betriebspraktiken.

Drei Eigenschaften, die KI-Agenten nicht mitbringen

Erstens: die Ausführungszeit. Eine agentische Aufgabe kann Minuten statt Millisekunden dauern. Das reicht aus, um Timeout-Schwellenwerte zu überschreiten, die in der bestehenden Infrastruktur zuvor nie ausgelöst wurden. Systeme, die stabil wirkten, stürzen plötzlich auf unerklärliche Weise ab, bis jemand die tatsächliche Laufzeit genauer analysiert.

Zweitens: die Kosten von Wiederholungsversuchen. In traditioneller Software ist ein Retry nahezu kostenlos, weshalb Entwicklungsteams ihn großzügig einsetzen. Bei KI-Agenten verbraucht jeder Neuversuch an einem nutzungsbasiert abgerechneten Modell zusätzliche Rechenressourcen, ganz unabhängig davon, ob das Ergebnis brauchbar ist. Da Abrechnungen für Cloud-APIs und Modelle asynchron in monatlichen Zyklen erfolgen, steigen die kumulierten Retry-Kosten unbemerkt an und werden oft erst sichtbar, wenn Wochen später die Rechnung eintrifft.

Drittens: die fehlende Reproduzierbarkeit von Fehlern. Laut Touheed ist dies der gravierendste Unterschied. Die Standardpraxis bei einem fehlerhaften Ergebnis besteht darin, den Prozess erneut auszuführen und den Fehler im Debugger zu beobachten. Bei Agenten funktioniert das nicht: Ohne eine lückenlose Ablaufverfolgung der Entscheidungen, Tool-Aufrufe und API-Anfragen lässt sich die Ursache kaum isolieren. Die Fehlersuche verkommt zur Spekulation.

Warum Pilotprojekte das Problem verschleiern

In der Evaluierungsphase werden diese Schwachstellen oft übersehen, da im interaktiven Modus der Mensch als primärer Fehlerbehandler agiert. Man liest jedes Teilergebnis, erkennt Probleme sofort und greift manuell ein. Auch die Kosten bleiben überschaubar, da Versuche manuell angestoßen und korrigiert werden. Ein vollständiger Prüfpfad oder automatische Reproduktionsmechanismen scheinen zunächst überflüssig.

Ein automatisierter agentischer Workflow verhält sich grundlegend anders: Er läuft kopflos im Hintergrund, ohne dass jemand an der Konsole sitzt. Ein Workflow, der zuverlässig schien, solange ein Mensch mit der KI interagierte und Antworten prüfte, scheitert schnell, wenn ein Scheduler ihn nachts 400-mal unüberwacht startet. Der Fehler war von Anfang an im System vorhanden, blieb jedoch unsichtbar, weil der menschliche Operator ihn Schritt für Schritt abfing und korrigierte.

Daraus ergibt sich eine klare Konsequenz für die Praxis: Vor dem Übergang in die automatisierte Produktion müssen Engineering-Leiter jede einzelne Aufgabe inventarisieren, die zuvor manuell erledigt wurde, und definieren, welcher automatisierte Mechanismus diese Verantwortung übernimmt. Touheed empfiehlt zudem einen konkreten Wechsel bei Budgetgesprächen: Statt nach den Kosten pro API-Aufruf zu fragen, sollten Teams die Kosten pro erfolgreich abgeschlossener Einheit messen. Diese Kennzahl rechnet gescheiterte Fehlversuche ein und liefert ein realistisches Bild der tatsächlichen Ausgaben.

Ein lesenswerter Beitrag für alle Teams, die gerade vermelden, dass der KI-Pilotversuch hervorragend gelaufen ist, und den Rollout für das nächste Quartal ansetzen.

// weiterlesenWarum Nintendos Gameboy-Flop mich lehrt, dass Scheitern manchmal die bessere Idee istTechnikWarum die Huawei Watch D3 für mich die wichtigste Smartwatch des Jahres istTechnikWarum Broadcoms VMware-Migrationsblockade mich an feudale Zunftregeln erinnertTechnik

Kinetyra