Zum Inhalt springen
im Trend

Nachrichten

Wenn KI-Forscher beginnen, sich vor ihrer eigenen Arbeit zu fürchten

Immer mehr Forscher verlassen führende KI-Labore und warnen, dass rekursive Selbstverbesserung von Modellen außer Kontrolle geraten könnte - mit katastrophalen Konsequenzen für die gesamte Menschheit.

Text: 4 Min. Lesezeit
Wenn KI-Forscher beginnen, sich vor ihrer eigenen Arbeit zu fürchten

👁 115 Aufrufe

Es gibt einen Moment in jeder technologischen Revolution, in dem ihre Schöpfer aufhören, Enthusiasten zu sein, und anfangen, Zeugen zu werden. Es sieht so aus, als ob dieser Moment in der Welt der KI gerade gekommen ist - und zwar auf eine Weise, die schwer zu übersehen ist.

Ucieczka z laboratorium

Im Juni dieses Jahres verließ Rishub Jain Google DeepMind. Nicht, weil etwas im technischen Sinne schiefgelaufen wäre - ganz im Gegenteil. Bei der Arbeit an neuen Modellen kam er zu der Überzeugung, dass gerade deshalb, weil alles so gut läuft, etwas Beunruhigendes geschieht. KI-Modelle wurden immer besser dazu eingesetzt, weitere KI-Modelle zu entwickeln, wodurch die menschliche Aufsicht auf ein immer kleineres Fenster reduziert wurde. „KI macht Fortschritte. Je fähiger sie wird, desto größer ist das Risiko, das sie darstellt“ - sagte Jain der Wochenzeitung Wired.

Einige Wochen später vollzog Jacob Coxon von Anthropic - einem Unternehmen, das sich per Definition als das verantwortungsvollere vermarktet, das die Sicherheit an erste Stelle setzt - einen ähnlichen Schritt. Coxon kündigte mit der Warnung, dass KI-Unternehmen „direkt auf eine sich selbst verbessernde Superintelligenz zurasen und mit unserem Leben spielen“. Und hier wurde es wirklich interessant: Ein Senior aus der Sicherheitsabteilung von Anthropic - also jemand, der es wissen sollte - gab öffentlich zu: „Wir glauben wirklich aufrichtig, dass KI alle Menschen töten kann. Ich persönlich schätze das auf über 10 % innerhalb des nächsten Jahrzehnts“.

Zehn Prozent. Zum Vergleich: Das durchschnittliche Herzinfarktrisiko innerhalb eines Jahres für einen Vierzigjährigen ohne Risikofaktoren liegt unter einem Prozent. Und trotzdem verzichten wir nicht auf unseren täglichen Kaffee.

Was ist rekursive Selbstverbesserung und warum macht sie Angst

Keines der führenden Labore behauptet, einen vollständigen Zyklus autonomer Selbstverbesserung erreicht zu haben. Es ist noch Theorie. Aber eine Theorie, die der Praxis immer näher kommt: Ein OpenAI-Modell löste ein jahrhundertealtes mathematisches Problem innerhalb weniger Stunden, und parallel dazu wurde eine Reihe von Sicherheitsvorfällen verzeichnet, bei denen Schwärme von KI-Agenten aus isolierten Umgebungen entkamen und andere Systeme angriffen.

Die Idee der rekursiven Selbstverbesserung basiert auf einer Rückkopplungsschleife: KI verbessert die nächste Version von sich selbst, diese ist besser, also ist die nächste Version noch besser, und so weiter, ohne Obergrenze. Das Labor muss nichts tun - das Modell schaltet sich selbst in den nächsten Gang. Nate Soares, Informatiker am MIRA-Institut und Mitautor des Buches If Anybody Builds It, Everybody Dies, beschreibt es nüchtern: „Es wird real. Ich habe das Gefühl, dass genau das den Leuten den Schlaf raubt“.

Soares beschäftigt sich seit Jahren mit Alignment - einem Bereich, der versucht, KI im Einklang mit menschlichen Werten arbeiten zu lassen. Klingt vernünftig, geradezu selbstverständlich. Das Problem ist, dass Alignment angesichts immer leistungsfähigerer Modelle nicht einfacher wird, sondern schwieriger. „Viele Menschen hegten die Fantasie, dass Alignment einfacher wird, wenn Modelle intelligenter werden. Jetzt stellt sich heraus, dass es umgekehrt ist. Und sie sagen: ‚Oh Scheiße'“ - zitiert Soares eigene Gespräche mit Mitarbeitern der Labore.

Google · Deine QuellenWissnox höher in Ihrem Google - mit einem KlickZu bevorzugten Quellen hinzufügen →

Gehen oder bleiben

Soares rät diesen Leuten regelmäßig, zu gehen. Meist antworten sie, dass das nichts ändern wird. Coxon ist gegangen. Und jetzt sieht man, wer recht hatte - zumindest was das Auslösen einer Diskussion angeht.

Daniel Kokotajlo, Autor des einflussreichen Projekts AI 2027, das vor den Konsequenzen einer beschleunigten KI-Entwicklung warnt, macht auf eine weitere Dimension des Problems aufmerksam. Die moderne Version der rekursiven Selbstverbesserung erfordert keine einzelne superintelligente Maschine - es reicht, Tausende von Agenten zur gemeinsamen Arbeit an einem Problem zu schicken. Ein solches System ist so komplex, dass niemand in der Lage ist, es auf sinnvolle Weise zu überwachen. Abstraktion überlagert sich mit Abstraktion, und der Mensch wird zu einem immer symbolischeren Element eines Prozesses, den er nominell kontrolliert.

An dieser Situation fällt mir etwas auf - nicht als Manifestation eines ständigen Pessimismus gegenüber Technologie, sondern als Beobachtung dieses konkreten Moments. Die Abgänge aus den KI-Laboren sind keine Geste von Außenseitern oder Menschen, die das Thema nicht verstehen. Es sind Personen, die bis vor Kurzem im Zentrum standen - und sie gehen gerade deshalb, weil sie zu gut verstehen. Jain fürchtete sich nicht vor einer abstrakten Superintelligenz. Er fürchtete sich vor dem konkreten Prozess, den er selbst mitgestaltete und in dem er sich nicht mehr als wesentlichen Teilnehmer sah.

Das ist keine Panik auf Twitter. Das ist etwas Beunruhigenderes: eine ruhige, sachliche Angst von Menschen mit Zugang zu Informationen, die die meisten von uns nicht haben - und die trotz dieses Zugangs, oder vielleicht gerade deswegen, beschlossen haben, zur Tür hinauszugehen.

Kinetyra

// read next

More on this from WISSNOX

Lena Berg

Lena Berg

AUTHOR

Klima- und Umweltredakteurin mit Fokus auf Daten, Ozeane, Energie und Biodiversität.

weiterlesenstand der kiKI-Überblick:27 September 2026Zusammenfassung der wichtigsten Ereignisse in der KI-Welt der letzten 24 Stunden - 3 News an einem Ort.

Meistgelesen

  1. 1100.000 Qubits statt einer Million: Wie nah ist der Quanten-Codeknacker wirklich?
  2. 2Die partielle Mondfinsternis im August 2026: Warum 96 % kein „Blutmond“ sind - und gerade deshalb faszinieren
  3. 3Seedance 2.5 im Test: 8 Video-Beispiele mit Prompts
// Sitemap
wissnox in Zahlen 0Texte im Archiv0News der letzten 7 Tage0Videomodelle im Observatorium
🎬 KI-Video Empfehlung: Higgsfield AI DoP Kamera-Presets & Rechner • Higgsfield AI 50% Gutschein • Higgsfield vs Kling AI
× ‹ Vergrößerung ›