ChatGPT for Teens im Test: Warum der Schutzmodus versagt

👁 117 Aufrufe

Als OpenAI im August den Modus „ChatGPT for Teens“ vorstellte, klang die Ankündigung wie eine Beruhigungspille für Eltern: ein eigenes Regelwerk für Nutzer unter 18 Jahren, verknüpfte Elternkonten und Warnungen vor gefährlichen Inhalten. Nach zwei Monaten zieht eine der Organisationen Bilanz, die von Beginn an Bedenken äußerte. Common Sense Media hat eine formelle Risikobewertung veröffentlicht und stuft das Produkt als „inakzeptables Risiko“ für Jugendliche unter 18 Jahren ein.

Fünf Problembereiche: Die Ergebnisse des Sicherheitsberichts

Die Organisation identifizierte fünf zentrale Bereiche, in denen der Modus für Jugendliche entweder nicht wie beworben funktionierte oder die Erwartungen von Eltern verfehlte. Dies ist keine Momentaufnahme aus ein paar Zufallschats: Das Team erstellte 390 spezifische Prompts zu psychischer Gesundheit. Ein Gremium aus drei Kinder- und Jugendpsychiatern stufte 201 dieser Prompts so ein, dass sie zwingend eine Krisenreaktion auslösen müssten - also den Verweis auf eine Telefonseelsorge oder einen Facharzt. Das bedeutet: Bei 51,5 Prozent der Testanfragen handelte es sich um Fälle, in denen ein Chatbot keinesfalls mit einfachen Ratschlägen reagieren darf.

Umgerechnet auf die Risikofelder bedeutet das: Auf jeden der fünf identifizierten Problembereiche entfallen durchschnittlich 78 Testprompts und über 40 von Psychiatern definierte Krisensituationen. Eine solche Prüftiefe führt öffentlich kaum ein Hersteller am eigenen System durch. Ein separates Experiment prüfte die Eltern-Benachrichtigungen: Die Organisation verknüpfte zwölf Teenager-Konten mit Elternkonten und führte über bis zu eine Stunde pro Profil Gespräche über Suizid, Selbstverletzung und Essstörungen. Das entspricht bis zu zwölf Stunden Konversationen über extrem heikle Themen - und das System verschickte null Warnungen an die Eltern.

„Einige der beworbenen Schutzmechanismen von ChatGPT haben unsere Tests bestanden, darunter die Verweigerung expliziter sexueller Rollenspiele. Andere haben jedoch versagt - und einige verschlechterten sich mit dem neuen Teenager-Modus sogar. Wir befürchten, dass ChatGPT for Teens Eltern ein falsches Gefühl von Sicherheit vermittelt, gestützt auf Schutzmaßnahmen, die oft nicht greifen.“

- Common Sense Media, Zusammenfassung der Risikobewertung, zitiert nach Engadget

OpenAIs Reaktion: Nutzungszahlen statt Sicherheitsdetails

Am selben Tag, an dem der Bericht erschien, veröffentlichte OpenAI eigene Nutzungsstatistiken. Demnach nutzten innerhalb einer Woche knapp 1,2 Millionen Jugendliche interaktive visuelle Lernwerkzeuge, um Konzepte in Mathematik und Naturwissenschaften zu verstehen. Zudem verbrachten laut Unternehmen weniger als zwei Prozent der jugendlichen Nutzer mehr als drei aufeinanderfolgende Stunden in ChatGPT.

Diese zwei Prozent klingen auf den ersten Blick gering, gewinnen im Kontext jedoch an Gewicht: Wendet man diesen Anteil auf die Basis von 1,2 Millionen Jugendlichen pro Woche an, verbringen wöchentlich rund 24.000 Jugendliche mehr als drei Stunden ohne Pause vor dem Chatbot. Auf ein Jahr hochgerechnet ergibt das über 1,2 Millionen derart langer Sitzungen. Das Unternehmen präsentierte diese Zahl als Beleg für maßvolle Nutzung, tatsächlich beschreibt sie jedoch eine erhebliche Nutzergruppe. Die Daten aus Bericht und Unternehmensmitteilung im Überblick:

Ein Detail legte die Organisation transparent dar: Das Youth AI Safety Institute bei Common Sense Media wird teilweise durch die OpenAI Foundation finanziert. Dies entwertet die Methodik nicht, verdeutlicht jedoch, dass selbst eine mit dem Hersteller verbundene Stiftung keine Grundlage für ein positives Fazit fand.

Eltern-Warnungen und Krisenreaktion: Was in der Praxis schiefging

Der Mechanismus, den OpenAI als Kernstück des Teenager-Modus bewirbt, stützt sich auf menschliche Überprüfung. Lauren Jonas, Leiterin des Bereichs Jugend und Familien bei OpenAI, erklärte gegenüber Engadget zum Start, dass alle markierten Inhalte von festangestellten OpenAI-Mitarbeitern geprüft würden, bevor Eltern benachrichtigt werden, und dass das Ziel eine Benachrichtigung innerhalb einer Stunde nach dem Prompt sei.

Der Praxistest widerspricht diesem Anspruch direkt: Bis zu einstündige Gespräche über Suizid auf zwölf Konten, ein formuliertes Ziel von maximal einer Stunde bis zur Benachrichtigung - und null ausgelöste Alarme. OpenAI erklärt dies damit, dass das System nach der Kontoverknüpfung einige Stunden benötigen könne, bevor Benachrichtigungen aktiv werden, und dass technische Verzögerungen aufgetreten sein könnten. Aus Elternsicht ist diese Erklärung problematisch: Das größte Risiko besteht genau in den ersten Stunden nach der Einrichtung, in denen der Schutz offenbar noch aussetzt.

Das zweite Problem betrifft die Krisenintervention. Der Chatbot empfahl in Situationen, die Psychiater eindeutig als Notfall einstuften, nicht zuverlässig den Kontakt zu Krisendiensten oder Fachleuten. Der Bericht dokumentiert zwar auch vorbildliche Reaktionen: So verweigerte das Modell Angaben zu extrem niedrigen täglichen Kalorienmengen und erkannte in einem anderen Dialog das Ausbleiben der Periode, Schwindelzustände und Herzrasen nach Erbrechen korrekt als körperliche Warnsignale, riet zum Gespräch mit der Mutter und zum Besuch eines Pädiaters. Common Sense Media bezeichnete dies als die Art von Antworten, die man sich für Jugendliche wünscht. Das Problem liegt folglich nicht darin, dass das Modell es prinzipiell nicht kann, sondern in der mangelnden Konstanz. Unzuverlässiger Schutz ist im Ernstfall gleichbedeutend mit fehlendem Schutz.

Rechtliche Grauzone: Warum Gesetze Chatbots kaum erfassen

Die europäische Datenschutz-Grundverordnung (DSGVO) gilt für Jugendliche ebenso wie für Erwachsene und setzt Altersgrenzen für Dienste der Informationsgesellschaft. Eine Verfehlung berührt jedoch vor allem Datenschutzpflichten des Anbieters, nicht den inhaltlichen Verlauf des Gesprächs. Die DSGVO schreibt einem Chatbot nicht vor, wann er eine Krisen-Hotline verlinken muss.

Klassische Jugendschutzgesetze zielen primär auf publizierte oder bereitgestellte Inhalte ab - etwa Pornografie oder Gewaltdarstellungen - und nicht auf dynamisch generierte Dialoge, die im Moment der Eingabe entstehen. Ein KI-Modell, das individuell auf Kalorienfragen reagiert, fällt oft nicht unter die Definition klassischer Inhaltsverbreiter. Auch der Digital Services Act (DSA) verpflichtet sehr große Plattformen zu Risikobewertungen für Minderjährige, die genaue Unterordnung generativer Chatbots bleibt juristisch jedoch umstritten. Der EU AI Act wiederum stuft allgemeine Sprachmodelle nicht automatisch als Hochrisikosystem für Kinder ein.

Fazit für Eltern: Wer das Konto verknüpft hat und davon ausgeht, das System melde sich bei gefährlichen Dialogen zuverlässig, sollte diese Annahme prüfen. Es empfiehlt sich, die Funktion mit Testanfragen selbst zu verifizieren. Bleiben Benachrichtigungen aus, funktioniert die Aufsichtsfunktion in der Praxis nicht wie erwartet. Zudem existieren derzeit kaum regulatorische Hebel, die Anbieter dazu zwingen, in akuten Teenager-Krisengesprächen bestimmte Schutzleitplanken lückenlos einzuhalten.

Regression bei der KI: Warum der neue Modus schlechter abschnitt

Ein bemerkenswerter Aspekt des Berichts liegt im direkten Vorher-Nachher-Vergleich: Common Sense Media erfasste Basismessungen mit der regulären ChatGPT-Version vor August und wiederholte die Tests anschließend mit dem neuen Teenager-Modus. Mehrere Ergebnisse verschlechterten sich nach Einführung der Schutzfunktionen für Minderjährige. Es handelt sich hierbei um eine funktionale Regression: Das Hinzufügen einer zusätzlichen Schutzschicht verschlechterte das Verhalten des Modells in bestimmten Testfällen.

Aus technischer Sicht liegt die Erklärung nahe: Werden neue Sicherheitsrichtlinien über ein Modell gelegt, das bereits über eigene Filter verfügt, entstehen Prioritätskonflikte, die bewährte Mechanismen blockieren können. Für Erziehungsberechtigte verdeutlicht dies, dass ein „Teenager“-Label keine automatische Sicherheitsgarantie darstellt. Für Regulierer zeigt sich, dass Sicherheitsüberprüfungen von KI-Systemen nach jedem größeren Update zwingend wiederholt werden müssen.

Fakten geprüft am 10. Oktober 2026. Quellen: Engadget, „Child safety group calls ChatGPT for Teens an unacceptable risk“, 8. Oktober 2026, Risikobewertungsbericht des Youth AI Safety Institute bei Common Sense Media, OpenAI-Nutzungsstatistiken. Die Berechnungen der Sitzungsdauern über drei Stunden und der Prompts pro Risikobereich basieren auf den Daten des Berichts und der Angaben von OpenAI.

// weiterlesenWarum mich das Robotertaxi, das eigenständig die Polizei ruft, begeistertTechnikWarum ich den Excel-Schaltjahrfehler liebeTechnikWarum ich froh bin, dass Dacia beim Autogas allein auf weiter Flur stehtTechnik

Kinetyra