Empfänglich, nicht unterwürfig: Wenn KI-Bewertungen gute Antworten bestrafen
Eine neue Studie zeigt, dass gängige Tests auf Schmeichelei bei KI-Modellen ein grundlegendes Messproblem haben: Sie verwechseln gesprächliche Offenheit mit inhaltlicher Unterwürfigkeit. Die Autoren belegen, dass diese beiden Eigenschaften trennbar sind - und dass Nutzer die offenere Variante klar bevorzugen.
👁 112 Aufrufe
- Bestehende Sycophancy-Tests bestrafen laut einem arXiv-Paper vom 22. September 2026 Antworten, die empfänglicher klingen, obwohl deren Inhalt unverändert bleibt.
- Die Autoren zeigen, dass menschlich verfasste Antworten nach einer Überarbeitung zu mehr gesprächlicher Empfänglichkeit von gängigen Tests als sycophantischer eingestuft werden - bei identischen inhaltlichen Schlussfolgerungen.
- In einem vorregistrierten Experiment bevorzugten Teilnehmer empfänglichere Antworten und waren eher bereit, deren Verfasser um Rat zu bitten, selbst wenn sie den ursprünglichen Fragesteller für falsch hielten.
Wer KI-Sprachmodelle bewertet, sorgt sich oft um sogenannte Sycophancy - also die Tendenz eines Modells, dem Nutzer nach dem Mund zu reden, statt eine eigenständige inhaltliche Meinung zu vertreten. Daneben gibt es eine verwandte Debatte über „soziale Sycophancy“: Verhaltensweisen wie Zustimmung, Lob und Positivität, die auf unangemessene Gefälligkeit hindeuten könnten. Ein neues Paper von Calvin Isley, Johann Gaebler, Max Lamparth, Julia Minson und Sharad Goel, eingereicht am 22. September 2026 auf arXiv, stellt genau diese Messpraxis in Frage.
Das Kernproblem: zwei Konzepte, eine Messung
Die Autoren weisen darauf hin, dass die Merkmale sozialer Sycophancy - Validation, Wärme, Anerkennung des Gegenübers - nahezu identisch sind mit den Merkmalen von „conversational receptiveness“, also gesprächlicher Empfänglichkeit. Dieses Konzept stammt aus der Sozialpsychologie und beschreibt eine Haltung, die nachweislich Gespräche über Meinungsverschiedenheiten verbessert. Die Überschneidung beider Konzepte führt laut den Autoren zu einem „construct-validity problem“: Die Tests messen nicht zuverlässig, was sie messen sollen.
Um das zu belegen, nutzen die Forscher einen bekannten Datensatz mit moralischen Ratschlägen. Ihr Befund: Antworten, die von bestehenden Methoden als stärker sozial sycophantisch eingestuft werden, sind gleichzeitig auch empfänglicher im Sinne der Sozialpsychologie. Noch aufschlussreicher ist ein weiteres Ergebnis: Wenn von Menschen geschriebene Antworten so überarbeitet werden, dass sie empfänglicher klingen - ohne ihre inhaltlichen Schlussfolgerungen zu verändern -, werden sie von den gängigen Tests ebenfalls als sycophantischer eingestuft. Inhalt bleibt gleich, Bewertung verschlechtert sich.
Was Nutzer tatsächlich bevorzugen
In einem vorregistrierten Experiment verglichen die Autoren inhaltlich gleichwertige Antworten, die sich nur in ihrer gesprächlichen Empfänglichkeit unterschieden. Das Ergebnis ist eindeutig: Teilnehmer bevorzugen die empfänglicheren Antworten, glauben eher, dass der ursprüngliche Fragesteller auf sie hören würde, und sind eher bereit, deren Verfasser um Rat zu bitten. Dieses Muster hält sich sogar dann, wenn die Teilnehmer der Meinung sind, dass der ursprüngliche Fragesteller im Unrecht war.
Die Studie liefert damit einen konkreten Hinweis: Bestehende Bewertungssysteme könnten Antworten bestrafen, die aus Nutzerperspektive gerade besser sind - weil sie empfänglich und gesprächlich offen wirken.
Ein praktischer Ansatz als Ausweg
Die Autoren stellen am Ende einen einfachen Ansatz vor, mit dem sich die gesprächliche Empfänglichkeit einer Antwort deutlich steigern lässt, ohne gleichzeitig die inhaltliche Selbständigkeit zu verringern. Details zu diesem Ansatz - etwa ob es sich um ein Prompt-Verfahren, ein Feinabstimmungsverfahren oder etwas anderes handelt - gehen aus dem Abstract nicht hervor; das Paper selbst wurde für diese Besprechung nicht im Volltext ausgewertet.
Zentrale Botschaft der Autoren ist jedenfalls: Gesprächliche Empfänglichkeit und inhaltliche Unabhängigkeit schließen sich nicht aus. Beides lässt sich gleichzeitig erreichen.
Google · Deine QuellenWissnox höher in Ihrem Google - mit einem KlickZu bevorzugten Quellen hinzufügen →Was bedeutet das
Meiner Einschätzung nach ist das ein methodisch wichtiger Einwand gegen eine ganze Klasse von KI-Bewertungsverfahren. Wenn Tests, die Schmeichelei messen sollen, in Wirklichkeit soziale Kompetenz bestrafen, dann optimieren Labore ihre Modelle in die falsche Richtung - weg von Antworten, die Menschen tatsächlich als hilfreicher empfinden. Das Paper benennt das Problem klar und behauptet, auch eine Lösung zu haben. Ob diese Lösung robust und breit einsetzbar ist, lässt sich allein auf Basis des Abstracts nicht beurteilen. Die Frage, wie man inhaltliche Unterwürfigkeit von sozialer Höflichkeit sauber trennt, dürfte aber für jeden relevant sein, der Sprachmodelle bewertet oder entwickelt.
Quelle: arXiv cs.AI: Receptiveness, Not Sycophancy: Distinguishing Engagement from Deference in Language Models (dokument z 2026-09-23). Diese Besprechung entstand auf Grundlage des vollständigen Dokumenttextes, nicht auf Basis von Medienberichten.
Häufig gestellte Fragen
Was ist der Unterschied zwischen Sycophancy und gesprächlicher Empfänglichkeit bei KI-Modellen?
Sycophancy bezeichnet die Tendenz, dem Nutzer inhaltlich nach dem Mund zu reden, während gesprächliche Empfänglichkeit eine sozialpsychologisch definierte Haltung ist, die Gespräche über Meinungsverschiedenheiten nachweislich verbessert. Das Problem laut dem Paper von Isley et al. ist, dass beide Konzepte nahezu identische sprachliche Merkmale wie Validation, Wärme und Anerkennung teilen, weshalb Tests sie nicht zuverlässig auseinanderhalten.
Warum könnten KI-Labore ihre Modelle durch Sycophancy-Tests in die falsche Richtung optimieren?
Wenn Bewertungsverfahren soziale Kompetenz als Schmeichelei einstufen, werden Modelle von Antworten wegtrainiert, die Nutzer tatsächlich als hilfreicher empfinden. Das Paper belegt dies damit, dass Teilnehmer empfänglichere Antworten bevorzugen und deren Verfassern eher Ratschläge zutrauen.
Was haben Calvin Isley und seine Co-Autoren konkret untersucht?
Die Forscher nutzten einen bekannten Datensatz mit moralischen Ratschlägen und überprüften, ob bestehende Sycophancy-Tests und das sozialpsychologische Konzept der Empfänglichkeit dieselben Antworten erfassen. Zusätzlich führten sie ein vorregistriertes Experiment durch, in dem Teilnehmer inhaltlich gleichwertige, aber unterschiedlich empfänglich formulierte Antworten verglichen.
Schließen sich inhaltliche Unabhängigkeit und gesprächliche Empfänglichkeit bei KI-Antworten gegenseitig aus?
Laut den Autoren schließen sich beide Eigenschaften nicht aus und lassen sich gleichzeitig erreichen. Sie stellen einen Ansatz vor, der die gesprächliche Empfänglichkeit steigert, ohne die inhaltliche Selbständigkeit zu verringern, wobei Details dazu im Abstract nicht genannt werden.
More on this from WISSNOX
anleitungen·Wie einen Blogartikel schreiben mit AI: Schritt für SchrittWie einen Blogartikel schreiben mit Hilfe von KI - Schritt für Schritt, mit fertigen Prompts zum Kopieren und Hinweis, welches Tool man wählen sollte.