› September 2026 auf arXiv eingereichte und auf der EMNLP 26 Main Conference angenommene Studie von Sarah Wyer, Sue Black und Noura Al Moubayed (alle Institutionen werden im Abstract nicht genannt) wirft eine grundlegende Frage an die Sicherheitsbewertung großer Sprachmodelle auf: Messen wir wirklich, was wir zu messen glauben?
› Das Problem mit den sinkenden Harm-Scores Die gängige Praxis bei der Evaluation von Sprachmodellen besteht darin, sogenannte Surface-Form-Klassifikatoren einzusetzen, die von Generation zu Generation sinkende Schädlichkeitswerte melden.
› Die Autorinnen argumentieren, dass diese Methodik systematisch unvollständig ist.
› Explizit diskriminierender Inhalt werde nicht entfernt, sondern transformiert.