› Stellen Sie sich vor, Sie wollen zwei KI-Modelle vergleichen, die hasserfüllte Kommentare erkennen sollen.
› Sie lassen 1000 Social-Media-Beiträge von jeweils drei Personen bewerten und küren das Modell zum Sieger, das am häufigsten mit der Mehrheitsmeinung übereinstimmt.
› Ein zweites Forschungsteam wiederholt Ihr Experiment mit derselben Methode, aber anderen Bewertern - und kommt zum gegenteiligen Schluss.
› Die Antwort liegt in einer fundamentalen, aber lange unterschätzten Frage: Wie viele menschliche Prüfer braucht ein KI-Benchmark wirklich, um reproduzierbar zu sein?