KI-Wörterbuch / Benchmark
🤖 Agenten und Tools
Benchmark
Standardisierter Test, mit dem Modelle verglichen werden (z. B. in Mathematik oder Programmierung).
Ein Benchmark ist ein standardisierter Test zum Vergleich von Modellen: eine Sammlung von Aufgaben aus Mathematik, Allgemeinwissen, Programmierung oder Sprachverständnis, bei der jedes Modell eine Punktzahl erhält. Dank Benchmarks lässt sich sagen, dass Modell X beim Programmieren besser abschneidet als Y. Zu den Ergebnissen sollte man kritisch stehen: Beliebte Tests „sickern" mit der Zeit in die Trainingsdaten ein, und Hersteller optimieren Modelle auf die Metriken. Deshalb wachsen neben klassischen Benchmarks Rankings auf Basis blinder menschlicher Bewertungen sowie private Tests - und der beste Benchmark bleibt die eigene Aufgabe.
Verwandte Begriffe