› Wir haben einen Test für elf Modelle entwickelt: neun Aufgaben aus den Bereichen Code, Übersetzung und Instruktionsbefolgung, jede automatisch geprüft, um subjektive Bewertungen zu vermeiden.
› Bei der Durchsicht der Antworten stellte sich heraus, dass bei einer Aufgabe unser Automat falsch bewertete.
› Die Modelle, denen er null Punkte gab, antworteten korrekt, während die mit einem Punkt falsch lagen.
› Das ist interessanter als das Ranking selbst, deshalb beginnen wir damit.