KI-Wörterbuch / Overfitting

🏗️ Modelle und Training

Overfitting (Überanpassung) ist eine Situation, in der das Modell statt allgemeine Muster zu lernen die Trainingsdaten „auswendig lernt". Bei Material, das es gesehen hat, schneidet es hervorragend ab; bei neuen Fällen - schlecht. Das ist ein klassisches Problem des gesamten maschinellen Lernens. Bei großen Sprachmodellen zeigt sich Overfitting u. a. durch wortgetreues Wiedergeben gespeicherter Trainingsfragmente. Man verhindert es durch angemessene Datenvielfalt, Regularisierungstechniken und Testen des Modells an Material, das es während des Trainings nicht gesehen hat.