KI-Wörterbuch / Destylacja
🏗️ Modelle und Training
Destylacja
Training eines kleinen Modells anhand der Antworten eines großen - der „Schüler" übernimmt die Fähigkeiten des „Lehrers".
Wissensdestillation ist eine Technik, bei der ein kleines Modell („Schüler") lernt, die Antworten eines großen Modells („Lehrer") nachzuahmen. Statt den Kleinen von Grund auf mit Rohdaten zu trainieren, füttert man ihn mit den Ausgaben des Riesen - wodurch er einen Großteil seiner Fähigkeiten bei einem Bruchteil der Größe übernimmt. Das ist die Standardmethode zur Erstellung schneller und günstiger Modelle für Massenanwendungen. Es sorgt auch für Kontroversen, wenn jemand ein fremdes geschlossenes Modell über dessen API destilliert - die Nutzungsbedingungen der meisten Anbieter verbieten dies ausdrücklich.
Verwandte Begriffe