KI-Wörterbuch / LoRA
🏗️ Modelle und Training
LoRA
Leichte Methode zur Modellanpassung - ein kleiner „Aufsatz" statt Neutraining des Ganzen.
LoRA (Low-Rank Adaptation) ist eine sparsame Anpassungstechnik: Statt Milliarden Modellparameter zu ändern, trainiert man einen kleinen „Aufsatz", der sein Verhalten modifiziert. Das Ergebnis wiegt Megabytes statt Gigabytes und lässt sich auf einer einzelnen Grafikkarte trainieren. LoRA hat vor allem bei der Bildgenerierung Furore gemacht - die Community erstellt Tausende Aufsätze, die dem Modell einen bestimmten Stil, Charakter oder ein Produkt beibringen. Bei Sprachmodellen ist es eine beliebte Methode, um offene Modelle kostengünstig an eigene Bedürfnisse anzupassen.
Verwandte Begriffe