KI-Wörterbuch / MoE (Mixture of Experts)
🏗️ Modelle und Training
MoE (Mixture of Experts)
Architektur, bei der das Modell viele „Experten" hat, aber für jede Aufgabe nur einen Teil davon aktiviert.
Mixture of Experts ist eine Architektur, bei der das Modell aus vielen spezialisierten Teilnetzen („Experten") besteht, aber bei jeder Anfrage nur einige davon aktiviert. Dadurch kann das Modell eine riesige Gesamtzahl an Parametern haben und dennoch schnell und günstig funktionieren - weil immer nur ein Ausschnitt arbeitet. MoE steckt hinter vielen führenden Modellen der letzten Jahre, besonders offenen. Für den Nutzer ist das ein technisches Detail, erklärt aber das scheinbare Paradox: Wie Modelle mit Hunderten Milliarden Parametern blitzschnell antworten können.
Verwandte Begriffe