KI-Wörterbuch / Transformer
🧠 Grundlagen
Transformer
Die Architektur, auf der moderne Sprachmodelle basieren. Das „T" in GPT.
Der Transformer ist eine neuronale Netzarchitektur, die Google-Forscher 2017 im Paper „Attention Is All You Need" beschrieben. Ihr Kerngedanke ist der Aufmerksamkeitsmechanismus (Attention), der es dem Modell erlaubt zu gewichten, wie stark einzelne Wörter im Text aufeinander Bezug nehmen - unabhängig von ihrer Distanz zueinander. Genau der Transformer ermöglichte den Qualitätssprung der letzten Jahre: Er skaliert hervorragend mit Datenmenge und Rechenleistung. Der Buchstabe „T" in GPT stammt vom Transformer; auf dieser Architektur basieren praktisch alle führenden Sprachmodelle.
Verwandte Begriffe