Große Modelle schrumpfen. Und das ist die beste Nachricht seit Jahren

👁 113 Aufrufe

In den letzten drei Jahren verhielt sich die KI-Branche wie ein Mensch, der Erfolg am Taillenumfang seines Buffets misst. Je mehr, desto besser. Mehr Parameter, mehr Daten, mehr Grafikprozessoren, mehr Megawatt. Die Zahlen wuchsen so schnell, dass sie nichts mehr bedeuteten - wenn wir „eine Billion Parameter“ hören, geht im Kopf keine Lampe an, weil wir nichts haben, womit wir das vergleichen könnten. Und dann, irgendwo zwischen der einen und der anderen lauten Ankündigung, kehrte sich etwas um. Die Modelle begannen zu schrumpfen. Und - was wirklich überraschend ist - beim Schrumpfen wurden sie klüger.

Das klingt wie ein Paradoxon, deshalb haben es die meisten Menschen übersehen. Und meiner Meinung nach ist es das Wichtigste, was in diesem Bereich passiert ist, seit ein gewöhnlicher Mensch zum ersten Mal eine Frage in ein Chat-Fenster eingegeben und eine sinnvolle Antwort erhalten hat.

Warum jahrelang derjenige gewann, der die größere Brieftasche hatte

Um zu verstehen, warum das Schrumpfen der Modelle eine Revolution ist, muss man zunächst sehen, worauf die bisherige Logik beruhte. Sie war brutal einfach: Skalierung funktioniert. Nimm dieselbe architektonische Idee, füge zehnmal mehr Daten und zehnmal mehr Rechenleistung hinzu, und das Modell wird deutlich besser. Eine Zeit lang sah diese Beziehung wie ein Naturgesetz aus. Und sie war in der Praxis die Eintrittskarte ins Spiel.

Die Karte war ungeheuer teuer. Das Training der mächtigsten Modelle kostete Dutzende, dann Hunderte Millionen Dollar. Das bedeutete, dass sich das nur eine Handvoll Firmen weltweit leisten konnte - jene, die Zugang zu Kapital in Milliardenhöhe und zu Rechenzentren von der Größe von Lagerhallen hatten. Der Rest von uns, die gesamte übrige Wirtschaft, konnte höchstens Zugang zu fremder Intelligenz über eine Schnittstelle mieten, für jede Anfrage bezahlen und Bedingungen akzeptieren, die wir nicht verhandelt hatten.

Das war ein feudales System in digitaler Verkleidung. Ein paar Herren besaßen das Land - die Modelle - und alle anderen waren Pächter. Man konnte auf diesem Land eigene Anwendungen anbauen, aber immer auf jemandes Grundstück und mit jemandes Zustimmung. Skalierung war nicht nur ein technisches Merkmal. Sie war eine Mauer, die die Welt in jene teilte, die KI erschaffen, und jene, die sie nach Gutdünken des Eigentümers nutzen.

Und genau deshalb war die Frage „werden die Modelle immer größer“ nie eine rein technische Frage. Es war eine Frage der Macht.

Was hat sich eigentlich verändert

Das Schrumpfen der Modelle kam nicht daher, dass jemand plötzlich beschloss, schlechtere Produkte zu machen, um zu sparen. Es kam daher, dass wir gelernt haben, wo in diesen gigantischen Netzwerken Platz verschwendet wurde - und dass der Großteil dieses Platzes wirklich spektakulär verschwendet wurde.

Mehrere Dinge kamen zusammen. Erstens erwies sich die Qualität der Daten als wichtiger als ihre Menge. Ein Modell, das mit sorgfältig ausgewähltem, dichtem Material gefüttert wird, lernt aus einer kleineren Portion mehr als ein Modell, das das ganze Chaos des Internets verschlingt. Zweitens lernten wir zu destillieren - ein größeres Modell kann die Rolle eines Lehrers übernehmen, der einem kleineren die Essenz dessen vermittelt, was es selbst kann, ohne den ganzen Ballast. Drittens sind Kompressionstechniken so weit gereift, dass man einem Modell einen erheblichen Teil seines „Gewichts“ abschneiden kann, ohne fast etwas an Intelligenz zu verlieren.

Das Ergebnis ist, dass ein Modell, das noch vor kurzem einen Serverraum benötigte, heute auf einen Laptop passt, und sein bescheidenerer Cousin - aufs Telefon. Und ich spreche hier nicht von einem Spielzeug, das nur ein Gespräch vortäuschen kann. Ich spreche von einem Werkzeug, das Aufgaben bewältigt, die wir vor zwei Jahren ausschließlich von den größten Modellen in der Cloud erwartet haben.

Jahrelang redete man uns ein, dass maschinelle Intelligenz eine Ressource wie Erdöl sei - man müsse sie in gigantischen Anlagen fördern und im Großhandel verkaufen. Es stellte sich heraus, dass sie eher Feuer ähnelt. Einst war es eine Kunst, es zu entfachen, die nur wenigen zugänglich war. Jetzt kann jeder seine eigene Flamme in der Tasche haben.

Dieser Vergleich ist nicht zufällig. Als Feuer allgemein verfügbar wurde, hörte es auf, ein Wunder zu sein, und wurde zur Infrastruktur. Wir bewundern es nicht mehr, wir kochen damit. Ich vermute, dass es mit kleinen, guten Modellen ähnlich sein wird - sie werden aufhören, Eindruck zu machen, und einfach überall sein.

Wer profitiert davon und wer hat Grund zur Nervosität

Jede technologische Umwälzung verschiebt Geld und Einfluss, und diese ist keine Ausnahme. Es lohnt sich, direkt zu fragen: Wem dient diese Veränderung, und wem verdirbt sie die Pläne.

Der Rest von uns profitiert davon - und ich sage das ohne einen Hauch von Naivität. Ein kleines Modell, das auf meinem Gerät läuft, sendet meine Daten nicht auf fremde Server. Ich muss nicht darauf vertrauen, dass die Firma auf der anderen Seite nicht in das schaut, was ich schreibe, es nicht zum Training der nächsten Version verwendet, morgen nicht den Preis oder die Nutzungsbedingungen ändert. Privatsphäre, die im Cloud-Modell eine auf Versprechen basierende Illusion war, wird zu einer technischen Eigenschaft. Das ist ein fundamentaler Unterschied. Das eine ist Vertrauen, das andere ist Fakt.

Kleinere Akteure profitieren - Startups, Werkstätten, einzelne Programmierer, Kommunen, Schulen, Arztpraxen. Plötzlich braucht man kein Konzernbudget mehr, um etwas Sinnvolles zu bauen. Die Eintrittsbarriere verschwindet nicht, aber sie sinkt vom Niveau „eine Milliarde Dollar“ auf das Niveau „anständiger Computer und etwas Zeit“. Das ist der Unterschied zwischen einer Welt, in der alles von ein paar Firmen entschieden wird, und einer Welt, in der viele Entscheidungen an vielen Orten gleichzeitig getroffen werden.

Es profitieren auch Regionen und Sprachen, die in der Logik der großen Skala am Ende der Warteschlange standen. Große Modelle werden hauptsächlich auf Englisch und für die Bedürfnisse der reichsten Märkte trainiert. Kleine, spezialisierte Modelle können hingegen auf den lokalen Kontext, auf Deutsch, auf eine bestimmte Branche, auf ein Vokabular abgestimmt werden, das ein globaler Gigant nie priorisieren wird.

Und wer hat Grund zur Nervosität? Vor allem diejenigen, die ihr Geschäft auf Vermietung aufgebaut haben. Wenn Ihr Wertmodell darauf basierte, dass Sie der einzige Ort sind, wo man Zugang zu Intelligenz kaufen kann, dann ist eine Welt, in der vergleichbare Intelligenz lokal und kostenlos funktioniert, für Sie ein Problem. Ich prophezeie diesen Firmen keinen Untergang - die besten, mächtigsten Modelle werden weiterhin in der Cloud residieren und weiterhin die Grenze des Möglichen verschieben. Aber ihre Position als Monopolist über alltägliche Anwendungen bröckelt. Und ein Monopol, das bröckelt, verteidigt sich normalerweise nicht durch ein besseres Produkt, sondern durch Regulierungen, Lizenzen und Angstmacherei.

Ein Schatten über dieser guten Nachricht

Ich wäre unehrlich, wenn ich nur Begeisterung malen würde. Die Demokratisierung eines Werkzeugs bedeutet die Demokratisierung all seiner Anwendungen, auch jener, die wir lieber vergessen würden.

Solange mächtige Modelle ausschließlich in der Cloud lagen, gab es einen Kontrollpunkt. Ein Unternehmen konnte die Generierung von etwas Gefährlichem verweigern, Filter einbauen, ein Konto sperren. Das war nicht perfekt, aber es existierte. Ein Modell, das lokal auf Ihrer Hardware läuft, ohne Netzwerkverbindung, hat keinen solchen Wächter über sich. Filter, die jemand eingebaut hat, können entfernt werden. Der Zweck, für den es geschaffen wurde, kann ausgetauscht werden. Dieselbe Eigenschaft, die meine Privatsphäre schützt, schützt auch die Privatsphäre von jemandem mit bösen Absichten.

Man kann das eine nicht ohne das andere haben. Ein Werkzeug, das frei von Unternehmensaufsicht ist, ist überhaupt frei von Aufsicht. Das ist der Preis, und man muss ihn beim Namen nennen, statt so zu tun, als gäbe es ihn nicht. Die Geschichte zeigt jedoch ziemlich deutlich, dass der Versuch, den Zugang zu nützlicher Technologie für alle zu sperren, nur um wenige aufzuhalten, meist damit endet, dass das Werkzeug bei den wenigen bleibt und der Rest schutzlos ist. Ich bevorzuge eine Welt, in der Verteidigung genauso zugänglich ist wie Angriff.

Es gibt auch einen zweiten Schatten, subtiler. Wenn Intelligenz billig und allgegenwärtig wird, hören wir auf, sie wahrzunehmen. Und was wir nicht wahrnehmen, hören wir auf zu kontrollieren. Ein Modell im Telefon, das vorschlägt, zusammenfasst, filtert und für uns entscheidet, welche Nachricht als erste angezeigt wird, hat über unser Denken eine stillere, aber tiefere Macht als jeder Gigant in der Cloud. Denn mit dem Giganten rechnen wir. Mit einem Werkzeug, das immer zur Hand ist und nichts kostet, hören wir vollständig auf zu rechnen.

Was das für den Rest von uns bedeutet

Fassen wir das in einen Gedanken zusammen, denn das Thema verlangt geradezu danach. Drei Jahre lang folgte künstliche Intelligenz dem Pfad der Zentralisierung - immer mehr Macht in immer weniger Händen. Das Schrumpfen der Modelle kehrt diesen Vektor um. Intelligenz bewegt sich vom Zentrum an die Ränder, von Serverräumen auf Geräte, von wenigen Eigentümern zu Millionen von Nutzern.

Für den normalen Menschen bedeutet das, dass die Beziehung zu dieser Technologie aufhört, eine Beziehung zwischen Mieter und Eigentümer zu sein, und anfängt, der Beziehung zwischen Eigentümer und Sache zu ähneln. Das hat konkrete Konsequenzen. Es bedeutet niedrigere Kosten und weniger Abhängigkeit von fremden Preislisten. Es bedeutet Privatsphäre als Tatsache, nicht als Versprechen. Es bedeutet Verfügbarkeit dort, wo es keine Netzabdeckung, keine günstige Verbindung und keine Lust gibt, ein Abonnement für jede Frage zu bezahlen.

Aber es bedeutet auch Verantwortung, die wir früher von uns weisen konnten. Wenn das Werkzeug uns gehört, sind wir dafür verantwortlich, wie wir es nutzen. Es gibt kein Unternehmen mehr, dem man die Schuld zuschieben kann. Reife gegenüber Technologie hört auf, ein Luxus zu sein, und wird zur Bedingung für ihre Nutzung.

Ich habe den Eindruck, dass wir die ganze Zeit über die falsche Frage gestellt haben. Wir fragten „wie groß lässt sich ein Modell bauen“, als wäre es eine Olympiade im Gewichtheben. Aber die wahre Frage, die sich jetzt vor uns öffnet, lautet anders: wenn die Intelligenz der Maschinen klein, billig und unser wird, was machen wir dann eigentlich damit - mit der Verantwortung, die im Paket mitkommt.

Große Modelle werden nicht verschwinden und müssen es auch nicht. Aber ihre Ära als einzige Antwort ist gerade zu Ende gegangen. Das Interessanteste, was man mit Feuer machen kann, geschieht nicht im Kraftwerk, sondern in den Küchen von Millionen Menschen. Ich vermute, dass es mit der Intelligenz der Maschinen genauso sein wird - und dass ihre wahre Geschichte erst jetzt beginnt, wo sie aufgehört hat, ein Wunder für wenige zu sein.

// weiterlesen„Fast Magie“: IBMs NanoStack-Chip schrumpft Transistoren auf 0,7 NanometerTechnologieWie Patagoniens Tyndall-Gletscher in nur zwei Jahren 2,2 Kilometer verlorKlimaDas Gedächtnis schrumpft, wenn der Hirnatlas zu grob gerastert istGeist

Kinetyra