GPU-Scheduling: Wie Ai2 Tausende H100, B200 und B300 bändigt

👁 115 Aufrufe

Das Allen Institute for AI (Ai2) hat eine detaillierte Analyse zur Umgestaltung des Job-Schedulings auf seinen eigenen GPU-Clustern vorgelegt. Der Bericht veranschaulicht eindrucksvoll, wie eine an sich solide geplante Infrastruktur unter realen Nutzungsbedingungen an ihre Grenzen geraten kann.

Ai2 betreibt Tausende NVIDIA H100, B200 und B300, die in Clustern von 88 bis 1024 GPUs organisiert sind. Diese Rechenleistung teilen sich rund 150 interne Forscher, deren Aufgabenprofil kaum breiter sein könnte: Es reicht vom Training grosser Sprachmodelle (LLMs) und Vision-Language-Modelle (VLMs) über Reinforcement-Learning-Simulationen für die Robotik bis hin zum Post-Training für wissenschaftliche Agentensysteme. Ein solches Spektrum verlangt einerseits unterbrechungsfreie, langfristige Trainingsläufe und andererseits sofortigen Zugriff für interaktives Debugging in Echtzeit. Zwei Anforderungen, die sich über ein herkömmliches Prioritätensystem kaum vereinbaren lassen.

Die Tragödie der Allmende im Rechenzentrum

Die Knappheit war weder neu noch überraschend: Die Nachfrage nach GPU-Zeit überstieg das Angebot seit Langem. Zu jedem Zeitpunkt warteten in der Warteschlange Aufgaben, die in Summe das Zwei- bis Dreifache der tatsächlich vorhandenen Beschleuniger erfordert hätten. Anders ausgedrückt: Um jede freie Rechenstunde konkurrierten zwei bis drei verschiedene Forschungsprojekte gleichzeitig.

Das bisherige System basierte auf statischen Prioritäten und erlaubte es Jobs, sich von der Preemption auszunehmen - also der Möglichkeit, zugunsten höher priorisierter Aufgaben verdrängt oder unterbrochen zu werden. Jedes Team verfügte über ein festes Kontingent an geschützten GPUs. Preemptible Aufgaben durften darüber hinaus ungenutzte Karten belegen. In der Theorie klang das plausibel, in der Praxis entwickelten sich vorhersehbare Fehlentwicklungen.

Das erste Problem war sogenanntes GPU-Squatting: Forscher blockierten leere Platzhalter-Jobs (No-Op-Workloads), um bei akutem Debugging-Bedarf sofort auf eine aktive Session zugreifen zu können, da der reguläre Start eines neuen Jobs schlicht zu lange dauerte. Das zweite Problem bestand in einer extremen Prioritäten-Inflation: Nach einiger Zeit liefen 100 Prozent aller eingeplanten Aufgaben auf der höchsten Stufe HIGH. Niedrigere Prioritäten kamen überhaupt nicht mehr zum Zug. Der operativ teuerste Nebeneffekt: Das Bereitschaftsteam verbrachte den Grossteil seiner Einsatzzeit damit, manuelle Abschaltungen nicht verdrängbarer Jobs auf fehlerhaften Host-Systemen auszuhandeln.

Ai2 räumt ein, dass die eigentliche Ursache lange übersehen wurde. Frühe Gegenmassnahmen konzentrierten sich auf schärfere Kontrollen bei der Prioritätsvergabe oder das Umgehen des Schedulers, indem bestimmten Projekten feste GPU-Monopole auf ganzen Clustern zugewiesen wurden. Erst später erkannte das Team darin eine klassische Tragödie der Allmende: Alle Beteiligten handelten für sich genommen vollkommen rational, beschädigten damit aber in der Summe das Gesamtsystem.

Die Lösung bestand darin, den prioritätsbasierten Scheduler durch ein dreiteiliges Modell abzulösen: vorab zugewiesene Budgets an GPU-Zeit pro Projekt, ein hierarchisches Fair-Share-Verfahren sowie Time-Slicing-Vereinbarungen, die feste Zeitfenster für den Zugriff definieren. Der entscheidende Fortschritt war dabei organisatorischer Natur: Die Verteilung von GPU-Ressourcen wird nicht mehr im laufenden Betrieb ad hoc ausgehandelt, sondern folgt einem transparenten administrativen Budgetierungsprozess.

Für Betreiber geteilter Recheninfrastrukturen liefert der Fall eine wichtige Erkenntnis: Das Problem bei Ai2 lag nicht primär im Scheduling-Algorithmus, sondern im falschen Anreizsystem. Wenn Forschende Ressourcen ohne sichtbare Konsequenzen blockieren können, tun sie es. Wenn eine Prioritätsstufe nichts kostet, wählt jeder das Maximum. Erst messbare Budgets schaffen verlässliche Leitplanken für den fairen Betrieb grosser Cluster.

// weiterlesenIch habe mein Disney+ gekündigt, weil selbst das teuerste Abo nicht mehr vor Werbung schütztTechnikNew York Times verhandelt über Kauf von LetterboxdNachrichtenGTA 6 Charaktere und Map: Lucia, Jason und die RegionenNachrichten

Kinetyra