Nvidia hat gerade einen neuen Supercomputer angekündigt, der die Zukunft der KI verändern könnte. Der DGX GH200, der mit fast 500-mal mehr Speicher ausgestattet ist als die Systeme, die wir heute kennen, wird bald in die Hände von Google, Meta und Microsoft fallen.
Das Ziel? Eine Revolutionierung der generativen KI, der Empfehlungssysteme und der Datenverarbeitung in einem noch nie dagewesenen Ausmaß. Werden Sprachmodelle wie GPT davon profitieren und was bedeutet das für normale Benutzer?
Um Nvidias DGX GH200 zu beschreiben, müssen Begriffe verwendet werden, mit denen die meisten Benutzer nie zu tun haben. „Exaflop“ beispielsweise, weil der Supercomputer eine Leistung von 1 Exaflop und 144 Terabyte gemeinsamen Speicher bietet. Nvidia weist darauf hin, dass dies fast 500 Mal mehr Speicher bedeutet als in einem einzelnen Nvidia DGX A100-System.
Holen Sie sich Ihren wöchentlichen Teardown der Technik hinter PC-Spielen
Kommen wir noch einmal auf die Zahl von 1 Exaflop zurück und schlüsseln sie ein wenig auf. Ein Exaflop entspricht einer Trillion Gleitkommaoperationen pro Sekunde (FLOPs). Zum Vergleich: Nvidias RTX 4090 kann beim Übertakten rund 100 Teraflops (TFLOPs) erreichen. Ein TFLOP entspricht einer Billion Gleitkommaoperationen pro Sekunde. Der Unterschied ist verblüffend, aber natürlich ist die RTX 4090 keine GPU für Rechenzentren. Der DGX GH200 hingegen integriert eine beträchtliche Anzahl dieser Hochleistungs-GPUs, die nicht in die Nähe eines Verbraucher-PCs gehören.
Der Computer wird von Nvidias GH200 Grace Hopper-Superchips angetrieben. Insgesamt gibt es 256 davon, die dank Nvidias NVLink-Verbindungstechnologie alle als einheitliches System zusammenarbeiten können und im Wesentlichen eine riesige GPU bilden.
Die hier verwendeten GH200-Superchips benötigen zudem keine herkömmliche PCIe-Verbindung zwischen CPU und GPU. Nvidia sagt, dass sie bereits mit einem ARM-basierten Nvidia Grace CP,U sowie einer H100 Tensor Core GPU ausgestattet sind. Nvidia hat hier auch einige ausgefallene Chip-Verbindungen eingebaut, diesmal mit dem NVLink-C2C. Dadurch soll die Bandbreite zwischen Prozessor und Grafikkarte deutlich verbessert (bis zu 7-mal) und stromsparender (bis zu 5-mal) sein.
Über 200 dieser Chips in einem einzigen Supercomputer zu verpacken, ist schon beeindruckend genug, aber es wird noch besser, wenn man bedenkt, dass zuvor nur acht GPUs gleichzeitig mit NVLink verbunden werden konnten. Ein Sprung von acht auf 256 Chips gibt Nvidia sicherlich einiges an Prahlereirecht.
Es ist schwer, sich nicht vorzustellen, dass das DGX GH200 Verbesserungen bei Bard, ChatGPT und Bing Chat ermöglichen könnte.
Wo wird der DGX GH200 nun landen und was kann er der Welt bieten? Nvidia baut seinen eigenen Helios-Supercomputer, um seine KI-Forschung und -Entwicklung voranzutreiben. Er wird vier DGX GH200-Systeme umfassen, die alle mit Nvidias Quantum-2 InfiniBand verbunden sind. Er soll Ende des Jahres online gehen.
Nvidia teilt seine Neuentwicklung ebenfalls mit der Welt, angefangen mit Google Cloud, Meta und Microsoft. Der Zweck ist weitgehend derselbe: die Erforschung generativer KI-Workloads.
Wenn es um Google und Microsoft geht, ist es schwer, sich nicht vorzustellen, dass das DGX GH200 Verbesserungen bei Bard, ChatGPT und Bing Chat ermöglichen könnte.
Die enorme Rechenleistung eines einzelnen DGX GH200-Systems macht es ideal für die Weiterentwicklung des Trainings anspruchsvoller Sprachmodelle. Ohne einen Kommentar einer der interessierten Parteien ist es schwer zu sagen, was das genau bedeuten könnte, aber wir können ein wenig spekulieren.
Mehr Leistung bedeutet größere Modelle, also differenziertere und genauere Texte und eine größere Bandbreite an Daten, mit denen sie trainiert werden können. Wir könnten ein besseres kulturelles Verständnis, mehr Kontextwissen und mehr Kohärenz erleben. Es könnten auch spezialisierte KI-Chatbots auftauchen, die Menschen in Bereichen wie der Technologie weiter ersetzen.
Sollten wir uns über mögliche Arbeitsplatzverluste Sorgen machen oder sollten wir uns über die Fortschritte freuen, die diese Supercomputer bringen könnten? Die Antwort ist nicht so einfach. Eines ist sicher – Nvidias DGX GH200 könnte die Welt der KI aufrütteln, und Nvidia hat gerade seinen KI-Vorsprung gegenüber AMD erneut ausgebaut.
