Nvidia onthult de H200, de nieuwste high-end chipset voor het trainen van AI-modellen

Nvidia heeft maandag de H200 onthuld, een GPU die is ontworpen om de typen AI-modellen te trainen en in te zetten die de generatieve AI-boom aandrijven.

De nieuwe GPU is een upgrade van de H100, de chip die OpenAI gebruikte om zijn meest geavanceerde grote taalmodel, GPT-4, te trainen. Grote bedrijven, startups en overheidsinstanties strijden om een ​​beperkt aanbod aan chips.

H100-chips kosten tussen de 25.000 en 40.000 dollar, schat Raymond James, en er zijn er duizenden nodig om samen te werken om de grootste modellen te creëren in een proces dat ‘training’ wordt genoemd.

De opwinding rond de AI-aangedreven GPU’s van Nvidia heeft de aandelen van het bedrijf enorm doen stijgen, die tot nu toe met meer dan 230% zijn gestegen in 2023. Nvidia verwacht voor het fiscale derde kwartaal een omzet van ongeveer $16 miljard, een stijging van 170% ten opzichte van vorig jaar.

De belangrijkste verbetering in de H200 is dat deze 141 GB ‘HBM3’-geheugen van de volgende generatie bevat, waardoor de chip ‘heuristieken’ kan uitvoeren of een groot model kan gebruiken nadat deze is getraind om tekst, afbeeldingen of voorspellingen te genereren.

Nvidia zei dat de H200 bijna twee keer zo snel output zal genereren als de H100. Dit is gebaseerd op testen met Meta’s Llama 2 LLM.

De H200, die naar verwachting in het tweede kwartaal van 2024 op de markt wordt gebracht, zal concurreren met AMD’s MI300X GPU. De AMD-chip, vergelijkbaar met de H200, heeft extra geheugen vergeleken met zijn voorgangers, waardoor grote modellen op de hardware passen om gevolgtrekkingen uit te voeren.

Nvidia zei dat de H200 compatibel zal zijn met de H100, wat betekent dat AI-bedrijven die al trainen op het vorige model hun serversystemen of software niet hoeven te veranderen om de nieuwe versie te gebruiken.

Nvidia zegt dat het beschikbaar zal zijn in quad-GPU- of acht-GPU-serverconfiguraties op de volledige HGX-systemen van het bedrijf, evenals in een chip genaamd de GH200, die de H200 GPU koppelt aan een Arm-gebaseerde processor.

Het kan echter zijn dat de H200 niet lang de kroon op de snelste Nvidia AI-chip zal houden.

Terwijl bedrijven als Nvidia veel verschillende configuraties van hun chips aanbieden, zetten nieuwe halfgeleiders vaak elke twee jaar een grote stap voorwaarts, wanneer fabrikanten overstappen op een andere architectuur die significantere prestatiewinst oplevert dan het toevoegen van geheugen of andere kleinere verbeteringen. De H100 en H200 zijn gebaseerd op Nvidia’s Hopper-architectuur.

In oktober vertelde Nvidia aan investeerders dat het zou overstappen van een architectonisch ritme van twee jaar naar een releasepatroon van één jaar vanwege de grote vraag naar zijn GPU’s. Het bedrijf bood Dia suggereert Het zal zijn B100-chip, gebaseerd op de aankomende Blackwell-architectuur, in 2024 aankondigen en uitbrengen.

Hij kijkt: Wij geloven sterk in de AI-trend die volgend jaar een vlucht zal nemen

Mis deze verhalen van CNBC PRO niet: