Nvidia pokazała najpotężniejszy na świecie chip AI

Grace oferuje nawet 30-krotnie większą wydajność w przypadku obciążeń związanych z wnioskowaniem LLM. Zmniejsza jednocześnie koszty i zużycie energii nawet 25 razy w porównaniu z procesorem graficznym H100 (robocza nazwa Hopper). Nvidia twierdzi, że wyszkolenie modelu mającego do dyspozycji 1,8 biliona parametrów wymagało wcześniej 8000 procesorów graficznych Hopper i 15 megawatów mocy. Dzisiaj może to zrobić 2000 procesorów graficznych Blackwell, zużywając zaledwie cztery megawaty. W teście porównawczym GPT-3 LLM ze 175 miliardami parametrów, GB200 ma nieco skromniejszą, siedmiokrotnie większą wydajność niż H100, oferując czterokrotnie większą prędkość uczenia.

Nvidia informuje, że jednym z kluczowych ulepszeń jest silnik drugiej generacji, który podwaja moc obliczeniową oraz przepustowość, wykorzystując cztery bity na każdy neuron zamiast ośmiu . Druga kluczowa różnica dotyczy tego, ja Nvidia łączy tak ogromną liczbę procesorów graficznych. Robi to przełącznik NVLink nowej generacji, który umożliwia komunikację 576 procesorów graficznych z przepustowością dwukierunkową na poziomie 1,8 terabajta na sekundę. Wymagało to od Nvidii zbudowania zupełnie nowego przełącznika sieciowego, zawierającego 50 miliardów tranzystorów.

Zobacz również:

Nvidia liczy teraz na to, że firmy będą kupować od niej duże ilości tych procesorów graficznych i pakuje je w większe konstrukcje, takie jak szafa GB200 NVL72, który umożliwia podłączenie 36 procesorów i 72 procesorów graficznych do jednego chłodzonego cieczą stojaka, co daje w sumie 720 petaflopów mocy. Firma twierdzi, że firmy Amazon, Google, Microsoft i Oracle zamierzają instalować takie szafy w swoich chmurach. Firma twierdzi, że jej systemy można skalować do dziesiątek tysięcy superchipów GB200, połączonych siecią 800 Gb/s za pomocą nowych urządzeń, takich jak Quantum-X800 InfiniBand (do 144 połączeń) lub Spectrum-X800 Ethernet (do 64 połączeń).

Zgłoś naruszenie/Błąd