Podczas gdy wiele osób debatuje nad tym, czy prawo Moore’a zwalnia, pozostaje w mocy, a może w latach dwudziestych XXI wieku w ogóle przestanie obowiązywać, specjaliści NVIDII wskazują „prawo Huanga”. Uważa się, że w ciągu ostatniej dekady wydajność przetwarzania sztucznej inteligencji na GPU wzrosła 1000-krotnie. Prawo Huanga oznacza, że przyspieszenia, które zaobserwowaliśmy w „wydajności wnioskowania na jednym chipie”, nie wygasną i spodziewać możemy się kolejnych spektakularnych wzrostów.
NVIDIA opublikowała post na blogu na temat prawa Huanga, w którym przedstawiła leżące u jego podstaw założenia i praktyki pracy. To, co główny naukowiec NVIDII, Bill Dally, opisuje jako „przesunięcie tektoniczne w sposobie zapewniania wydajności komputerów w epoce po prawie Moore’a”, opiera się przede wszystkim na ludzkiej pomysłowości. Ta cecha wydaje się nieco nieprzewidywalna, by opierać o nią nowe prawo, ale Dally uważa, że imponujący wykres poniżej wyznacza dopiero początek prawa Huanga.
NVIDIA opublikowała post na blogu na temat prawa Huanga, w którym przedstawiła leżące u jego podstaw założenia i praktyki pracy.
Według niedawnego wystąpienia Dally’ego na konferencji Hot Chips 2023, powyższy wykres pokazuje 1000-krotny wzrost wydajności wnioskowania AI GPU w ciągu ostatnich dziesięciu lat. Co ciekawe, jak zauważył główny naukowiec NVIDII, w przeciwieństwie do prawa Moore’a, kurczenie się procesu ma niewielki wpływ na postęp prawa Huanga.
Dally pamięta, jak uzyskano 16-krotny wzrost dzięki zmianie podstawowej obsługi liczb przez GPU NVIDII. Kolejny duży impuls nastąpił wraz z pojawieniem się architektury Hopper, wyposażonej w silnik Transformer Engine. Hopper wykorzystuje dynamiczną mieszankę 8- i 16-bitowej matematyki zmiennoprzecinkowej i liczb całkowitych, aby zapewnić 12,5-krotny skok wydajności, a także zaoszczędzić energię. Wcześniej Ampere wprowadziło rzadkość strukturalną w celu dwukrotnego zwiększenia wydajności. Postępy, takie jak technologie NVLink i rozwiązania sieciowe NVIDII, jeszcze bardziej zwiększyły te imponujące zyski.
Jedno z najbardziej zaskakujących twierdzeń Dally’ego odnosi się do tego, że ponad 1000-krotny wzrost wydajności wnioskowania AI wyraźnie kontrastuje z zyskami przypisywanymi ulepszeniom procesów technologicznych. W ciągu ostatniej dekady, gdy GPU Zielonych przeszły z procesów 28 nm na 5 nm, ulepszenia procesów półprzewodnikowych „stanowiły jedynie 2,5-krotność całkowitych zysków” – stwierdził Dally na Hot Chips.
W jaki sposób prawo Huanga będzie nadal szybko działać, mając za sobą takie koncepcje, jak „pomysłowość i wysiłek w wymyślaniu i zatwierdzaniu świeżych składników”? Na szczęście Dally wskazuje, że on i jego zespół nadal widzą „kilka możliwości” przyspieszenia przetwarzania wnioskowań AI. Możliwości, które należy zbadać, obejmują dalsze uproszczenie sposobu przedstawiania liczb czy projektowanie lepszych obwodów pamięci i komunikacji”.
Pozytywnie
Neutralnie 
Negatywnie
Lubię to!
Super
Ekscytujący 
Ciekawy
Smieszny
Smutny
Wściekły
Przerażony
Szokujący
Wzruszający
Rozczarowany
Zaskoczony
Prawda
Manipulacja
Fake news
Dodaj kanał RSS
Musisz być zalogowanym aby zaproponować nowy kanal RSS