W długiej i ciekawej prezentacji podczas konfeencji CCVPR 2021 (link w treści), Andrej Karpathy, szef zespołu odpowiedzialnego za sztuczną inteligencję w Tesli, pochwalił się należącym do producenta superkomputerem. Zadeklarował, że jest on dziś prawdopodobnie piątą najszybszą maszyną na świecie, choć to nadal nie jest Dojo.
Droga do Dojo
Godzinna prezentacja Karpathy’ego rozpoczyna się przy około 7:51:30, ale wcześniejsze też są godne uwagi (np. prezentacja Toyoty) – tyle że to ponad 8 godzin materiału wideo:
https://www.youtube.com/watch?v=eOL_rCK59ZI
Pierwsza wzmianka o Dojo pojawiła się podczas Tesla Autonomy Day 2019, gdy zaprezentowano komputer FSD. Dojo miało być superkomputerem trenującym sztuczną inteligencję w analizie obrazów. Elon Musk nie chciał o nim jednak szerzej opowiadać, bo uznał, że nie ma na to czasu. Z kolejnych przecieków dowiedzieliśmy się tylko, że ma on mieć moc obliczeniową 1 exaFLOPS-a, czyli 1 000 petaFLOPS-ów, tj. 1018 operacji zmiennoprzecinkowych na sekundę.
Jak wychwycił portal Electrek, Karpathy pokazał budowany właśnie superkomputer Tesli i pochwalił się jego parametrami technicznymi. Jeden z trzech ostatnich klastrów składa się z:
- 720 węzłów zbudowanych w oparciu o 8 rdzeni Nvidia Ampere A100 każdy, co daje w sumie 5 760 GPU,
- każdy układ A100 dysponuje 80 GB pamięci (A100 80 GB, źródło),
- całkowita maksymalna moc obliczeniowa zestawu to 1,8 exaFLOPS-ów (!),
- macierz dyskowa oferuje 10 PB (10 000 TB) przestrzeni, wykorzystuje układy NVME, czyli SSD podłączone przez PCIe.
Inżynier Tesli ujawnił, że producent pracuje na zbiorze danych, który ma około 1,5 PB (1 500 TB) i który wykorzystywany jest do ćwiczenia sieci neuronowych. Najbardziej zaskakująca jest jednak moc obliczeniowa obecnego układu, która już dziś ma wynosić 1,8 exaFLOPS-ów.
Dla porównania: najpotężniejszy dziś superkomputer, japoński Fugaku, dysponuje pomocą 415,5 petaFLOPS-ów, ale przy operacjach dotyczących sztucznej inteligencji osiąga 2 exaFLOPS-y (źródło). Dla sztucznej inteligencji wystarczające są bowiem operacje z niższą precyzją niż w wypadku obliczeń naukowych (64 bity kontra 32 bity i mniej), co przekłada się na lepsze wyniki w benchmarkach.
Karpathy stwierdził, że superkomputer Tesli może być piątą najpotężniejszą maszyną na świecie. Jednak z podanych liczb wynika, że prezentuje się on niewiele gorzej niż Fugaku, dlatego nie zdziwilibyśmy się, gdyby zajmował wyższą pozycję. Nowy superkomputer Tesli powstający w ramach projektu Dojo ma być jeszcze szybszy, ale Karpathy nie podał na jego temat żadnych dodatkowych szczegółów. Więcej możemy się dowiedzieć podczas Tesla AI Day 2021.
