Visticamāk, Ķīnai izdevās atrast veidu, kā apiet ierobežojumus jaudīgu AI mikroshēmu piegādēm. DeepSeek FlashMLA tehnoloģija ievērojami palielina NVIDIA Hopper H800 TFLOPS.
OpenSource nedēļas laikā, kas DeepSeek sākās 24. februārī, uzņēmums prezentēja “dekompresijas kodolu” (decoding kernel) FlashMLA. Tā ir programmatūras tehnoloģija, kas optimizē NVIDIA Hopper procesoru darbību.
Saskaņā ar DeepSeek, H800 veiktspēja, izmantojot šo tehnoloģiju, sasniedz 580 TFLOPS BF16 matricas reizinājumam, kas ir aptuveni astoņas reizes lielāka par standarta veiktspēju. Turklāt, pateicoties atmiņas efektīvai izmantošanai, FlashMLA nodrošina tās caurlaidspēju līdz 3000 GB/s, kas gandrīz divkāršo H800 maksimumu. Neticami, bet tas tiek panākts tikai ar koda palīdzību, bez aparatūras uzlabojumiem.
This is crazy.
-> Blazing fast: 580 TFLOPS on H800, ~8x industry avg (73.5 TFLOPS).
-> Memory wizardry: Hits 3000 GB/s, surpassing H800's 1681 GB/s peak.— Visionary x AI (@VisionaryxAI) February 24, 2025
DeepSeek FlashMLA īsteno “zema ranga vērtību saspiešanu” (low-rank key-value compression) — vienkāršāk sakot, tas sadala datu fragmentus mazākās daļās ātrai apstrādei. Tas arī samazina atmiņas patēriņu par 40%-60%. Tehnoloģija izmanto “bloku bāzētu paging” sistēmu, kas dinamiskā veidā sadala atmiņu atkarībā no uzdevuma intensitātes, nevis fiksētām piešķiršanas vērtībām. Tas palīdz modeļiem daudz efektīvāk pārvaldīt mainīga garuma secības un strādāt ātrāk.
Jaunā DeepSeek tehnoloģija parāda programmatūras potenciālu mākslīgā intelekta aprēķinu jomā un iespējas uzlabot dārgas un energoietilpīgas akseleratoru darbības. Pašlaik FlashMLA ir paredzēta tikai H800, taču būtu interesanti redzēt tās darbību uz H100 procesoriem.
Ķīnā nesen aktīvi tiek veikts darbs pie aprēķinu optimizācijas. Nesen Šenžeņas universitātes un Pekinas tehnoloģijas institūta zinātnieki parasto NVIDIA RTX 4070 veiktspēju uzlaboja 800 reizes peridinamisko uzdevumu izpildē. Diemžēl rezultāts tika sasniegts kopā ar krieviem, un tā sekas paātrinās un uzlabos militāri rūpnieciskos aprēķinus.
Avots: Wccftech
Komentāri (0)
Šobrīd nav neviena komentāra