Open Source nedēļas laikā DeepSeek publiskoja savu paralēlo failu sistēmu Fire-Flyer Fire System (3FS). Saskaņā ar uzņēmuma teikto, 3FS sasniedz 7,3 TB/s kopējo lasīšanas ātrumu uz tās pašas serveru datu klasteros, kur tā tiek izmantota kopš 2019. gada.
3FS ir balstīta uz Linux un speciāli izstrādāta AI-HPC darbībām, kurās GPU mezgli nepārtraukti piekļūst daudziem datu krātuves serveriem LLM apmācībai. 3FS atšķiras no citām failu sistēmām, izvirzot augstāku nejaušās lasīšanas ātrumu, ignorējot kešatmiņu.
Mākslīgo intelektu modeļu apmācības laikā aprēķinu bloki prasa nemitīgu piekļuvi nejaušajiem mācību datiem, bet šo datu lasīšana notiek tikai vienreiz. Tādējādi lasīšanas kešatmiņa būtībā ir bezvērtīga un 3FS to praktiski neizmanto. Tieši pretēji, lasīšanas kešatmiņas izmantošana LLM apmācībā var kaitīgi ietekmēt, jo atkārtota to pašu datu lasīšana var kaitēt modelim.
DeepSeek iepriekš apgalvoja, ka 3FS veiktspēja sasniedz 6,6 TB/s, kā arī veic apmācības uzdevumus fonā, kas pievienoja vēl 1,4 TB/s lasīšanas caurlaides spēju. Salīdzinājumā konkurentu failu sistēma Ceph pirmo reizi sasniedza tikai 1,1 TB/s lasīšanas ātrumu 2024. gada sākumā.
Visi, kas vēlas izmēģināt Fire-Flyer failu sistēmu un tās darbības īpašības, var lejupielādēt visu nepieciešamo DeepSeek's GitHub lapā. Ja šī failu sistēma ir tik laba, tā potenciāli varētu kļūt par hitu.
Avots: Tom's Hardware
Komentāri (0)
Šobrīd nav neviena komentāra