Microsoft ir pievienojis Copilot+ datoriem destilētus DeepSeek R1 modeļus.

Mākslīgais intelekts DeepSeek ātri ieguva popularitāti mobilo ierīču pasaulē un tagad paplašinās uz Windows ar pilnu Microsoft atbalstu, kas ir pārsteidzoši. Programmatūras gigants pievienoja DeepSeek R1 modeli savam Azure AI Foundry, lai ļautu izstrādātājiem testēt un veidot mākoņpakalpojumus un lietotnes ar tās palīdzību. Tagad Microsoft paziņoja, ka pievieno R1 destilētās versijas datoriem Copilot+ PC.

Destilēts mākslīgais intelekts ir lielākas neironu tīkla vienkāršota versija, kas daļēji saglabā tā veiktspēju, bet darbojas ātrāk un efektīvāk. Destilācijas process ļauj nodot zināšanas no lielas, jaudīgas modeļa uz mazāku. Šajā gadījumā pilnais DeepSeek R1 ir 671 miljards parametru, bet mazākās modeļi būs no 1,5 miljardiem līdz 14 miljardiem parametru. Tas nav ideāls process, un destilētā modelis ir mazāk jaudīgs par pilno versiju, taču tā mazāks izmērs ļauj tam darboties tieši uz patērētāju aprīkojuma (nevis specializētā mākslīgā intelekta aprīkojuma, kas maksā desmitiem tūkstošiem dolāru).

Destilētie DeepSeek R1 modeļi sākotnēji būs pieejami ierīcēm ar Snapdragon X un Intel Core Ultra 200V procesoriem un pēc tam AMD Ryzen AI 9 bāzētiem datoriem.

Pirmais modelis būs DeepSeek-R1-Distill-Qwen-1.5B (tas ir, modelis ar 1,5 miljardiem parametru), bet lielāki un jaudīgāki modeļi 7B un 14B parādīsies tuvākajā laikā. Tie būs pieejami lejupielādei no Microsoft AI Toolkit.

Microsoft bija jāpārveido šie modeļi, lai optimizētu to darbību ierīcēm ar NPU. Operācijas, kas stipri atkarīgas no piekļuves atmiņai, tiek veiktas uz centrālā procesora, savukārt intensīvas aprēķinu operācijas, piemēram, transformatora bloks, tiek veiktas uz NPU. Pateicoties optimizācijai, Microsoft izdevās sasniegt ātru laiku līdz pirmajam tokenam (130 ms) un caurlaidspēju 16 tokeni sekundē īsām uzvednēm (mazāk nekā 64 tokeni). Ņemiet vērā, ka "tokens" ir līdzīgs patskaņa burtam (svarīgi, ka viens tokens parasti ir garāks par vienu simbolu).

Microsoft ir spēcīgs mākslīgā intelekta atbalstītājs un investē OpenAI (ChatGPT un GPT-4o radītājs), taču šķiet, ka tā tiecas dažādoties. Tās Azure Playground ir GPT (OpenAI), Llama (Meta), Mistral (mākslīgā intelekta uzņēmums) modeļi un tagad arī DeepSeek.

Avots: gsmarena