Ilgu laiku tika plaši apspriests labākās arhitektūras meklējums, kas varētu kļūt par alternatīvu transformatoriem lielajās valodas modeļos (LLM). Izskatās, ka Kalifornijas jaunuzņēmums Inception Labs jau ir izstrādājis daudzsološu risinājumu. Uzņēmums prezentēja Mercury — pirmo pasaulē izmantojamo lielo valodas modeli, kas balstīts uz difūziju, un kas paredzēts komerciālai lietošanai.
Saskaņā ar neatkarīgo testēšanas platformu Artificial Analysis, Mercury ir 10 reizes ātrāks par modernajiem modeļiem. Tās veiktspēja pārsniedz 1000 tokenus sekundē uz NVIDIA H100 grafikas procesoriem, kas agrāk bija iespējams tikai specializētos mikroshēmos.
Kā tas darbojas?
«Transformatori dominē tekstu LLM ģenerācijā un veido tokenus secīgi. Difūzijas modeļi piedāvā alternatīvu — tie veido visu tekstu vienlaicīgi, izmantojot no aptuvena uz detalizētu procesu,» skaidroja Endrū En, DeepLearning.AI dibinātājs savā ierakstā vietnē X.
Šī pēdējā frāze ir būtiska, lai izprastu, kāpēc Inception Labs pieeja izskatās saistoša. LLM balstās uz transformatoriem, mācoties autoregresīvi, t.i., prognozējot vārdus (vai tokenus) no kreisās uz labo. Tomēr difūzija ir tehnika, ko mākslīgais intelekts parasti izmanto attēlu un video ģenerēšanai. Difūzija darbojas citādi — tā nesākas no kreisās uz labo, bet rada visu tekstu vienlaicīgi. Viss sākas ar „troksni”, kas pakāpeniski tiek attīrīts un pārveidots tokenu plūsmā.
Mercury varētu būtiski mainīt spēles noteikumus un atvērt jaunas iespējas LLM darbā. Testēšana liecina, ka šī pieeja būtiski ietekmē teksta ģenerēšanas ātrumu.
Mercury ātrums un veiktspēja
Standarttestos Mercury pārspēja tādas ātrgaitas modeļus kā GPT-4o Mini, Gemini 2.0 Flash un Claude 3.5 Haiku.
Jo īpaši Mercury Coder Mini versija sasniedza 1109 tokenus sekundē.
Turklāt, startaps norādīja, ka difūzijas modeļiem ir priekšrocība loģiskajā domāšanā un strukturētā atbildē, jo tie nav ierobežoti tikai ar iepriekšējiem tokeniem.
Turklāt, viņi var nepārtraukti uzlabot sākotnējos datus, samazinot halucinācijas un kļūdas. Difūzijas metodes faktiski tiek izmantotas video ģeneratoros, piemēram, Sora un Midjourney.
Uzņēmums arī kritizēja modernās loģiskās spriešanas metodes, kuras prasa ievērojamus skaitļošanas resursus sarežģītu atbilžu ģenerēšanai.
«Garās loģiskās ķēdes izveidošana rada milzīgus datora resursus patēriņus un nepiemērotu kavēšanos. Lai augstās kvalitātes mākslīgo intelektu padarītu pieejamu, nepieciešama paradigmas maiņa,» norādīja Inception Labs.
Startaps publicēja Mercury Coder priekšskatījuma versiju, lai lietotāji varētu izmēģināt tās iespējas.
Pavisam nesen Anthropic prezentēja Claude 3.7 Sonnet — pirmo hibrīda domāšanas modeli un „labāko AI IT speciālistiem”.
Avots: analyticsindiamag
Komentāri (0)
Šobrīd nav neviena komentāra