Google izstrādās mākslīgā intelekta modeli, lai ģenerētu skaņu video

Google DeepMind izstrādā mākslīgā intelekta tehnoloģiju skaņu celiņu radīšanai video.

Google AI pētniecības nodaļa un citas organizācijas jau izveidojušas modeļus video, bet tie nespēj ģenerēt skaņas efektus. Šim nolūkam DeepMind izmanto V2A (video-to-audio) tehnoloģiju.

«Video ģenerēšanas modeļi attīstās neticami ātri, bet daudzas mūsdienu sistēmas nesatur skaņu celiņu. Nākamais svarīgais solis filmu ģenerēšanā ir skaņu celiņu pievienošana šiem "klusajiem" videoklipiem», teikts DeepMind paziņojumā.

DeepMind V2A tehnoloģija izmanto uzvednes kombinācijā ar video, lai radītu mūziku, skaņas efektus un dialogus. Piemēram: «Pulsējoša medūza zem ūdens, jūras dzīve, okeāns». V2A difūzijas mākslīgā intelekta modelis ir apmācīts, balstoties uz skaņām, dialogu transkripcijām un videoklipiem.

Skaņas radīšanai video tika izmantotas šādas uzvednes: kinomāksla, trilleris, šausmu filma, mūzika, spriedze, atmosfēra, soļi uz betona.

DeepMind norāda, ka tehnoloģija vēl nav pilnīga, un skaņu nevar saukt par augstas kvalitātes un pārliecinošu. Pirms V2A pilnvērtīgas ieviešanas nepieciešami uzlabojumi un testēšana.

Atgādinām, ka februārī OpenAI prezentēja jaunu ģeneratīvā mākslīgā intelekta modeli Sora, kas ļauj pārveidot tekstu par video.

Jūnijā Hārvardas un DeepMind zinātnieki izveidoja virtuālo žurku ar mākslīgo intelektu kā smadzenēm.

Iepriekš Google meitasuzņēmums prezentēja ģeneratīvo mākslīgā intelekta modeli Genie, kas paredzēts spēļu radīšanai.