Pirms gandrīz gada sabiedrības uzmanību piesaistīja OpenAI ģeneratīvais AI Sora, kas rada reālistiskus video. Tencent paziņoja par atvērtākas modeļa HunyuanVideo izlaišanu.
HunyuanVideo ir pirmais lielais video ģenerācijas modelis ar atvērto datu izvadi un svara koeficientiem, kas pieejami visiem. Tencent apgalvo, ka modelis var izveidot video, kas ir salīdzināmi ar vadošajiem slēgtajiem modeļiem — ar augstu attēlu kvalitāti, plašu kustību dažādību, tekstam un video atbilstību, kā arī stabilu ģenerāciju. Ar vairāk nekā 13 miljardiem parametru, tas ir lielākais starp visiem atvērtajiem video ģenerācijas modeļiem.
Priecājamies dalīties, ka mūsu komanda Tencent piedāvā 13B parametru video ģenerācijas modeli ar atvērto kodu
Web lapa: https://t.co/v6qQprYFUJ
GitHub: https://t.co/fSaO8gMT4Wpic.twitter.com/ZHjzwnz9fw— chenyangqi (@chenyangqi1) 2024. gada 3. decembris
Tencent novērtēja modeli, izmantojot cilvēku profesionālu novērtējumu. Saskaņā ar paziņotajiem rezultātiem, HunyuanVideo pārspēj vadošos mūsdienu slēgtā pirmkoda modeļus.
Atšķirībā no atsevišķu modeļu izmantošanas teksta, attēlu un video ģenerēšanai, Tencent izmantoja sadalīšanas un apvienošanas tehniku, lai panāktu augstāku video kvalitāti:
«HunyuanVideo ievieš Transformer dizainu un izmanto pilnu uzmanības mehānismu attēlu un video apvienotai izveidei. Jo īpaši, mēs izmantojam hibrīda modeli «Divi straumi uz vienu» video izveidošanai. Divu straumju fāzē video un teksta marķieri tiek apstrādāti neatkarīgi caur vairākām Transformer blokiem, ļaujot katrai modalitātei izpētīt savas attiecīgās modulācijas bez traucējumiem. Vienotās straumes fāzē mēs apvienojam video un teksta marķierus un pievēršam tos nākamajiem Transformer blokiem efektīvā multimodālās informācijas sapludināšanai. Šis dizains uztver sarežģītas mijiedarbības starp vizuālo un semantisko informāciju, uzlabojot modeļa kopējo veiktspēju.»
Tencent norāda, ka atklātā koda un pamata modeļa «svaru» publikai pieejamība ir veikta ar mērķi pārvarēt plaisu starp slēgtiem un atvērtiem video ģenerācijas modeļiem. Iniciatīva veicina mākslīgā intelekta balstītas augstas kvalitātes video izveides pieejamību. Projektā var uzzināt vairāk Huggingface, oficiālajā vietnē HunyuanVideo pieejami video demonstrējumi, bet kods ir pieejams GitHub.
Avots: NeoWin
Komentāri (0)
Šobrīd nav neviena komentāra