【有卡有網(wǎng)】 4 月 22 日消息，微軟公司近日發(fā)布新聞稿，正式揭曉了其創(chuàng)新的圖生視頻技術(shù)—— VASA-1 框架。這一 AI 框架僅需憑借一張真實(shí)的肖像照片和一段個(gè)人語音音頻，便能打造出精確且逼真的對(duì)口型視頻（即生成朗誦文本的視頻）。

當(dāng)前業(yè)界對(duì)傳統(tǒng)的技術(shù)往往會(huì)導(dǎo)致生成的面部顯得生硬、缺乏可信度，陷入“恐怖谷”現(xiàn)象。而微軟的 VASA-1 框架則成功突破了這些限制，研究人員借助了擴(kuò)散Transformer模型，對(duì)面部整體動(dòng)態(tài)和頭部運(yùn)動(dòng)進(jìn)行了深入訓(xùn)練。

該框架在表情和頭部動(dòng)作方面的表現(xiàn)尤為自然流暢。能夠注意到各類面部動(dòng)態(tài)，諸如嘴唇動(dòng)作、面部表情、眼神交流和眨眼等細(xì)微行為，一次性生成具有高度細(xì)節(jié)的人臉。據(jù)稱，VASA-1框架能夠即時(shí)生成分辨率為512×512、幀率高達(dá)40 FPS的視頻。