微軟亞洲研究院發(fā)布VASA-1模型，實(shí)現(xiàn)圖片人物自動(dòng)言語(yǔ)表達(dá)

4 月 19 日?qǐng)?bào)道，近期微軟亞洲研究院推出了名為 VASA-1 的創(chuàng)新模型，針對(duì)靜態(tài)肖像照片和錄音音頻片段，其能實(shí)現(xiàn)圖片中角色的自動(dòng)化配音。

該模型，尤其擅長(zhǎng)展現(xiàn)逼真的面部表情及各類(lèi)情緒，且嘴唇動(dòng)作高度擬真。然而，盡管研究員坦承目前仍有不足之處，如無(wú)法精準(zhǔn)處理頭發(fā)等纖維質(zhì)元素，但相較于其他類(lèi)似模型，VASA-1 的表現(xiàn)已屬優(yōu)異。

此外，研究員還透露，VASA-1 在離線批量處理模式下，可生成分辨率高達(dá) 512*512 的動(dòng)態(tài)短片，幀速率為 45fps；在線直播模式下，幀速率也可達(dá)到 40fps，延遲時(shí)間僅為 170ms。而完成這一切，只需一臺(tái)搭載 NVIDIA RTX 4090 顯卡的計(jì)算機(jī)即可。