思必馳AI數(shù)字人解決方案實(shí)現(xiàn)高度逼真的口型還原

2023年9月，中國（南京）文化和科技融合成果展覽交易會(huì)（以下簡(jiǎn)稱“融交會(huì)”）在中國南京召開。融交會(huì)作為全國首個(gè)聚焦文化科技融合的專題展會(huì)，自從2018年起已成功舉辦5屆，構(gòu)建了全國文化科技融合示范基地成果展示平臺(tái)、行業(yè)深度融合的交流合作平臺(tái)。

城市文化大數(shù)據(jù)智能實(shí)驗(yàn)室的簽約合作揭牌儀式

本次大會(huì)上，南京文投聯(lián)合思必馳等多家合作伙伴共同發(fā)布了城市文化大數(shù)據(jù)智能實(shí)驗(yàn)室，思必馳AI數(shù)字人解決方案及口型驅(qū)動(dòng)技術(shù)也亮相會(huì)場(chǎng)，收獲了現(xiàn)場(chǎng)關(guān)注。

思必馳牽手南京文投，探索大模型文化產(chǎn)業(yè)落地

9月22日上午，南京文投集團(tuán)數(shù)字化發(fā)布會(huì)如期進(jìn)行，南京文投重磅發(fā)布了文化大數(shù)據(jù)、文博大模型、文脈區(qū)塊鏈、文都元宇宙等多項(xiàng)全國首發(fā)創(chuàng)新成果。

思必馳副總經(jīng)理鄒平博士發(fā)表致辭

思必馳副總經(jīng)理鄒平博士作為合作伙伴代表發(fā)表了致辭，他表示，未來思必馳將充分發(fā)揮自身在數(shù)字人、語言大模型等領(lǐng)域的技術(shù)研發(fā)優(yōu)勢(shì)，與南京文投在多個(gè)維度展開深度合作，共同探索AI大模型在文化大產(chǎn)業(yè)的創(chuàng)新落地。

思必馳產(chǎn)品總監(jiān)馬斌斌出席圓桌論壇

9月22日下午，思必馳產(chǎn)品總監(jiān)馬斌斌出席了大模型時(shí)代AIGC賦能文化產(chǎn)業(yè)發(fā)展論壇圓桌環(huán)節(jié)。針對(duì)生成式AI、大模型、AIGC等行業(yè)前沿科技議題，依托于思必馳在AI領(lǐng)域多年的科研探索，馬總發(fā)表了專業(yè)的行業(yè)見解。

思必馳副總裁李春梅發(fā)表演講

9月23日上午，思必馳副總裁李春梅在大會(huì)分論壇2023第二屆中國（南京）文化元宇宙論壇中，發(fā)表了《語言文化大模型賦能數(shù)字文化產(chǎn)業(yè)新應(yīng)用與新范式》的專題演講，對(duì)于思必馳在語言大模型賦能文化產(chǎn)業(yè)生態(tài)和吳方言數(shù)字化等領(lǐng)域的研發(fā)優(yōu)勢(shì)和落地成果案例進(jìn)行了分享。

大模型賦能數(shù)字人，思必馳口型驅(qū)動(dòng)技術(shù)獲關(guān)注

基于AI口型驅(qū)動(dòng)技術(shù)，思必馳為本次大會(huì)帶來了AI數(shù)字人整體解決方案。思必馳AI口型驅(qū)動(dòng)技術(shù)通過計(jì)算機(jī)圖形和深度學(xué)習(xí)技術(shù)提取真人說話過程中人物面部變化與語言、聲音的關(guān)鍵特征，完成口型模型的建模。該模型可以通過直接輸入音頻文件或通過語音合成技術(shù)將文本合成為音頻，推理生成真人說話時(shí)的口型并遷移到原本的視頻畫面中，實(shí)現(xiàn)高度逼真的口型還原。

思必馳AI口型驅(qū)動(dòng)技術(shù)在現(xiàn)場(chǎng)引起了熱烈的討論，訪客只需要隨機(jī)輸入一段文字，就可現(xiàn)場(chǎng)實(shí)時(shí)生成對(duì)應(yīng)的口型，該段語音也會(huì)被同步生成到思必馳展臺(tái)現(xiàn)場(chǎng)的數(shù)字人大屏中，完成人機(jī)互動(dòng)。思必馳數(shù)字人可以支持漢語、英語、法語、俄語等多語種和粵語、閩南語、吳語等多種方言以及蘿莉音、大叔音等多種趣味音色匹配生成。

數(shù)字人的打造需要運(yùn)用計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺、自然語言處理、智能語音等領(lǐng)域的知識(shí)和技術(shù)，而全鏈路語音語言交互技術(shù)恰恰是思必馳多年深耕的創(chuàng)新優(yōu)勢(shì)。借著科技創(chuàng)新的時(shí)代東風(fēng)，思必馳于2023年7月正式發(fā)布了語言大模型DFM-2。基于DFM-2大模型推出的自然場(chǎng)景數(shù)字人生成技術(shù)，在外貌上，思必馳采用擴(kuò)散生成模型，通過小數(shù)據(jù)模型訓(xùn)練，基于真人形象，構(gòu)建出可自由交互的數(shù)字形象。在語音上，思必馳通過聲音復(fù)刻、單人千音、細(xì)粒度情感及風(fēng)格合成、音頻場(chǎng)景合成等系列技術(shù)，為數(shù)字人賦予語言能力，讓數(shù)字人變得更加鮮活。

思必馳打造的數(shù)字人從形態(tài)到聲音上都媲美真人，不僅能說會(huì)道，還精通粵語、四川話、上海話等各地方言及英語、法語、俄語等多國語言，可廣泛應(yīng)用于智能家居、智能車載、智能軌交、市場(chǎng)營銷等場(chǎng)景，為人類生活帶來更多可能。

在市場(chǎng)營銷領(lǐng)域，數(shù)字人可用于線上直播創(chuàng)新產(chǎn)品營銷推廣形式，幫助企業(yè)節(jié)省人力成本；在智能汽車領(lǐng)域，數(shù)字人可融入車載系統(tǒng)，提供導(dǎo)航、新聞播報(bào)等服務(wù)，在智慧座艙、智慧出行等領(lǐng)域都有很大優(yōu)勢(shì)；在家居領(lǐng)域，數(shù)字人可入駐家電大屏中，為用戶提供菜譜推薦、家務(wù)規(guī)劃、情感陪伴等交互式體驗(yàn)，成為用戶貼心的數(shù)字人管家；在軌交領(lǐng)域，數(shù)字人可在車站提供路線導(dǎo)航、購票規(guī)劃、信息咨詢等服務(wù)，擺脫時(shí)間空間局限，靈活高效。

聚焦智能語音創(chuàng)新，思必馳多領(lǐng)域探索科技落地

依托于多年在全鏈路語音語言交互技術(shù)領(lǐng)域的深耕，思必馳已經(jīng)積累起了一整套的技術(shù)專利優(yōu)勢(shì)。在DFM-2大模型技術(shù)的加持下，思必馳自主研發(fā)的全鏈路智能對(duì)話系統(tǒng)定制化平臺(tái)DUI已升級(jí)為2.0版本，可實(shí)現(xiàn)場(chǎng)景化對(duì)話系統(tǒng)的柔性組合制造，為客戶提供定制化服務(wù)。聚焦“云+芯”戰(zhàn)略，思必馳堅(jiān)持軟硬件一體化人機(jī)對(duì)話系統(tǒng)構(gòu)建，在AI芯片、AI模組和AI終端等領(lǐng)域均有產(chǎn)品落地。思必馳智能會(huì)議轉(zhuǎn)寫軟件麥耳會(huì)記和智能會(huì)議麥克風(fēng)音箱M4、M6、M12系列已經(jīng)在智能會(huì)議場(chǎng)景中深度應(yīng)用。

在賦能文化產(chǎn)業(yè)方面，思必馳的AI數(shù)字人解決方案已在媒體、文旅、教育、大健康、智能家庭等領(lǐng)域廣泛布局，未來，思必馳將繼續(xù)探索數(shù)字人在智能汽車、智能家居、智慧辦公、智能政務(wù)等領(lǐng)域的落地應(yīng)用，發(fā)揮技術(shù)研發(fā)優(yōu)勢(shì)，落地創(chuàng)新成果，使科技理想照亮現(xiàn)實(shí)生活。

審核編輯：彭菁