Sora爆紅，多模態(tài)大模型是下一發(fā)展階段

“大語言模型為 AI 產(chǎn)業(yè)帶來新的生機(jī)，然而語言模型的應(yīng)用場景有限。要全面打開生成式 AI 的想象力，還是要依托多模態(tài)大模型。”IDC 中國研究總監(jiān)盧言霞近日表示。Sora在文生視頻領(lǐng)域真正邁出了第一步，真正做到生成式 AI 驅(qū)動(dòng)生成短視頻。接下來也將刺激其他科技巨頭加快在該領(lǐng)域的技術(shù)攻關(guān)力度以及產(chǎn)品發(fā)布速度。

哪些公司有潛力快速推出類似產(chǎn)品呢？根據(jù)盧言霞的判斷，幾個(gè)最有潛力的群體包括，在大模型以及 AI 領(lǐng)域投入最為領(lǐng)先的科技巨頭，如 BAT、科大訊飛等；在計(jì)算機(jī)視覺領(lǐng)域擁有深厚積累的公司，比如商湯、?？狄活惖墓?；以及短視頻類公司；更可大膽想象，也或許會培訓(xùn)出多模態(tài)大模型的全新創(chuàng)企。

多模態(tài)大模型將率先在短視頻、廣告、互娛、影視、媒體等領(lǐng)域采用，輔助人類員工生成視頻，既可以提高生產(chǎn)速度又可以提高生產(chǎn)數(shù)量，還可以創(chuàng)造全新的視覺感受，能夠幫助企業(yè)真正實(shí)現(xiàn)降本增效、提升用戶體驗(yàn)。

根據(jù)預(yù)測，未來 5 年，生成式 AI 生成的文本類文件、圖像類文件、視頻類文件、軟件代碼類文件數(shù)量將會越來越平均。而這其中，與圖像文件相關(guān)的數(shù)據(jù)量可能是文本文件的 100 倍，視頻文件是圖像文件的 10 倍。整體來看，由于 GenAI 的采用和使用日益增多，近期和遠(yuǎn)期所創(chuàng)建數(shù)據(jù)的增長速度都將快于近幾年。

盧言霞指出，多模態(tài)大模型行業(yè)發(fā)展的挑戰(zhàn)在于：

? 高質(zhì)量數(shù)據(jù)的稀缺：圖像、視頻類數(shù)據(jù)掌握在少數(shù)公司手中。這些數(shù)據(jù)也需要標(biāo)注，甚至重新采集，才能用于大模型的訓(xùn)練。
? 多模態(tài)大模型對算力的消耗更高，算力的可獲取性以及成本將是挑戰(zhàn)之一。
? 頂尖的大模型研發(fā)人才，也是行業(yè)發(fā)展的稀缺資源。

此外，多模態(tài)大模型將帶來更嚴(yán)峻的安全方面的挑戰(zhàn)。一方面多模態(tài)大模型將讀取更多的圖像、視頻類數(shù)據(jù)，這些圖像視頻數(shù)據(jù)是否合規(guī)是否安全，需要得到保障；另一方面，生成的視頻與真實(shí)世界之間的差異，是否會影響到人身安全、社會穩(wěn)定、企業(yè)安全等，也需要注意。

當(dāng)前 Sora 生成的是1分鐘的視頻，對于行業(yè)已經(jīng)是重大突破，何時(shí)能生成2分鐘、5分鐘以上的視頻還未知，無論如何多模態(tài)大模型的應(yīng)用都將是顛覆性的。