OpenAI又打出王炸！一句話生成60秒視頻，馬斯克：人類認(rèn)輸吧

電子發(fā)燒友網(wǎng)報道（文/梁浩斌）在大年初七，春節(jié)假期的尾聲，OpenAI突然發(fā)布的AI文字生成視頻模型Sora被全網(wǎng)刷屏，馬斯克甚至感嘆“gg Humans”（gg是good game的縮寫，在競技游戲中原意為稱贊對方打得不錯，但目前主流的含義是代表認(rèn)輸退出）。

文字生成視頻的AI模型其實之前也有不少，比如去年11月美國AI初創(chuàng)公司Pika Labs發(fā)布的Pika 1.0；去年Runway推出了文生視頻模型Gen-1，并完成了兩次迭代；還有谷歌團隊發(fā)布的視頻生成模型VideoPoet。但問題在于，此前市面上的文生視頻模型只能生成數(shù)秒，最高十多秒的視頻。而Sora一上來就是60秒的視頻長度，且生成視頻的細(xì)節(jié)、質(zhì)量幾乎“秒殺”其他文生視頻模型，這足以顛覆目前的視頻生成模型初創(chuàng)公司的格局。

視頻生成質(zhì)量炸裂，好萊塢時代要結(jié)束了？

Sora生成的視頻效果有多強？下面是OpenAI在官網(wǎng)展示的第一個視頻，也是最能夠表現(xiàn)Sora實力的視頻。


這個視頻的提示詞為“一位時尚女士走在東京的街道上，街道上充滿了溫暖的霓虹燈和動畫城市標(biāo)志。她穿著黑色皮夾克、紅色長裙和黑色靴子，拿著一個黑色錢包。她戴著太陽鏡，涂著紅色口紅。她走路自信而隨意。街道潮濕且反光，形成了五顏六色燈光的鏡面效果。許多行人四處走動?！?br />
從視頻中，無論是運鏡還是人物、地面、背景的細(xì)節(jié)，還有拉進鏡頭后人物面部上的皺紋、毛發(fā)、墨鏡上的反光，都幾乎可以以假亂真，畫面穩(wěn)定不錯位。在長達60秒的視頻里，畫面隨鏡頭的大幅度運動并沒有出現(xiàn)錯位的情況，整體風(fēng)格保持了驚人的一致性。

在復(fù)雜場景方面，另一個演示視頻同樣展現(xiàn)了Sora的炸裂效果。下面這個視頻使用的提示詞為：“一段美麗的自制視頻展示了2056年尼日利亞拉各斯的人們。用手機相機拍攝。”

同樣是運鏡幅度巨大的場景，同時背景有大量的人物。在以往的文生圖模型中，類似這種背景有人群的圖片都會產(chǎn)生很多錯位，很容易看出AI的痕跡，而在Sora生成的這個視頻里，背景人群不仔細(xì)看很難發(fā)現(xiàn)有錯誤，特別是在動態(tài)的視頻當(dāng)中。另一方面在視頻后半段的人物近景里，大幅度運動的鏡頭同樣沒有對人物造成影響，畫面細(xì)節(jié)極為穩(wěn)定。

Sora生成視頻的穩(wěn)定，不止于單鏡頭的運動，即使是多鏡頭的畫面切換中，依然能夠保持色彩、畫面風(fēng)格的一致

除了真實場景之外，Sora還能以動畫風(fēng)格生成視頻。比如使用提示詞：“動畫場景特寫了一個跪在融化的紅燭旁的毛茸茸的小怪物。藝術(shù)風(fēng)格是3D和現(xiàn)實主義的，重點是照明和紋理。這幅畫的基調(diào)是驚奇和好奇，因為怪物睜大眼睛張著嘴凝視著火焰。它的姿勢和表情傳達出一種天真和頑皮的感覺，就好像它是第一次探索周圍的世界。暖色和戲劇性燈光的使用進一步增強了圖像的舒適氛圍。”


生成出的動畫形象與皮克斯電影幾乎不相上下，此前在動畫電影中大費周章渲染出的毛發(fā)，如今AI直接一鍵生成！難怪會有網(wǎng)友表示“好萊塢的時代要結(jié)束了”。

有博主將Sora跟Pika、Runway、Stable Video等幾個模型進行對比，對其輸入同樣的提示詞：“美麗、多雪的東京城熙熙攘攘。鏡頭穿過熙熙攘攘的城市街道，跟隨幾個享受美麗的下雪天氣和在附近攤位購物的人。絢麗的櫻花花瓣隨著雪花隨風(fēng)飛舞?！?br />
結(jié)果Sora生成的視頻無論是時間長度、還是運鏡、畫面細(xì)節(jié)，都完勝其他幾個模型生成出的視頻。比如Pika和Runway生成的視頻在短短幾秒時間里都只有固定鏡頭畫面，Stable Video有鏡頭移動的變化，但時長太短。

Sora還未完美，OpenAI揭秘背后技術(shù)

目前Sora還未對大眾開放，OpenAI表示Sora正在面向部分用戶開放，以評估關(guān)鍵領(lǐng)域的潛在危害或風(fēng)險。同時，OpenAI也邀請了一批視覺藝術(shù)家、設(shè)計師和電影制作人加入以推動模型的發(fā)展。

當(dāng)然，在驚艷的演示視頻外，Sora的視頻生成也并非完美。OpenAI也表示，目前的模型可能難以準(zhǔn)確模擬復(fù)雜場景的物理特性，也可能不理解因果關(guān)系的具體實例，比如一個人咬了一口餅干，餅干上可能沒有咬痕。Sora生成的視頻還可能混淆提示詞中關(guān)于空間的細(xì)節(jié)（比如左右），并且難以準(zhǔn)確描述隨時間發(fā)生的事件，比如跟隨特定的鏡頭軌跡等。


比如上面動圖中所使用的提示詞為“五只灰狼崽在一條偏僻的碎石路上嬉戲追逐，周圍都是草地。小狗們奔跑跳躍，相互追逐，相互撕咬，嬉戲玩?！保珜嶋H畫面中灰狼數(shù)量出錯，并且部分是憑空出現(xiàn)又憑空消失，出現(xiàn)身體互相重疊等現(xiàn)象。

對于Sora背后使用的技術(shù)，OpenAI在官網(wǎng)上發(fā)布了一篇報告進行了介紹，但只提到了方便大模型進行訓(xùn)練的數(shù)據(jù)處理方式和對Sora局限性的評價，沒有太多技術(shù)細(xì)節(jié)。

根據(jù)介紹，Sora是一種diffusion模型，它從一個看起來像靜態(tài)噪聲的視頻開始生成視頻，并通過多個步驟去除噪聲來逐漸轉(zhuǎn)換視頻。與GPT相似，Sora算法層面也采用了transformer，以釋放出強大的擴展性能。

OpenAI表示，Sora是以過于公司對DALL·E和GPT模型的研究作為基礎(chǔ)，使用了DALL·E 3中的重新標(biāo)注技術(shù)。通過用一個能夠生成詳細(xì)描述的標(biāo)注模型，為訓(xùn)練集中的所有視頻生成詳細(xì)的文字說明，這能夠提高文字準(zhǔn)確性的同時，還能提升視頻的整體質(zhì)量。

與DALL·E 3類似，OpenAI也使用了GPT將簡短的用戶提示詞轉(zhuǎn)換為更詳細(xì)的文本，所以Sora能夠準(zhǔn)確理解用戶提示，并生成對應(yīng)視頻。

另外，OpenAI還透露了Sora的其他能力，包括接受圖像和文本說明輸出視頻、能夠以時間線向前或向后擴展視頻、生成圖像、改變視頻風(fēng)格和環(huán)境、無縫連接兩個不同視頻等等。

業(yè)界大佬評價：“真的非常牛”“中美AI差距進一步拉大”

Sora的“刷屏”，引起了多位業(yè)內(nèi)大佬的關(guān)注。前阿里技術(shù)副總裁賈揚清也感嘆“Sora真的非常牛”，并認(rèn)為對標(biāo)OpenAI的公司有一波被其他大廠因為害怕錯過AI而收購相關(guān)公司的機會。對于其他算法小廠，賈揚清建議“要不就算法上媲美OpenAI，要不就垂直領(lǐng)域深耕應(yīng)用，要不就開源”，最后他預(yù)言AI infra（AI基礎(chǔ)設(shè)施）的需求會繼續(xù)猛增。

360董事長周鴻祎則回應(yīng)了如何看待Sora的問題，他認(rèn)為科技競爭最終比拼的是讓人才密度和深厚積累，“很多人說 Sora的效果吊打Pika和Runway。這很正常，和創(chuàng)業(yè)者團隊比，OpenAl 這種有核心技術(shù)的公司實力還是非常強勁的。有人認(rèn)為有了AI以后創(chuàng)業(yè)公司只需要做個體戶就行，實際今天再次證明這種想法是非?？尚Φ?。”

周鴻祎還表示，AI不一定那么快顛覆所有行業(yè)，但它能激發(fā)更多人的創(chuàng)作力。關(guān)于國內(nèi)外的AI大模型差距，周鴻祎認(rèn)為國內(nèi)大模型發(fā)展距離GPT-4.0還有一年半的差距，并且相信OpenAl手里應(yīng)該還藏著一些秘密武器?！皧W特曼是個營銷大師，知道怎樣掌握節(jié)奏，他們手里的武器并沒有全拿出來。這樣看來中國跟美國的AI差距可能還在加大?！?br />
關(guān)于大模型本身，周鴻祎對Sora理解為OpenAl利用它的大語言模型優(yōu)勢，把LLM和 Diffusion結(jié)合起來訓(xùn)練，讓Sora實現(xiàn)了對現(xiàn)實世界的理解和對世界的模擬兩層能力，這樣產(chǎn)生的視頻才是真實的，才能跳出2D的范圍模擬真實的物理世界。而得益于大量視頻的訓(xùn)練，周鴻祎認(rèn)為AI對世界的理解將遠(yuǎn)超文字學(xué)習(xí)，可能未來一到兩年就能實現(xiàn)AGI（通用人工智能）。

而作為去年年底爆火的AI視頻生成初創(chuàng)公司Pika創(chuàng)始人，郭文景將Sora的發(fā)布視為動力，表示“我們覺得這是一個很振奮人心的消息，我們已經(jīng)在籌備直接沖，將直接對標(biāo) Sora?！?br />