Sora到底牛在哪 | AI爆發(fā)的大趨勢(shì)下，普通人真正該學(xué)的是什么

Sora炸裂了的地方，在于它能理解自然語(yǔ)言，知道那個(gè)畫面該是怎么樣的，它學(xué)習(xí)很多視頻內(nèi)容（大力出奇跡，需要很多算力），而且一上來就是能制作60s的視頻，剛好是短視頻的需求，之前的AI視頻生成的時(shí)間都很短（幾秒鐘).

就說Sora有多火吧，生成的視頻上線一個(gè)，瘋傳一個(gè)。

明顯能看出來Sora生成的視頻中的各項(xiàng)細(xì)節(jié)都讓人驚嘆，一如去年的ChatGPT，Sora被認(rèn)為是AGI（通用人工智能）的又一個(gè)里程碑時(shí)刻。

一.sora的出現(xiàn)可以如何看待:

對(duì)于許多行業(yè)來說，都應(yīng)該關(guān)注Open AI和sora這些人工智能相關(guān)的產(chǎn)品。

尤其是對(duì)設(shè)計(jì)領(lǐng)域來說，比如以前做logo、做海報(bào)、宣傳冊(cè)、做操作視頻剪輯、拍攝等等相關(guān)的行業(yè)。

其一是思考，面對(duì)這些新技術(shù)、新工具，對(duì)自己有哪些挑戰(zhàn)，應(yīng)對(duì)策略是什么。

其二是結(jié)合，基于自己當(dāng)前的業(yè)務(wù)，哪些可以利用這些技術(shù)進(jìn)行結(jié)合，從而提升自己的效率和業(yè)務(wù)場(chǎng)景。

比如美圖秀秀、稿定設(shè)計(jì)、剪映等產(chǎn)品，就基于AI立馬推出了相關(guān)的產(chǎn)品。

（PS：目前 openai 官方還未開放 sora 灰度，不過根據(jù)文生圖模型 DALL·E 案例，一定是先給 ChatGPT Plus 付費(fèi)用戶使用，需要注冊(cè)或者升級(jí) GPT Plus 可以看這個(gè)教程:升級(jí) ChatGPT Plus 的教程，一分鐘完成升級(jí))

二. 以終為始地看，AI爆發(fā)的大趨勢(shì)下，普通人真正該學(xué)的是什么？

我覺得有三點(diǎn)：講故事的能力、結(jié)構(gòu)化思考力和內(nèi)容專業(yè)力。

1. 講故事的能力

以文生視頻為例，先不說Sora，很多人連Pika、Runway都用不利索。

用文字描述一件事、一個(gè)觀點(diǎn)、一個(gè)訴求并不難，但描述一段畫面、一個(gè)場(chǎng)景、一則完整故事，對(duì)絕大多數(shù)人是極高的門檻。

Sora不會(huì)讓影視行業(yè)失業(yè)，正相反，如果視頻生成的AI技術(shù)持續(xù)普及，會(huì)讓真正會(huì)寫故事的人發(fā)揮才能，而不是受限于影視行業(yè)的潛規(guī)則而灰心放棄。

2. 結(jié)構(gòu)化思考力

很多寫Sora的文章，都在講它在模型算法、算力涌現(xiàn)、物理模擬上的創(chuàng)新。對(duì)我而言，會(huì)更驚訝它在訓(xùn)練視頻數(shù)據(jù)時(shí)，以一種結(jié)構(gòu)化提示詞方法，解決了視頻標(biāo)注問題：

“We first train a highly descriptive captioner model and then use it to produce text captions for all videos in our training set”

本質(zhì)上看，無(wú)論是B端訓(xùn)練數(shù)據(jù)，還是C端和大模型對(duì)話，都用到了結(jié)構(gòu)化表達(dá)能力。包括那些所謂“Sora培訓(xùn)”，其實(shí)教你的也是怎么寫好提示詞。舉個(gè)例子，對(duì)這樣的場(chǎng)景：

該怎么描述呢？一個(gè)在沉思的老爺爺？一個(gè)戴眼鏡的老爺爺？一個(gè)在咖啡廳發(fā)呆的老爺爺？可能大部分人想到這兒就結(jié)束了。但更加結(jié)構(gòu)化的描述可以是：

主體人物：：一位 60 多歲留著胡須的白發(fā)老人

鏡頭景別：臉部特寫

背景環(huán)境：巴黎的一家咖啡館

人物狀態(tài)：注視著窗外行走的人們，一動(dòng)不動(dòng)陷入沉思，后又抿嘴微微一笑

人物細(xì)節(jié)：穿著一件羊毛大衣和一件紐扣襯衫、頭戴棕色貝雷帽，戴著眼鏡，像是個(gè)教授

環(huán)境細(xì)節(jié)：金色的燈光和背景中的巴黎街道和城市

鏡頭技術(shù)：景深、35 毫米電影膠片，有電影感

具備寫出上述提示詞的能力，才能真正發(fā)揮多模態(tài)技術(shù)的價(jià)值。這背后蘊(yùn)含著的，就是結(jié)構(gòu)化總結(jié)和思考能力。

有句話很形象，寫提示詞就像客戶講brief，能把需求說清楚，就離正確答案不遠(yuǎn)了。

3. 內(nèi)容專業(yè)力

這點(diǎn)又說回到創(chuàng)作者本身，我比較喜歡楊遠(yuǎn)騁老師（「躺島」和「新世相」聯(lián)合創(chuàng)始人）的一個(gè)觀點(diǎn)：

最大的影響會(huì)是出現(xiàn)新的創(chuàng)作者，會(huì)出現(xiàn)完全不在人們視野里的新的內(nèi)容偶像，他們有非常好的品位、思維方式和世界觀，但受限于表達(dá)技術(shù)，在過去卻連基本的視頻制作能力都不具備。

Koji，公眾號(hào)：十字路口CrossingSora 喧囂過后，理性浮現(xiàn) | 我問出了這 5 位頂級(jí)創(chuàng)作者的真實(shí)想法

是的，除了上文提到的講故事能力。如果你具備對(duì)“好內(nèi)容”的理解力，懂得怎樣更合理地設(shè)計(jì)腳本、做分鏡、上特效、畫故事板、運(yùn)鏡、調(diào)度、選角、布景、調(diào)光、配音、后期等等，AI就是你發(fā)揮想象力最好的幫手。能用好 AI 的人，一定能做出更好作品、獲得更多收入。

因此我堅(jiān)定地認(rèn)為，這波AI趨勢(shì)，對(duì)高潛力的作家、畫手、設(shè)計(jì)師、編劇等創(chuàng)作者，是絕對(duì)的利好。如果你也想從中獲益，先把“創(chuàng)作一部好內(nèi)容”作為目標(biāo)學(xué)起來吧。

總的來講，我認(rèn)為圍著Sora去追新聞沒啥必要。能跳出對(duì)Sora本身鋪天蓋地的宣傳，去思考這背后該真正掌握的技能是什么。用結(jié)構(gòu)化思維去訓(xùn)練講故事的能力，成為一名優(yōu)秀創(chuàng)作者，才是值得為此付出時(shí)間的。

三、sora原理常見問題及解答:

Q：訓(xùn)練數(shù)據(jù)的一個(gè) clip 中如果有場(chǎng)景/鏡頭的切換，那 casual 3D CNN 還是會(huì)和過往的幀都有關(guān)系嗎？

A：訓(xùn)練數(shù)據(jù)中大概率是有：一個(gè) clip 有鏡頭/場(chǎng)景的切換。如果有切換，那么使用 casual 3D CNN 可能會(huì)帶來問題：在切換前后的內(nèi)容是不同的，不僅會(huì)增加模型訓(xùn)練難度，也會(huì)帶來瑕疵。這個(gè)可能就直接訓(xùn)練了，通過相應(yīng)數(shù)據(jù)的訓(xùn)練就能解決。

Q：訓(xùn)練數(shù)據(jù)的來源？

A：大家猜測(cè)有 1）youtube 的視頻。2）Shutterstock，之前有公告：Shutterstock 擴(kuò)大與 OpenAI 的合作伙伴關(guān)系，簽署新的六年協(xié)議以提供高質(zhì)量的訓(xùn)練數(shù)據(jù)：渲染引擎的數(shù)據(jù)，這個(gè)網(wǎng)絡(luò)上大家貼出了一些間接證據(jù)。渲染引擎的數(shù)據(jù)能夠針對(duì)性地模擬出很多符合 3D 一致性、物理一致性的數(shù)據(jù)，對(duì)于模型的訓(xùn)練應(yīng)該有很好的幫助。

Q：輸出變長(zhǎng)的長(zhǎng)度、分辨率和長(zhǎng)寬比是如何做到的？

A：1. diffusion 過程中，輸入的 noise tokens 就添加 factorized positional embedding。比如最直接的實(shí)現(xiàn)方式，每個(gè) token 對(duì)應(yīng)有三個(gè)數(shù)字（t, h, w）分別表示時(shí)間、長(zhǎng)和寬，然后添加相應(yīng)的 position embedding 去區(qū)分。

訓(xùn)練的時(shí)候也采用了變長(zhǎng)的長(zhǎng)度、分辨率和長(zhǎng)寬比。這些 examples 模型在訓(xùn)練的時(shí)候見過。

這樣，可以做到技術(shù)報(bào)告中提到的：At inference time, we can control the size of generated videos by arranging randomly-initialized patches in an appropriately-sized grid。

審核編輯 黃宇