電子發(fā)燒友App
1. 何謂魔幻現(xiàn)實(shí)主義
Diana Hu首先通過(guò)四本書來(lái)介紹何謂魔幻現(xiàn)實(shí)主義。
例如，《百年孤獨(dú)》的作者是加西亞·馬爾克斯，一位諾貝爾文學(xué)獎(jiǎng)獲得者。他來(lái)自哥倫比亞，而這本書與馬孔多鎮(zhèn)有關(guān)，同時(shí)涉及大量關(guān)于哥倫比亞的歷史。它敘述了一個(gè)家庭的日常生活，一段關(guān)于孤獨(dú)的旅程。這本書的有趣之處在于，它以新聞和世俗的方式講述了一系列故事，但其中的角色經(jīng)歷了很多看似普通的神奇經(jīng)歷。例如，有會(huì)變老的鬼魂，有能夠飛行的飛毯，而這對(duì)于那里的角色來(lái)說(shuō)似乎是最普通不過(guò)的事情。
第二本書是弗蘭茲·卡夫卡的《變形記》。它講述了一個(gè)年輕工作狂的故事。突然有一天，這個(gè)年輕人變成一只昆蟲，然后從昆蟲的視角來(lái)感受現(xiàn)實(shí)和社會(huì)。這本書的有趣之處在于故事的敘述方式，這種昆蟲變形十分奇異，但在故事中，這聽起來(lái)十分正常，仿佛只是剛剛發(fā)生的一件普通事情。你醒來(lái)，你變成了昆蟲，就這樣而已。
第三本書的作者是村上春樹。他是一位日本作家，這本書的書名是《奇鳥行狀錄》。這是一個(gè)關(guān)于岡田亨尋找妻子失蹤的貓咪的偵探故事。這聽起來(lái)同樣十分正常，但有趣的是，隨著故事的開展，他開始在東京發(fā)現(xiàn)了一系列奇幻的事情。這個(gè)故事同時(shí)是以一種非常實(shí)事求是式的方法來(lái)敘事故事，令這一切看似十分魔幻的事情是可以出現(xiàn)在我們的日常生活之中。
最后第四本書改編成了電影，由蘿拉·艾斯齊維撰寫的《巧克力情人》，它講述了一位禁止婚戀的女人在制作巧克力時(shí)能夠釋放魔法的故事。同樣，這樣戲劇化的事件在故事中是非常平常的事情。
她說(shuō)道：“上面提到的書籍及作者有什么共同之處呢？所有這一切都遵循一種名為魔幻現(xiàn)實(shí)主義的文學(xué)寫作方式，不是科幻作品或幻想作品，而是魔幻現(xiàn)實(shí)主義。對(duì)于幻想主義，一個(gè)關(guān)鍵的要點(diǎn)是它需要一個(gè)完全不同于現(xiàn)世的世界，如《權(quán)力的游戲》，《哈利波特》或《星球大戰(zhàn)》。一個(gè)不存在于現(xiàn)世的，完全不同的世界?？苹米髌吠瑯硬皇悄Щ矛F(xiàn)實(shí)主義，它主要描述了一個(gè)變樣的世界誒，其中科學(xué)帶來(lái)了瘋狂的進(jìn)步。”
魔幻現(xiàn)實(shí)主義的有趣之處在于，其虛構(gòu)的元素發(fā)生在我們的現(xiàn)世世界中。它們可能發(fā)生在你的鄰居身上，可能是我向你講述的故事，或者是你奶奶向你講述的故事。它對(duì)魔幻元素有一個(gè)有趣的介紹，而魔幻元素在很多時(shí)間都可以作為升華故事和敘述故事，或者批判現(xiàn)實(shí)社會(huì)所發(fā)生的事情，如卡夫卡和《變形記》對(duì)社會(huì)孤立的批判。
2. 映照現(xiàn)實(shí)的魔幻啟示
上面所提的內(nèi)容有什么關(guān)系呢？對(duì)于這種映照現(xiàn)實(shí)的魔幻啟示，它經(jīng)常是都以類似新聞報(bào)道的，不帶任何感情色彩的方式來(lái)敘述故事，比如說(shuō)“是的，有一條飛毯，但那又如何？”正是這種仿佛是在敘述事實(shí)一樣的方式來(lái)講述包含在日常世界中的魔幻元素，但請(qǐng)注意，這種想象力是用于豐富現(xiàn)實(shí)而不是像科幻作品或幻想作品那樣逃避現(xiàn)實(shí)。它依然是基于現(xiàn)實(shí)，因?yàn)槿绻皇悄Щ?，這將是純粹的奇思妙想。通過(guò)將其植根于現(xiàn)實(shí)世界中，這會(huì)以一種意想不到的方式構(gòu)建出令現(xiàn)實(shí)更加美好的維度。
對(duì)于大多數(shù)這樣的故事和書籍的敘述方式，一個(gè)重要的地方是它以一種引人入勝的，現(xiàn)世所無(wú)法實(shí)現(xiàn)的方式來(lái)敘述故事，但同時(shí)又令這一切顯得逼真可信，以至于你相信飛毯確實(shí)能夠飛行，鬼魂確實(shí)會(huì)變老，而且因?yàn)橄嚓P(guān)的敘事方式，它們看起來(lái)是十分普遍的事情。
這與增強(qiáng)現(xiàn)實(shí)又有什么關(guān)系呢？Diana Hu對(duì)增強(qiáng)現(xiàn)實(shí)的定義是：一種能夠?qū)⒛Щ迷匕谖锢硎澜缰小ＤЩ玫念惐葘?duì)照是數(shù)字化元素，是數(shù)字角色，它們可以顯示出現(xiàn)并無(wú)縫融合至物理世界，并且遵循物理定律和人類的行為感知方式，但同時(shí)用奇幻元素作為佐料，因?yàn)橛辛藬?shù)字，你可以用更有趣的方式來(lái)表示信息。
3. 增強(qiáng)現(xiàn)實(shí)
你如何構(gòu)建這樣的現(xiàn)實(shí)呢？其中有什么要素呢？
對(duì)于魔幻現(xiàn)實(shí)主義，其構(gòu)成是魔幻+現(xiàn)實(shí)。至于增強(qiáng)現(xiàn)實(shí)，其對(duì)應(yīng)的是數(shù)字+物理。Diana Hu指出，構(gòu)建這樣的現(xiàn)實(shí)有三個(gè)原則：探索；鍛煉和社交。
探索是指更多地探索我們周圍的世界。這意味著到處都有很多故事和冒險(xiǎn)等待被發(fā)現(xiàn)。諸如《Ingress》或《Pokemon Go》會(huì)在你的社區(qū)呈現(xiàn)一次冒險(xiǎn)之旅，而你將會(huì)找到一些自己所不了解的歷史地標(biāo)信息。
鍛煉是一個(gè)方面，我們都需要一點(diǎn)推動(dòng)力量，而這種類似于嵌入其中的，遵循其物理，遵循身體自然節(jié)奏的元素能夠增加AR的可信度。
另一方面是社交，我們天生是社交動(dòng)物。創(chuàng)建你能夠與朋友一起參與至現(xiàn)實(shí)世界的體驗(yàn)，以及創(chuàng)建一種我們可以結(jié)交新朋友的方式，不僅僅只是社交網(wǎng)絡(luò)意義上的朋友，而是某種能夠在真正意義上與你建立聯(lián)系的朋友。
Diana Hu繼續(xù)指出，數(shù)字世界應(yīng)該遵循與現(xiàn)實(shí)世界類似的規(guī)則，從而維持真實(shí)感。作為現(xiàn)實(shí)的一部分，世界十分多樣化，其存在諸如天氣這樣的元素，它會(huì)下雨，它會(huì)出太陽(yáng)，又或者會(huì)下雪等等，所以Niantic希望游戲能夠?qū)⑵潴w現(xiàn)出來(lái)。這是《Pokemon Go》中的一項(xiàng)功能。當(dāng)下雨時(shí)，你會(huì)看到相應(yīng)的效果會(huì)正確得呈現(xiàn)在手機(jī)的數(shù)字屏幕之中。
4. 實(shí)現(xiàn)可信的數(shù)字元素
如果實(shí)現(xiàn)可信的數(shù)字元素呢？Diana Hu表示我們可以向魔幻現(xiàn)實(shí)主義大師學(xué)習(xí)，因?yàn)樗麄円呀?jīng)編織了所有這些可信的故事，當(dāng)你閱讀它們時(shí)，你能夠完全沉醉其中。對(duì)于AR，我們?nèi)绾巫龅竭@一點(diǎn)呢？
這主要涉及三個(gè)元素：理解世界；視覺；創(chuàng)造。
為了實(shí)現(xiàn)優(yōu)秀的AR體驗(yàn)，首先你需要理解世界，然后才能用數(shù)字增強(qiáng)世界。這意味著你必須主要利用所有不同的傳感器，比如說(shuō)攝像頭。你需要開始理解和解釋它的意義，語(yǔ)義，并且標(biāo)記你所看到的內(nèi)容。理解世界與SLAM和Vince等算法息息相關(guān)，其中你利用不同的攝像頭捕獲位置來(lái)進(jìn)行三角測(cè)量，并且通過(guò)基于時(shí)間的立體視覺來(lái)建立3D理解，然后進(jìn)行特征提取和使用一系列其他組件來(lái)構(gòu)建用于AR的世界表示。為什么AR需要它們呢？因?yàn)闉榱孙@示數(shù)字角色，你需要將它們鎖定于世界。你如何鎖定它們呢？你必須大致了解你的相干系統(tǒng)，而SLAM具備構(gòu)建它的能力。
另一點(diǎn)是視覺的需要。為了顯示可信的數(shù)字對(duì)象和數(shù)字角色，它們需要融入至真實(shí)世界。你需要?jiǎng)?chuàng)建中合理存在于3D空間中的角色。這是一個(gè)充滿圖形，3D動(dòng)畫或諸如此類的世界。
第三點(diǎn)是創(chuàng)造。你擁有了所有這些組成要素，‘好，我理解了世界?，F(xiàn)在，我可以渲染一些角色’，接下來(lái)你應(yīng)該如何創(chuàng)建角色呢？增強(qiáng)現(xiàn)實(shí)之所以適合游戲的原因是，游戲開發(fā)者一直以來(lái)都是以在3D中感覺自然的方式來(lái)創(chuàng)建世界和體驗(yàn)。用于構(gòu)建體驗(yàn)的工具有諸如Unity和Unreal及其他。
4.1 為人類感知設(shè)計(jì)AR系統(tǒng)
Diana Hu討論了構(gòu)成AR的一些要素。她同時(shí)提到與AR相關(guān)的重要方面：人類。你必須構(gòu)建能夠響應(yīng)人類的AR系統(tǒng)。上文提到的很多算法都與自動(dòng)駕駛汽車相似，而這是兩者產(chǎn)生不同的地方，因?yàn)锳R系統(tǒng)需要為人類提供非常高的交互性。
Diana Hu提到了米勒響應(yīng)時(shí)間測(cè)試。這個(gè)研究的核心是，對(duì)于任何不足100毫秒的響應(yīng)，你會(huì)感覺它是瞬間或?qū)崟r(shí)發(fā)生，或者感覺自然。
一秒左右足夠快，但不是瞬時(shí)，這樣的速度足夠獲得響應(yīng)，但不夠好。如果它超過(guò)10秒，也許當(dāng)你看到加載欄時(shí)你就會(huì)失去用戶，因?yàn)橛脩魧⑹ツ托?。所以，你需要設(shè)計(jì)小于100毫秒的系統(tǒng)。這是創(chuàng)建難以置信的真實(shí)感或令一切成為支持物理世界支持我們感官的事實(shí)的關(guān)鍵。
右圖的研究是關(guān)于心理學(xué)場(chǎng)景感知期間的眼球運(yùn)動(dòng)和視覺編碼，它說(shuō)明視網(wǎng)膜需要看著圖像80毫秒左右才能完全登記完成，并理解它是什么。
4.2 提高響應(yīng)時(shí)間
要構(gòu)建可信的AR，我們需要在移動(dòng)設(shè)備的限制內(nèi)構(gòu)建足夠迅速的AR系統(tǒng)。它們只能提供小量的計(jì)算，它們的續(xù)航不長(zhǎng)，攝像頭質(zhì)量不夠好，而且大多數(shù)傳感器相較于機(jī)器人或自動(dòng)駕駛汽車系統(tǒng)都有點(diǎn)低端。對(duì)于后者，你或許可以把GPU放到汽車尾箱。但對(duì)于移動(dòng)設(shè)備，你顯然不想這樣做，因?yàn)樵谖磥?lái)當(dāng)我們發(fā)展到頭顯時(shí)代時(shí)，你不會(huì)希望燒著用戶的頭發(fā)。有很多諸如此類的約束，所以你必須為低計(jì)算和低續(xù)航進(jìn)行優(yōu)化，同時(shí)實(shí)現(xiàn)非常非?？斓捻憫?yīng)速度。
我們?nèi)绾巫龅侥兀?/p>
Niantic采取了上面這兩個(gè)設(shè)計(jì)原則。一個(gè)是你希望盡可能實(shí)現(xiàn)超級(jí)高效的網(wǎng)絡(luò)；另一個(gè)要素是并行編程。
Diana Hu說(shuō)道：“世界正在越來(lái)越多地朝多核發(fā)展，而非單個(gè)越來(lái)越快的大核，所以我們需要可以利用這一點(diǎn)，令更多的核心而非單個(gè)大核來(lái)負(fù)責(zé)處理。一個(gè)例子是iPhone的處理器，甚至是三星設(shè)備的處理器，四個(gè)大核心和四個(gè)小核心的設(shè)計(jì)。四個(gè)小核心負(fù)責(zé)快速簡(jiǎn)單的計(jì)算，四個(gè)大核心負(fù)責(zé)計(jì)算負(fù)載更高的任務(wù)，所以你需要聰明地利用它們，而隨著時(shí)間的發(fā)展，這種設(shè)計(jì)將會(huì)越來(lái)越普遍。”
她進(jìn)一步指出，我們的生活是實(shí)時(shí)進(jìn)行。當(dāng)你和朋友說(shuō)話時(shí)你沒有加載條，你希望與包含角色的AR體驗(yàn)同樣沒有加載條，它們應(yīng)該要感覺自然。
傳統(tǒng)云架構(gòu)服務(wù)的當(dāng)前限制之一是，對(duì)于大多數(shù)基于云端的應(yīng)用程序，一系列的機(jī)器都是托管在遠(yuǎn)處。如果你經(jīng)常逛亞馬遜，弗吉尼亞州或俄勒岡州的亞馬遜，當(dāng)你在世界其他地方付款時(shí)，潛在的往返將是幾百毫秒。單單這個(gè)數(shù)字已經(jīng)超過(guò)我之前提到的低于100毫秒的人類感知。如果是幾百毫秒并且你嘗試渲染你朋友的AR位置，你將大致是每秒渲染一個(gè)位數(shù)的幀，而這是非常糟糕的事情。
Diana Hu接下來(lái)列出了四個(gè)象限：實(shí)時(shí)；非實(shí)時(shí)；可靠信息；不可靠信息。顯然，逼真可信的AR需要位于左上象限。
我們?nèi)绾芜_(dá)到我們想要的象限？事實(shí)上，沒有一種神奇的解決方案能夠真正結(jié)合兩者。當(dāng)然，是有一些新的網(wǎng)絡(luò)協(xié)議或一些巧妙的解決方案。
Diana Hu解釋說(shuō)，Niantic用自己的網(wǎng)絡(luò)協(xié)議來(lái)建立AR技術(shù)的實(shí)時(shí)P2P技術(shù)。她指出：“你可以把它想象成WebSockets，但效果更好，不是非常笨重，但對(duì)包，對(duì)計(jì)算機(jī)視覺進(jìn)行了優(yōu)化。如果你嘗試?yán)迷贫祟I(lǐng)域，你手機(jī)撥號(hào)一次，信號(hào)進(jìn)入一個(gè)手機(jī)信號(hào)塔，然后進(jìn)入云端，然后云端又傳到手機(jī)信號(hào)塔，最后再傳到另一個(gè)手機(jī)。整個(gè)往返是幾百毫秒，而屆時(shí)你不會(huì)看到你的朋友被虛擬角色所包裹。畫面會(huì)不和諧，因?yàn)榇嬖谄?。它將發(fā)送先前的位置，而不是當(dāng)前的位置?！?/p>
“我們所做的事情是砍掉將往返云端的過(guò)程，而是直接與手機(jī)信號(hào)塔對(duì)話。這是一種有趣的方法，因?yàn)樵?a href="http://www.wenjunhu.com/v/tag/1225/" target="_blank">5G的世界中，數(shù)據(jù)傳輸速度變得更快。這是另一項(xiàng)定律，計(jì)算存在各種各樣的定律，埃德霍姆帶寬定律表明無(wú)線通信在某個(gè)時(shí)候?qū)⑴c有線通信一樣快。存在可以做到這一點(diǎn)的物理定律和數(shù)據(jù)傳輸方法?！?/p>
“圍繞邊緣計(jì)算的概念正在推動(dòng)業(yè)界將計(jì)算放在手機(jī)信號(hào)塔上，由于我前面提到的所有原因，這對(duì)AR而言將非常有趣。你可以開始聚合一些計(jì)算并在信號(hào)塔中執(zhí)行它們?，F(xiàn)在，我們所做的實(shí)際上只是在手機(jī)進(jìn)行操作，并消耗多一點(diǎn)你的電池電量，但稍后我們可以減少這一點(diǎn)。這是行業(yè)發(fā)展的有趣之處，同時(shí)是我們押寶的地方?，F(xiàn)在，你可以從幾百毫秒減少到幾十毫秒，然后你就達(dá)到了人類響應(yīng)時(shí)間方面的神奇預(yù)算?！?/p>
4.3 加速計(jì)算
另一個(gè)設(shè)計(jì)考慮因素是加速計(jì)算這個(gè)概念，目前行業(yè)正在實(shí)現(xiàn)更多的內(nèi)核而非更大的內(nèi)核。我們?nèi)绾巫龅竭@一點(diǎn)？
Diana Hu首先從High Level入手講述傳統(tǒng)的增強(qiáng)現(xiàn)實(shí)SLAM管道。對(duì)于High Level，你有這四個(gè)階段。你有來(lái)自像素和IMU的原始傳感器輸入，亦即陀螺儀加速度計(jì)，然后它們用于特征提取，以更有用的方式提取數(shù)據(jù)。
Diana Hu提到我們不應(yīng)該使用原始圖像。她舉例道：對(duì)于攝像頭，如果你面對(duì)的是1080P，想象一下你獲得的是一個(gè)1080×720再乘以3的矩陣，因?yàn)槭荝GB。這未進(jìn)行壓縮，所以是很大，10的6次方或10的8次方，速度是每秒30到60赫茲。你的手機(jī)很難處理所有這一切并一直予以支持。
然后你還有其他數(shù)據(jù)，而它們都是用于慣性測(cè)量單元的高分辨率數(shù)據(jù)，慣性測(cè)量單元基本上是陀螺儀和加速度計(jì)，它們能夠說(shuō)明X，Y，Z旋轉(zhuǎn)加速度，同時(shí)可以說(shuō)明你在世界中的位置。這是有損的數(shù)據(jù)。從技術(shù)上你可以根據(jù)它們知道你在這個(gè)世界中的位置，但由于這些都是非常廉價(jià)的傳感器，所以會(huì)積累很多的錯(cuò)誤。
所以，Niantic致力于特征提取。所謂的特征提取是，你將這個(gè)原始矩陣（1080×720）分為3個(gè)通道，這里只是一個(gè)灰度通道，然后提取基于場(chǎng)景紋理的特征。
Diana Hu進(jìn)一步解釋說(shuō)：“我們采用了傳統(tǒng)的計(jì)算機(jī)視覺算法，當(dāng)實(shí)現(xiàn)原始版本時(shí)，比如說(shuō)每秒單位數(shù)的幀數(shù)，他們能夠達(dá)到每秒60幀。我們沒有對(duì)算法進(jìn)行任何改動(dòng)，這基本上只是一種新的編程范式。這是一個(gè)新的并發(fā)編程框架，名為角色模型。在High Level層面，“角色”是完全孤立的原始計(jì)算單元，并使用內(nèi)部狀態(tài)進(jìn)行某種計(jì)算。它們不會(huì)妨礙任何人，它們有自己的內(nèi)存trunk。”（注：角色模型/Actor Model是一種并發(fā)運(yùn)算上的模型?！敖巧笔且环N程序上的抽象概念，被視為并發(fā)運(yùn)算的基本單元：當(dāng)一個(gè)角色接收到一則消息，它可以做出一些決策、創(chuàng)建更多的角色、發(fā)送更多的消息、決定要如何回答接下來(lái)的消息。角色模型在1973年于Carl Hewitt、Peter Bishop及Richard Steiger的論文中提出）。
這里的關(guān)鍵字是異步。你沒有妨礙其他人或等待其他人，因?yàn)槿绻汩_始基準(zhǔn)測(cè)試和運(yùn)行這些SLAM系統(tǒng)，有一半的時(shí)間你只是忙著循環(huán)和等待，而你正改變是情景的成本十分昂貴。“角色”系統(tǒng)擺脫了這一點(diǎn)，因?yàn)樗鼈兌际峭耆?dú)立的計(jì)算塊。
5. 總結(jié)
作為總結(jié)，Diana Hu主要討論了AR中的魔幻現(xiàn)實(shí)主義；我們可以做些什么來(lái)實(shí)現(xiàn)這一點(diǎn)；如何令數(shù)字元素可信；以及我們?nèi)绾螢槿祟惛兄獦?gòu)建AR系統(tǒng)感等等。她認(rèn)為，至少對(duì)于AR來(lái)說(shuō)，實(shí)現(xiàn)高響應(yīng)速度并為之優(yōu)化非常重要。
工商網(wǎng)監(jiān)
評(píng)論