Facebook發(fā)布研究項目Project Aria制造第一代可穿戴增強(qiáng)現(xiàn)實設(shè)備

　　在今天凌晨的FacebookConnect2020大會上，F(xiàn)acebook今天正式發(fā)布了Projectaria——這個全新的研究項目將幫助Facebook制造第一代可穿戴增強(qiáng)現(xiàn)實設(shè)備。

　　1.驚人的挑戰(zhàn)

　　想象一下，一副眼鏡能夠在物理世界的視圖之上疊加一層3d數(shù)字內(nèi)容，并在其中包含有意義的情景相關(guān)信息。這樣的設(shè)備可以幫助我們更好地完成日常任務(wù)，比如尋找鑰匙，在一個陌生城市中導(dǎo)航，或者記錄一個感人瞬間；但它同時可以為我們帶來一種全新的世界旅行方式。

　　智能手機(jī)是令人驚嘆的設(shè)備，而且它們一直在變得越來越好。但FacebookRealityLabs設(shè)想了這樣一個時代：我們可以享受到聯(lián)網(wǎng)的所有優(yōu)點（以及更多），但不必再像以往那樣低頭查看設(shè)備。想象一下，在與遠(yuǎn)方朋友通訊時，你是與栩栩如生的虛擬化身對話；想象一下，一個足夠智能的數(shù)字助理可以檢測道路危險，在商務(wù)會議中提供統(tǒng)計數(shù)據(jù)，甚至可以幫助你在嘈雜的環(huán)境中聽到自己想聽的聲音。在這個世界里，設(shè)備本身完全消融在日常生活之中。

　　當(dāng)然，這其中有很多依然是屬于科幻小說的描述。要真正制造出足夠靈活并適應(yīng)大多數(shù)臉型的眼鏡，并同時開發(fā)出支持它們的軟件，我們需要數(shù)個迭代的突破，比如增強(qiáng)視聽輸入的系統(tǒng)，情境化的人工智能，以及一個能夠容納所有一切的輕量級鏡架。這種增強(qiáng)現(xiàn)實需要計算技術(shù)的根本性進(jìn)步，一種能夠反映從圖書館和固定電話，再到個人PC和智能手機(jī)的飛躍的突破。

　　2.一種視覺搜索工具

　　ProjectAria正是朝著所述方向邁出的一步。Facebook已經(jīng)構(gòu)建了一款可以幫助研究人員理解構(gòu)建目標(biāo)ar眼鏡所需的軟件和硬件的研究設(shè)備。ProjectAria眼鏡不是消費品，也不是原型品。它們不會在鏡片顯示任何信息，研究被試無法查看或收聽設(shè)備捕捉到的原始數(shù)據(jù)。作為一種研究設(shè)備，所述的眼鏡設(shè)備將使用傳感器從佩戴者角度捕捉視頻和音頻，以及眼球運動和位置數(shù)據(jù)，從而幫助工程師和程序員理解AR在實踐中的運作。眼鏡將加密、壓縮和存儲數(shù)據(jù)，并上傳到指定的后端存儲系統(tǒng)。

　　從概念到實施，ProjectAria的設(shè)計都是為了幫助團(tuán)隊安全而負(fù)責(zé)任地進(jìn)行創(chuàng)新。所以，為了制定必要的保障措施和社會規(guī)范來管理AR眼鏡和未來可穿戴設(shè)備的使用，F(xiàn)acebookRealityLabs正在收集研究被試，以及在公共場合遇到佩戴所述設(shè)備的人員的反饋。為了更好地理解這項技術(shù)如何幫助身體能力各異的人群，團(tuán)隊正與卡內(nèi)基梅隆大學(xué)的認(rèn)知輔助實驗室（CognitiveAssistanceLaboratory）開展一個試點項目。雙方將構(gòu)建博物館和機(jī)場的3D地圖，并將其用于一系列的用例，如幫助視力受損人群更好地感知周圍環(huán)境。另外，研究收集的數(shù)據(jù)將由卡內(nèi)基梅隆大學(xué)保存。

　　FacebookRealityLabs指出，公司不會向公眾開放這款設(shè)備，亦不會對市場出售。從今年9月開始，它將提供給美國特定的Facebook員工和簽約者。作為說明，有關(guān)人員將接受過“在何時何地可以使用所述設(shè)備，以及于何時何地不應(yīng)使用所述設(shè)備”的培訓(xùn)。所述設(shè)備在家中，F(xiàn)acebook園區(qū)（重新開放之后）和公共場合收集到的數(shù)據(jù)將用于支持頭部追蹤，眼動追蹤和音頻算法的開發(fā)，從而有朝一日實現(xiàn)AR眼鏡的夢想。ProjectAria同時將提供構(gòu)建LiveMaps所需的第一人稱透視數(shù)據(jù)，以及培訓(xùn)日后可以幫助人們感知和理解世界的個性化數(shù)字助手。因為這個最初的數(shù)據(jù)集必須與盡可能多的人相關(guān)，F(xiàn)acebook正在邀請不同性別、身高、體型、種族的人群參與研究計劃。

　　3.隱私至上

　　FacebookRealityLabs再次強(qiáng)調(diào)了團(tuán)隊再保護(hù)人們隱私方面的措施。公司已經(jīng)在fb.com/projectaria頁面編寫了相關(guān)的問題回答，主要包括：

　　3.1于何時何地采集數(shù)據(jù)

　　第一批研究參與者將限于大約100名Facebook員工和簽約者，地點主要包括舊金山灣區(qū)和西雅圖。所有被試將首先接受關(guān)于何時何地收集數(shù)據(jù)的培訓(xùn)。被試無法訪問收集的數(shù)據(jù)。在采集數(shù)據(jù)時，所有設(shè)備都將突出顯示一道白光。所有設(shè)備都提供一個物理按鈕，按下按鈕后將停止收集數(shù)據(jù)。ProjectAria的研究被試將在Facebook園區(qū)、私人住宅和公共場所采集數(shù)據(jù)。未經(jīng)商店、飯店等場所的書面同意，被試將不得在相關(guān)場所采集數(shù)據(jù)。洗手間、祈禱室、更衣室等敏感區(qū)域，或敏感會議和其他私人場合都不允許錄制數(shù)據(jù)，而且只有在所有家庭成員同意的情況下，被試才能在家中錄制數(shù)據(jù)。

　　3.2透明數(shù)據(jù)采集

　　當(dāng)在公共場合佩戴研究設(shè)備時，每名被試都需要穿戴特定的服飾，從而表明其屬于ProjectAria研究的參與被試。相關(guān)的服飾同時會包括一個網(wǎng)站地址，以便周遭人員可以從中了解更多關(guān)于所述項目及其研究目的信息。隨著時間的推移，F(xiàn)acebookRealityLabs將繼續(xù)評估相關(guān)的外部指標(biāo)，從而確保項目的透明度。被試可以隨時關(guān)閉設(shè)備，停止錄制或刪除數(shù)據(jù)段。具體來說，被試可以通過智能手機(jī)端的配套應(yīng)用程序來操作相應(yīng)的時間戳。但同樣，被試無法訪問原始數(shù)據(jù)。配套應(yīng)用程序同時將包括初始培訓(xùn)課程的說明，比方說如何刪除錄制數(shù)據(jù)，于何時何地及如何以合適的方式采集數(shù)據(jù)和其他技術(shù)信息。

　　3.3數(shù)據(jù)隱私保護(hù)

　　與任何地圖數(shù)據(jù)一樣，數(shù)據(jù)的安全性至關(guān)重要。Facebook將通過一個加密的安全系統(tǒng)將數(shù)據(jù)從設(shè)備上傳到Facebook后端存儲系統(tǒng)，從而保證ProjectAria數(shù)據(jù)的安全。Facebook將安全地將數(shù)據(jù)和數(shù)據(jù)衍生地圖存儲在一個單獨的指定存儲空間中，并且只有獲得批準(zhǔn)的研究人員能夠訪問。一旦上傳，數(shù)據(jù)將隔離三天，這意味著研究人員在所述時間段內(nèi)無法訪問數(shù)據(jù)。在隔離期內(nèi)，被試可以查看低分辨率的縮略圖，并從系統(tǒng)中刪除錄制的數(shù)據(jù)段。在提供給研究人員之前，于公共場所收集到的任何數(shù)據(jù)數(shù)據(jù)都將自動模糊臉部和車牌。設(shè)備不使用面部識別技術(shù)，F(xiàn)acebook同時不會使用所述數(shù)據(jù)來驅(qū)動Facebook產(chǎn)品的廣告。

　　所有隱私和數(shù)據(jù)保護(hù)控制措施都是在隱私專家的參與下制定，所述專家包括猶他州立大學(xué)發(fā)展與機(jī)遇中心（CenterforGrowthandOpportunity）的高級研究院士伊萊·杜拉多（EliDourado），以及美國信息技術(shù)與創(chuàng)新基金會（InformationTechnologyandInnovationFoundation）的數(shù)據(jù)創(chuàng)新中心主任丹尼爾·卡斯特羅（DanielCastro）。

　　在繼續(xù)探索增強(qiáng)現(xiàn)實的可能性時，F(xiàn)acebook承諾將繼續(xù)與隱私專家接觸并完善相關(guān)的條款。對這項技術(shù)了解得越多，團(tuán)隊就越能預(yù)見問題并提前解決它們。FacebookRealityLabs今天收集的任何數(shù)據(jù)都是為了在未來允許沉浸式硬件以最少的干擾性進(jìn)行數(shù)據(jù)捕獲，并確保收集的任何數(shù)據(jù)都能提供盡可能多的用戶價值。

　　團(tuán)隊表示：“我們將繼續(xù)堅持負(fù)責(zé)任的創(chuàng)新原則，而最重要的是：始終以人為本?！?/p>

　　4.技術(shù)亮點

　　團(tuán)隊一開始面臨的最大挑戰(zhàn)是，尋找一種能夠利用現(xiàn)有傳感器，并將它們嵌入至被試可以實際佩戴的眼鏡之中的方法。ProjectAria眼鏡的獨特之處在于，它們不僅擁有常見于vr頭顯的空間感知傳感器，同時可以通過GPS計算位置，拍攝高分辨率圖片，并捕捉多聲道音頻和眼動圖像。

　　作為一種研究設(shè)備，當(dāng)前的傳感器配置并不是一成不變。團(tuán)隊特別感興趣的是，是否能夠以一種高能效的方式來將一組傳感器應(yīng)用于多個任務(wù)。在理想情況下，這樣的產(chǎn)品能夠同時使用所有的傳感器來更好地理解你的意圖，并在需要時提供信息。如果你在一家雜貨店，前置攝像頭可能會掃描整個房間并識別出店里的物品，而眼動追蹤攝像頭則會識別你的目光落在何種水果之上，然后顯示功能將彈出與所述水果相關(guān)的標(biāo)識、價格、營養(yǎng)價值和潛在配方等。

　　這只是一個例子，但我們很容易想象這樣的產(chǎn)品將如何幫助存在精神障礙或身體殘疾的人士，患有記憶問題的人士，存在語言障礙或技能障礙的人士，又或者只是嘗試在一個陌生城市中導(dǎo)航的人員。只要在適當(dāng)?shù)臅r候提供一點背景和信息，世界就會變得不同。

　　FacebookRealityLabs同時在探索如何使用設(shè)備的頭部追蹤傳感器，并將虛擬對象添加到物理環(huán)境中。所以，與其購買一臺實體電視，我們倒不如利用AR魔法創(chuàng)造出一臺數(shù)字電視，并將它放到任何位置。從長遠(yuǎn)來看，為了降低未來眼鏡的整體功率和熱需求，并減少對圖像傳感的需求，F(xiàn)acebookRealityLabs將使用ProjectAria的數(shù)據(jù)，并探索是否能夠利用諸如嚴(yán)格TightLearnedInertialOdometry等技術(shù)。

　　5.構(gòu)建一種全新的地圖

　　所有這些在技術(shù)都非常具有挑戰(zhàn)性，但當(dāng)你添加一個虛擬對象并希望它在你離開后保持固定不變時，研究課題會變得更加有趣。這是因為團(tuán)隊需要一個框架來存儲和索引你的虛擬對象。如果你希望和其他人共享虛擬對象，你將需要一個共同的坐標(biāo)系。如果你希望和一個住在另一個城市的朋友的虛擬化身共享空間，你不僅需要精確的位置和方位，而且需要理解周圍空間的真實世界對象，這樣虛擬化身就不會被一張桌子切成兩半，而你可以擺出自然的姿勢，比如坐在椅子之上。

　　為了支持AR眼鏡確定自己在空間中的位置，有效地看到和理解你周圍的環(huán)境，它們需要一個虛擬的三維地圖來描繪周遭的一切。但從零開始實時掃描和重建一個空間的功耗太高，所以AR眼鏡需要依賴于現(xiàn)有的地圖，然后實時進(jìn)行更新。

　　Facebook在OculusConnect6分享了解決所述問題的方法：LiveMaps。通過使用計算機(jī)視覺來構(gòu)建一個與你周遭世界相關(guān)的虛擬三維地圖，LiveMaps能夠支持未來的眼鏡有效地混合虛擬世界和現(xiàn)實世界。AR眼鏡屆時可以從3D地圖中下載最新數(shù)據(jù)，然后只需檢測變化（如新的街道名稱或新停車場的外觀），并用這些變化來更新3D地圖。ProjectAria設(shè)備正在測試這個流程。

　　6.展望未來

　　將AR設(shè)備和LiveMaps的愿景轉(zhuǎn)化為現(xiàn)實是FRLResearch最具雄心和具有深遠(yuǎn)意義的目標(biāo)之一。團(tuán)隊設(shè)想了這樣一個世界：LiveMaps能夠支持Facebook的AR產(chǎn)品能以各種有意義的方式來幫助人們彼此，及與世界建立聯(lián)結(jié)。

　　從為殘疾人提供直觀的導(dǎo)航支持，到與居住在另一個國家的姐妹或父母的逼真化身共享空間，再到加強(qiáng)工人培訓(xùn)并幫助人們在嘈雜的環(huán)境中提高聽感（特別是因為年齡增長而造成的聽力衰退），未來各行各業(yè)的人們將能夠以意義深遠(yuǎn)的方式使用增強(qiáng)現(xiàn)實。

　　這是一個設(shè)備越發(fā)消融于幕后，我們能夠花更多時間與家人和朋友共度美好時光的時代，機(jī)會將由本人的興趣決定，而不再受地理位置或環(huán)境的制約。在這個未來世界里，先進(jìn)的臨場感將允許人們能夠以今天不可能的方式一起工作，并在娛樂、教育和其他領(lǐng)域迸發(fā)出一系列不同的創(chuàng)新。

　　這是一個我們所有人都期待的世界。