關(guān)于優(yōu)化VR現(xiàn)實(shí)感體驗(yàn)的設(shè)計(jì)方案

當(dāng)提及 AR 及其應(yīng)用時(shí)，首先想到的事情之一是抬頭顯示器 (HUD)。它們被用于航空和汽車應(yīng)用中，讓用戶無(wú)需低頭看儀表盤(pán)就能看到相關(guān)的飛行器/汽車信息。

研究顯示人類通過(guò)視覺(jué)與世界互動(dòng)時(shí)，處理圖像的速度比處理書(shū)面文本等其他不同形式的信息要快許多倍。增強(qiáng)現(xiàn)實(shí) (AR) 類似于其近親虛擬現(xiàn)實(shí)(VR)，能讓用戶增強(qiáng)對(duì)周邊環(huán)境的洞察。它們之間的主要的區(qū)別是,AR 借助文本或其他可視對(duì)象等虛擬對(duì)象可豐富或增強(qiáng)自然界。這樣能讓 AR 系統(tǒng)的用戶安全、更高效地與他們的環(huán)境互動(dòng)。這與用戶沉浸在人工創(chuàng)建的環(huán)境中的虛擬現(xiàn)實(shí)不同。增強(qiáng)現(xiàn)實(shí)和虛擬的結(jié)合常被描述為為用戶呈現(xiàn)混合現(xiàn)實(shí) (MR)。我們中的許多人在日常生活中已經(jīng)不知不覺(jué)地用上了AR，例如我們的移動(dòng)設(shè)備在進(jìn)行道路導(dǎo)航時(shí)，或是玩精靈寶可夢(mèng)GO等虛擬游戲時(shí)。

虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)

當(dāng)提及 AR 及其應(yīng)用時(shí)，首先想到的事情之一是抬頭顯示器 (HUD)。它們被用于航空和汽車應(yīng)用中，讓用戶無(wú)需低頭看儀表盤(pán)就能看到相關(guān)的飛行器/汽車信息。抬頭顯示器是較簡(jiǎn)單的可用 AR 應(yīng)用之一。擁有可穿戴技術(shù)等更高級(jí)功能的先進(jìn) AR 應(yīng)用往往被稱為智能增強(qiáng)現(xiàn)實(shí)，據(jù) Tractica 預(yù)測(cè)，其市場(chǎng)規(guī)模到 2020 年將達(dá)到 23 億美元。

增強(qiáng)現(xiàn)實(shí)應(yīng)用和用例

AR正在進(jìn)軍眾多應(yīng)用領(lǐng)域，覆蓋工業(yè)、軍事、制造、醫(yī)療、社交和商業(yè)等不同行業(yè)，其大量的用例推動(dòng)其被廣泛采用。在商業(yè)領(lǐng)域，AR主要側(cè)重于社交媒體提供應(yīng)用，例如能夠識(shí)別您交談的對(duì)象并添加履歷信息。AR 還能讓消費(fèi)者看到有時(shí)難以參觀到的產(chǎn)品，例如汽車、游艇、建筑物等。

許多 AR 應(yīng)用都離不開(kāi)使用偵探佩戴的智能眼鏡。這些智能眼鏡能提高制造環(huán)境內(nèi)的效率，例如便于替換操作手冊(cè)，向用戶展示如何組裝零部件。在醫(yī)療領(lǐng)域，智能眼鏡便于分享醫(yī)療記錄以及創(chuàng)傷和損傷的詳細(xì)狀況，能為現(xiàn)場(chǎng)急救人員和后續(xù)急診室人員提供治療信息。

*智能眼鏡在工業(yè)環(huán)境中的使用實(shí)例 *

一個(gè)典型的例子是一家大型包裹物流公司。這家公司目前正在使用 AR 智能眼鏡閱讀發(fā)運(yùn)標(biāo)簽上的條形碼。在條形碼掃描完畢后，智能眼鏡能使用WiFi基礎(chǔ)設(shè)施與公司服務(wù)器通信，判定包裹的最終目的地。在已知目的地后，智能眼鏡能向用戶提示包裹的堆放處，以便繼續(xù)發(fā)運(yùn)。

就算不考慮應(yīng)用和用例，設(shè)計(jì)一款 AR 系統(tǒng)也會(huì)面臨多重相互矛盾的要求，包括性能、安全、功耗和未來(lái)兼容性。如果設(shè)計(jì)人員要為 AR 系統(tǒng)提供理想的解決方案，這些都必須考慮到。

實(shí)現(xiàn) AR 系統(tǒng)

這些復(fù)雜的 AR 系統(tǒng)要求能夠連接多個(gè)攝像機(jī)傳感器并處理來(lái)自這些傳感器的數(shù)據(jù)，從而讓系統(tǒng)了解周圍環(huán)境。這些攝像頭傳感器還可能會(huì)工作在電磁頻譜的不同頻段上，例如紅外或近紅外。此外，這些傳感器可能提供來(lái)自電磁頻譜之外的信息，從而為檢測(cè)移動(dòng)和轉(zhuǎn)動(dòng)提供輸入，例如 MEMS 加速計(jì)和陀螺儀，以及全球?qū)Ш叫l(wèi)星系統(tǒng)（GNSS）提供的位置信息。融合來(lái)自多種不同類型傳感器的信息的嵌入式視覺(jué)系統(tǒng)一般也稱為異構(gòu)傳感器融合系統(tǒng)。AR 系統(tǒng)也要求高幀率，以及開(kāi)展實(shí)時(shí)分析、逐幀提取和處理每幀所含信息的能力。提供滿足這些要求的處理能力成為組件選擇的決定性因素。

AR 系統(tǒng)剖析

All Programmable Zynq -7000 SoC 或 Zynq UltraScale+ MPSoC 用于實(shí)現(xiàn) AR 系統(tǒng)的處理內(nèi)核。這些器件本身屬于異構(gòu)處理系統(tǒng)，將 ARM 處理器和高性能可編程邏輯完美結(jié)合在一起。Zynq UltraScale+ MPSoC 屬于新一代Zynq-7000 SoC，額外提供了一個(gè) ARM Mali-400 GPU。該系列中的某些成員還包含支持 H.265 和 HVEC 標(biāo)準(zhǔn)的硬化視頻編碼器。

這些器件能讓設(shè)計(jì)人員使用處理器理想地細(xì)分系統(tǒng)架構(gòu)，實(shí)現(xiàn)實(shí)時(shí)分析功能并傳遞給生態(tài)系統(tǒng)中的傳統(tǒng)處理器任務(wù)。該可編程邏輯可用于實(shí)現(xiàn)傳感器接口和處理，從而帶來(lái)多重好處，具體包括：
?根據(jù)應(yīng)用要求，并行實(shí)現(xiàn) N 個(gè)圖像處理流水線。
?任意連接，能定義和連接任意傳感器、通信協(xié)議或顯示標(biāo)準(zhǔn)，提供靈活性和未來(lái)升級(jí)路徑

要實(shí)現(xiàn)圖像處理流水線和傳感器融合算法，我們可充分運(yùn)用 Vivado HLS和SDSoC等工具中提供的高層次綜合功能。這些工具擁有包括 OpenCV 支持在內(nèi)的各種專家級(jí)庫(kù)。為縮短 AR 系統(tǒng)的上市時(shí)間，還可以利用廣泛的第三方 IP。這些 IP 專為 AR、嵌入式系統(tǒng)和專門(mén)的賽靈思技術(shù)開(kāi)發(fā)。這些 IP 模塊的供應(yīng)商中包括 Xylon。Xylon提供能在 Vivado 設(shè)計(jì)環(huán)境中迅速集成的 LogiBRICKS 系列 IP 核，同時(shí)提供便于系統(tǒng)快速啟動(dòng)和運(yùn)行的拖放功能。另一 IP 模塊供應(yīng)商是 Omnitek，其提供一系列針對(duì) AR 要求的關(guān)鍵環(huán)節(jié)的 IP 模塊，例如實(shí)時(shí)折疊模塊和 3D 處理模塊。

設(shè)計(jì)人員還必須考慮 AR 系統(tǒng)的獨(dú)特方面。它們不僅需要與觀察用戶周邊環(huán)境的攝像頭和傳感器連接，還需要執(zhí)行應(yīng)用和用例所需的算法。同時(shí)它們還必須能夠跟蹤用戶的眼睛，判斷它們的視線，從而確定他們所注視的地方。這一般是通過(guò)增加觀察用戶面部的攝像頭和實(shí)現(xiàn)眼睛跟蹤算法來(lái)做到的。在實(shí)現(xiàn)后，該算法能讓 AR 系統(tǒng)跟蹤用戶視線并確定要發(fā)送到 AR 顯示器上的內(nèi)容，從而高效利用帶寬和滿足處理要求。但是執(zhí)行檢測(cè)和跟蹤本身就是高計(jì)算強(qiáng)度的工作。

大多數(shù) AR 系統(tǒng)屬于便攜式無(wú)系留系統(tǒng)，而且很多時(shí)候?qū)儆诤椭悄苎坨R一樣的可穿戴系統(tǒng)。這樣如果在供電受限的環(huán)境中實(shí)現(xiàn)這樣的處理功能，就會(huì)面臨特有的難題。Zynq SoC 和 Zynq UltraScale+ MPSoC 系列器件都能提供最出色的單位功耗性能，通過(guò)實(shí)現(xiàn)多重選項(xiàng)之一，進(jìn)一步降低運(yùn)行功耗。在極端條件下，這些處理器能夠進(jìn)入可被任意一種源喚醒的待機(jī)模式，從而關(guān)斷占器件一半資源的可編程邏輯。一旦 AR 系統(tǒng)檢測(cè)到自己被閑置，這些選項(xiàng)都能實(shí)現(xiàn)，從而延長(zhǎng)了電池使用壽命。在 AR 系統(tǒng)工作過(guò)程中，當(dāng)前未被使用的處理器單元可以通過(guò)時(shí)鐘門(mén)控來(lái)降低功耗。在可編程邏輯單元內(nèi)，通過(guò)遵循簡(jiǎn)單的設(shè)計(jì)規(guī)則如高效使用硬宏、精心規(guī)劃控制信號(hào)和在目前不需要的器件區(qū)域考慮使用智能時(shí)鐘門(mén)控，也能實(shí)現(xiàn)極高的用電效率。

有幾種 AR 應(yīng)用，例如病患醫(yī)療記錄共享或生產(chǎn)數(shù)據(jù)共享，要求在信息保障 (IA) 和威脅防范 (TP) 領(lǐng)域提供高安全等級(jí)，尤其是在 AR 系統(tǒng)具有高度移動(dòng)性、可能被放錯(cuò)地方的情況下。信息保障要求我們能夠信賴存儲(chǔ)在系統(tǒng)里的信息以及系統(tǒng)發(fā)送和接收的信息。這樣對(duì)于綜合人工智能領(lǐng)域而言，我們需要使用 Zynq 的安全引導(dǎo)功能來(lái)實(shí)現(xiàn)加密，并使用 AES 解密、HMAC 和 RSA 驗(yàn)證來(lái)進(jìn)行驗(yàn)證。只要設(shè)備正確配置和運(yùn)行，開(kāi)發(fā)人員就能夠使用 ARM Trust Zone 和管理程序?qū)崿F(xiàn)安全的、外人無(wú)法訪問(wèn)的正交環(huán)境。

在威脅防范方面，這些器件能使用系統(tǒng)內(nèi)置的 XADC 來(lái)監(jiān)測(cè)供電電壓、電流和溫度，以發(fā)現(xiàn)任何試圖篡改 AR 系統(tǒng)的企圖。如果發(fā)生這樣的情況，Zynq 器件可提供多種選擇，包括記錄該企圖、擦除安全數(shù)據(jù)，防止 AR 系統(tǒng)再次連接到支持性基礎(chǔ)設(shè)施。

結(jié)論

AR 系統(tǒng)在商業(yè)、工業(yè)、軍事等幾大行業(yè)的應(yīng)用正日趨普及。這些設(shè)備也為它們帶來(lái)了高性能、系統(tǒng)級(jí)安全性和高能效等一系列自相矛盾的難題。將 Zynq SoC 或 Zynq UltraScale+ MPSoC 用作處理系統(tǒng)的核心，這些難題將迎刃而解。