微軟研究團(tuán)隊公開了四個最新的虛擬現(xiàn)實(shí)研究成果

最近，微軟研究團(tuán)隊公開了四個最新的虛擬現(xiàn)實(shí)研究成果：CLAW、Haptic Wheel、Haptic Links、Canetroller，它們能夠更好地幫助用戶 “觸摸” 到虛擬場景中的物體，盡情感受虛擬世界的奇妙。

最近，你的朋友圈是不是被科幻電影《頭號玩家》刷屏啦？如果有一天，你也進(jìn)入了那個虛擬的游戲宇宙中，你又想和虛擬物體怎么互動呢？為用戶提供身臨其境的觸覺體驗(yàn)一直是虛擬現(xiàn)實(shí)領(lǐng)域最具挑戰(zhàn)性的問題之一，也是各個研究團(tuán)隊研究的重點(diǎn)。最近，微軟研究團(tuán)隊公開了四個最新的虛擬現(xiàn)實(shí)研究成果：CLAW、Haptic Wheel、Haptic Links、Canetroller，它們能夠更好地幫助用戶 “觸摸” 到虛擬場景中的物體，盡情感受虛擬世界的奇妙。本文譯自“Touching the Virtual: How Microsoft Research is Making Virtual Reality Tangible”

雖然 VR 和 AR 在過去 30 年里取得了巨大的進(jìn)步——已經(jīng)能夠?yàn)橛脩籼峁艋冒愕囊曈X和 3D 音頻世界，但當(dāng)我們伸出手去觸摸那些虛擬物體時，幻想就會瞬時破滅，用戶觸摸到的只有空氣。

虛擬觸覺難以實(shí)現(xiàn)有很多原因?？催^電影的人都明白，眼睛和耳朵可以被每秒 24 幀的電影欺騙，但是觸覺卻很不同，它要更復(fù)雜。實(shí)現(xiàn)虛擬觸感的一部分挑戰(zhàn)來源于硬件。在實(shí)驗(yàn)室中，設(shè)計一個適合個人用戶穿戴的手持式設(shè)備往往很困難，目前許多原型設(shè)備僅僅能夠模擬特定的感覺，例如質(zhì)地、溫度或重量，這種設(shè)備往往缺乏吸引力。而更加復(fù)雜的機(jī)械技術(shù)則可能導(dǎo)致設(shè)備太昂貴，太大或太脆弱而無法出現(xiàn)在消費(fèi)市場。

微軟研究團(tuán)隊一直在探索如何利用現(xiàn)有技術(shù)在手持式 VR 控制器上模擬產(chǎn)生多種觸覺感受，使用戶能夠觸摸和抓住虛擬物體，感受指尖在物體表面的滑動。他們的夢想是讓用戶能與虛擬數(shù)字世界進(jìn)行更自然、更多元的交互。

CLAW

CLAW 是微軟研究團(tuán)隊開發(fā)的第一款新型多功能觸覺控制器，通過使用單個電機(jī)，CLAW 將 VR 控制器的概念擴(kuò)展至一款多功能觸覺反饋工具。CLAW 有一個獨(dú)特的機(jī)械臂，當(dāng)用戶手握手柄、手指轉(zhuǎn)動時（如下圖），這個機(jī)械臂能夠模擬力反饋。

圖 1：（左）CLAW 的配置和組件；（右）CLAW 模擬用戶抓取物體并觸摸虛擬物體表面

作為一個多功能控制器，CLAW 包含普通 VR 控制器的所有功能（拇指按鈕和操縱桿、6DOF（Degree of Freedom）控制、食指觸發(fā)器），以及為最常見的手部交互時啟用的各種觸覺渲染：抓取物體，觸摸虛擬表面，以及接收力反饋。

CLAW 的獨(dú)特之處還在于它能夠通過感知用戶的抓握情況和虛擬情境環(huán)境之間的差異來調(diào)整觸覺渲染。當(dāng)用戶嘗試握住虛擬物體時（如下圖），該裝置會在食指和拇指之間產(chǎn)生阻力，模擬出物體被握住的感覺。嵌在食指支架中的力傳感器通過改變電機(jī)的反饋?zhàn)層脩?“感受” 物體的不同材料。

如果用戶握住手柄并做出指向手勢（如下圖），那么 CLAW 會提供觸摸感覺。手指尖朝向虛擬物體表面移動時，CLAW 會產(chǎn)生阻力，將手指推回并阻止手指穿透虛擬表面。此外，當(dāng)食指沿著虛擬表面滑動時，安裝在食指尖端下方的音圈會產(chǎn)生小振動來模仿物體的表面結(jié)構(gòu)觸感。

感知用戶施加的力量也可以幫助用戶與虛擬物體進(jìn)行交互。例如在虛擬繪畫程序中，程序可以通過感知用戶的手的力度來調(diào)整畫筆的力度。

Haptic Wheel

為了進(jìn)一步模擬食指對虛擬物體的材料和表面摩擦的觸覺體驗(yàn)，微軟還開發(fā)了另一種新的觸覺控制器——Haptic Wheel。Haptic Wheel 使用的驅(qū)動轉(zhuǎn)輪通過上下移動來模擬手指與虛擬物體表面的觸碰，并且通過旋轉(zhuǎn)來模擬用戶沿著虛擬表面滑動時產(chǎn)生的剪應(yīng)力（shear forces）和滑動感。

當(dāng)用戶觸摸虛擬物體表面時，轉(zhuǎn)輪會上升并接觸到指尖，然后開始旋轉(zhuǎn)來模擬指尖與虛擬物體表面的摩擦。

圖 2：(左）當(dāng)用戶將手指懸停在轉(zhuǎn)輪的藍(lán)色區(qū)域表面上方時，渲染引擎將合適的轉(zhuǎn)輪表面移到手指下方；（中）當(dāng)用戶在虛擬環(huán)境中接近黑色區(qū)域邊緣時，渲染引擎會轉(zhuǎn)動轉(zhuǎn)輪以使跟黑色邊緣一樣的材質(zhì)接近手指；（右）在手指懸停在較小的黑色表面上時，渲染引擎會調(diào)整轉(zhuǎn)輪的增益，以便正確模擬出手指接觸兩個邊緣的感覺。

該設(shè)備的轉(zhuǎn)輪是可替換的，可以包含各種物理觸覺元素，以便在用戶探索虛擬環(huán)境時為用戶提供不同的感受。當(dāng)用戶探索虛擬環(huán)境時，渲染引擎會根據(jù)環(huán)境為手指傳遞適當(dāng)?shù)挠|覺感受。例如，在虛擬紙牌游戲中，當(dāng)用戶觸摸卡片、撲克籌碼或桌子時，該裝置就會旋轉(zhuǎn)轉(zhuǎn)輪以在指尖下面呈現(xiàn)適當(dāng)?shù)募y理感受。當(dāng)用戶沿著表面滑動時，轉(zhuǎn)輪會在手指下面旋轉(zhuǎn)以產(chǎn)生剪應(yīng)力和滑動感。

圖 3：在不同虛擬環(huán)境中，Haptic Wheel 定制的包含不同觸覺感受的轉(zhuǎn)輪

Haptic Links

在觸覺探索中，另一個難以解決的問題是如何模擬在 VR 或 AR 應(yīng)用程序中使用雙手的情況。 比如說雙手拿著一個盒子感覺它的大小，或者使用雙手在弓箭上感受到那種拉力。

圖 4：模擬用戶在虛擬環(huán)境中雙手使用的工具

Haptic Links 由幾種類型的連接器組成，這些連接器能夠在兩個手持式 VR 控制器之間提供不同的剛度感受。Haptic Links 可以動態(tài)地改變用戶雙手之間感受到的力量，以支持渲染各種雙手使用的物體以及與人之間的交互，使控制器表現(xiàn)得就像一個雙手使用的工具。它們可以約束控制器之間的特定自由度或運(yùn)動方向，也可以設(shè)置在一定范圍內(nèi)的剛度，以模擬不同的摩擦、粘度或張力。通過這些方式，Haptic Links 使 VR 場景中的交互更加真實(shí)，給人以身臨其境之感。

微軟做了三個 Haptic Links 的原型設(shè)備。每種設(shè)計都各有折衷和優(yōu)勢，使其最適合某種特定應(yīng)用。

Chain 原型設(shè)備（圖 5 中）采用由球窩元件組成的高度鉸接式鏈條。一根強(qiáng)力電纜穿過整個鏈條并連接到每端的推桿電機(jī)（linear actuators）上。通過推桿電機(jī)的運(yùn)動來控制鏈條的松緊，進(jìn)一步控制用戶的操作空間。

圖 5：Haptic Links 的 3 個不同原型設(shè)備

Layer-Hinge（圖 5 左）使用球形接頭來調(diào)節(jié)控制器的旋轉(zhuǎn)，使用鉸鏈來控制它們之間的距離。它的優(yōu)點(diǎn)是能選擇性鎖定控制器運(yùn)動時的自由度。此外，它可以相對精確地控制每個關(guān)節(jié)的摩擦力，使得該裝置在鉸鏈和球窩關(guān)節(jié)中模擬出連續(xù)的一定范圍內(nèi)的剛度值。

Ratchet-Hinge（圖 5 右）在控制器底部使用類似的球形接頭，但用雙棘輪結(jié)構(gòu)取代了鉸鏈，能夠獨(dú)立制動向內(nèi)或向外的運(yùn)動。當(dāng)兩個棘輪嚙合時，齒輪是固定的；兩個棘輪都脫開時，齒輪可以自由旋轉(zhuǎn)。當(dāng)一個棘輪脫開時，齒輪可以在一個方向上自由移動，但不能沿相反方向移動。定向選擇性功能可以實(shí)現(xiàn)獨(dú)特的力反饋交互。

Haptic Links 可以改善虛擬環(huán)境中需要雙手操作的物體的感知真實(shí)性，而不會過于影響兩個控制器的正常交互。

Canetroller

“傳統(tǒng)” 的虛擬現(xiàn)實(shí)體驗(yàn)本質(zhì)上是強(qiáng)烈視覺化的，因此視覺受損者通常無法使用。微軟研究院開發(fā)的 Canetroller 原型設(shè)備，則希望讓視力受損人士在虛擬環(huán)境中也能夠使用手杖進(jìn)行導(dǎo)盲。

Canetroller 提供三種類型的反饋：（1）由可穿戴式、可編程制動器產(chǎn)生物理阻力——模擬虛擬手杖碰到虛擬物體；（2）振動觸覺反饋——模擬手杖撞擊物體或者劃過各種表面時產(chǎn)生的振動; （3）3D 聽覺反饋——模擬真實(shí)世界手杖發(fā)出的聲音。

圖 6：一位盲人正在使用 Canetroller

Canetroller 可以讓低視力者和盲人在不同的虛擬空間中進(jìn)行模擬導(dǎo)盲訓(xùn)練，減少他們在日常環(huán)境中的危險。微軟希望這項(xiàng)工作能夠激勵研究人員和設(shè)計人員設(shè)計更有效的工具，使 VR 更具包容性，考慮到世界各地各種不同的群體。

微軟研究團(tuán)隊在虛擬觸覺方面的這些創(chuàng)新，一方面希望可以激發(fā)其它研究者的想象，另一方面也希望能為視障等特殊人群帶來新的應(yīng)用和希望，幫助他們改善生活質(zhì)量。此外，研究人員還希望這些創(chuàng)新能夠鼓勵更多的消費(fèi)產(chǎn)品使用觸覺渲染技術(shù)。相信觸覺產(chǎn)品很快就會讓 VR 和 AR 產(chǎn)品更加逼真和身臨其境。