“手球”實物為虛擬現(xiàn)實交互提供全新的模式與體驗

當2021年社交媒體巨頭Facebook改名為Meta時，很多人才真正意識到，元宇宙（即“metaverse”）將改變這個世界。盡管當下人們對其最直觀的感知，還是一個只能在視覺上模擬真實世界的VR眼鏡。

但誰也沒想到，古老的東方手工技藝“折紙”，率先實現(xiàn)了從虛擬到真實的關鍵突破。

近期，Nature Machine Intelligence（《自然-機器智能》）在線發(fā)表了西湖大學姜漢卿團隊的最新研究成果“Active Mechanical Haptics with High-Fidelity Perceptions for Immersive Virtual Reality”，在國際上首次提出并開發(fā)了“高保真主動機械觸感交互系統(tǒng)”，為元宇宙帶來了全新的觸覺感知維度。

這意味著他們借鑒折紙藝術，讓VR眼鏡里的虛擬世界不僅可見、可聽，還可“觸摸”！

聽起來不可思議。這一切是怎么發(fā)生的？

鏡花水月：“觸”不可及的失真“宇宙”

讓我們從metaverse（元宇宙）的起源講起。

這是美國科幻作家尼爾·斯蒂芬森創(chuàng)造的一個新名詞，出現(xiàn)在一個以披薩速遞員為主角的、關于未來世界的故事中。它指的是現(xiàn)實世界與通過增強現(xiàn)實技術和虛擬現(xiàn)實技術創(chuàng)造出的現(xiàn)實世界與虛擬世界相互混合的狀態(tài)。

1992年，這部名為《雪崩》的科幻小說面世，斯蒂芬森因“塑造和影響了整整一批IT人”，位列《時代》周刊評選的“50位數(shù)字英雄”榜單。

二十年后，當年斯蒂芬森在書中所暢想的世界，已經近乎站立在你我的“家門口”了。無論充滿爭議與否，元宇宙都為人類社交生活提供了新的橋梁與無限可能。如Meta Reality Labs首席科學家Michael Abrash所說：“VR/AR正掀起個人計算機歷史上的第二次變革大浪潮，其影響可能超過過去三十年個人計算機的發(fā)展，將是繼個人電腦和智能手機之后下一代消費級計算機科技產品?！?/p>

但當前的VR交互，僅可提供視覺與聽覺體驗，呈現(xiàn)的是一個僅可遠觀、卻無法觸碰的虛擬空間，而觸覺恰恰是人類獲得主體感的關鍵——在人類的五感（視覺、聽覺、嗅覺、味覺、觸覺）中，視、聽覺在信息接收方面居于主導地位，味、嗅覺處于輔助地位，觸覺則居于根本地位（我們據(jù)此獲得物主感，這是區(qū)分主體和客體的關鍵）。

研究者們曾經嘗試過很多種“解決”方案，大多是通過震動或壓力代償創(chuàng)造“被動觸感”：例如具有振動功能的手柄；柔性電子科學家、西北大學John Rogers院士發(fā)明的可以貼在皮膚上的振動馬達；以及Meta在2021年發(fā)布的觸覺感知手套，通過氣囊壓迫給予用戶抓取物體時的觸感……

然而，這些“觸感”就如同你的手機忽然振動了一下，或者是坐在4D電影院里突然感受到座椅的晃動，你的體感都是由設備出發(fā)、給予你一種被動的交互體驗，距離日常生活中真實的、由人類主動觸發(fā)的“觸覺”還差距甚遠。

這似乎也呼應了人類在觸覺理解上的艱難進度條——2021年，美國生理學家David Julies與亞美尼亞裔美國神經科學家Ardem Patapoutian因揭開了觸覺（與溫度覺）的神秘面紗，獲得了諾貝爾生理學或醫(yī)學獎——而聽覺與視覺，早在上世紀60年代就已揭秘，完成了對諾獎的問鼎。

折紙繆斯：撬動VR世界的星辰大海

那么，最前沿的VR和元宇宙，怎么會因為傳統(tǒng)的折紙藝術而破局？

讓我們把視線轉回西湖。

2021年6月18日，姜漢卿結束了在美國亞利桑那州立大學十五年的任教生涯，正式加盟西湖大學。在這里，他最早啟動的課題之一就是柔性電子與軟/硬異質性材料研究，這也是我們第一次從他那里聽到“折紙機械超材料”這個概念——所謂“機械超材料”，指的是并非自然形成，而是人為構造的材料結構，材料的性能不依賴于材料的分子結構或者晶體結構本身，主要依賴于其精巧的構型里面的結構細節(jié)。

從事“折紙研究”十年之久，又感知到了元宇宙的欣欣向榮，姜漢卿萌生了把兩者結合起來的念頭?！罢奂埐牧峡赡芎苘洠且蕾囉诓煌恼郫B方式，折紙結構又會變得很硬，基于折紙結構的機器人，就可以隨時調節(jié)軟硬程度?！?/p>

擺脫當前虛擬現(xiàn)實交互的固有思維定式，姜漢卿創(chuàng)造了“主動觸覺”這個新概念——不同于肩、胸、腰、背等人類身體通常接收“被動觸覺”的部位，人的手和腳通常是主動出擊，通過主動觸摸去感知物理世界。研究團隊選擇從“機械觸感”（即剛度，物品的軟硬觸感）入手，模擬手和腳主動觸摸物體時的感覺。

他們研發(fā)了一套“高保真主動機械觸感交互系統(tǒng)”，利用不同材質、不同尺寸的折紙模塊搭建了兩種不同維度的交互裝置：一種可引發(fā)局部觸感的手持式裝置,與一種可以產生全身體感的腳踏式裝置。在使用手持式交互裝置時，用戶可通過主動抓握，體驗其所交互的不同物品的軟硬程度；在使用腳踏式裝置時，用戶則可通過主動踩踏，以全身運動的形式體驗其所處的環(huán)境地面特性。?

這種主動機械觸感的實現(xiàn)，正是源于硬件設備內部曲面折紙結構在交互過程中、由用戶主動觸發(fā)的被動變形——在電機的配合作用下，曲面折紙能彎曲成不同的角度，也會產生不同大小的反力，從而給予用戶手足不同的“彈性”反饋。

觀看下圖可以獲得更直觀的感受：將兩張薄薄的塑料片對折，呈“X”狀穿插在一起，想象一下，當你縱向“上下”按壓塑料片，力量、角度不一樣時，手收到的“回彈”反饋的感知也會不一樣。這種觸覺的變化傳遞給大腦，大腦就會根據(jù)“軟硬”做出判斷：抓到的是棉花，是木板，還是鋼球……如果把手換成腳，大腦同樣會根據(jù)腳所傳遞的剛度反饋，來判定人是走在馬路上、草地上，還是踩在冰上……

高保真主動機械觸感交互系統(tǒng)的局部結構

由此，我們在元宇宙的虛擬世界中，就可以完美實現(xiàn)“所見即所觸，所處即所踏”了。

力學之美：向虛擬世界伸出精妙之“手”

姜漢卿的實驗室名為“跨力學實驗室”，這是一個名副其實深耕交叉學科的實驗室，參與該項研究的幾名主要成員，有畢業(yè)于上海交通大學機械工程系的博士后張壯，來自浙江大學力學系的訪問學生徐正昊，清華大學工程力學本科背景的博士生陳森濤，畢業(yè)于武漢大學化工系的博士后衛(wèi)平東，以及動手能力超強、曾獲國家級機器人競賽一等獎的科研助理俄木羅前……

如果說，這項研究中最大的創(chuàng)意來自“折紙”，那么，實現(xiàn)創(chuàng)意的最大挑戰(zhàn)就來自“怎么折”——既能完美實現(xiàn)主動觸感，又能集成在有限的空間里。就像現(xiàn)實世界的折紙一樣，人人都會，但只有那心靈手巧的藝人，才能展現(xiàn)其精妙之處。

在姜漢卿實驗室，我們現(xiàn)場體驗了這個“手持式裝置”——形狀像一個球，5個位點對應人的5個手指，每一個位點下面就是呈現(xiàn)“X”形狀交叉的兩片成組的曲線折紙塑料片；10個塑料片，全靠一個電機帶動，以扭轉成各種不同角度，形成不同的“軟硬度”。與之配套的腳踏式裝置，原理一樣，差別在于踏板下是鋼片，數(shù)量更多、矩陣排布，通過拉繩的方式改變曲線折紙的角度來改變剛度。

“手球”實物

令人驚訝的是，這些設備里沒有任何昂貴或罕見的器件。無論是“手球”里的塑料片，還是“踏板”中的鋼片，都是網購取得的，可以被替換為任何有彈性的材料。核心器件就是可以根據(jù)虛擬場景而相應變化的曲線折紙。如果核心結構一致，交互的硬件設備也可以放大或縮小。這意味著一旦找到合適的應用場景，它將有希望快速進入生產市場。

研究的最后一步，秉持科學的嚴謹和理性，研究團隊進行了人體感受表征的驗證，包括“主觀”的用戶調查和“客觀”的肌電圖、心率測量。圖中曲線的最高點，記錄了體驗者踩在虛擬的冰面上、冰面破裂時，心跳急速變快的真實生理反應。因為那一刻踏板突然塌陷，讓人瞬間產生踏空墜落的恐懼感。虛擬世界，就這樣創(chuàng)造出了真實世界的完美觸感。

心率與肌電信號測量

“科研需要創(chuàng)新，要有societal impact，要對這個社會真正有貢獻。”這是姜漢卿對科學工作的定義。他們這項研究，為虛擬現(xiàn)實交互提供了全新的模式與體驗，為超材料在元宇宙中的進一步集成提供了指導方案，也有望拓展虛擬現(xiàn)實技術在娛樂、遙操作、醫(yī)療診治與康復等領域的廣泛應用。

接下來，研究團隊將繼續(xù)找到多模式的感知，還原更完整的觸覺，在形態(tài)上，他們正在嘗試和柔性電子整合，實現(xiàn)主動觸覺與被動觸覺的結合，以及努力用折紙實現(xiàn)更大尺度的體驗，在更大的場景中實現(xiàn)交互。

“比如在游戲中要騎摩托車，能不能直接從地面‘長出’可以觸摸到的摩托車來？不僅是摩托車，還能長出能坐的椅子，能開的小船……”姜漢卿放飛自己的想象。

雖然只是“想象”，但歷史已無數(shù)次證實，科學家的天馬行空，也許就是未來世界的真實圖景。

西湖大學工學院博士后張壯為本文第一作者，西湖大學工學院講席教授姜漢卿為本文通訊作者，第一單位為西湖大學。其他主要研究人員包括浙江大學的研究生徐正昊和王永副教授。本研究獲得了國家自然科學基金、西湖教育基金會、以及西湖大學未來產業(yè)研究中心相關經費支持。