元宇宙的核心關(guān)鍵技術(shù)—人機交互

元宇宙的目標是實現(xiàn)萬物的信息化和智能化，創(chuàng)造一個信息充分包圍人的虛實融合空間，演化生成時空無界的新型社會形態(tài)。 元宇宙是信息技術(shù)蓬勃發(fā)展的集大成應(yīng)用環(huán)境，著名的元宇宙七層價值鏈圖上包含了許多當下先進的IT技術(shù)，如5G/6G、穿戴、眼鏡XR、AI、區(qū)塊鏈、3D引擎等。 元宇宙是面向終端用戶的，所以人機交互是核心關(guān)鍵技術(shù)。

01人機交互式核心關(guān)鍵技術(shù)

人機交互研究人機之間高可用的信息交換原理和技術(shù)，建立起計算機多種模態(tài)的輸入輸出軟硬件交互接口，及其構(gòu)成的用戶終端界面，形成特定的交互模式。

縱觀計算機發(fā)展歷史，交互模式從字符用戶界面（CUI）的鍵入命令，到圖形用戶界面（GUI）的鼠標拖拽，再到智能手機上的動作語音操控，不斷突破用戶使用計算機的難度瓶頸，計算得以從少量專家用戶的科學(xué)計算擴增到數(shù)十億人的日常應(yīng)用。 人機交互也是元宇宙系統(tǒng)的基礎(chǔ)能力，其性能水平直接決定了人在元宇宙中的能力邊界，進而決定了元宇宙對人類的價值。 元宇宙中所運用的人機交互應(yīng)突破目前的兩種技術(shù)，進入第三階段：自然用戶界面。 不管是CUI還是GUI都要求用戶必須學(xué)習(xí)軟件開發(fā)者預(yù)先設(shè)置好的操作，而NUI只需要用戶用最自然的方式（語音、面部表情、動作手勢、移動身體、旋轉(zhuǎn)頭部……）和計算機交流。

02元宇宙的人機交互

目前有成熟可用于元宇宙的人機交互技術(shù)嗎？答案是沒有。

首先，元宇宙的用戶終端將從智能手機擴展開來，新型的終端將多種多樣，典型的包括智能眼鏡、AR/VR設(shè)備和智慧物聯(lián)網(wǎng)環(huán)境，如家居等。 這些新型終端在交互接口上的共性是接口的虛擬化、遠程化和多映射關(guān)系，不同于PC和手機的固定接口并能提供明確的反饋確認，這些新型終端在目前實現(xiàn)基本的交互功能尚有困難。 交互技術(shù)在不斷進步，輸入技術(shù)上，則都需要實現(xiàn)交互接口上的三個原子交互功能：操控目標對象，對象空間位置明確，又稱為可視目標、表達抽象命令，不是基于目標位置的、輸入語言內(nèi)容，如下圖總結(jié)了歷史上幾種交互模式是如何實現(xiàn)這些原子交互功能的。

03現(xiàn)有產(chǎn)品設(shè)備的難題

目前一些科技巨頭在開發(fā)研究的智能眼鏡，意義是解放雙手，沉浸三維，回歸自然。

但自然交互上，由于失去了精準的輸入設(shè)備，如桌面的鼠標，缺少觸覺反饋的感知支持，如手機觸屏，完成這三類基本的交互功能，一直是智能眼鏡這類新型終端設(shè)備固有的難題。

視覺速度慢和眩暈

3D對象的訪問一般都需要人眼視覺參與，但我們用手訪問精細的3D對象時，視覺注意力的高度集中和隨動圖像難以準確匹配人的視覺感知，不僅訪問速度慢，還是造成用戶眩暈的重要因素。

手勢動作的可用性不高

手勢動作的設(shè)計空間雖然大，但手勢到命令的映射關(guān)系設(shè)計和用戶表達需要符合人的認知和表達能力，同時還存在傳感和識別技術(shù)上的困難。

文字輸入必要但難以實現(xiàn)

智能眼鏡用戶用手勢在空中使用虛擬鍵盤輸入文字時，速度慢到不及手機打字的1/3；而語音并不萬能，很多場合不方便出聲；并且缺少連續(xù)交互能力，每次輸入文字都需要特地喚醒設(shè)備。 因此，這些問題限制了用戶的表達能力，是智能眼鏡一直難以成為通用用戶終端的癥結(jié)所在。

為解決這些問題，市場上還出現(xiàn)了專屬折疊藍牙鍵盤和鼠標這樣不得不“回歸”的配置，完全失去了眼鏡解放雙手的意義。

04人機關(guān)系與交互的變革

進一步地，元宇宙空間，人機關(guān)系將發(fā)生重大變革，機器從被動應(yīng)答者向主動服務(wù)者身份轉(zhuǎn)變，交互從單一的用戶動作表達向機器智能推理與用戶表達融合方向發(fā)展，在恰當時間與情境下提供用戶亟需的智能服務(wù)成為必然發(fā)展趨勢。

也就是說，人機交互的路徑，將從現(xiàn)在用戶記憶搜索應(yīng)用和界面的模式，轉(zhuǎn)換到AI主動感知和推送服務(wù)，極大縮減交互路徑的模式。 由于用戶終端多樣，這一層面的問題還反映在同樣功能的服務(wù)需要設(shè)計實現(xiàn)為每種終端上的應(yīng)用功能的開發(fā)難題。 元宇宙作為所有用戶可隨時隨地接入的虛擬空間，其中用戶的交互行為將無處不在、連續(xù)不斷，這會導(dǎo)致交互數(shù)據(jù)模糊，為AI推理用戶交互意圖的準確能力帶來巨大挑戰(zhàn)。 無論是擴展現(xiàn)實的智能眼鏡、VR設(shè)備還是智慧互聯(lián)的現(xiàn)實環(huán)境，交互接口都不再是單一固定的界面。 設(shè)備在虛擬化的空間上如何實現(xiàn)操控目標對象、表達抽象命令、輸入語言內(nèi)容三個輸入交互接口上的原子功能，目前尚無高可用的產(chǎn)品技術(shù)，這是人機交互領(lǐng)域的熱點研究方向，也是元宇宙需要突破的人機交互技術(shù)。