十問十答看人機(jī)交互的未來：阿里巴巴告訴你答案

清華大學(xué)副校長楊斌與阿里巴巴集團(tuán)副總裁、首席技術(shù)官張建鋒為聯(lián)合實(shí)驗(yàn)室揭牌,2018年4月3日，清華大學(xué)與阿里巴巴宣布達(dá)成戰(zhàn)略合作，共同成立清華大學(xué)- 阿里巴巴自然交互體驗(yàn)聯(lián)合實(shí)驗(yàn)室，探索“下一代人機(jī)自然交互”的未來。

說起智能機(jī)器人，大家或許不會(huì)忘記電影《鋼鐵俠》中如真人大管家一樣的賈維斯，或者《超能陸戰(zhàn)隊(duì)》中情感豐富的大白。它們都體現(xiàn)了人類對(duì)未來人機(jī)交互的想象。如今，科幻電影中的場景正加速走入現(xiàn)實(shí)。

2018年4月3日，清華大學(xué)與阿里巴巴宣布達(dá)成戰(zhàn)略合作，共同成立清華大學(xué)- 阿里巴巴自然交互體驗(yàn)聯(lián)合實(shí)驗(yàn)室，探索“下一代人機(jī)自然交互”的未來。雙方將以“人”為中心，探索“人-機(jī)器-環(huán)境”之間的關(guān)系，讓機(jī)器以更自然的方式與人類互動(dòng)、服務(wù)人類。雙方將在情感認(rèn)知計(jì)算、實(shí)體交互、多通道感知等領(lǐng)域開展研究，讓機(jī)器具備聽覺、視覺、觸覺等“五感”，并理解人類情感，以此推動(dòng)人機(jī)交互變革。

聯(lián)合實(shí)驗(yàn)室為校級(jí)合作實(shí)驗(yàn)室，依托于清華大學(xué)美術(shù)學(xué)院，共建單位是清華大學(xué)未來實(shí)驗(yàn)室。清華大學(xué)美術(shù)學(xué)院魯曉波教授擔(dān)任實(shí)驗(yàn)室管委會(huì)主任，清華大學(xué)美術(shù)學(xué)院教授徐迎慶為實(shí)驗(yàn)室主任，阿里巴巴人機(jī)自然交互實(shí)驗(yàn)室負(fù)責(zé)人傅利民為聯(lián)合主任。

清華大學(xué)副校長、教務(wù)長楊斌表示，自然交互體驗(yàn)研究人與機(jī)器之間的無縫交流與溝通，賦予機(jī)器以智能，使機(jī)器成為能理解人類意圖的智能設(shè)備，將對(duì)人類工作方式及生活方式都產(chǎn)生深遠(yuǎn)的影響。清華大學(xué)將和阿里巴巴在這一前沿領(lǐng)域深入合作。

阿里巴巴首席技術(shù)官張建鋒表示，阿里巴巴希望通過在新零售、智聯(lián)網(wǎng)等領(lǐng)域積累的豐富應(yīng)用場景，結(jié)合清華大學(xué)在人機(jī)自然交互相關(guān)領(lǐng)域一流的科研能力，全面升級(jí)人機(jī)自然交互體驗(yàn)。

人場互動(dòng)：重構(gòu)人和世界的關(guān)系

根據(jù)國務(wù)院發(fā)布的《新一代人工智能發(fā)展規(guī)劃》，在新一代人工智能關(guān)鍵共性技術(shù)體系中，“人機(jī)交互能力”是研發(fā)部署的重點(diǎn)之一。伴隨人工智能走出實(shí)驗(yàn)室，深入到新零售、家庭智聯(lián)網(wǎng)、自動(dòng)駕駛等場景，“人機(jī)交互”成為人工智能場景落地的關(guān)鍵所在。

實(shí)驗(yàn)室聯(lián)合負(fù)責(zé)人、阿里巴巴集團(tuán)人機(jī)交互實(shí)驗(yàn)室負(fù)責(zé)人傅利民表示：自然交互體驗(yàn)實(shí)驗(yàn)室將重點(diǎn)解決“人場互動(dòng)”問題，場即“環(huán)境”，在新零售、家庭、車載等諸多場景都涉及到“人-機(jī)器- 環(huán)境”之間的互動(dòng)。

聯(lián)合實(shí)驗(yàn)室主任清華大學(xué)徐迎慶教授表示：實(shí)驗(yàn)室將通過構(gòu)建情感認(rèn)知與計(jì)算模型等讓機(jī)器感知和理解人的情感。另一方面，人與人之間的交流綜合了語音、聽力、嗅覺、觸覺等多種模態(tài)，多通道感知技術(shù)將為機(jī)器構(gòu)建“五感”，讓人與機(jī)器的交流更加自然。

阿里巴巴董事局主席馬云在去年烏鎮(zhèn)互聯(lián)網(wǎng)大會(huì)上曾表示，“過去30年，我們把人變成了機(jī)器，未來30年，我們將把機(jī)器變成人，但最終應(yīng)該讓機(jī)器更像機(jī)器、人更像人?！比藱C(jī)自然交互是機(jī)器主動(dòng)適應(yīng)人的一步，將更好地構(gòu)建人和世界之間的關(guān)系。

十問十答看下一代人機(jī)交互

1. 這次清華大學(xué)與阿里巴巴會(huì)涉及到哪些方面的合作？

2018年4月3日, 清華大學(xué)與阿里巴巴，共同成立清華大學(xué)- 阿里巴巴自然交互體驗(yàn)聯(lián)合實(shí)驗(yàn)室，探索“下一代人機(jī)自然交互”的未來。雙方將以“人”為核心，探索“人-機(jī)器-環(huán)境”之間的關(guān)系，讓機(jī)器以更自然的方式與人類互動(dòng)、服務(wù)人類。雙方將在情感認(rèn)知計(jì)算、實(shí)體交互、多通道感知等領(lǐng)域開展研究，讓機(jī)器具備聽覺、視覺、觸覺等“五感”，并識(shí)別理解人類情感，以此推動(dòng)新一輪人機(jī)交互變革。

2. 聯(lián)合實(shí)驗(yàn)室的建設(shè)目標(biāo)

雙方在下一代人機(jī)自然交互領(lǐng)域展開深入合作，打破學(xué)科壁壘，開展計(jì)算機(jī)、工程、藝術(shù)、心理學(xué)等多層次、大跨度的交叉學(xué)科研究，通過數(shù)字和智能化，引領(lǐng)人機(jī)交互產(chǎn)生變革。

我們相信，人機(jī)自然交互的未來，機(jī)器將具備多通道感知能力、情感認(rèn)知能力，也就是說有“五感”（視覺、聽覺、嗅覺、觸覺、味覺）、懂“感情”。這樣，人和機(jī)器的溝通，將會(huì)像人和人之間的交流那么自然。

我們希望雙方通過產(chǎn)學(xué)研實(shí)踐，充分結(jié)合清華大學(xué)的研發(fā)優(yōu)勢、跨學(xué)科人才優(yōu)勢和阿里巴巴的場景優(yōu)勢，一同去開墾這片處女地，探索人機(jī)交互的未來，并以此為依托，在不同產(chǎn)業(yè)推動(dòng)一場交互的變革。

3. 阿里巴巴為何選擇與清華大學(xué)開展人機(jī)自然交互領(lǐng)域的合作？

阿里巴巴與清華大學(xué)有良好的合作基礎(chǔ)。在過去幾年，阿里巴巴已經(jīng)與清華大學(xué)在云計(jì)算、大數(shù)據(jù)、人工智能等眾多領(lǐng)域開展合作，在聯(lián)合承擔(dān)國家項(xiàng)目、發(fā)表高水平的論文、培養(yǎng)高尖端人才上都取得了卓有成效的成果。此次聯(lián)合實(shí)驗(yàn)室是對(duì)合作領(lǐng)域和合作模式的拓寬，阿里巴巴的業(yè)務(wù)場景與清華的科研能力相結(jié)合，將帶來創(chuàng)新突破。

清華大學(xué)在人機(jī)自然交互領(lǐng)域擁有跨學(xué)科、人才等優(yōu)勢。清華大學(xué)在設(shè)計(jì)美學(xué)和人機(jī)交互領(lǐng)域的學(xué)術(shù)水平全球領(lǐng)先。人機(jī)交互是一門交叉學(xué)科，其覆蓋的學(xué)科范圍非常廣，因此要求研究者具有一系列交叉學(xué)科背景：比如能理解用戶感知、認(rèn)知能力的心理學(xué)和認(rèn)知科學(xué)人才；需要能提供技術(shù)支撐的計(jì)算機(jī)科學(xué)和工程學(xué)背景人才；同時(shí)需要美學(xué)設(shè)計(jì)出生的人才。清華擁有雄厚的跨學(xué)科人才儲(chǔ)備，包括但不限于計(jì)算機(jī)、心理學(xué)、機(jī)械工程、多媒體、音樂、電影等專業(yè)背景的師生資源。

此外，聯(lián)合實(shí)驗(yàn)室依托清華美術(shù)學(xué)院，后者擁有國內(nèi)數(shù)一數(shù)二的設(shè)計(jì)團(tuán)隊(duì)；共建單位未來實(shí)驗(yàn)室是清華跨學(xué)科交叉的實(shí)體機(jī)構(gòu)，更是清華大學(xué)科研機(jī)制體制改革和探索交叉學(xué)科的典范。清華鼓勵(lì)跨學(xué)科建立研究機(jī)構(gòu)，聯(lián)合實(shí)驗(yàn)室將來可以便利地與計(jì)算機(jī)、心理、工程、材料等其他學(xué)科開展合作。

4. 清華為什么選擇與阿里巴巴合作？優(yōu)勢體現(xiàn)在哪些方面？

科研需要有數(shù)據(jù)的來源，必須有數(shù)據(jù)處理的能力，同時(shí)需要有現(xiàn)實(shí)的系統(tǒng)場景，必須驗(yàn)證場景閉環(huán)。阿里巴巴積累了新零售、智聯(lián)網(wǎng)、科技金融等眾多自然人機(jī)交互的科研場景。

阿里巴巴已經(jīng)建有自己的人機(jī)自然交互實(shí)驗(yàn)室，清華大學(xué)-阿里巴巴自然交互體驗(yàn)聯(lián)合實(shí)驗(yàn)室是阿里巴巴與學(xué)術(shù)界在全球設(shè)立的首個(gè)人機(jī)交互聯(lián)合實(shí)驗(yàn)室，聚焦在情感認(rèn)知計(jì)算、實(shí)體交互、多感知通道認(rèn)知與交互等前沿性、引領(lǐng)性、顛覆性技術(shù)領(lǐng)域開展研究。

5. 為什么要做下一代人機(jī)自然交互？

人機(jī)交互從命令行、圖形界面到觸屏界面，每次都帶來了革命性的變化，越來越人性化。

人機(jī)自然交互是指構(gòu)造一個(gè)更便捷、更符合人類自然感知（如觸覺、視覺、聽覺、味覺、嗅覺，乃至內(nèi)心和大腦活動(dòng)）交流的智能人機(jī)交互系統(tǒng)。新一代人機(jī)交互技術(shù)，讓計(jì)算機(jī)不僅“會(huì)算”，而且 “能說會(huì)看懂情感”，各種交互設(shè)備因此變得更加智能 。這種人機(jī)交互的新革命，將會(huì)給新零售、IoT等場景帶來非常大的想象空間。

2017年的烏鎮(zhèn)大會(huì)上，馬云曾說過，“過去30年，我們把人變成了機(jī)器，未來30年，我們將把機(jī)器變成人，但是最終應(yīng)該讓機(jī)器更像機(jī)器、人更像人”。

相信未來，人不用去適應(yīng)機(jī)器，機(jī)器會(huì)主動(dòng)適應(yīng)人，人和機(jī)器的交流就像人和人之間交流那么自然。

6. 為什么要更多從“人”的維度進(jìn)行人機(jī)交互研究？具體怎么做？

“自然”是來源于經(jīng)驗(yàn)和體驗(yàn)的，比如同樣你把一個(gè)新設(shè)計(jì)的產(chǎn)品給兩個(gè)不同用戶，互聯(lián)網(wǎng)上長起來的一代會(huì)問“鼠標(biāo)在哪里”，而移動(dòng)互聯(lián)網(wǎng)上長起來的一代會(huì)直接去觸摸屏幕。

自然人機(jī)交互作為一門交叉學(xué)科，在研究中從計(jì)算機(jī)科學(xué)、工程學(xué)角度提供技術(shù)支撐，也需要從心理學(xué)、認(rèn)知科學(xué)、設(shè)計(jì)美學(xué)角度理解用戶感知、認(rèn)知能力，因此，單從技術(shù)維度進(jìn)行投入是不夠的，還要加大從人的維度的研究。

在目前人機(jī)交互的研究中，在語音識(shí)別、語義理解、圖像識(shí)別等領(lǐng)域取得了很多突破，但人的語音、語調(diào)、表情、動(dòng)作背后的情感識(shí)別是人機(jī)交互的難點(diǎn)所在。

聯(lián)合實(shí)驗(yàn)室將結(jié)合心理模型、情感模型等，讓機(jī)器能夠識(shí)別和理解人的“喜怒哀樂”與行為意圖。

人與人的交流綜合了視覺、聽覺、觸覺等多種模態(tài)，聯(lián)合實(shí)驗(yàn)室將通過多通道感知技術(shù)幫智能設(shè)備構(gòu)建“五感”，更好地與人類交流。

7. 人機(jī)自然交互要解決的核心問題是什么？會(huì)放在哪些場景中？

清華-阿里巴巴自然交互體驗(yàn)實(shí)驗(yàn)室將重點(diǎn)解決“人-場”互動(dòng)問題，其中“場”即“環(huán)境”，包含新零售、家庭、車載等諸多場景。未來機(jī)器將不再只是干巴巴地響應(yīng)命令，而能識(shí)別人的喜怒哀樂、上下文情景并進(jìn)行情感反饋。

試想，當(dāng)你回到家里，智能音箱將根據(jù)你的情緒狀態(tài)，播放不同的音樂，或者調(diào)整語音語調(diào)；智能設(shè)備會(huì)根據(jù)你的身體狀況調(diào)整室內(nèi)溫度、通風(fēng)、采光。

我們通過人場互動(dòng)，讓人與機(jī)器、與環(huán)境之間，實(shí)現(xiàn)更加和諧的互動(dòng)。

8. 目前人機(jī)交互領(lǐng)域面臨的挑戰(zhàn)是什么？

（1）交互形式單一，主要是屏幕或TTS(從文本到語音)。主要的人機(jī)交互是命令式的，但人與人之間的交流可不是命令式的。計(jì)算機(jī)對(duì)人的識(shí)別雖取得了一定進(jìn)展，但是對(duì)人的語音、語調(diào)、語氣、表情、行為（body language）里的情感識(shí)別、上下文識(shí)別（基于情感的上下文識(shí)別），以及如何把視覺、聽覺、觸覺、嗅覺等多種交互方式融合到人機(jī)交互中，還尚未突破。這是一項(xiàng)綜合系統(tǒng)工程，還有許多未知的“處女地”亟待更深遠(yuǎn)的探索。

（2）需要跨學(xué)科的深入研究。人機(jī)交互是一門交叉學(xué)科，覆蓋的學(xué)科范圍非常廣，例如圖形、圖像、語音、觸覺、嗅覺、心理學(xué)、認(rèn)知科學(xué)、人工智能等，橫跨眾多學(xué)科來定義和解決問題將是最大的挑戰(zhàn)。同時(shí)，任何學(xué)科取得進(jìn)展都會(huì)促進(jìn)人機(jī)交互研究發(fā)展，反之也會(huì)拖后腿。舉個(gè)行業(yè)的例子，在 IOT 和新零售背景下，圖形界面已經(jīng)不能滿足用戶的需求，對(duì)于很多沒有屏的場景，需要開發(fā)新的技術(shù)，更深地理解和使用視覺、聽覺、觸覺、嗅覺等感官做人機(jī)交互，而這樣的研究需要跨學(xué)科的深入合作。

9. 聯(lián)合實(shí)驗(yàn)室未來將集中在哪些研究方向，時(shí)間表是什么？

（1）短期看來，會(huì)在以下方向上發(fā)力：

人場交互：“場”，即人所處的環(huán)境。在新零售、家庭、車載等諸多場景都涉及到“人- 機(jī)器- 環(huán)境”之間的互動(dòng)。未來在這些場景中，機(jī)器將不再只是干巴巴地響應(yīng)命令，而是識(shí)別人的喜怒哀樂、上下文情景，并進(jìn)行情感反饋：例如，當(dāng)你回到家里，智能設(shè)備會(huì)根據(jù)你的身體狀況調(diào)整室內(nèi)溫度、通風(fēng)、采光。

試想想，生活中無處不在的各種“死”的“場”，比如家、公司、商場等，它們都“活”了，變成了能和人類實(shí)時(shí)交互的界面。

情感認(rèn)知計(jì)算

情感是人們交流和獲取信息的主要方式，有研究表明，人類交流中90%以上的信息都是非文字的信息。因此，情感計(jì)算是實(shí)現(xiàn)人性化的下一代人機(jī)交互過程中必不可少的部分，情感識(shí)別、理解、和表達(dá)技術(shù)也是人機(jī)交互的基礎(chǔ)性技術(shù)之一。

舉個(gè)例子：天貓精靈將根據(jù)你的情緒狀態(tài)，播放不同的音樂，或者調(diào)整語音語調(diào)。機(jī)器更懂人，才能更好的服務(wù)人類。

（2）長期來看，阿里巴巴希望在下一代人機(jī)交互領(lǐng)域開展什么研究

多通道人機(jī)自然交互

人在交流中，可以隨意在多種感官中切換，可以同時(shí)利用多個(gè)通道獲取和表達(dá)信息，并且用注意力來選擇和優(yōu)化通道資源。通過對(duì)人多通道交流的研究，可以指導(dǎo)和實(shí)現(xiàn)和計(jì)算機(jī)和人之間的多通道交互。

觸覺，嗅覺的數(shù)字化

人的視覺數(shù)字化帶來了整個(gè)行業(yè)的質(zhì)變，也是目前圖形用戶界面的發(fā)展基礎(chǔ)，我們希望觸覺和嗅覺的數(shù)字化會(huì)帶來另一次變革。從電子購物上，可以解決用戶摸不到，聞不到兩點(diǎn)痛點(diǎn)。

另外，我們今年在加拿大舉行的 CHI 2018 國際會(huì)議上，也做了一個(gè)人機(jī)自然交互的興趣小組，除了阿里，和清華，也請(qǐng)了斯坦福的 James Landy 教授，密西根大學(xué)的 Michael Nebeling 教授一同參與，在行業(yè)里共同探討下一代人機(jī)自然交互的發(fā)展方向。

10.未來實(shí)驗(yàn)室的研究成果會(huì)應(yīng)用在哪些現(xiàn)實(shí)場景當(dāng)中？

人機(jī)交互從命令行機(jī)器語言，圖形界面，觸屏界面，每次都帶來了革命性的變化，越來越人性化。現(xiàn)在，人工智能等技術(shù)開始進(jìn)入線下場景，人 - 機(jī)器- 環(huán)境之間的互動(dòng)越來越重要，在新零售、IoT、車載場景、家居場景上都會(huì)帶來革命，無論是用戶體驗(yàn)、還是產(chǎn)業(yè)化空間上，都帶來非常大的機(jī)會(huì)。

比如：家庭場景中，機(jī)器人與你對(duì)話，也不再是干巴巴的語調(diào)，而是可以基于你的情緒、上下文，來富有感情的回答；車載場景中，人對(duì)視覺警告的反應(yīng)速度是1.25秒左右，而對(duì)觸覺的反應(yīng)速度只有0.25秒，那引入觸覺交互（例如方向盤震動(dòng)），在關(guān)鍵時(shí)刻，就可能會(huì)節(jié)省你1秒鐘的時(shí)間，這一秒鐘甚至可能會(huì)挽救生命。