決策神經(jīng)科學(xué)：解決機(jī)器人技術(shù)中的關(guān)鍵挑戰(zhàn)

通過模仿人類大腦在日常生活中做出決策時(shí)使用的策略，可以顯著增強(qiáng)機(jī)器人智能。最近，科學(xué)家們找到了最新觀點(diǎn)。

本周五在國(guó)內(nèi)上映的《阿麗塔：戰(zhàn)斗天使》又掀起了一波智能熱，這部由著導(dǎo)演詹姆斯·卡梅隆（James Cameron）擔(dān)任編劇和制片的電影，講述了擁有人類大腦、機(jī)械身軀的女主角，不斷改變世界、認(rèn)識(shí)自我的故事。

這部背景發(fā)生在26世紀(jì)的電影，依舊把人類大腦作為承載智慧、情感和決策的關(guān)鍵能力。

而現(xiàn)在，一份來自韓國(guó)高等科學(xué)技術(shù)研究院（KAIST）、劍橋大學(xué)、日本國(guó)家信息通信技術(shù)研究所（NICT）和谷歌DeepMind的聯(lián)合研究認(rèn)為，通過模仿人類大腦在日常生活中做出決策時(shí)使用的策略，可以顯著增強(qiáng)機(jī)器人智能，他們的方法是：將神經(jīng)科學(xué)應(yīng)用于機(jī)器人大腦。

最近，這項(xiàng)研究發(fā)表在了Science Robotics雜志上。

決策神經(jīng)科學(xué)：解決機(jī)器人技術(shù)中的關(guān)鍵挑戰(zhàn)

人類和自主機(jī)器人不斷需要學(xué)習(xí)和適應(yīng)新的環(huán)境。兩者的不同之處在于，人類能夠根據(jù)獨(dú)特情況做出決策，而機(jī)器人仍然依靠預(yù)定數(shù)據(jù)來做出決策，這是目前機(jī)器人的短板。

強(qiáng)化學(xué)習(xí)(RL)成為通過與世界交互來理解決策的主要理論框架，并且最近在構(gòu)建具有超人類表現(xiàn)的智能體方面取得成功。然而，哪怕是最新的強(qiáng)化算法仍然存在很大的局限性，例如，缺乏制定目標(biāo)導(dǎo)向策略的能力，或依賴大量經(jīng)驗(yàn)來學(xué)習(xí)。

這些限制阻礙了機(jī)器人在任務(wù)或背景頻繁變化的動(dòng)態(tài)環(huán)境中快速適應(yīng)的能力。

相比之下，人類在經(jīng)驗(yàn)有限的條件下迅速適應(yīng)環(huán)境變化方面具有非凡的能力。決策神經(jīng)科學(xué)(decision neuroscience)的最新發(fā)現(xiàn)表明，大腦不僅為RL使用多個(gè)控制系統(tǒng)，而且還使用一種靈活的元控制機(jī)制(metacontrol mechanism)來選擇控制選項(xiàng)，每個(gè)不同選項(xiàng)分別與預(yù)測(cè)性能、認(rèn)知負(fù)荷和學(xué)習(xí)速度相關(guān)。

理解大腦如何實(shí)現(xiàn)這些選項(xiàng)可能會(huì)讓RL算法解決機(jī)器人的實(shí)際控制問題。

在Science Robotics上發(fā)表的研究中，研究人員討論了人類RL相關(guān)的最新發(fā)現(xiàn)，這些發(fā)現(xiàn)可能會(huì)解決機(jī)器人技術(shù)中的幾個(gè)關(guān)鍵挑戰(zhàn)：性能—效率—速度權(quán)衡、多機(jī)器人設(shè)置中的沖突需求以及探索—開發(fā)困境。

詳細(xì)解讀：元控制可以類似大腦

首先，決策神經(jīng)科學(xué)的證據(jù)表明，人類利用兩種不同的行為控制策略：

刺激驅(qū)動(dòng)的習(xí)慣性(stimulus--driven habitual)；

目標(biāo)導(dǎo)向的認(rèn)知控制(goal--directed cognitive control)。

習(xí)慣性控制是自動(dòng)且快速的，盡管它在不穩(wěn)定的環(huán)境中很脆弱，并且能由model--free RL很好地解釋，model--free RL通過無環(huán)境模型下的試錯(cuò)過程來逐步學(xué)習(xí)行為的價(jià)值。

相反，目標(biāo)導(dǎo)向的控制可以迅速適應(yīng)環(huán)境的變化，但它具有認(rèn)知需求。它通過學(xué)習(xí)環(huán)境模型來指導(dǎo)行動(dòng)，并利用這個(gè)知識(shí)庫(kù)快速適應(yīng)環(huán)境結(jié)構(gòu)的變化，例如學(xué)習(xí)狀態(tài)-行動(dòng)空間中的潛在(隱藏)原因。

model--based RL和model--free RL之間的這種計(jì)算上的區(qū)別表明它們之間存在不可避免的妥協(xié)。model--free RL學(xué)習(xí)起來比較慢，但一旦策略被學(xué)習(xí)并實(shí)現(xiàn)自動(dòng)化，就可以快速地實(shí)現(xiàn)目標(biāo)。model--based RL通常比model--free RL提供更多的準(zhǔn)確預(yù)測(cè)，但計(jì)算量要大得多。每種策略都提供了關(guān)于準(zhǔn)確性、速度和認(rèn)知負(fù)荷的互補(bǔ)解決方案，突出了預(yù)測(cè)性能和計(jì)算效率之間的權(quán)衡。

其次，RL算法通常需要大量經(jīng)驗(yàn)來充分學(xué)習(xí)不同環(huán)境因素下的因果關(guān)系(incremen-tal learning)。然而，人類的學(xué)習(xí)速度很快——通常一個(gè)從未經(jīng)歷過的事件發(fā)生一次之后就已學(xué)習(xí)(“one--shot learn-ing”)。

神經(jīng)科學(xué)最近的研究發(fā)現(xiàn)，當(dāng)與環(huán)境的交互受到限制時(shí)，人類有很強(qiáng)的提高學(xué)習(xí)速度的傾向；他們會(huì)努力迅速弄清環(huán)境中未知的部分，即使這會(huì)危及安全。這些結(jié)果表明，大腦是直接執(zhí)行計(jì)算來尋找性能和速度之間的權(quán)衡。

第三，越來越多的證據(jù)支持這樣一種觀點(diǎn)，即前額葉皮層使元控制能夠靈活地在不同的學(xué)習(xí)策略之間進(jìn)行選擇，例如在model--based RL和model--free RL 之間，以及在incremental learning和one--shot learning之間。

在新的環(huán)境中，元控制通過選擇model--based RL來強(qiáng)調(diào)性能。因?yàn)檫@在計(jì)算上很昂貴，當(dāng)大腦發(fā)現(xiàn)進(jìn)一步學(xué)習(xí)沒有什么好處時(shí)，就會(huì)轉(zhuǎn)向model--free RL：要么環(huán)境非常穩(wěn)定，可以做出精確的預(yù)測(cè)；要么高度不穩(wěn)定，以至于基于模型的RL的預(yù)測(cè)不如無模型RL的預(yù)測(cè)可靠。

在其他情況下，元控制優(yōu)先考慮速度。當(dāng)預(yù)估的因果關(guān)系中的不確定性很高時(shí)，大腦傾向于轉(zhuǎn)換到one-shot學(xué)習(xí)，以快速解決預(yù)測(cè)結(jié)果中的不確定性。然而，當(dāng)agent對(duì)所有可能的因果關(guān)系都同樣不確定時(shí)，它會(huì)重新轉(zhuǎn)向incremental learning以確保安全的學(xué)習(xí)。

這些機(jī)制表明類似于大腦的元控制可以處理性能-效率-速度的權(quán)衡。

第四，人類的RL可以解釋在人類進(jìn)化中起重要作用的社會(huì)現(xiàn)象。在多主體相互作用的人類社會(huì)中，存在著具有部分競(jìng)爭(zhēng)性和部分一致性激勵(lì)機(jī)制的社會(huì)困境。

使用model--based的RL方法成功地在更復(fù)雜的時(shí)間擴(kuò)展設(shè)置中實(shí)現(xiàn)了協(xié)作。

人類似乎通過使用元認(rèn)知(metacognition)來繞過這個(gè)問題——元認(rèn)知是一種評(píng)估自己表現(xiàn)的能力，即評(píng)估自信和/或不確定性的水平。例如，較低的任務(wù)難度或較低的環(huán)境噪聲會(huì)使學(xué)習(xí)主體自信，從而導(dǎo)致更果斷的行動(dòng)，而失去自信則會(huì)導(dǎo)致更謹(jǐn)慎和防御性的策略。元認(rèn)知學(xué)習(xí)因此可以快速適應(yīng)環(huán)境的變化，同時(shí)保持對(duì)環(huán)境噪聲的魯棒性。這樣的策略有可能增強(qiáng)機(jī)器人的決策能力。

總之，將人類決策神經(jīng)科學(xué)的發(fā)現(xiàn)整合起來，可以為機(jī)器人的動(dòng)作控制系統(tǒng)提供有價(jià)值的見解，從而實(shí)現(xiàn)更安全、更有能力、更高效的學(xué)習(xí)。

對(duì)大腦建模，算法能否支撐起意識(shí)？

另外，研究團(tuán)隊(duì)還認(rèn)為，這種跨學(xué)科的方法也應(yīng)該引起神經(jīng)科學(xué)的注意，為開發(fā)新的人類決策計(jì)算理論提供一個(gè)可靠的測(cè)試基礎(chǔ)。

最近對(duì)焦慮、抑郁和成癮等精神疾病背后的興趣引起了很多人的興趣，這使得一系列復(fù)雜的理論在沒有某種先進(jìn)的情境平臺(tái)的情況下難以測(cè)試。這種情況需要一種對(duì)人類大腦進(jìn)行建模的方法，以找出它在現(xiàn)實(shí)生活中如何與世界相互作用，以測(cè)試這些模型中的不同異常是否以及如何引起某些疾病。

例如，如果我們可以在機(jī)器人中重現(xiàn)焦慮行為或強(qiáng)迫癥，那么就可以預(yù)測(cè)需要做些什么來治療。研究團(tuán)隊(duì)預(yù)計(jì)，開發(fā)不同精神疾病的機(jī)器人模型，與研究人員現(xiàn)在使用動(dòng)物模型的方式類似，將成為臨床研究的關(guān)鍵未來技術(shù)。

最后再回到電影《阿麗塔》。

電影中所有的機(jī)器人都擁有人類的生命、有機(jī)大腦。機(jī)器人能從脊髓或大腦直接將信號(hào)傳遞到假體中的代碼，使截癱或四肢癱瘓的人能夠隨著機(jī)器人技術(shù)的進(jìn)步再次獲得行動(dòng)能力。

如果放到現(xiàn)在的時(shí)代，這種技術(shù)看上去非常棒；但電影設(shè)定發(fā)生在五百年后，AI依然只是作為支撐軀體的技術(shù)，核心還是人類的大腦而不是由算法主導(dǎo)意識(shí)與行動(dòng)，看來卡梅隆和羅德里格斯導(dǎo)演的腦洞還是小了點(diǎn)：）