如何把握機(jī)器學(xué)習(xí)未來方向、趨勢和熱點(diǎn)

人工智能正熱。技術(shù)創(chuàng)新是經(jīng)濟(jì)增長的根本動力。這些技術(shù)中，最重要的就是經(jīng)濟(jì)學(xué)家提到的“通用技術(shù)”，比如蒸汽機(jī)、內(nèi)燃機(jī)、電力等。如今這個時代，人工智能就是最重要的“通用技術(shù)”。特別是行業(yè)與人工智能的結(jié)合，釋放了行業(yè)的潛力，重塑了我們的生活。人工智能備受關(guān)注、取得革命性進(jìn)步背后的推手，其實(shí)是“機(jī)器學(xué)習(xí)”。

機(jī)器學(xué)習(xí)其實(shí)是一門多領(lǐng)域交叉學(xué)科，它涉及到計算機(jī)科學(xué)、概率統(tǒng)計、函數(shù)逼近論、最優(yōu)化理論、控制論、決策論、算法復(fù)雜度理論、實(shí)驗(yàn)科學(xué)等多個學(xué)科。機(jī)器學(xué)習(xí)的具體定義也因此有許多不同的說法，分別以某個相關(guān)學(xué)科的視角切入。但總體上講，其關(guān)注的核心問題是如何用計算的方法模擬類人的學(xué)習(xí)行為：從歷史經(jīng)驗(yàn)中獲取規(guī)律（或模型），并將其應(yīng)用到新的類似場景中。

那么，當(dāng)我們談機(jī)器學(xué)習(xí)時，到底在談些什么？從業(yè)者需要掌握哪些前沿技術(shù)？未來，又有什么技術(shù)趨勢值得期待？

看前沿：你需要掌握的機(jī)器學(xué)習(xí)技術(shù)

近年來，有很多新型的機(jī)器學(xué)習(xí)技術(shù)受到人們的廣泛關(guān)注，也在解決實(shí)際問題中，提供了有效的方案。這里，我們簡單介紹一下深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、對抗學(xué)習(xí)、對偶學(xué)習(xí)、遷移學(xué)習(xí)、分布式學(xué)習(xí)、以及元學(xué)習(xí)。

▌深度學(xué)習(xí)

不同于傳統(tǒng)的機(jī)器學(xué)習(xí)方法，深度學(xué)習(xí)是一類端到端的學(xué)習(xí)方法?；诙鄬拥姆蔷€性神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)可以從原始數(shù)據(jù)直接學(xué)習(xí)，自動抽取特征并逐層抽象，最終實(shí)現(xiàn)回歸、分類或排序等目的。在深度學(xué)習(xí)的驅(qū)動下，人們在計算機(jī)視覺、語音處理、自然語言方面相繼取得了突破，達(dá)到或甚至超過了人類水平。深度學(xué)習(xí)的成功主要?dú)w功于三大因素——大數(shù)據(jù)、大模型、大計算，因此這三個方向都是當(dāng)前研究的熱點(diǎn)。

在過去的幾十年中，很多不同的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)被提出，比如，卷積神經(jīng)網(wǎng)絡(luò)，被廣泛應(yīng)用于計算機(jī)視覺，如圖像分類、物體識別、圖像分割、視頻分析等等；循環(huán)神經(jīng)網(wǎng)絡(luò)，能夠?qū)ψ冮L的序列數(shù)據(jù)進(jìn)行處理，被廣泛應(yīng)用于自然語言理解、語音處理等；編解碼模型（Encoder-Decoder）是深度學(xué)習(xí)中常見的一個框架，多用于圖像或序列生成，例如比較熱的機(jī)器翻譯、文本摘要、圖像描述（image captioning）問題。

▌強(qiáng)化學(xué)習(xí)

2016 年 3 月，DeepMind 設(shè)計的基于深度卷積神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)的 AlphaGo 以 4:1 擊敗頂尖職業(yè)棋手李世乭，成為第一個不借助讓子而擊敗圍棋職業(yè)九段棋手的電腦程序。此次比賽成為AI歷史上里程碑式的事件，也讓強(qiáng)化學(xué)習(xí)成為機(jī)器學(xué)習(xí)領(lǐng)域的一個熱點(diǎn)研究方向。

強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個子領(lǐng)域，研究智能體如何在動態(tài)系統(tǒng)或者環(huán)境中以“試錯”的方式進(jìn)行學(xué)習(xí)，通過與系統(tǒng)或環(huán)境進(jìn)行交互獲得的獎賞指導(dǎo)行為，從而最大化累積獎賞或長期回報。由于其一般性，該問題在許多其他學(xué)科中也進(jìn)行了研究，例如博弈論、控制理論、運(yùn)籌學(xué)、信息論、多智能體系統(tǒng)、群體智能、統(tǒng)計學(xué)和遺傳算法。

▌遷移學(xué)習(xí)

遷移學(xué)習(xí)的目的是把為其他任務(wù)（稱其為源任務(wù)）訓(xùn)練好的模型遷移到新的學(xué)習(xí)任務(wù)（稱其為目標(biāo)任務(wù)）中，幫助新任務(wù)解決訓(xùn)練樣本不足等技術(shù)挑戰(zhàn)。之所以可以這樣做，是因?yàn)楹芏鄬W(xué)習(xí)任務(wù)之間存在相關(guān)性（比如都是圖像識別任務(wù)），因此從一個任務(wù)中總結(jié)出來的知識（模型參數(shù)）可以對解決另外一個任務(wù)有所幫助。遷移學(xué)習(xí)目前是機(jī)器學(xué)習(xí)的研究熱點(diǎn)之一，還有很大的發(fā)展空間。

▌對抗學(xué)習(xí)

傳統(tǒng)的深度生成模型存在一個潛在問題：由于最大化概率似然，模型更傾向于生成偏極端的數(shù)據(jù)，影響生成的效果。對抗學(xué)習(xí)利用對抗性行為（比如產(chǎn)生對抗樣本或者對抗模型）來加強(qiáng)模型的穩(wěn)定性，提高數(shù)據(jù)生成的效果。近些年來，利用對抗學(xué)習(xí)思想進(jìn)行無監(jiān)督學(xué)習(xí)的生成對抗網(wǎng)絡(luò)（GAN）被成功應(yīng)用到圖像、語音、文本等領(lǐng)域，成為了無監(jiān)督學(xué)習(xí)的重要技術(shù)之一。

▌對偶學(xué)習(xí)

對偶學(xué)習(xí)是一種新的學(xué)習(xí)范式，其基本思想是利用機(jī)器學(xué)習(xí)任務(wù)之間的對偶屬性獲得更有效的反饋/正則化，引導(dǎo)、加強(qiáng)學(xué)習(xí)過程，從而降低深度學(xué)習(xí)對大規(guī)模人工標(biāo)注數(shù)據(jù)的依賴。對偶學(xué)習(xí)的思想已經(jīng)被應(yīng)用到機(jī)器學(xué)習(xí)很多問題里，包括機(jī)器翻譯、圖像風(fēng)格轉(zhuǎn)換、問題回答和生成、圖像分類和生成、文本分類和生成、圖像轉(zhuǎn)文本和文本轉(zhuǎn)圖像等等。

▌分布式學(xué)習(xí)

分布式技術(shù)是機(jī)器學(xué)習(xí)技術(shù)的加速器，能夠顯著提高機(jī)器學(xué)習(xí)的訓(xùn)練效率、進(jìn)一步增大其應(yīng)用范圍。當(dāng)“分布式”遇到“機(jī)器學(xué)習(xí)”，不應(yīng)只局限在對串行算法進(jìn)行多機(jī)并行以及底層實(shí)現(xiàn)方面的技術(shù)，我們更應(yīng)該基于對機(jī)器學(xué)習(xí)的完整理解，將分布式和機(jī)器學(xué)習(xí)更加緊密地結(jié)合在一起。

▌元學(xué)習(xí)

元學(xué)習(xí)（meta learning）是近年來機(jī)器學(xué)習(xí)領(lǐng)域的一個新的研究熱點(diǎn)。字面上來理解，元學(xué)習(xí)就是學(xué)會如何學(xué)習(xí)，重點(diǎn)是對學(xué)習(xí)本身的理解和適應(yīng)，而不僅僅是完成某個特定的學(xué)習(xí)任務(wù)。也就是說，一個元學(xué)習(xí)器需要能夠評估自己的學(xué)習(xí)方法，并根據(jù)特定的學(xué)習(xí)任務(wù)對自己的學(xué)習(xí)方法進(jìn)行調(diào)整。

看趨勢：把握機(jī)器學(xué)習(xí)的未來

機(jī)器學(xué)習(xí)雖然取得了長足的進(jìn)步，也解決了很多實(shí)際問題，但是客觀地講，機(jī)器學(xué)習(xí)領(lǐng)域仍然存在著巨大的挑戰(zhàn)。

首先，主流的機(jī)器學(xué)習(xí)技術(shù)是黑箱技術(shù)，這讓我們無法預(yù)知暗藏的危機(jī)，為解決這個問題，我們需要讓機(jī)器學(xué)習(xí)具有可解釋性、可干預(yù)性。其次，目前主流的機(jī)器學(xué)習(xí)的計算成本很高，亟待發(fā)明輕量級的機(jī)器學(xué)習(xí)算法。另外，在物理、化學(xué)、生物、社會科學(xué)中，人們常常用一些簡單而美的方程（比如像薛定諤方程這樣的二階偏微分方程）來描述表象背后的深刻規(guī)律。那么在機(jī)器學(xué)習(xí)領(lǐng)域，我們是否也能追求到簡單而美的規(guī)律呢？如此的挑戰(zhàn)還有很多，不過我們對于這個領(lǐng)域未來的發(fā)展仍然充滿信心。以下，我們將對未來十年的若干研究熱點(diǎn)進(jìn)行展望：

▌可解釋的機(jī)器學(xué)習(xí)

以深度學(xué)習(xí)為代表的各種機(jī)器學(xué)習(xí)技術(shù)方興未艾，取得了舉世矚目的成功。機(jī)器和人類在很多復(fù)雜認(rèn)知任務(wù)上的表現(xiàn)已在伯仲之間。然而，在解釋模型為什么奏效及如何運(yùn)作方面，目前學(xué)界的研究還處于非常初級的階段。

解釋什么：相關(guān)性和因果邏輯性之間的鴻溝。

大部分機(jī)器學(xué)習(xí)技術(shù)，尤其是基于統(tǒng)計的機(jī)器學(xué)習(xí)技術(shù)，高度依賴基于數(shù)據(jù)相關(guān)性習(xí)得的概率化預(yù)測和分析。相反，理性的人類決策更依賴于清楚可信的因果關(guān)系，這些因果關(guān)系由真實(shí)清楚的事實(shí)原由和邏輯正確的規(guī)則推理得出。從利用數(shù)據(jù)相關(guān)性來解決問題，過渡到利用數(shù)據(jù)間的因果邏輯來解釋和解決問題，是可解釋性機(jī)器學(xué)習(xí)需要完成的核心任務(wù)之一。

為什么需要解釋：知之為知之，不知為不知，是知也。

機(jī)器學(xué)習(xí)模型基于歷史數(shù)據(jù)進(jìn)行分析和決策。但由于常識的缺失，機(jī)器在面對歷史上未發(fā)生過或罕見的事件時，很大可能性會犯人類幾乎不可能犯的低級錯誤。統(tǒng)計意義上的準(zhǔn)確率并不能有效地刻畫決策的風(fēng)險，甚至在某些情況下，看似正確的概率性選擇背后的原因與事實(shí)背道而馳。在可控性為首要考量目標(biāo)的領(lǐng)域，比如醫(yī)療、核工業(yè)和航天等，理解數(shù)據(jù)決策背后所依賴的事實(shí)基礎(chǔ)是應(yīng)用機(jī)器學(xué)習(xí)的前提。對于這些領(lǐng)域，可解釋性意味著可信和可靠。

可解釋性機(jī)器學(xué)習(xí)，還是把機(jī)器學(xué)習(xí)技術(shù)與我們?nèi)祟惿鐣錾疃燃傻谋亟?jīng)之路。對可解釋性機(jī)器學(xué)習(xí)的需求不僅僅是對技術(shù)進(jìn)步的渴求，同時包含各種非技術(shù)因素的考量，甚至包含法律法規(guī)。歐盟在 2018 年生效的 GDPR（GeneralData Protection Regulation）條例中明確要求，當(dāng)采用機(jī)器做出針對某個體的決定時，比如自動拒絕一個在線信貸申請，該決定必須符合一定要求的可解釋性。

除了產(chǎn)業(yè)和社會對可解釋性機(jī)器學(xué)習(xí)的迫切需求，解釋行為的動機(jī)同時是人類大腦內(nèi)建的能力和訴求。認(rèn)知神經(jīng)科學(xué)先驅(qū) Michael S. Gazzaniga 在對現(xiàn)代認(rèn)知科學(xué)影響深遠(yuǎn)的裂腦人（Split-BrainPatients）研究中得出了如下的觀察和結(jié)論：“我們的大腦會不由自主地去尋求（決策的）解釋和事件發(fā)生的原由?！?/p>

誰解釋給誰：以人為中心的機(jī)器學(xué)習(xí)升級。

解釋給誰聽，這個問題相對清楚。簡而言之，解釋給人。根據(jù)受眾的不同，包含只有機(jī)器學(xué)習(xí)專家可以理解的解釋，也包含普通大眾都可以理解的解釋。

那么由誰來解釋呢？理想情況下，由機(jī)器解釋：機(jī)器一邊解答問題，一邊給出答案背后的邏輯推理過程。但是，受限于很多機(jī)器學(xué)習(xí)技術(shù)的工作原理，機(jī)器自答自釋并不總是行得通。很多機(jī)器學(xué)習(xí)算法是“數(shù)據(jù)進(jìn)來，模型出去”，絕大部分時候，模型最終得出的結(jié)論與輸入數(shù)據(jù)之間的因果關(guān)聯(lián)變得無跡可尋，模型也變成了一個“神奇的”黑箱子。

在機(jī)器自答自釋尚無有效方案的階段，支持人工審查和回溯解答過程的方案可以提供一定程度的可解釋性。此時，機(jī)器學(xué)習(xí)系統(tǒng)中各個子模塊作用機(jī)理的可解釋性就變得尤為重要。對于一個大型的機(jī)器學(xué)習(xí)系統(tǒng)，整體的可解釋性高度依賴于各個組成部分的可解釋性。從目前的機(jī)器學(xué)習(xí)到可解釋性機(jī)器學(xué)習(xí)的演化將是一個涉及方方面面的系統(tǒng)工程，需要對目前的機(jī)器學(xué)習(xí)從理論到算法，再到系統(tǒng)實(shí)現(xiàn)進(jìn)行全面的改造和升級。

可解釋性的度：起于實(shí)用，終于無窮。

不同的應(yīng)用場景對機(jī)器學(xué)習(xí)可解釋性的要求天然不同。某些時候，“曲高和寡”的專業(yè)解釋就已足夠，尤其當(dāng)其解釋只用作技術(shù)安全性審查時；另外一些場合，當(dāng)可解釋性是人機(jī)交互的一部分時，“老嫗?zāi)芙狻钡耐ㄋ捉獯鹁妥兊梅浅１匾Ｈ魏渭夹g(shù)都只在一定范圍和一定程度上起作用，對于機(jī)器學(xué)習(xí)的可解釋性同樣如此?？山忉寵C(jī)器學(xué)習(xí)，起于實(shí)用性的需求，終于永無止盡的不斷改進(jìn)中。

▌輕量機(jī)器學(xué)習(xí)和邊緣計算

邊緣計算（EdgeComputing）指的是在網(wǎng)絡(luò)邊緣節(jié)點(diǎn)來處理、分析數(shù)據(jù)。而邊緣節(jié)點(diǎn)指的是在數(shù)據(jù)產(chǎn)生源頭和云計算中心之間具有計算資源和網(wǎng)絡(luò)資源的節(jié)點(diǎn)，比如手機(jī)就是人與云計算中心之間的邊緣節(jié)點(diǎn)，而網(wǎng)關(guān)則是智能家居和云計算中心之間的邊緣節(jié)點(diǎn)。在理想環(huán)境下，邊緣計算指的是在數(shù)據(jù)產(chǎn)生源附近分析、處理數(shù)據(jù)，降低數(shù)據(jù)的流轉(zhuǎn)，進(jìn)而減少網(wǎng)絡(luò)流量和響應(yīng)時間。隨著物聯(lián)網(wǎng)的興起以及人工智能在移動場景下的廣泛應(yīng)用，機(jī)器學(xué)習(xí)與邊緣計算的結(jié)合就顯得尤為重要。

為什么邊緣計算會在這種嵌入式機(jī)器學(xué)習(xí)的范式下發(fā)揮重要作用呢？

1.數(shù)據(jù)傳輸帶寬和任務(wù)響應(yīng)延遲：在移動場景下，機(jī)器學(xué)習(xí)任務(wù)在需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練的同時又需要更短的響應(yīng)延遲。以自動駕駛為例，比較大的延遲可能會顯著增加事故風(fēng)險，因此就需要定制的機(jī)載計算設(shè)備在邊緣執(zhí)行模型推斷。而且，當(dāng)有大量設(shè)備連接到同一網(wǎng)絡(luò)時，有效帶寬也會減少，而利用邊緣計算可以有效地減少設(shè)備之間在通訊渠道上的競爭。

2. 安全性：邊緣計算中的邊緣設(shè)備可以保障所收集的敏感數(shù)據(jù)的安全性。同時，邊緣計算可以使智能的邊緣設(shè)備分散化，降低 DDoS 攻擊對整個網(wǎng)絡(luò)影響的風(fēng)險。

3.定制化學(xué)習(xí)任務(wù)：邊緣計算使得不同的邊緣設(shè)備可以針對他們所面對的不用類型的對象采取定制化的學(xué)習(xí)任務(wù)和模型。例如在安防領(lǐng)域的圖像識別任務(wù)，不同區(qū)域的視頻設(shè)備所觀測到的圖像信息可能差別很大，因此僅僅訓(xùn)練一個深度學(xué)習(xí)模型可能無法達(dá)到目的，而在云上同時托管多個模型代價也會很大。更有效的解決方案是在云中訓(xùn)練每個場景下不同的模型，并將訓(xùn)練好的模型發(fā)送到相應(yīng)的邊緣設(shè)備。

4. 多智能體協(xié)作：邊緣設(shè)備也可以同時模型多智能體場景，幫助訓(xùn)練多智能協(xié)作的強(qiáng)化學(xué)習(xí)模型。

那么將機(jī)器學(xué)習(xí)模型，特別是復(fù)雜的深度學(xué)習(xí)模型，嵌入到邊緣計算的框架中所面臨的挑戰(zhàn)在哪里呢？

1.參數(shù)高效的神經(jīng)網(wǎng)絡(luò)：神經(jīng)網(wǎng)絡(luò)的一個顯著特點(diǎn)是龐大的參數(shù)規(guī)模，而邊緣設(shè)備往往不能處理大規(guī)模的神經(jīng)網(wǎng)絡(luò)。這促使研究人員在保持模型準(zhǔn)確性的同時最小化神經(jīng)網(wǎng)絡(luò)的規(guī)模?，F(xiàn)在通常采用的方式包括通過對卷積層的擠壓和擴(kuò)展來降低濾波器的次數(shù)，從而優(yōu)化參數(shù)效率。

2.神經(jīng)網(wǎng)絡(luò)修剪：在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中存在一些神經(jīng)元，對他們進(jìn)行大量的訓(xùn)練后并不能改進(jìn)模型的最終效果。在這種情況下，我們可以通過修剪這類神經(jīng)元來節(jié)省模型空間。

3.精度控制：大多數(shù)神經(jīng)網(wǎng)絡(luò)參數(shù)都是 32 位浮點(diǎn)數(shù)。邊緣設(shè)備可以設(shè)計為8位或更少的浮點(diǎn)數(shù)，通過這種降低精度的方式可以顯著地減小模型規(guī)模。

4.模型蒸餾：模型蒸餾的過程是將訓(xùn)練好的復(fù)雜神經(jīng)網(wǎng)絡(luò)的能力遷移到一個結(jié)構(gòu)更為簡單的神經(jīng)網(wǎng)絡(luò)上。結(jié)合遷移學(xué)習(xí)的發(fā)展，這種方法可以更有效地降低模型復(fù)雜度同時又不會失去太多精度。

5.優(yōu)化的微處理器：另外一個方向則是將神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和推斷能力嵌入到邊緣設(shè)備的微處理器上，這種 AI 芯片所表現(xiàn)出來的潛力也受到越來越多的關(guān)注。

▌量子機(jī)器學(xué)習(xí)

量子機(jī)器學(xué)習(xí)（Quantum ML）是量子計算和機(jī)器學(xué)習(xí)的交叉學(xué)科。

量子計算機(jī)利用量子相干和量子糾纏等效應(yīng)來處理信息，這和經(jīng)典計算機(jī)有著本質(zhì)的差別。目前量子算法已經(jīng)在若干問題上超過了最好的經(jīng)典算法，我們稱之為量子加速。例如搜索一個有N個條目未排序的數(shù)據(jù)庫，量子算法所需時間為，而經(jīng)典計算機(jī)的時間復(fù)雜度為；對一個N×N的稀疏矩陣求逆，量子計算機(jī)的時間復(fù)雜度為，而經(jīng)典計算機(jī)為。

當(dāng)量子計算遇到機(jī)器學(xué)習(xí)，可以是個互利互惠、相輔相成的過程：一方面我們可以利用量子計算的優(yōu)勢來提高經(jīng)典的機(jī)器學(xué)習(xí)算法的性能，如在量子計算機(jī)上高效實(shí)現(xiàn)經(jīng)典計算機(jī)上的機(jī)器學(xué)習(xí)算法。另一方面，我們也可以利用經(jīng)典計算機(jī)上的機(jī)器學(xué)習(xí)算法來分析和改進(jìn)量子計算系統(tǒng)。

基于線性代數(shù)的量子機(jī)器學(xué)習(xí)算法

這一類別中的許多量子機(jī)器學(xué)習(xí)算法是基于求解線性方程組的量子算法的各種變體，該算法在特定條件下（如 Hamiltonian 條件，稀疏矩陣或低秩矩陣滿足該條件）求解 N 元線性方程組的復(fù)雜度為。需要指出的是，任何已知的矩陣求逆的經(jīng)典算法的復(fù)雜度至少為。基于量子矩陣求逆算法可以加速很多機(jī)器學(xué)習(xí)方法，如最小二乘線性回歸、支持向量機(jī)的最小二乘版本、高斯過程等，這些算法的訓(xùn)練可以簡化為求解線性方程組。這一類量子機(jī)器學(xué)習(xí)算法的關(guān)鍵瓶頸是數(shù)據(jù)輸入，如何用整個數(shù)據(jù)集特征來初始化量子系統(tǒng)。雖然對于某些特定的情況高效數(shù)據(jù)輸入算法存在，但是對大多數(shù)情形而言，數(shù)據(jù)如何輸入到量子系統(tǒng)是未知的。

量子強(qiáng)化學(xué)習(xí)

在量子強(qiáng)化學(xué)習(xí)中，一個量子智能體（agent）與經(jīng)典環(huán)境互動，從環(huán)境獲得獎勵從而調(diào)整和改進(jìn)其行為策略。在某些情況下，由于智能體的量子處理能力或者由于量子疊加探測環(huán)境的可能性，而實(shí)現(xiàn)量子加速。這類算法已在超導(dǎo)電路和俘獲離子系統(tǒng)中提出。

量子深度學(xué)習(xí)

諸如量子退火器和采用可編程光子電路的專用量子信息處理器非常適合構(gòu)建深層量子學(xué)習(xí)網(wǎng)絡(luò)。最簡單的可量子化的深度神經(jīng)網(wǎng)絡(luò)是玻爾茲曼機(jī)。經(jīng)典的玻爾茲曼機(jī)由具有可調(diào)的相互作用的比特位組成，通過調(diào)整這些比特位的相互作用來訓(xùn)練玻爾茲曼機(jī)，使得其表達(dá)的分布符合數(shù)據(jù)的統(tǒng)計。為了量子化 Boltzmann 機(jī)，可以簡單地將神經(jīng)網(wǎng)絡(luò)表示為一組相互作用的量子自旋，它對應(yīng)于一個可調(diào)的 Ising 模型。然后通過將玻爾茲曼機(jī)中的輸入神經(jīng)元初始化為固定狀態(tài)，并允許系統(tǒng)進(jìn)行熱化，我們可以讀出輸出量子位以獲得結(jié)果。

量子退火器是專用的量子信息處理器，比通用量子計算機(jī)更容易構(gòu)建和擴(kuò)展，目前已初步商業(yè)化，如 D-wave 量子退火器。

▌簡單而美的定律

大自然處處都是紛繁復(fù)雜的現(xiàn)象和系統(tǒng)。縱覽現(xiàn)實(shí)世界復(fù)雜現(xiàn)象背后的本質(zhì)，我們卻能得到一個出乎意料的結(jié)論：貌似復(fù)雜的自然現(xiàn)象都由簡單而優(yōu)美的數(shù)學(xué)規(guī)律所刻畫，比如偏微分方程。Mathematica 的創(chuàng)建者、知名計算機(jī)科學(xué)家、物理學(xué)家 Stephen Wolfram 也曾給出過類似的觀察和結(jié)論: “事實(shí)證明，物理和其他科學(xué)領(lǐng)域幾乎所有的傳統(tǒng)數(shù)學(xué)模型最終都基于偏微分方程。” 既然自然現(xiàn)象背后簡而美的數(shù)學(xué)定律如此普遍（尤其是偏微分方程），那么能否設(shè)計一種方法來自動地學(xué)習(xí)和發(fā)現(xiàn)現(xiàn)象背后的數(shù)學(xué)定律呢？這個問題顯然很難，但并非完全不可能。

對任何一個方程，某種相等性一定存在。那么更進(jìn)一步，現(xiàn)實(shí)物理世界是否存在內(nèi)在的、普遍的守恒性或不變量呢？關(guān)于這個問題，德國數(shù)學(xué)家 Emmy Noether 在 1915 年提出了極具洞察力的諾特定理（Noether’s theorem）。該定理指出，對于每個連續(xù)的對稱變換都存在一個守恒量（不變量）與之對應(yīng)。換言之，連續(xù)對稱性和守恒定律之間有著一一對應(yīng)關(guān)系。這對于發(fā)現(xiàn)自然現(xiàn)象背后的守恒關(guān)系，尤其是對于尋找物理守恒定律，提供了深刻的理論指引。事實(shí)上，絕大部分物理定律公式都是基于某種量的守恒而導(dǎo)出的，比如刻畫量子系統(tǒng)的薛定諤方程就是由能量守恒得到。

基于這種洞察，科學(xué)工作者們開展了大量嘗試并取得了累累碩果。例如，Schmidt 和 Lipson 在 2009 年發(fā)表的《科學(xué)》雜志論文中，提出了基于不變量原理和進(jìn)化算法的自動定律發(fā)現(xiàn)方法。論文探討了這樣一個課題：對于給定的實(shí)驗(yàn)數(shù)據(jù)，我們基于某種不變性可以生成大量的等式或方程。那么，什么樣的相關(guān)性才是重要且有意義的呢？雖然這個問題難以定量回答，Schmidt 和 Lipson 在論文中給出了他們的觀點(diǎn)：基于某種不變量得到的有效公式必須能正確預(yù)測一個系統(tǒng)中各個組成部分之間的動態(tài)關(guān)系。具體來說，一個有意義的守恒公式須能正確刻畫一組變量相對于時間的導(dǎo)數(shù)之間的關(guān)系。

相比于深度學(xué)習(xí)，自動定律學(xué)習(xí)更像牛頓當(dāng)年觀察研究世界的方法。在收集到很多關(guān)于現(xiàn)實(shí)世界的數(shù)據(jù)后，牛頓得到了一系列定律、方程和公式，可以用來簡潔明了地刻畫我們生活的這個物理世界的規(guī)律。萬物皆數(shù)，自動化定律發(fā)現(xiàn)可以很大程度地輔助科學(xué)研究，甚至在一定領(lǐng)域內(nèi)實(shí)現(xiàn)科學(xué)研究的自動化。

即興學(xué)習(xí)

這里我們探討的即興學(xué)習(xí)與 Yann LeCun 一直倡導(dǎo)的預(yù)測學(xué)習(xí)，有著相似的目標(biāo)，然而二者對世界的假設(shè)和采取的方法論非常不同。預(yù)測學(xué)習(xí)這個概念脫胎于無監(jiān)督學(xué)習(xí)，側(cè)重預(yù)測未來事件發(fā)生概率的能力。方法論上，預(yù)測學(xué)習(xí)利用所有當(dāng)前可用的信息，基于過去和現(xiàn)在預(yù)測未來，或者基于現(xiàn)在分析過去。預(yù)測學(xué)習(xí)在一定程度上暗合現(xiàn)代認(rèn)知科學(xué)對大腦能力的理解。

預(yù)測學(xué)習(xí)的兩大要素是：建模世界和預(yù)測當(dāng)前未知。問題是，我們生活的世界是否可以預(yù)測？這個問題的答案是不明確的。

與預(yù)測學(xué)習(xí)對世界的假設(shè)不同，即興學(xué)習(xí)假設(shè)異常事件的發(fā)生是常態(tài)。即興智能是指當(dāng)遇到出乎意料的事件時可以即興地、變通地處理解決問題的能力。即興學(xué)習(xí)意味著沒有確定的、預(yù)設(shè)的、靜態(tài)的可優(yōu)化目標(biāo)。直觀地講，即興學(xué)習(xí)系統(tǒng)需要進(jìn)行不間斷的、自我驅(qū)動的能力提升，而不是由預(yù)設(shè)目標(biāo)生成的優(yōu)化梯度推動演化。換言之，即興學(xué)習(xí)通過自主式觀察和交互來獲得知識和解決問題的能力。

一個即興學(xué)習(xí)系統(tǒng)通過觀察環(huán)境并與環(huán)境交互的正負(fù)反饋中學(xué)習(xí)。這個過程跟強(qiáng)化學(xué)習(xí)表面上很像，本質(zhì)的區(qū)別還是在于即興學(xué)習(xí)沒有確定預(yù)設(shè)的優(yōu)化目標(biāo)，而強(qiáng)化學(xué)習(xí)則通常需要一個預(yù)設(shè)的目標(biāo)。既然即興學(xué)習(xí)不是由根據(jù)固定優(yōu)化目標(biāo)所得出的學(xué)習(xí)梯度來驅(qū)動演化。那么，是什么驅(qū)動了這個學(xué)習(xí)過程？什么時候，這個學(xué)習(xí)過程會停止？這里，我們以“條件熵”模型為例來探討這類學(xué)習(xí)系統(tǒng)。

這里 K 是學(xué)習(xí)系統(tǒng)當(dāng)前擁有的知識，而 E 是環(huán)境中的信息。該公式刻畫了環(huán)境相對于當(dāng)前學(xué)習(xí)系統(tǒng)的“不確定性”。伴隨著“負(fù)熵”的轉(zhuǎn)移，學(xué)習(xí)系統(tǒng)獲得越來越多關(guān)于環(huán)境的知識，這種“不確定性”逐步遞減，直到消失。當(dāng)這種“不確定性”完全消失后，“負(fù)熵”流動停止，學(xué)習(xí)過程結(jié)束。這時，該學(xué)習(xí)系統(tǒng)通過無預(yù)設(shè)目標(biāo)的即興學(xué)習(xí)，獲得了對環(huán)境的全面理解。

社會機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)的目的是模擬人類的學(xué)習(xí)過程。機(jī)器學(xué)習(xí)雖然取得很大的成功，但是到目前為止，它忽視了一個重要的因素，也就是人的社會屬性。我們每個人都是社會的一分子，很難從出生就脫離社會獨(dú)自生存、學(xué)習(xí)并不斷進(jìn)步。既然人類的智能離不開社會，那么我們能否讓機(jī)器們也具有某種意義的社會屬性，模擬人類社會中的關(guān)鍵元素進(jìn)行演化，從而實(shí)現(xiàn)比現(xiàn)在的機(jī)器學(xué)習(xí)方法更為有效、智能、可解釋的“社會機(jī)器學(xué)習(xí)”呢？

社會是由億萬個人類個體構(gòu)成，社會機(jī)器學(xué)習(xí)也應(yīng)該是一個由機(jī)器學(xué)習(xí)智能體構(gòu)成的體系。每一個機(jī)器學(xué)習(xí)算法除了按照現(xiàn)在的機(jī)器學(xué)習(xí)方法獲取數(shù)據(jù)的規(guī)律，還參與社會活動。它們會聯(lián)合其他的機(jī)器學(xué)習(xí)智能體按照社會機(jī)制積極獲取信息、分工、合作、獲得社會酬勞。與此同時，它們會總結(jié)經(jīng)驗(yàn)、學(xué)習(xí)知識、相互學(xué)習(xí)來調(diào)整行為。

事實(shí)上，現(xiàn)在的機(jī)器學(xué)習(xí)方法中已經(jīng)開始出現(xiàn)“社會智能”的零零星星的影子。比如，“知識蒸餾”可以描述機(jī)器學(xué)習(xí)智能體之間最簡單的行為影響，它也可能是初步獲取知識的方式；分布式機(jī)器學(xué)習(xí)算法中模型平均、模型集成、投票等方法是最簡單的社會決策機(jī)制；強(qiáng)化學(xué)習(xí)提供了智能體基于酬勞反饋調(diào)整行為的框架。

由于社會屬性是人類的本質(zhì)屬性，社會機(jī)器學(xué)習(xí)也將會是我們利用機(jī)器學(xué)習(xí)從獲取人工智能到獲取社會智能的重要方向！

結(jié)語

如前文所說，機(jī)器學(xué)習(xí)近幾年發(fā)展迅猛，我們對它充滿信心，文中提及的未來方向僅是基于筆者對機(jī)器學(xué)習(xí)領(lǐng)域的理解，一定還有很多沒有涵蓋的重要方向。其實(shí)預(yù)測未來是一件非常困難的事情，尤其是對于機(jī)器學(xué)習(xí)這個飛速發(fā)展的領(lǐng)域。Alan Kay 曾經(jīng)說過：“預(yù)測未來最好的方法就是創(chuàng)造它”。因此。我們呼吁所有機(jī)器學(xué)習(xí)從業(yè)人員，無論是學(xué)者還是工程師，是教授還是學(xué)生，能夠共同努力、攜手前行，用我們的實(shí)際行動去推進(jìn)這些重要的研究課題，用我們的雙手去創(chuàng)造未來，這會比預(yù)測未來要實(shí)在得多、重要得多！