杜克大學終身教授陳怡然專訪：AI芯片是如何誕生的，發(fā)展的動力在哪？

AI芯片是如何誕生的，發(fā)展的動力在哪？與傳統(tǒng)的CPU相比有何不同？國內(nèi)的AI科研以及投資出現(xiàn)了怎樣的偏差？最近，美國杜克大學終身教授陳怡然接受了專訪。

AI芯片，或許你已經(jīng)聽說，或許還沒怎么意識到。當手機刷臉解鎖，當闖紅燈被拍，當無人車送貨，當照片被自動分類，當你對著智能音箱大喊大叫，無論是在千里之外的云端還是近在咫尺的終端，AI芯片已無處不在。

AI芯片是如何誕生的，發(fā)展的動力在哪？與傳統(tǒng)的CPU相比有何不同？AI對芯片設計會有怎樣的影響？國內(nèi)的AI科研以及投資出現(xiàn)了怎樣的偏差？美國杜克大學終身教授陳怡然接受專訪，縱論當芯片遇到AI，將發(fā)生怎樣的進化。

陳怡然（杜克大學電子與計算機工程系教授）

《賽先生》：AI芯片是什么，在哪？

陳怡然：凡是主要目的是用來支撐AI應用的計算需求的芯片就叫AI芯片，我覺得現(xiàn)在基本上相對比較全面的定義就是這樣。

AI芯片到處都有，原因是AI的應用現(xiàn)在到處都有，只要有這些應用就必然會產(chǎn)生對于計算的需求，有這種需求就一定要有芯片作為支撐，無論在云端還是邊緣端，都是這樣。

《賽先生》：AI這一波，我們回顧時通常說，某個時候有某個算法的發(fā)明，AI芯片是否和算法演進也緊密聯(lián)系，它發(fā)展的推動力來自哪里？

陳怡然：它其實跟傳統(tǒng)的科學計算是一樣的，包括我們常說的Windows～Intel體系。它的推動力來自于AI算法的不斷演進和數(shù)據(jù)量增長帶來的處理需求。這兩件事情造成了對計算能力需求的顯著提升，才有不斷的新的AI芯片被設計出來滿足這樣的需求。

如果把AI的算法作為當年Windows的標準看，GPU可以簡單比作當年英特爾的中央處理器。當然現(xiàn)在不太一樣的是，我們沒有一個單獨的公司去提供AI的算法，有很多公司在做這件事情，也沒有哪一家公司獲得了當年像Intel微處理器這樣的地位。Nvidia很接近，但依然有別的公司參與。

《賽先生》：和傳統(tǒng)的芯片相比，AI芯片設計有多大的變化？

陳怡然：AI芯片所針對的算法跟傳統(tǒng)的科學計算并不太一樣，這就造成了它主要的設計理念，實際上是如何更有效的把這種已經(jīng)基本上定型的神經(jīng)網(wǎng)絡的架構，通過芯片或者具體來說的晶體管來做物理實現(xiàn)，這就是我們所說的AI芯片架構。

原來做傳統(tǒng)科學計算的時候，要給一個比較通用的計算架構，把它抽象出來，然后在一個很高的層次上通過一些很通用的方式去實現(xiàn)計算。但是AI芯片不是這樣的。它一開始就是給出一個類似物理連接的樣子，我就把這個東西在CMOS電路上盡可能用有效的物理形態(tài)把它表示出來，這樣就避免了那種先抽象，然后再普適的過程，當然就變的更加有效。

所以這就是為什么我們會看到，傳統(tǒng)的科學計算的芯片跟AI芯片，架構會有顯著的不同，是因為它的設計理念完全不一樣。

而且這一定是一個長期的過程，因為這實際上是在一個更大的框架，叫做行業(yè)特定設計（Domain specific design）之下，說的是要針對特殊場景設計——針對一個場景本身，提取出來它最重要的部分；而不是抽象這個部分，再做有效的設計和實現(xiàn)。這種設計的理念可能今后會是一個很長期的趨勢，原因就是摩爾定律停了，使得芯片的相對成本在整個系統(tǒng)實現(xiàn)成本里面所占比重逐漸降低。

今年圖靈獎給了一個約翰·軒尼詩和大衛(wèi)·帕特森。帕特森曾在一個演講中表示，現(xiàn)在這個年代做一個芯片出來的成本，做最便宜的模型可能只需要幾萬美元（當然做一個很復雜的系統(tǒng)可能還是幾千萬），在這種情況下，大家就可以去嘗試很多定制化設計，然后找到適合的。這就是為什么做RISC-V這種開源的架構，然后找到一個特殊的應用再去定制化把它做出來，這將來可能會是一個長期的趨勢。

《賽先生》：通用還會作為一個追求的目標嗎？

陳怡然：通用仍然會是長期存在的，因為這是我們的主干。但是隨著業(yè)務的多樣性，這種針對具體場景的芯片作為輔助會越來越多。

《賽先生》：AI對于傳統(tǒng)芯片設計會帶來很大的改變么？

陳怡然：對，實際上AI在EDA軟件設計上的應用在美國是非常熱門的話題，原因是，如果人能夠下贏最頂級的棋手，他也應該能戰(zhàn)勝最頂級的芯片設計師，因為畢竟來講，芯片設計還是一個有一定規(guī)律可循的優(yōu)化過程。

傳統(tǒng)上來講，我們在設計的時候，都希望把一個芯片設計的工作抽象成一個數(shù)學可以表達的模型再去做優(yōu)化，AI最大的能力是什么？可以把一個任務在你可能不完全理解，或者不能很好的抽象成數(shù)學模型的情況下，它仍然可以做有效的優(yōu)化，這個是AI最大的功能或者能力。

那么這個能力，用于EDA軟件的改進，用于減小芯片設計的周期，我們可以看到是非常有效果的。所以，現(xiàn)在所有的EDA公司都在做大量的嘗試，而且初步效果非常的好。

《賽先生》：將來芯片設計的周期縮的非常短？

陳怡然：芯片設計周期會縮短，現(xiàn)在叫做快速設計?，F(xiàn)在提出的目標是能夠在24小時內(nèi)完成芯片設計，原來是需要幾個月。

在無人值守的情況下能不能設計？就好像原來做皮鞋，都是培養(yǎng)出了一大堆非常心靈手巧的裁縫，有人剪皮子，有人縫，現(xiàn)在全都是機器去做出來了，完全不需要人工干預。

什么時候能實現(xiàn)這不好說，但一定我們是朝著這個方向去走的。

《賽先生》：芯片的開發(fā)周期會比較長，成本也相對較高。有沒有可能芯片實現(xiàn)了某一個算法以后，因為算法的進展也很快，等芯片推向市場，已經(jīng)并不是一個最適合的？

陳怡然：這種情況經(jīng)常出現(xiàn)。因為算法經(jīng)常會有一些新的不同的設計出現(xiàn)，簡單的變化包括一些數(shù)字比如權重變化，不牽涉架構變化例如增加網(wǎng)絡層級，這些就比較容易通過片上邏輯來實現(xiàn)。但比較復雜的是它如果出現(xiàn)了完全不同的架構或者以前沒有過的操作，這就很難用已有的片上邏輯來實現(xiàn)。

我舉一個簡單的例子，比如說最早的人工智能芯片只支持MLP這樣的架構，就是直接一個矢量和矩陣相乘就結束了。后來又出現(xiàn)了卷積神經(jīng)網(wǎng)絡，它要做卷積，卷積如果不被支持你就必須把卷積拆分成向量跟矩陣相乘，那這個計算效能就顯著降下來了，這是一個很大的問題。

《賽先生》：這種問題怎么去解決？

陳怡然：現(xiàn)在來看有幾種方式，一種方式是在技術上盡可能地會有一些可重構的器件。如果真的遇到原來設計上沒出現(xiàn)過的東西，有些邏輯可以經(jīng)過簡單的可重構之后去支撐這樣的計算。但是它不是沒有代價的，這樣做一定會帶來性能的損失，至少不像直接做一個針對性的邏輯更為高效。

第二種，我把主要的方法先用一個芯片實現(xiàn)了。如果真的出現(xiàn)什么新情況，旁邊加一個協(xié)處理器，通過兩邊的協(xié)同來完成。這有點像當年的386時代有一個整點運算器，有一個浮點運算器。只靠整點運算器也能算，慢一點，把浮點運算器加上就更快一點，這也是一種。

第三種就更極端。因為在實際部署中，一個芯片的銷售周期大概是三年，就是從它做出來到在市場上大規(guī)模銷售、使用、消失大概是三年，真正掙錢的周期在12～18個月。如果期間發(fā)現(xiàn)真的出現(xiàn)了一個新算法或者應用這一代芯片不支持，也沒關系，下一代再支持就好了，因為一代芯片的生命周期非常短。但這一招對小公司不適用，因為小公司可能一代掙不到錢就死了。大公司能撐住，下一代加回來就行。

所以在技術和商業(yè)模式上大家都有各種各樣的方法可以去應對，并不是這12～18個月內(nèi)不能出現(xiàn)新的算法或應用。

《賽先生》：我們現(xiàn)在已經(jīng)討論晶體管很難做的更小了，這對于AI芯片設計會有怎樣的影響？

陳怡然：有幾點。第一點，摩爾定律發(fā)展下去，越做越小，可單位晶體管數(shù)目的成本其實不會再往下降或者降得很有限，原因是制造成本越來越高。在這種情況下，如何用相同的邏輯數(shù)量去做更多更有效的計算，或者進行計算的表達就變的非常重要。

一些新型的器件或者新型的工藝可以有幫助。我舉兩個例子，比如說有一種技術叫3D堆疊，可以在同一個單位面積上堆疊更多層，每層有很多的存儲器或者計算邏輯，這樣數(shù)據(jù)可以離計算非常近，提升計算時的數(shù)據(jù)傳輸效率。這當然就對AI芯片設計比較有效，因為AI計算時很大程度上是數(shù)據(jù)來回搬來搬去。

另外，也可以去看一些新的器件和材料，有些會更有效的去做一些AI的運算。比如像憶阻器這種東西，它器件的特性非常像神經(jīng)網(wǎng)絡的神經(jīng)突觸。如果用晶體管來實現(xiàn)，可能需要幾十甚至上百個才能做出一個神經(jīng)突觸?？墒且粋€甚至比晶體管還小的納米器件就可以做這件事。所以后摩爾定律對AI芯片還是有幫助的。

《賽先生》：您提到憶阻器，現(xiàn)在對類腦芯片有很多不同的聲音，有一種反對聲音認為這個東西好像不太靠譜，包括IBM的TrueNorth，國內(nèi)也有一些嘗試，您怎么看這種類型的芯片？

陳怡然：首先說一條，我們其實并不非常清楚的知道人腦是怎么工作的。因為我們對人腦的理解，甚至對人腦認識的工具都處于非常原始的狀態(tài)，當然我們已經(jīng)有了一些初步理解。那么這樣來講，其實類腦芯片或者深度學習加速芯片，或者是類腦算法、深度學習的算法，它們的緣起實際上是一樣的，都是最早對于人的神經(jīng)網(wǎng)絡尤其是視覺網(wǎng)絡的學習和認識，只是在后期兩邊分道揚鑣了。

一邊覺得我希望在數(shù)學上做越來越多的事情，能夠讓它完成這個工作就好了。另外一邊希望從生物上對這個網(wǎng)絡有越來越多的理解，通過這個理解指導我的網(wǎng)絡設計。這相當于兩個流派，打一個比方，就像劍宗跟氣宗，這兩個實際上都是屬于華山派的，現(xiàn)在互相不服氣，深度學習加速芯片就說你們那個生物的好像沒什么用，生物的說，你們那個解釋不清楚，我覺得沒有這個必要。

按照我的理解，一般來說類腦或者神經(jīng)形態(tài)計算，就是希望能夠通過特殊的編碼形式，能夠完成更有效的計算，而不是簡單的對于某些數(shù)學模型直接的實現(xiàn)。我覺得這一部分還有很長的路要走，還是在一個初始的科研階段。不過真的有所突破的話，對于芯片的設計還是有很多的借鑒意義。我們完全沒有必要畫一條線說，你們那個就是純粹的科研，我們這個就是純粹的做應用，我覺得這是沒有必要的。

《賽先生》：AI芯片研究現(xiàn)在大的趨勢或者方向是什么樣的？

陳怡然：現(xiàn)在很重要的一個趨勢主要是軟硬結合，因為在很長一段時間之內(nèi)我們做算法的跟做計算的分開，甚至互相都不太提及對方的貢獻，我覺得這是不好的。

我們以前的數(shù)據(jù)分析的科學家，做算法的科學家跟做計算的科學家實通過他們?nèi)降呐Σ虐?a href="http://www.wenjunhu.com/soft/data/42-102/" target="_blank">AI技術推到現(xiàn)在的程度，我們要保持他們這種相互之間的支持。

從我們的具體實踐來看，我們也看到了如果你只是做算法，不想管它怎么算出來了，和你做芯片不管前面的算法將來會做什么樣的變化和優(yōu)化，都不可能達到一個最優(yōu)的效果，所以這是現(xiàn)在的一大特點。

《賽先生》：感覺現(xiàn)在AI這一波來了以后，包括加上硬件本身的發(fā)展，摩爾定律結束，感覺好像進入了一個重新跟過去很不一樣的時代？

陳怡然：前兩天在杭州，我們開玩笑說很恍惚，為什么？原來我們覺得主流的一些東西，現(xiàn)在好像變的不主流了。

比如說我們以前覺得科學計算是一個主流，大規(guī)模并行計算是一個主流，現(xiàn)在發(fā)現(xiàn)AI是一個主流，但是AI不是科學計算，而且深度學習又不能完全解釋它，那究竟誰在成為主流？

我覺得說不定誰的應用最多誰就是主流，我們以前做科學計算的時候，我們要講求通用性，那時候它是主流。今后我們發(fā)現(xiàn)其實這種多樣性，這種神經(jīng)形態(tài)的計算的模型，我們稱之為認知計算的這種東西變的越來越多，那么它可能就變成一個主流。

這是我們現(xiàn)在感到迷惑和恍惚的地方，我覺得這畢竟是一個新的時代，不以人的意志為轉(zhuǎn)移，大家只能去擁抱它。

《賽先生》：現(xiàn)在有一種反對的聲音，感覺降溫也好反對也好，覺得現(xiàn)在AI離應用實際真正用的好、落地的場景，比如說很熱大家都在講的自動駕駛、安防也好，甚至有不同的聲音認為這個東西離應用好像還沒有那么完美，甚至還沒有怎么落地，我不知道從AI芯片設計的角度來說有沒有去考慮過這個問題？

陳怡然：有，因為做芯片來講，我得知道哪個應用將來最火，我才去設計，那我不知道什么會最火我該怎么辦。

我覺得AI這件事情的應用，是很多因素造成現(xiàn)在的情況。最簡單的，從投資角度，做一個AI的應用，得找到人買單。所以為什么大家做人臉識別，因為它的用戶有很強的付款的意愿，比如安防之類的。

但是實際上我們發(fā)現(xiàn)很多傳統(tǒng)行業(yè)，也有大量AI的應用，比如生產(chǎn)線質(zhì)量檢測。那為什么沒有人去做？因為這種應用往往是很碎片化的，造成了它的定制化成本非常高。他們這些產(chǎn)業(yè)利潤率又特別薄，他們愿意掏錢的愿望和能力都沒有那么高，你就掙不到錢，所以我們沒有去做。

我覺得AI的應用仍然有很多，有各種各樣現(xiàn)在我們完全沒有在做的。但因為它是一個經(jīng)濟問題，不全是一個技術問題，這是第一。

第二，泡沫出現(xiàn)在頭部企業(yè)和應用，但是并不代表整個產(chǎn)業(yè)我們都解決完了。仍然有很多問題都是是可以解決但是沒有解決的，所以AI會持續(xù)很長的時間。泡沫也許會消亡，但是從研究和技術發(fā)展的角度來講，AI會在很長一段時間內(nèi)成為一個平穩(wěn)發(fā)展的行業(yè)。

《賽先生》：AI芯片方面，我沒有提到，但您認為還可以強調(diào)的？

陳怡然：我想說的一點就是，其實AI沒有運算的支撐是不可能大量更好更有效的部署的。我們要更多的去重視它的計算平臺，更多的注重它在具體場景的實現(xiàn)。

尤其是在國內(nèi)，現(xiàn)在有大量注意力是集中在AI的應用層面上，甚至投資也主要是在應用層面上。如果不是因為中興這件事，我覺得AI芯片這件事不會像現(xiàn)在這么火，這也從另外一個角度說明其實我們在國內(nèi)的投資眼光之前實際上是有它的偏見的。

我舉一個簡單的例子，我最近聽到一種論調(diào)，在AI芯片架構這個領域，說我們現(xiàn)在跟美國是同一個水平線上。

我想舉一個例子，比如說像IBM的TrueNorth芯片，立項實際上是2007年，2008年項目正式開始，11年前它就有這樣的眼光，說要做一個類腦芯片、加速芯片。那我現(xiàn)在要問的一個問題就是，有沒有人可以告訴我，你覺得十年之后我們想要一個什么樣的AI芯片，或者在計算領域十年之后什么會是最需要的技術，還沒有人能告訴我這件事情。

所以我覺得我們還是有太多的工作需要去做，不能滿足于現(xiàn)狀，看到一兩個還不錯的點，就下結論說我們已經(jīng)夠了，我們的投入、人已經(jīng)夠了，我覺得這是不行的，這是沒有遠見的。

《賽先生》：這就涉及到怎么樣才能有眼光，去選擇非常重要的問題持續(xù)進行研究或者投入，您這方面有怎樣的建議？

陳怡然：這個問題就太大了，我覺得可以單獨去請一些人講。但是我覺得至少有一點，一定要有多樣性。

實際上你看到的這些有點名氣的老師都是當年做的某一個點，這個點后來恰好越來越火，其實有很多老師做的很多工作甚至這些有名的老師自己做的其他一些東西后來也就默默無聞了，因為它們沒有變成一個熱點。

那是不是我們吃了第七個餅吃飽了，前面六個就不需要了？不是這樣的。這種多樣性一定是需要的，有多樣性就會在某一天某一點爆發(fā)的時候，說這是我們當年的一個積累——這種積累就像一個很小很小的種子，最后長成了一棵參天大樹。