張亞勤：不太完全認同算力比算法更重要的觀點

11月24日午間消息，世界互聯(lián)網(wǎng)大會·互聯(lián)網(wǎng)發(fā)展論壇于11月23-24日在浙江烏鎮(zhèn)互聯(lián)網(wǎng)國際會展中心舉行。在24日的“人工智能：育新機、開新局”人工智能分論壇上，清華大學講席教授兼智能產(chǎn)業(yè)研究院院長、美國藝術(shù)與科學院院士張亞勤在演講中表示，不太完全認同算力比算法更重要的觀點。

他表示，這次數(shù)字化和過去那兩次有很大的不同。首先是量高了很多數(shù)量級，比如說無人車每天所產(chǎn)生的數(shù)據(jù)就是5到10個T?；驕y序每一次就差不多3T左右。所以這個數(shù)量級是高了很多，可能是上千或者上萬倍?！斑@次數(shù)據(jù)更多的是給機器看的，而不是給人看的。機器要做決策，機器要進行更多的智能決策。那么過去1.0、2.0更多是給人所看的，同時我們看到人工智能的算法有很大的進展?！?/p>

張亞勤強調(diào)，深度學習其實是需要很強很強的算力。而摩爾定律過去兩年左右是要雙倍算力的，其實這已經(jīng)是在放緩了。但是深度學習對算力要求每年差不多是將近10倍的增長?！八哉fJeff dean在谷歌就說三要素，數(shù)據(jù)算法算力三要素等于數(shù)據(jù)加上100倍算力，就是說算力比算法更重要。我個人并不完全同意這個觀點?！睆垇喦诒硎?，算力在過去這幾年是整個深度學習發(fā)展快速的一個大的最重要的因素，大數(shù)據(jù)超算的能力以及很大的模型。但人工智能有很多不同的算法。

不過，張亞勤同意“AI也催生了新的產(chǎn)業(yè)，大家經(jīng)常把它叫做第四次工業(yè)革命”這個觀點。他表示，人工智能是第四次工業(yè)革命一個很重要的技術(shù)方面的引擎，很多產(chǎn)業(yè)都會被改變，都會產(chǎn)生。他認為有三個方面會產(chǎn)生變革：第一個是自動駕駛。第二個是工業(yè)物聯(lián)網(wǎng)。第三個是AI+醫(yī)療、生物計算。（子?。?/p>

以下是張亞勤演講實錄：

大家好，我是張亞勤，來自清華大學智能產(chǎn)業(yè)研究院。很高興參加這次人工智能的互聯(lián)網(wǎng)峰會，也感謝大會的組委會和網(wǎng)信辦邀請。我今天想談一下智能技術(shù)發(fā)展的一些趨勢，如果看下過去的三十年，我們整個IT產(chǎn)業(yè)發(fā)生最重要的事無疑是數(shù)字化。第一波的數(shù)字化是80年代中期是就開始了，那時候主要是內(nèi)容數(shù)字化，我們聲音、音樂、圖片和視頻大量的數(shù)字化，我們的文檔在數(shù)字化。

第二波的數(shù)字化是90年代中期開啟了，一開始是企業(yè)的數(shù)字化ERP、CRM、Supply Chain，還包括BI工作流，后來就是大型的數(shù)據(jù)倉庫以及云計算，同時由于大量的數(shù)字內(nèi)容，加上HTML、HTTP，消費互聯(lián)網(wǎng)開始爆發(fā)，到了后期移動互聯(lián)網(wǎng)像移動支付、數(shù)字貨幣、共享經(jīng)濟，中國其實是走在前列的。不管是用戶的體驗或者是大規(guī)模的應(yīng)用。

我們現(xiàn)在是進入數(shù)字化的3.0。它是信息，物理和生物世界的一種融合。首先是物理世界的數(shù)字化，我們的車、街道、交通燈和整個城市在數(shù)字化；我們的電網(wǎng)，我們的工廠，我們的機器在數(shù)字化；我們的家庭，各種家電在數(shù)字化；同時生物世界也在數(shù)字化；我們的大腦，身體各個器官DNA、RNA、蛋白質(zhì)都在數(shù)字化，通過新的傳感器，一些芯片。

那么這次數(shù)字化和過去那兩次有很大的不同。首先是量高了很多數(shù)量級，比如說無人車每天所產(chǎn)生的數(shù)據(jù)就是5到10個T。我們的基因測序每一次就差不多3T左右。所以這個數(shù)量級是高了很多，可能是上千或者上萬倍。

另外一點這次數(shù)據(jù)更多的是給機器看的，而不是給人看的。機器要做決策，機器要進行更多的智能決策。那么過去1.0、2.0更多是給人所看的，同時我們看到人工智能的算法有很大的進展。人工智能并不是一個嶄新的概念，已經(jīng)有60多年的歷史了。那么從早期的符號，邏輯推理，專家系統(tǒng)，數(shù)據(jù)來驅(qū)動，到過去這10年，特別是過去這5年機器學習，深度學習的快速崛起。我們可以看到許多特別令人興奮的一些進展以及應(yīng)用到AlphaGO、AlphaGOZero。到后來的AlphaFold把深度學習用在不同的領(lǐng)域，特別用到生物計算和醫(yī)藥的領(lǐng)域。

其實人工智能有很多不同的算法，我這是佩德羅?多明戈斯劃分的5個不同學派，未來發(fā)展肯定要融合這些不同學派的優(yōu)勢，使得我們目前用大數(shù)據(jù)所驅(qū)動的深度學習有更好的透明性、好的應(yīng)用性以及有更好的可解釋性。

那么深度學習確實取得很大的進展，算法從RNN、LSTM到CNN，到過去這兩年的GAN和BERT還有GPT-3，可以說從我們感知方面語音、人臉、物體的分類，已經(jīng)和人達到同樣的水平，甚至超過人了。

那么在認證方面還有一些距離，自然語言處理，機器翻譯視頻內(nèi)容化和知識理解還有一定距離，但是也有很大的進展。但是深度學習我們大家都知道，它其實是需要很強很強的算力的。摩爾定律過去兩年左右是要雙倍算力的，其實這已經(jīng)是在放緩了。但是深度學習對算力要求每年差不多是將近10倍的增長，所以說Jeff dean的谷歌就說三要素，數(shù)據(jù)算法算力三要素等于數(shù)據(jù)加上100倍算力，就是說算力比算法更重要。

我個人并不完全同意這個觀點，但是不管怎么講算力在過去這幾年是整個深度學習發(fā)展快速的一個大的最重要的因素，大數(shù)據(jù)超算的能力以及很大的模型。舉例比如說GPT-3目前已經(jīng)有1700億的參數(shù)模型有上萬臺GPU，200多K或者說20多萬的CPU的Core。每次做Pre-train的話也要差不多要上千萬美金，這個量已經(jīng)很大了。那么如何能夠繼續(xù)保持這么快的一個算力？我們看一下我們在傳統(tǒng)計算和通訊的范式里三個基本原理。

首先是香農(nóng)定律。香農(nóng)定律定義了信息熵，定義了信道的容量，定義了速率失真的理論。其實是三個不同的極限。另外一個是馮諾依曼架構(gòu)，是我們計算的架構(gòu)，十分的簡潔很美的一個架構(gòu)。過去的60年是我們整個計算架構(gòu)的主要原則。另外一個是摩爾定律。

那么現(xiàn)在呢這三個定律架構(gòu)都遇到了瓶頸，所以要大幅度的提高這個算力的話，我們需要來突破這三個瓶頸。比如說在信息的表示方面，我們需要有新的一個理論框架以及算法。我這張圖是講的一個例子。最近有一個機構(gòu)叫MPAI，這個機構(gòu)就希望把人工智能算法用到我們目前的信息的表征，同時的話又希望找到新的算法來對人工智能有更快的推進。

另外一點也可以看到最近有許多新的創(chuàng)新在計算的架構(gòu)方面。在通訊的架構(gòu)方面，比如說我們深度學習，其實它需要有特別高速的數(shù)據(jù)傳輸，他們有一些新的相量，需要有先進代數(shù)，有波爾代數(shù)，這種優(yōu)化的這些算法。這個和我們現(xiàn)在傳統(tǒng)的馮諾依曼架構(gòu)是格格不入的，就是需要有新的架構(gòu)。

所以看到我們比如說有，在過去這5年吧，有很多加速器，就是AI的加速器出現(xiàn)，像SPG、GPU，最近幾年也有這種ASIC專用的AI芯片出現(xiàn)，這種芯片因為對這些算法，對工作流，對workload可以提高CPU提高很多倍，從整個的性能、效率來講。

那么同時也可以看到不僅僅是傳統(tǒng)的芯片公司，像因特爾、AMD等公司做芯片，現(xiàn)在新的公司也在不斷的創(chuàng)新，比如說寒武紀、地平線，華為，也包括其他公司像谷歌和百度也在自己做芯片。做芯片算法也好，架構(gòu)也好有很大的工作流，所以他可以對這些進行優(yōu)化。

我們可以看到有很多很多的這些芯片、軟件、架構(gòu)以及算法方面的快速進展。那么這些進展帶來很多產(chǎn)業(yè)的新機遇。首先對我們IT的產(chǎn)業(yè)有一個提升的作用，新的數(shù)據(jù)，新的算法，新的場景，然后不斷的快速迭代，所以提升我們的IT產(chǎn)業(yè)，同時更重要的是改變甚至顛復(fù)我們現(xiàn)在的傳統(tǒng)產(chǎn)業(yè)，教育、醫(yī)療、金融、制造、交通，可以說每一個產(chǎn)業(yè)都被人工智能所改變。

同時AI也催生了新的產(chǎn)業(yè)，大家經(jīng)常把它叫做第四次工業(yè)革命，我的確同意這個觀點。就是人工智能是第四次工業(yè)革命一個很重要的技術(shù)方面的引擎，很多產(chǎn)業(yè)都會被改變，都會產(chǎn)生。我自己認為有三個方面是比較感興趣的：第一個是自動駕駛。第二個是工業(yè)物聯(lián)網(wǎng)。第三個是AI+醫(yī)療、生物計算。當然也很有很多很多別的產(chǎn)業(yè)，這也是為什么我們成立了一個智能產(chǎn)業(yè)研究院的大背景。這當然是在清華大學整個學校大框架下面，因為可以和清華大學各個院系密切合作，智能產(chǎn)業(yè)的英文簡稱（AIR），使命是用人工智能技術(shù)賦能產(chǎn)業(yè)推動社會的進步，目標是面向第四次工業(yè)革命，是一個國際化，智能化，產(chǎn)業(yè)化的應(yīng)用研究機構(gòu)。實現(xiàn)這個目標有幾個戰(zhàn)略：首先是要吸引培養(yǎng)國際視野的技術(shù)領(lǐng)軍人物。第二點是要實現(xiàn)關(guān)鍵核心技術(shù)方面的突破，更重要的是有了技術(shù)以后，我們要賦能產(chǎn)業(yè)，通過轉(zhuǎn)化孵化公司的方式，把這些技術(shù)能夠?qū)Ξa(chǎn)業(yè)有更多的影響力。所以我們的研究領(lǐng)域目前集中在三個方面。

剛才我提到的三個方面：智能交通、工業(yè)互聯(lián)網(wǎng)、AI+IoT以及智慧醫(yī)療AI+IoT，特別是生物計算，那么垂直的這三個行業(yè)是對一些基礎(chǔ)的平臺所支撐的共有模塊所支撐，叫做“ABCD”。AI的一些算法、Big data的模型加上云Cloud和Device這種新機構(gòu)。我希望通過我們的研究院新的技術(shù)能和產(chǎn)業(yè)去合作，對中國和全球人工智能產(chǎn)業(yè)，第四次工業(yè)革命都做出貢獻。謝謝大家，祝我們?yōu)蹑?zhèn)互聯(lián)網(wǎng)峰會圓滿成功！

責任編輯：PSY