搞深度學(xué)習(xí)框架的那群人必然是浩宇璀璨群星

世間有一種軟件，名叫“深度學(xué)習(xí)框架”。 在人工智能的江湖，常聽人言：得框架者，得天下。 多年以前，一面畫著大G的大旗在高處飄揚(yáng)，美國谷歌公司的深度學(xué)習(xí)框架占據(jù)大半江山。萬萬沒有想到，一場大風(fēng)暴來了。

2018 年，臉書公司“同款”對標(biāo)產(chǎn)品把一款前輩產(chǎn)品吸納進(jìn)來，聯(lián)劍并肩，威力大增。一年后，火力全開，專揀敵人的罅隙進(jìn)攻。連沖數(shù)劍，殺開一個(gè)缺口，有守有攻，看看就可闖出。放眼學(xué)術(shù)圈，更是獨(dú)領(lǐng)風(fēng)騷，頂級學(xué)術(shù)會(huì)議的勝利快報(bào)像雪片一樣飛來。

小心低頭，王冠易掉，谷歌框架的王者時(shí)代，結(jié)束了。 歷史總是吊詭，一些無名之處會(huì)發(fā)生極為有名的戰(zhàn)役。戰(zhàn)事殘酷而隱秘，高深晦澀的技術(shù)仿佛咒語，牢牢擋住人們的視線。 美國白宮《2019年國家人工智能研發(fā)戰(zhàn)略規(guī)劃》報(bào)告中，美國將中國視為人工智能主要對手，進(jìn)行了深刻觀察。 “中國人工智能發(fā)展勢頭很猛?！?這話猛一聽，真讓人高興。

后半句是個(gè)打擊：“中國人工智能缺點(diǎn)亦十分明顯，硬件、算法、人才……人工智能框架創(chuàng)新能力薄弱?！?“硬件” “人才”……這題我會(huì)，這題我會(huì)，“框架”是個(gè)啥？ 假如人工智能深度學(xué)習(xí)是太平洋上的一個(gè)島嶼，算法是島上茂盛的植被，框架和芯片則是地質(zhì)結(jié)構(gòu)，算法建在框架和芯片之上。 深度學(xué)習(xí)框架，頭頂兩個(gè)光環(huán)亮閃閃，第一個(gè)，基礎(chǔ)軟件。 幾乎所有的深度學(xué)習(xí)開發(fā)者，都要用深度學(xué)習(xí)框架。幾乎所有的深度學(xué)習(xí)算法和應(yīng)用，都是用其實(shí)現(xiàn)的。 作為一種復(fù)雜基礎(chǔ)軟件，有這樣一條原則：極少數(shù)人“造”輪子，大部分人“用”輪子。

框架研發(fā)門檻高不可攀，本質(zhì)上，這類產(chǎn)品是大型科技企業(yè)才“配”擁有的基礎(chǔ)設(shè)施，小門小戶造不起。 多說一句，打敗圍棋大師李世石的人工智能阿法狗（AlphaGo）聽過吧，框架也是其背后的底層技術(shù)。 谷歌科學(xué)家的凡爾賽是：“我們讓阿法狗更順暢”。

（一）上半場：美國科技大廠的豪門恩怨 簡單地說，深度學(xué)習(xí)框架=深度學(xué)習(xí)操作系統(tǒng)。 世間最流行的兩個(gè)深度學(xué)習(xí)框架，谷歌公司的TensorFlow和臉書公司的PyTorch。

開發(fā)者壓力山大，需要“精通”這兩個(gè)，或至少“熟練”其中一個(gè)，甚至，“輔修”第三個(gè)框架，“選修”第四個(gè)。 谷歌與臉書，作為美國科技企業(yè)，其框架產(chǎn)品的流行度，像極了可口可樂和百事可樂。 快樂肥宅水統(tǒng)治世界，兵家必爭之地必屬梟雄。大型科技企業(yè)想盡一切辦法取得技術(shù)上的領(lǐng)先優(yōu)勢，深度學(xué)習(xí)框架不會(huì)錯(cuò)過，也無法繞過。 算法突破、數(shù)據(jù)爆發(fā)、算力增長的“鐵人三項(xiàng)”支撐了AI的浪潮，唯一能將“鐵人”整合的系統(tǒng)軟件，是深度學(xué)習(xí)框架。

它好比底座，對下，完成對底層硬件的調(diào)度；對上，支持模型搭建。

人工智能的一堆新玩（算）意（法）：人臉識別、圖像分類、圖像檢測與分割、語音識別、廣告推薦、GAN、強(qiáng)化學(xué)習(xí)等等，被封裝在軟件框架里。 封裝，不是封印。 孫悟空沖著框架大喊：“人工智能，叫你一聲，敢答應(yīng)嗎？”Siri（用機(jī)械女聲回答）：穿豹紋超短裙的那位，你有事找我？ 一般來說，只有超大型科技企業(yè)才能支撐“操作系統(tǒng)”的開發(fā)。 深度學(xué)習(xí)的“操作系統(tǒng)”萌芽于高等學(xué)府，但早期工業(yè)雛形出現(xiàn)在美國科技豪門，是大公司競爭的舞臺，也是全球計(jì)算機(jī)技術(shù)精英群體，最精銳部隊(duì)的角逐。

使用全國通用感嘆詞：“臥槽，深度學(xué)習(xí)框架是硬科技?！?把全球AI頂級精英俱樂部的會(huì)員分成兩類：一類是原創(chuàng)AI算法的發(fā)明者， 一類是AI框架的發(fā)明者。 前一類是加錢閱讀的部分，后一類是本文的重點(diǎn)。 請大家記住這些名字，因?yàn)檫@些“精神小伙”，對深度學(xué)習(xí)框架的發(fā)展至關(guān)重要。

現(xiàn)任阿里巴巴技術(shù)副總裁賈揚(yáng)清，浙江紹興人，從初中三年級開始接觸電腦，他一直覺得自己學(xué)編程挺晚的。 2002年是他高考那一年，浙江省是高考界的領(lǐng)跑者，清華大學(xué)計(jì)算機(jī)系的分?jǐn)?shù)線很高，他去了清華自動(dòng)化系。

在科學(xué)界，瑞士是物理和數(shù)學(xué)領(lǐng)域的領(lǐng)跑者。也在2002年，瑞士戴爾莫爾感知人工智能（Idiap）研究所誕生了第一個(gè)機(jī)器學(xué)習(xí)庫Torch。 歐洲最高山脈阿爾卑斯山的雪頂千年不化，山腳下的瑞士名城馬蒂尼（Martigny），既是登山愛好者的天堂，又是葡萄酒產(chǎn)區(qū)。 這是個(gè)做學(xué)術(shù)的好地方，自1991年以來，這里的研究所就是全球人工智能和認(rèn)知智能領(lǐng)域的領(lǐng)導(dǎo)者之一。 機(jī)器學(xué)習(xí)庫Torch，出自“葡萄酒產(chǎn)區(qū)”研究所的一份研究報(bào)告（三位作者分別是：Ronan Collobert、Samy Bengio、Johnny Mariéthoz）。

其中一位作者姓本吉奧（Bengio），沒錯(cuò)，這位眉毛粗粗的科學(xué)家，就是深度學(xué)習(xí)三巨頭之一，約舒亞·本吉奧（Yoshua Bengio）的兄弟。

2007年他跳槽去了谷歌。 Torch意為火把，成為框架曠野的第一顆火種。 “庫”（Library）是一系列事先編寫好的代碼集合，在編程中調(diào)用，可以減少重復(fù)工作。 加拿大蒙特利爾大學(xué)的深度學(xué)習(xí)框架的開發(fā)，始于2007年，Theano是行業(yè)祖師爺。

框架和圖靈獎(jiǎng)獲得者頗有淵源，約舒亞·本吉奧（Yoshua Bengio）和伊恩·古德費(fèi)洛（Ian Goodfellow）都有參與Theano。 庫和框架的不同之處，在于境界。

庫是兵器庫，框架則是一套武林絕學(xué)的世界觀，程序員在這個(gè)世界觀的約束下去練（編）拳（程）法（序），結(jié)果被框架所調(diào)用?？蚣芙庸芰顺绦虻闹骺刂屏鳌?反正，框架比庫厲害多了。 有了框架，才能做到只關(guān)注算法的原理和邏輯，不用去費(fèi)事搞定底層系統(tǒng)、工程的事。生命短暫，都想走捷徑。話不能這么說，都996了，生產(chǎn)隊(duì)里的驢也得歇歇。 轉(zhuǎn)眼間，賈揚(yáng)清已經(jīng)在美國加州大學(xué)伯克利分校攻讀博士學(xué)位。也是在此期間，他開啟了計(jì)算機(jī)視覺的相關(guān)研究。

那時(shí)候，他常被一個(gè)問題困擾：怎樣訓(xùn)練和設(shè)計(jì)深度學(xué)習(xí)的網(wǎng)絡(luò)？為此，賈揚(yáng)清想造一個(gè)通用工具。 著名的Caffe框架的發(fā)音和“咖啡”相似，是“快速特征提取的卷積框架”論文的英文簡稱。巧合的是，這個(gè)框架像咖啡一樣流行。 這是賈揚(yáng)清第一個(gè)C++項(xiàng)目，多年以后，他在阿里巴巴回憶：“最開始的時(shí)候沒有測試，代碼糾錯(cuò)（Debug）成了最痛苦的事?！?2013年的Caffe框架是他的成名之作。在工業(yè)場景的計(jì)算機(jī)視覺系統(tǒng)上，Caffe 穩(wěn)健快速，是無可爭議的王者。

這一年，Parameter Server（參數(shù)服務(wù)器）的兩位著名教授走向臺前，邢波（Eric Xing）教授和Alex Smola教授，現(xiàn)在兩位均在美國卡內(nèi)基梅隆大學(xué)（CMU）任教。 參數(shù)服務(wù)器是個(gè)編程框架，也支持其他AI算法，對深度學(xué)習(xí)框架有重要影響。 高校實(shí)驗(yàn)室善于技術(shù)創(chuàng)新，深度學(xué)習(xí)框架的很多精髓創(chuàng)意源于此地。但是，深度學(xué)習(xí)框架復(fù)雜性高、工程量極大，長期負(fù)責(zé)復(fù)雜產(chǎn)品，高校并不擅長。 事實(shí)也證明，多年后，高校出生的深度學(xué)習(xí)框架，都以某種方式“進(jìn)入”企業(yè)，或者被企業(yè)趕超了。 嗅覺敏銳者，業(yè)已出發(fā)。 2015年11月，TensorFlow開源，由谷歌大腦團(tuán)隊(duì)開發(fā)。谷歌的搜索、油管、廣告、地圖、街景和翻譯的背后，都有其身影。

谷歌開源AI產(chǎn)品備受矚目。若論起名的原因，TensorFlow直譯，張量（tensor）在圖中流動(dòng)（flow）。由此也可獲知，數(shù)據(jù)流圖是框架的重要技術(shù)。 再往細(xì)說，數(shù)據(jù)流圖由算子組成，算子又分為大算子和小算子。Caffe是大算子抽象，TensorFlow是小算子抽象。小算子好處是靈活，壞處是性能優(yōu)化難。 TensorFlow原創(chuàng)者之一是谷歌天才科學(xué)家，杰夫·迪恩（Jeff Dean）。 為什么說他是天才？ 贊美之詞就免了。在2000年下半年的時(shí)候，Jeff Dean的代碼速度突然激增了40倍，原因是他把自己的鍵盤升級到了USB 2.0。編譯器從來不會(huì)給Jeff Dean警告，但Jeff Dean會(huì)警告編譯器。 筆者承認(rèn)，這確實(shí)是兩個(gè)段子，出處無考。 2015 年是一個(gè)重要的年份，何愷明等人的研究成果，突破了邊界，在準(zhǔn)確率上再創(chuàng)新高，風(fēng)頭一時(shí)無二。

谷歌AI研究員弗朗索瓦·喬萊特（Francois Chollet）幾乎是獨(dú)自完成了著名的Keras 框架的開發(fā)，為谷歌再添一條護(hù)城河，大有“千秋萬代，一統(tǒng)江湖”的勢頭。 這時(shí)候，喊一嗓子“深度學(xué)習(xí)是下一個(gè)重大技術(shù)趨勢”，已經(jīng)沒有壓倒性的反對意見了。 美國西雅圖素有“阿拉斯加門戶”之稱，微軟公司總部位于西雅圖衛(wèi)星城，從那里開車13個(gè)小時(shí)就能到達(dá)谷歌公司總部所在地山景城。在AI的跑道上，很多人在追趕谷歌，但是，微軟既沒有好車，也沒有彎道，壓力大了，方向盤也能捏碎。 按理說，背靠微軟的產(chǎn)品本應(yīng)有個(gè)好前途，框架卻都沒有流行起來。 英文單詞Minerva的意思是“智慧女神”，這是微軟亞研院一個(gè)孵化項(xiàng)目的名字，由當(dāng)時(shí)的副院長張崢發(fā)起，項(xiàng)目組成員有紐約大學(xué)王敏捷和北京大學(xué)肖天駿。

現(xiàn)在張崢在亞馬遜上海AI研究院做院長。兩名大將也隨之前往，現(xiàn)在均是張?jiān)洪L麾下主力。 后來，就沒有后來了。開源（Github）給女神畫上了句號。 2016年，從先后關(guān)系上講，CNTK（Cognitive Toolkit）伸手接過女神的接力棒，可惜魔障難消，用的人少，沒有推廣開，于2019年停止維護(hù)。 GitHub上的悼詞是：“在這個(gè)版本之后，沒有新功能開發(fā)的計(jì)劃?！?這意味著，微軟已經(jīng)放棄了CNTK。 兩次前車之鑒，微軟仍沒有認(rèn)輸?shù)拇蛩恪?/p>

因?yàn)樯钪蚣艿闹匾裕惨驗(yàn)槲④浀碾娔X里，絕不會(huì)長期使用貼著別人家logo的AI工具。 2016年，賈揚(yáng)清從谷歌TensorFlow團(tuán)隊(duì)離職，跳槽到了Facebook公司。與谷歌揮手道別，四載光陰（實(shí)習(xí)兩年，工作兩年），往事依稀，他的內(nèi)心充滿感懷。 西雅圖作為美國的超一線城市，華盛頓大學(xué)是城市招牌之一，華人武術(shù)宗師李小龍就畢業(yè)于此?！疤觳派倌辍标愄炱嬉苍谶@里取得了計(jì)算機(jī)博士學(xué)位。 陳天奇在AI圈的名氣，不比李小龍?jiān)谖湫g(shù)界低，且都是少年成名。 陳天奇讀博士的第二年，一個(gè)叫做MXNet的項(xiàng)目開始了，這是一個(gè)名牌大學(xué)聯(lián)合學(xué)術(shù)項(xiàng)目。

僅僅一年時(shí)間里，就做出了完整的架構(gòu)。團(tuán)隊(duì)中還有一位聞名遐邇的大神，李沐（現(xiàn)任亞馬遜公司資深主任科學(xué)家，principal scientist）。 2016年5月，MXNet開源，濃縮了當(dāng)時(shí)的精華，合并了幾個(gè)原來有的項(xiàng)目，陳天奇cxxnet、參數(shù)服務(wù)器、智慧女神、顏水成學(xué)生林敏的purine2。

所以，MXNet，讀作“mixnet”，mix是中文“混合”之意。 可巧了，從華盛頓大學(xué)到亞馬遜公司全球總部不到6公里，開車只消10分鐘?？偛看髽潜е鴥蓚€(gè)“溫室大球”坐落于市中心?？赡苁墙畼桥_先得月，這次亞馬遜公司火眼金睛，行動(dòng)迅速。2017年9月，MXNe被亞馬遜選為官方開源平臺。 江山代有才人出，該退休時(shí)就退休。同一年，祖師爺Theano官宣退休。 這時(shí)候，賈揚(yáng)清借鑒谷歌TensorFlow框架里面的一些新思想，實(shí)現(xiàn)了一個(gè)全新的開源Caffe2。三十而立的他，成長為遍歷世界級產(chǎn)品的第一高手。 谷歌TensorFlow在人間瀟灑走一回。未曾想一場大風(fēng)暴正在醞釀。 2018 年，PyTorch接納Caffe2后，意外崛起，上演令谷歌框架王冠落地的戲劇性一幕。

易用性確實(shí)可以搶客戶，但谷歌沒有想到臉書搶了這么多。后來者確實(shí)可以居上，但谷歌沒有想到臉書僅用如此短的時(shí)間。 改旗易幟，有人嘩然，有人唏噓。 谷歌出發(fā)最早，為何沒有獨(dú)坐釣魚臺？為什么是臉書搶了市場？ 谷歌野心非常大，初期想做很大很全的工具。雖然完備性很強(qiáng)，但是，系統(tǒng)過度復(fù)雜。雖然以底層操作為主，有很多基礎(chǔ)的功能，但是這些功能沒能封裝得很好，需要開發(fā)者自己解決（定義），手動(dòng)工作過多。 三個(gè)AI開發(fā)者湊在一起，花生配酒，吐槽谷歌TensorFlow，十有八九。甲有點(diǎn)激動(dòng)，說：“實(shí)在太難用了，想罵臟話?！币冶硎举澩f：“簡直就是一個(gè)縫合怪。”“一座屎山，還要往屎上堆屎?！北f完，深埋頭，嘆口氣。 雖然TensorFlow可直接使用天下排名第一又易上手的Python語言來編寫程序，算子庫豐富，TPU加速，但是，一些個(gè)性化規(guī)定瑣碎，新概念層出不窮，開發(fā)者要視其為一種新的編程語言來學(xué)習(xí)。 再者，系統(tǒng)非常復(fù)雜，代碼又長又臭，難以維護(hù)。

更糟的是，API很不穩(wěn)定，易變臉。API好比電腦鍵盤，鍵盤上的字母位置天天變，誰受得了？你想要一個(gè)活著的祖宗嗎？ 僅僅是丟市場還不夠慘，PyTorch框架帶火了背后的技術(shù)（動(dòng)態(tài)執(zhí)行等），臉書開始左右技術(shù)趨勢。 谷歌仰天長嘯，潸然淚下，口中默念：“萬萬沒有想到。” 命運(yùn)像水車的輪子一樣旋轉(zhuǎn)，有時(shí)高，有時(shí)低，而亞馬遜公司的MXNet從來沒高過。 知乎上有兩篇非?；鸬母哔澨?，可一窺其端倪。李沐：《為什么強(qiáng)大的MXNet一直火不起來？》。賈揚(yáng)清：《如何看待亞馬遜 AI 李沐團(tuán)隊(duì)大批人員離職？》。

談起亞馬遜和MXNet框架的緣分，就不得不提起一位美國卡內(nèi)基梅隆大學(xué)的高人，Alex Smola教授，他也是李沐在CMU的博士導(dǎo)師。 2016年7月，Alex Smola教授從CMU重返工業(yè)界，加入亞馬遜AWS擔(dān)任副總裁級別的科學(xué)家（職級為Distinguished Scientist）。大半年后，2017年3月，李沐加入AWS，直接向老師Alex Smola匯報(bào)。 師徒同框，雙手比V。 此時(shí)，巨頭已整裝列位，兵馬齊發(fā)。微軟豈能袖手旁觀，微軟在智慧女神和CNTK兩次滑鐵盧之后，依然斗志昂揚(yáng)準(zhǔn)備第三次入局。 這次，微軟思路清奇地設(shè)計(jì)了ONNX（全稱Open Neural Network Exchange），一種開放式深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的格式，用于統(tǒng)一模型格式標(biāo)準(zhǔn)。

ONNX是臉書和微軟合作力推的，賈揚(yáng)清也是發(fā)起者之一，目標(biāo)劍指“標(biāo)準(zhǔn)和生態(tài)”。 說白了，一個(gè)PyTorch模型可以被導(dǎo)出ONNX文件格式的模型。 不止于此，隨后，微軟基于ONNX這個(gè)橋梁研發(fā)了一個(gè)推理用的ONNX Runtime框架，低調(diào)地在2018年最后一個(gè)月開源。 想做“標(biāo)準(zhǔn)”，得大家伙都同意。

ONNX沒成為標(biāo)準(zhǔn)，若論原因，可能是ONNX還做得不夠好吧。 ONNX Runtime框架的“新功能”暴露了巨頭之間的動(dòng)態(tài)競爭關(guān)系。

這一次，微軟站隊(duì)臉書，給Pytorch機(jī)器學(xué)習(xí)庫做了幾個(gè) “好用的部件”。

若論其中一個(gè)原因，可能是微軟和臉書沒有云上的競爭關(guān)系，這幾年臉書公司的定位依然還是互聯(lián)網(wǎng)公司，沒有發(fā)展云計(jì)算。 亞馬遜云（AWS）、谷歌云、微軟云則斗紅了眼。 第三次進(jìn)軍框架，微軟的策略是，強(qiáng)攻不下，組隊(duì)打怪。若有一日，Onnx Runtime 框架有希望挑戰(zhàn)Pytorch框架，肯定調(diào)轉(zhuǎn)火力，支持自家。 真正的競爭激烈，不是玩家多，而是高手多。短短幾年之內(nèi)，幾座技術(shù)巔峰，拔地而起，各有各的精絕。 其一，谷歌和亞馬遜是計(jì)算圖的擁躉。兩者都以更高的、令人贊嘆的工業(yè)級工程質(zhì)量把計(jì)算圖抽象推向新高度，把表達(dá)能力推向新的里程碑。 其二，臉書公司在計(jì)算過程中沒有計(jì)算圖的概念。但在解決易用性上，超常發(fā)揮。 谷歌皇冠跌落，給后來者“跌出”希望，留給中國隊(duì)的時(shí)間不多了。

（二）下半場：中國隊(duì)的出征 2014年的某一天，北京海淀區(qū)丹棱街5號接待了一位特殊的客人。 這位來自美國CMU的教授，名叫邢波，此時(shí)任微軟亞研院顧問一職，他擅長的領(lǐng)域包括大規(guī)模計(jì)算系統(tǒng)。他也是AI科學(xué)家俱樂部的白（ding）金（ji）會(huì)（da）員（lao）。

恰在此時(shí)，微軟亞研院副院長馬維英（現(xiàn)任清華大學(xué)智能產(chǎn)業(yè)研究院講席教授、首席科學(xué)家）找到一位研究員，名叫袁進(jìn)輝，他是清華大學(xué)計(jì)算機(jī)專業(yè)的博士，師從張鈸院士。 知識使人年輕，很多科學(xué)家，年逾不惑，雙肩包+步行，背影仍像學(xué)生。而袁進(jìn)輝卻頭發(fā)花白，笑容謙和，像是在校園里散步的退休教授，其實(shí)他是1981年的。 馬維英副院長和袁進(jìn)輝談起，谷歌較先起步，已將大規(guī)模主題模型的訓(xùn)練系統(tǒng)技術(shù)，應(yīng)用到谷歌廣告系統(tǒng)和推薦系統(tǒng)的關(guān)鍵組件中。邢波教授近期既然到訪北京，那不妨合作。 于是，邢波教授團(tuán)隊(duì)和袁進(jìn)輝團(tuán)隊(duì)雙劍合璧。這場合作的成果，被表揚(yáng)了。主管全球研究院的微軟副總裁周以真女士評之為該年度看到的最令人激動(dòng)的成果，不過這是后話。 那時(shí)候的動(dòng)力，一方面來源于超過谷歌，直道超，沒有彎道。另一方面，業(yè)界有多位知名科學(xué)家和資深工程師，已經(jīng)在同一問題上醞釀已久。

難度可想而知，條件卻捉襟見肘。沒有可供使用的集群，沒有工程師團(tuán)隊(duì)的支持。 按打游戲的說法，微軟想上分，那就要看一下配置。推算一下可知，即使是當(dāng)時(shí)最先進(jìn)的算法，在當(dāng)時(shí)的硬件環(huán)境中訓(xùn)練目標(biāo)規(guī)模的模型，至少要半年時(shí)間。 再看一下，雙方陣容。 提起邢波教授的團(tuán)隊(duì)，恐怕AI學(xué)術(shù)圈無人不知，其本人位列論文發(fā)表貢獻(xiàn)第一（2018），其學(xué)生很多已是名校教授，每年發(fā)表的論文數(shù)量，源源不斷地為CMU名列全球大學(xué)計(jì)算機(jī)科學(xué)與人工智能的排名第一“貢獻(xiàn)力量”。 “微軟代表隊(duì)”是袁進(jìn)輝研究員，還有一個(gè)實(shí)習(xí)生高飛。 這個(gè)條件，這個(gè)目標(biāo)，看了只想瞇眼說“呵呵”。 美國賓州匹茨堡和中國北京，時(shí)差十幾個(gè)小時(shí)。袁進(jìn)輝后來回憶：一年多的時(shí)間里，每天郵件不斷，每周好幾次電話會(huì)議，技術(shù)難題不討論透徹不罷休。只要足夠幸運(yùn)，就會(huì)在錯(cuò)誤的道路上迅速挨揍，只要高手夠多，不足之處就不會(huì)被放過……馬維英和劉鐵巖兩位大佬，羽扇綸巾，幕后帷幄。 項(xiàng)目結(jié)束的時(shí)候，2014年已近尾聲。

大家伙的心聲是：“缺少任何一個(gè)人，結(jié)果都不是大家看到的樣子?！?那一次，袁進(jìn)輝為破壞式創(chuàng)新的威力，窒息。 這次合作，成果是LightLDA。它的算法結(jié)果是一流的，系統(tǒng)實(shí)現(xiàn)是一流的，僅用數(shù)十臺服務(wù)器，完成之前成千上萬臺服務(wù)器才能做的事，所以得到周以真女士的高度評價(jià)。 民（zhi）間（hu）評價(jià)：“要我說，LightLDA那是真的正經(jīng)貢獻(xiàn)，又smart，又是解決關(guān)鍵問題，又真work，正經(jīng)把Topic Modeling（主題模型）在大數(shù)據(jù)時(shí)代的潛力大大地提高了。” 當(dāng)時(shí)，北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)系網(wǎng)絡(luò)與信息系統(tǒng)研究所，研究分布式系統(tǒng)的肖臻教授也給與LightLDA相當(dāng)?shù)目隙ā?/p>

這事，被肖臻的學(xué)生以敬仰袁進(jìn)輝大神事跡的口吻在知乎講過。 而今復(fù)盤，大勢的端倪早已顯露，大數(shù)據(jù)、大模型、大型計(jì)算架構(gòu)設(shè)計(jì)呼之欲出。而這個(gè)領(lǐng)域的學(xué)者，普遍在2018年才意識到這個(gè)問題的重要性。 微軟亞研院不愧為AI黃埔軍校，技術(shù)前瞻性極強(qiáng)，但是，復(fù)雜基礎(chǔ)軟件的成功，不是僅靠“單刀赴會(huì)”。 大公司必勝，那是夸?？?。大公司必爭，才是真靈驗(yàn)。 坐標(biāo)北京西二旗，百度大廈和百度科技園。技術(shù)大牛背景的李彥宏，牽著搜索入口的現(xiàn)金牛，依著“牛脾氣”治理百度，他看不上云計(jì)算，這倒讓阿里巴巴笑了。 其實(shí)，看不上云計(jì)算的技術(shù)大佬不止一位，自由開源軟件GNU/Linux的鼻祖理查德·斯托曼（Richard Stallman）也多次在公開場合“懟”云計(jì)算。 巧合的是，他倆觀點(diǎn)出奇地一致：云計(jì)算不是技術(shù)創(chuàng)新，而是一種商業(yè)模式創(chuàng)新。 李彥宏睥睨云計(jì)算，卻對人工智能，滿眼小星星。 百度深度學(xué)習(xí)研究院（IDL）在人工智能的江湖里，是桃源仙境般的存在，處處大神，遍地高手。高水平科學(xué)家、研究人員、工程師密度之大，令人驚嘆，感覺連保安都要會(huì)編程才配在門口刷工作證。 昔日盛景，已成絕響。

時(shí)間拉回到2013年，百度第一位T11徐偉，同時(shí)也是百度深度學(xué)習(xí)框架PaddlePaddle的原創(chuàng)者和奠基人。 每一家科技巨頭的深度學(xué)習(xí)框架的首位指揮官，均非等閑之輩。徐偉也是Facebook早期研究員，F(xiàn)acebook產(chǎn)品矩陣豐富，他負(fù)責(zé)大規(guī)模推薦平臺，在多個(gè)產(chǎn)品背后顯神功。 可能是有法律文件約束，百度大神科學(xué)家的離職，大多不公開原因。徐偉離職加盟地平線，他將手中的接力棒交給了另一位神級技術(shù)大牛，擼碼一絕的王益。 見過王益的人會(huì)說一個(gè)詞，“聰明絕頂”，重音在后面兩個(gè)字上。 王益在知乎謙虛地自稱“四十歲老程序員”，言談之間一副老技術(shù)專家的低調(diào)本色。他在加入百度之前曾任谷歌研究員，是少見的“APAC創(chuàng)新獎(jiǎng)”獲得者（參與開發(fā)一個(gè)分布式機(jī)器學(xué)習(xí)的工具）。

王益是清華大學(xué)機(jī)器學(xué)習(xí)和人工智能博士，師從清華大學(xué)周立柱教授。 有一次在知乎分享程序員成長經(jīng)驗(yàn)，他輕描淡寫地說了一句：“我有一位恩師，徐偉。” 細(xì)節(jié)總是讓人容易忽略，早年，王益曾向徐偉抱怨：“某某團(tuán)隊(duì)好像就是想用他們自己研發(fā)的工具，不用PaddlePaddle？” 后來，王益在回復(fù)一位網(wǎng)友跟帖時(shí)解釋當(dāng)時(shí)這一問題存在的合理性：“設(shè)計(jì)PaddlePaddle是技術(shù)換代的時(shí)候，步子大，當(dāng)時(shí)來不及優(yōu)化用戶體驗(yàn)，不愿意用確實(shí)有道理。離開后，后來人持續(xù)優(yōu)化了體驗(yàn)。內(nèi)部組織結(jié)構(gòu)調(diào)整也促進(jìn)了新技術(shù)的接納?！?這也印證了一位百度匿名AIG離職科學(xué)家高管對筆者的獨(dú)家透露：“百度內(nèi)部曾經(jīng)有兩個(gè)類似的產(chǎn)品，最后敲定PaddlePaddle的人，是陸奇。” 了解此事的人不多，也正因此，采訪前夕，這位科學(xué)家高管仍在反復(fù)向筆者強(qiáng)調(diào)——“請務(wù)給我匿名”。 百度最早出發(fā)，生態(tài)建設(shè)也最早起步。

2017年年末，百度市場部的朋友找筆者交（chi）流（fan），給PaddlePaddle出謀劃策。那時(shí)候，開源框架的運(yùn)營和推廣已經(jīng)全面拉開：北航軟件學(xué)院的教材出版、頂級學(xué)術(shù)會(huì)議模型復(fù)現(xiàn)、高校宣講…… 據(jù)說，陸奇離職前，仍然緊盯PaddlePaddle的進(jìn)展。 一山行盡，一山青。框架的玩家，不止科技大廠。 人工智能獨(dú)角獸曠視科技是從2014年起內(nèi)部開始研發(fā)框架。在2021年的采訪中，曠視天元的負(fù)責(zé)人田忠博告訴筆者：“原因很簡單，僅以當(dāng)時(shí)的開源框架，沒有辦法真正做好科研，才會(huì)有自己做深度學(xué)習(xí)框架的想法?！?舉一例，就能說明問題。 曠視科技有一篇ShuffleNet的學(xué)術(shù)論文，僅用Caffe提供的“工具”，永遠(yuǎn)也探索不到ShuffleNet這件事情的可能性。由此看來，曠視科技早已參悟，研究和工程的共振，離不開強(qiáng)大框架的支持。 百度PaddlePaddle開源時(shí)間點(diǎn)是在2016 年8月。

現(xiàn)在看來，這是歷史性的一刻，尤其在中美摩擦的歷史背景下回看，更不敢皺眉設(shè)想，一旦美國忌憚中國的人工智能發(fā)展勢頭，把深度學(xué)習(xí)框架徹底掐死。 百度的出征，代表著中國隊(duì)上場了，標(biāo)志著中國科技企業(yè)參與到人工智能最殘酷的戰(zhàn)役之中。2017年，AI盛極一時(shí)，獨(dú)角獸頻現(xiàn)，融資快訊爆炸。而PaddlePaddle作為國內(nèi)唯一的開源深度學(xué)習(xí)框架，此后兩年多，都是孤家寡人。 2018年7月，百度成立深度學(xué)習(xí)技術(shù)平臺部，由2011年就入職百度的馬艷軍總負(fù)責(zé)。 畢竟是國產(chǎn)框架，2019年，百度PaddlePaddle有了中文名，名叫“飛槳”。國外產(chǎn)品連個(gè)中文名都懶得起。 零的突破之后，新問題是，“用工業(yè)級的質(zhì)量，把創(chuàng)新在框架上實(shí)現(xiàn)出來”。 2019年2月，一流科技獲得千萬級Pre-A輪投資，袁進(jìn)輝是創(chuàng)始人兼CEO。此事之后，才有些小道消息傳出，早在2017年初，快手創(chuàng)始人宿華就投了一流科技，天使輪。

“小伙子睡涼炕，全憑火氣壯?！币患抑挥袔资藞F(tuán)隊(duì)的初創(chuàng)公司也來做復(fù)雜基礎(chǔ)軟件。投資人一臉懵逼地進(jìn)來，一臉懵逼地離開。 誰都會(huì)挑用起來順手的錘子?？蚣茉谝患夜緝?nèi)部很難統(tǒng)一。

百度內(nèi)部“軍令如山”，必須統(tǒng)一使用飛槳。

曠視科技內(nèi)部可以用任何開源框架，員工中自發(fā)使用天元框架者居多。

微軟亞研院的情況是：很多工程實(shí)現(xiàn)是實(shí)習(xí)生完成，干活時(shí)會(huì)讓同學(xué)們繼續(xù)用熟悉的框架干活，很難強(qiáng)行統(tǒng)一用CNTK。 互聯(lián)網(wǎng)科技公司大多是軟件起家，華為則被戲稱為“泥腿子們”終于“洗干凈腳進(jìn)城”的硬件廠商。是啥不重要，能打就行。所以，華為要拿出來單聊。 華為在開源軟件世界里，風(fēng)評不高，前腳還有：“鴻蒙失火，殃及池魚” （禁止諧音梗，扣錢）。

華為MindSpore的行動(dòng)頗為迅速，可惜，在群眾情緒上，被鴻蒙拖了后腿。 2018年10月10日，上海。華為全聯(lián)接大會(huì)上，肯德基外賣全家桶套餐，不對，講錯(cuò)了，是AI戰(zhàn)略與全棧全場景AI解決方案。這是華為高層首次提起MindSpore這個(gè)事兒。 2019年，10月15日，14點(diǎn)02分，王益在網(wǎng)上突然發(fā)帖問了一句，這“開源框架”什么時(shí)候開源?。坑心涿稍L者告訴筆者：“賈揚(yáng)清回了一句，‘Show me the code’。”筆者沒有找到原文或者截圖。 按工作流程，華為MindSpore官方進(jìn)駐知乎，先發(fā)了一個(gè)“Read me文檔”（翻譯為“閱讀指南文件”）。結(jié)果，人在家中坐，禍從天上來，很多人誤以為“開源”只有“Read me”而已，熱度直接飛起。 最息事寧人的評論：“沸騰就完事了，想那么多干嘛?！弊罴旬嬅娓性u論：“站在馬里亞納海溝里揮舞道德的內(nèi)褲?！鄙裨u論：“按揭開源。” 網(wǎng)友的才華，從手機(jī)屏幕里噴出來。

哪怕華為員工看到這些評論，也笑出了豬叫，細(xì)一想，要克制，便在暗地里捂嘴笑。 一位老牌廠商高管在采訪時(shí)，告訴筆者：“華為不了解生態(tài)系統(tǒng)對軟件的影響。這就是為什么他們在發(fā)布手機(jī)操作系統(tǒng)時(shí)，沒有考慮如何構(gòu)建生態(tài)系統(tǒng)?！笔茉L人要求筆者匿名。 這一評價(jià)，一針扎在要害上。 外國框架并不成熟，也不完美，這也是國產(chǎn)框架參戰(zhàn)的部分原因。 有人發(fā)問：“為什么要再做一個(gè)框架？”華為內(nèi)部也有人捫心自問：“MindSpore解決的特色問題到底是什么？” 可能是2020年正式開源前夕，可能是華為中央軟件院總架構(gòu)師金雪鋒博士、算法科學(xué)家于璠博士、開源社區(qū)運(yùn)營團(tuán)隊(duì)負(fù)責(zé)人黃之鵬等人第一次“齊聚”會(huì)議室，可能是一場“元老會(huì)”。 筆者了解到，在華為內(nèi)部組織結(jié)構(gòu)中，MindSpore屬于昇騰產(chǎn)品團(tuán)隊(duì)，也歸屬于計(jì)算產(chǎn)品線。這是一個(gè)和華為“小云”同級別的BU。

匿名采訪者透露，MindSpore在內(nèi)部也是要承接業(yè)務(wù)部門需求的。 MindSpore再早之前的研發(fā)時(shí)間線不得而知，因?yàn)椤笆玛P(guān)”華為最敏感的“部（xin）位（pian）”。 細(xì)細(xì)翻閱三位科學(xué)家的公開觀點(diǎn)，第一位，華為MindSpore首席架構(gòu)師金雪鋒博士。第二位，一流科技創(chuàng)始人袁進(jìn)輝博士。第三位，谷歌公司W(wǎng)aymo自動(dòng)駕駛汽車感知和規(guī)劃任務(wù)機(jī)器學(xué)習(xí)平臺資深研發(fā)工程師、阿帕奇基金會(huì)MXNet項(xiàng)目委員會(huì)委員、Horovod（是Uber開源的一個(gè)深度學(xué)習(xí)工具）技術(shù)委員會(huì)委員袁林博士。 他們共同認(rèn)為：“市場需求沒有很好地滿足，技術(shù)沒有收斂，創(chuàng)新還有空間。” 國外框架出發(fā)時(shí)，廣闊天地，大有可為，國產(chǎn)框架正好相反。好摘的果實(shí)都已被摘走，只剩高高樹頂上的，還有那零散摔落在地的。 國貨當(dāng)自強(qiáng)，同情分不要也罷。

國產(chǎn)深度學(xué)習(xí)框架的建設(shè)者，藏好后退的發(fā)際線，在時(shí)代的噪音里，縱身一躍。 2020年，國產(chǎn)深度學(xué)習(xí)框架井噴。 3月20日，清華大學(xué)計(jì)圖（Jittor）。3月25日，曠視科技天元（MegEngine） 。3月28日，華為MindSpore。7月31日，一流科技OneFlow。 四家國產(chǎn)，同期開源。五家國產(chǎn)，旌旗列陣。這一年最有可能被追認(rèn)為國產(chǎn)深度學(xué)習(xí)框架的“元年”。

守舊的經(jīng)驗(yàn)是，既然國外開源了，就抓緊學(xué)。既然人家成了事實(shí)工業(yè)標(biāo)準(zhǔn)，就盡力參與?？偸锹撕脦着?，Linux這輪就是這樣。 引用某游戲廠商的經(jīng)典臺詞是：“別催了，在抄了，在抄了?！?可惜競爭從來不是游戲。 深度學(xué)習(xí)框架的臺詞是：“不能照抄，不能舔狗，舔到最后，一無所有?！?2020年，國產(chǎn)框架在技術(shù)上不是單純的跟隨者角色了，也有很多創(chuàng)新點(diǎn)可圈可點(diǎn)。 飛槳作為國內(nèi)最早的開源框架，模型庫是最豐富的。以模型庫的形式沉淀成深度學(xué)習(xí)框架生態(tài)的一部分，生態(tài)也起步早。 古人云：“不謀全局者，不足以謀一域” 。

有匿名采訪者認(rèn)為：“華為是國內(nèi)投入框架研發(fā)最堅(jiān)定的大公司。” 可以觀察到，華為劍指全棧AI戰(zhàn)略，投入非常大。硬件算子庫、基礎(chǔ)軟件、平臺、產(chǎn)業(yè)基金、聯(lián)合項(xiàng)目、標(biāo)準(zhǔn)、論文專利、人才，幾乎所有的地方都發(fā)狠力。 華為內(nèi)部技術(shù)高管（筆者被反復(fù)要求匿名）告訴筆者：“大廠發(fā)展深度學(xué)習(xí)框架一定不是為了賣錢，而為了發(fā)展生態(tài)。華為發(fā)展深度學(xué)習(xí)框架，一方面是自主可控，一方面是堅(jiān)定地發(fā)展AI全棧能力。Mindspore并沒有拘泥于自家的芯片，不能僅僅視為一款產(chǎn)品，而是戰(zhàn)略級的平臺，這是明確公開說的?！?翻看所有的宣傳稿件，不難總結(jié)出，華為有全場景，端邊云協(xié)同，比如，華為自己有手機(jī)業(yè)務(wù)，方便對硬件做指令級優(yōu)化。 但是，華為做的遠(yuǎn)不止這些。 第一，在拿MindSpore 為抓手，來解決深度學(xué)習(xí)之外的、以前在超算領(lǐng)域關(guān)注的一些計(jì)算任務(wù)（科學(xué)計(jì)算）。

其它框架雖然也有這個(gè)目標(biāo)，但華為想到了，也做到了。 第二，AI有個(gè)公開的槽點(diǎn)，即被黑盒問題所累。然而，牽扯到AI安全的問題，既基礎(chǔ)，又前沿，搞得人少，困難多。對于基礎(chǔ)軟件來說，又格外重要。 華為金雪鋒博士有一個(gè)表述：“按DARPA（美國國防部先進(jìn)研究項(xiàng)目局）的說法，可解釋AI的目的，就是要解決用戶面對模型黑盒遇到的問題，從而實(shí)現(xiàn)：用戶知道AI系統(tǒng)為什么這樣做，也知道AI系統(tǒng)為什么不這樣做，用戶知道AI系統(tǒng)為什么做錯(cuò)了。 這個(gè)問題被華為關(guān)注，無疑提高了國產(chǎn)框架段位。你在研究拳法，我在研究拳法背后的哲學(xué)根基。 華為MindSpore開源后，很多質(zhì)疑的聲音消失了，醞釀了半天的道德制高點(diǎn)沒有罵出來，憋得怪難受。

不過，有些批評，華為確實(shí)該虛心接受，不是外人，都能過去。 （三）如何競爭？ 滔滔江水，浪奔浪涌，摩爾定律卻日漸消失于地表。 需要在硬件層面對AI進(jìn)行優(yōu)化浮出水面，因?yàn)樵谖⒂^層面的編譯器優(yōu)化，需要和硬件廠商合作。這是華為的獨(dú)家優(yōu)勢。在所有框架公司里，唯獨(dú)華為有芯片。

官宣用語：“用昇騰+MindSpore，構(gòu)建華為數(shù)字底座”。 華為被特朗普轟炸了幾輪，印象十分深刻。

在獨(dú)家硬件的加持下，MindSpore的名場面是，有開發(fā)者感受到“快到飛起”的興奮。 這也不是唯一的路，因?yàn)樯疃葘W(xué)習(xí)編譯器也登上了舞臺。巧不巧，這又是一個(gè)底層技術(shù)。

所以說，深度學(xué)習(xí)框架門檻高不可攀，算法、底層硬件、操作系統(tǒng)、分布式系統(tǒng)、編譯器，一個(gè)都不能少。 TVM編譯器在2017 年開源，能夠在任何硬件后端上有效優(yōu)化和運(yùn)行計(jì)算，可作為框架的后端。學(xué)術(shù)方面，進(jìn)展也迅速，比如“如何利用TVM直接參與硬件設(shè)計(jì)過程的迭代，使得加速器設(shè)計(jì)在一開始的時(shí)候就可以直接獲得軟件的支持和目標(biāo)的具體反饋”。 TVM的背后是陳天奇團(tuán)隊(duì)，與其競爭的還是中國人民的老朋友，谷歌（MLIR）。 國產(chǎn)框架，萬箭齊發(fā)之勢。 創(chuàng)業(yè)公司代表隊(duì)唯一的隊(duì)員，一流科技袁進(jìn)輝博士則放出豪言：“要做出世界上速度最快的?！?/p>

AI科學(xué)家的豪言壯語，比起羅永浩的那句“收購不可避免走向衰落的蘋果公司，并復(fù)興它”，也沒克制。 天下武功唯快不破。 他認(rèn)為，第一，在分布式深度學(xué)習(xí)里，計(jì)算僅僅是一個(gè)方面，多個(gè)GPU上任務(wù)的協(xié)同需要頻繁地把數(shù)據(jù)在GPU之間傳來傳去。數(shù)據(jù)在數(shù)據(jù)流圖里行走（flow），想走得快，算得快，吞吐量得大，得將數(shù)據(jù)通信也設(shè)計(jì)成數(shù)據(jù)流圖的一部分，不能讓傳輸成了瓶頸。 第二，哪里需要數(shù)據(jù)通信，需要什么形式的數(shù)據(jù)來進(jìn)行通信，都要開發(fā)者去編程實(shí)現(xiàn)，這很麻煩，框架應(yīng)該自動(dòng)實(shí)現(xiàn)。

袁進(jìn)輝博士的總結(jié)是：“OneFlow有兩個(gè)創(chuàng)新點(diǎn)：一會(huì)自動(dòng)安排數(shù)據(jù)通信。二把數(shù)據(jù)通信和計(jì)算的關(guān)系協(xié)調(diào)好，讓整體效率更高。” 2020年，多節(jié)點(diǎn)和多設(shè)備的訓(xùn)練成為深度學(xué)習(xí)的主流，這一趨勢符合袁進(jìn)輝創(chuàng)業(yè)之初的判斷，而這一思路可追溯到2014年他在微軟亞研院的思考。 袁進(jìn)輝團(tuán)隊(duì)的短板明顯存在，AI研發(fā)投入“壕無人性”，直白一點(diǎn)：創(chuàng)業(yè)公司窮。不過，2021年春節(jié)前，高瓴創(chuàng)投獨(dú)家領(lǐng)投一流科技A輪融資，總額5000萬元人民幣。 框架，A面是各有特色，B面是什么呢？ 答案是，大規(guī)模。 這世界上唯一能夠碾壓國內(nèi)一線城市房價(jià)增速的，只有AI模型的規(guī)模。雖然硬件和軟件的進(jìn)步已經(jīng)將每年的訓(xùn)練成本降低了37%；但是，AI模型越來越大，以每年10倍的速度增長。 人工智能模型就像宇宙飛船飛向太空最遠(yuǎn)處，正在探索能力的邊界，拓展人類的想象力。

大模型，跑步前進(jìn)，工業(yè)級實(shí)現(xiàn)，拔腿直追。 邁入大型模型訓(xùn)練時(shí)代，要求深度學(xué)習(xí)框架能夠在面臨數(shù)百臺、數(shù)千臺計(jì)算機(jī)的龐大規(guī)模時(shí)，有效地進(jìn)行訓(xùn)練。 比如，對于單個(gè)設(shè)備或多個(gè)設(shè)備數(shù)據(jù)并行這種簡單場景的支持已經(jīng)足夠優(yōu)秀，但在模型更大或者神經(jīng)網(wǎng)絡(luò)拓?fù)涓鼜?fù)雜時(shí)，通用框架的易用性和效率都大打折扣，有這種需求的工業(yè)級應(yīng)用只好下血本研發(fā)定制方案。 大規(guī)模訓(xùn)練是當(dāng)前各廠商競爭的一個(gè)焦點(diǎn)，誰輸誰贏仍有變數(shù)。但可以肯定的是，只待“百團(tuán)大戰(zhàn)”的第一槍打響后，就是全方位的比拼（易用性，完備性，高效性）。 壞消息是，國產(chǎn)在市場和生態(tài)上與美國巨頭依然有很大的距離。

好消息是，這不是一個(gè)完全被動(dòng)的局面。 甚至，國產(chǎn)框架的競爭也在細(xì)分，分化出局部戰(zhàn)役。 框架分為訓(xùn)練和推理兩部分，訓(xùn)練框架難度大，推理框架次之。

華為推理框架已經(jīng)做到了生產(chǎn)級別，交付到了華為手機(jī)上。在手機(jī)巨頭廠商中，框架的玩法，各不相同。

都知道，蘋果機(jī)器學(xué)習(xí)框架CoreML的代碼是高度商業(yè)秘密。 巨頭的動(dòng)作出其不意地整齊劃一，端側(cè)深度學(xué)習(xí)推理框架，BAT已經(jīng)全部出手。

百度Paddle Lite、阿里巴巴mnn、騰訊ncnn、華為移動(dòng)端推理框架Bolt（華為諾亞方舟實(shí)驗(yàn)室開源）、OPEN AI LAB的邊緣AI推理框架Tengine ，甚至連小米也有，MACE。 單論技術(shù)難度，這些同類產(chǎn)品比深度學(xué)習(xí)框架低很多，但也各懷絕技，各有千秋，只是誤放在一起比來比去，就不是內(nèi)味兒了。 深度學(xué)習(xí)框架的戰(zhàn)場上，全行業(yè)最拔尖的團(tuán)隊(duì)悉數(shù)上場。 （四）開源也競爭 做基礎(chǔ)軟件，一要決心，二要耐心，三要開源，因?yàn)槭谴笸度?、長周期、搶生態(tài)。 關(guān)于開源與生態(tài)，筆者最想采訪的是美國硅谷創(chuàng)投圈資深人士，思科云計(jì)算事業(yè)部研發(fā)老大徐皞。

多次聯(lián)系，終于得到他的回復(fù)。 他告訴筆者：“生態(tài)系統(tǒng)對操作系統(tǒng)而言，比操作系統(tǒng)本身更重要更難發(fā)展。這個(gè)道理很簡單：操作系統(tǒng)可以雇幾百個(gè)人寫出來，生態(tài)需要懇求幾萬、幾十萬、幾百萬的人去寫應(yīng)用才算數(shù)。對手機(jī)電腦而言，多數(shù)用戶是為應(yīng)用買單，而不是為操作系統(tǒng)買單；對框架而言，多數(shù)用戶是為能不能快速解決商業(yè)問題而買單。” 開源是一個(gè)隱秘的角落，“大教堂與集市”的比喻口口相告，代代相傳，是開發(fā)者眼中獨(dú)一無二的圣地，擠滿了來自全世界貢獻(xiàn)與分享的熱情，胸前佩戴“開源項(xiàng)目主要貢獻(xiàn)者”的獎(jiǎng)?wù)?，是江湖地位的象征?曾幾何時(shí)，開源軟件是對抗大公司的俠者。

而如今，大公司卻對開源軟件越來越青睞。巨頭對開源的投入，其背后是生態(tài)，是為了占領(lǐng)市場。開源軟件的開發(fā)，不再是開發(fā)者之間松散的合作。

開源軟件公司有更多主導(dǎo)，開源軟件的開發(fā)效率和質(zhì)量都有所提升。 開源的“不競爭”是另一種形式的競爭。眼下這幾年，開源商業(yè)模式有變。徐皞認(rèn)為：“開源軟件真正興盛，真正有突破，也就是五到十年的事情，開源軟件商業(yè)模式依然在非常早期?！?開源軟件的背后是競爭，是研發(fā)與工程的投入，不投入，怎么占領(lǐng)。

Linux是有很多家的貢獻(xiàn)，但是安卓代碼1200萬行，全部是谷歌工程師自己寫的。

看看美國公司對開源市場的投入力度，中國公司不能落后，更應(yīng)該主動(dòng)投入，占據(jù)，甚至主導(dǎo)。 開源和閉源，隔山兩相望，且看那密密麻麻的布防，哪個(gè)山頭都有重兵。 開源軟件世界里，框架雖為一隅，卻極盡奇觀。最好的思想，最好的代碼都悉數(shù)拿出來了。這是分享，也是一種較量。 前美國國防部咨詢顧問，史蒂夫·馬奎斯的說法是：“開源項(xiàng)目，來源于最純粹的競爭。如果一個(gè)開源項(xiàng)目在商業(yè)世界獲得了成功，那決不會(huì)是出于僥幸，決不會(huì)是因?yàn)槠渌偁幷咔『帽灰?guī)章制度所累、被知識產(chǎn)權(quán)法約束、被人傻錢多的金主拖垮。一個(gè)開源項(xiàng)目勝出了，背后只會(huì)有一個(gè)原因——它真的比其他競爭者都要好?！?有借有還，再借不難?！敖栌盟悸贰笔撬?，但又誘發(fā)更深層次的競爭。

上帝說，要有光。特斯拉說，要有電。開源說，要有代碼。 若問深度學(xué)習(xí)框架將帶來什么，得想清楚深度學(xué)習(xí)的未來在哪。 聽說過深度學(xué)習(xí)又被稱為軟件2.0嗎？

作為數(shù)據(jù)驅(qū)動(dòng)范式的頂峰，從數(shù)據(jù)里自動(dòng)推導(dǎo)出程序，而不是必須靠程序員絞盡腦汁手動(dòng)書寫程序，這是一個(gè)劃時(shí)代的進(jìn)步。 深度學(xué)習(xí)可能從一個(gè)小小島嶼，演進(jìn)成一個(gè)大陸板塊。 在接下來的十年，深度學(xué)習(xí)軟件有機(jī)會(huì)變成每個(gè)軟件工程師醫(yī)藥箱里的必備“藥丸”（不要亂想，不是藍(lán)色的那種）。人類最重要的計(jì)算機(jī)軟件將由其創(chuàng)造，自動(dòng)駕駛，藥物發(fā)現(xiàn)…… 開源軟件的玩法自由奔放，但也有公地悲劇、PR銅臭。深度學(xué)習(xí)框架是一款理解成本很高的軟件，群眾基礎(chǔ)薄（mei）弱（you）。于是，有人用“AI平臺”一詞，胡亂指代，張冠李戴，故意混淆，真令人作嘔……大過節(jié)的，算了算了。 有決心，就有私心，有瘋子，就有騙子。時(shí)間總能給出答案。 結(jié)語： 古人云，按經(jīng)濟(jì)學(xué)的規(guī)律辦事。 大約兩百多年前，英國經(jīng)濟(jì)學(xué)家杰文斯指出，技術(shù)成本降低，將提升技術(shù)的普及度，從而擴(kuò)大市場規(guī)模。

起初，戴著大粗金鏈子，說錯(cuò)了，戴著領(lǐng)結(jié)的大英煤老板十分擔(dān)心，掐指一算：第一次工業(yè)革命讓蒸汽機(jī)效率提升，每臺用煤量減少，總的用煤量會(huì)下降，生意要下滑。 結(jié)果事實(shí)正相反，用煤量大幅增加，好開心呀，因?yàn)檎羝麢C(jī)使用成本降低了，使得蒸汽機(jī)用得更廣泛了。 框架的道理也一樣，降低了研發(fā)人力成本，降低了計(jì)算資源成本，帶動(dòng)市場規(guī)模擴(kuò)大。 兩百年后的今天，人工智能深度學(xué)習(xí)算法的大火，創(chuàng)造了算法軟件包史無前例的機(jī)會(huì)，軟件開發(fā)中的標(biāo)準(zhǔn)化就是把每個(gè)人都要干的活統(tǒng)一起來，成為工業(yè)化的環(huán)節(jié)。 深度學(xué)習(xí)框架牛就牛在把共性提煉抽象出來，用最簡約的代碼實(shí)現(xiàn)，代碼越簡單越牛。

軟件流水線提升整個(gè)行業(yè)的水平，徹底替代手工打造的落后局面。

搞深度學(xué)習(xí)框架的那群人， 他們，可能是同學(xué)同事同行，亦狂亦俠亦友。他們，必然是浩宇璀璨群星，風(fēng)雷意氣崢嶸。

賈揚(yáng)清，化身修羅，重回故里，現(xiàn)任阿里巴巴技術(shù)副總裁。

陳天奇，學(xué)府道場，CMU大學(xué)教書，投入深度學(xué)習(xí)編譯TVM。

李沐，蒲團(tuán)打坐，駐守美國亞馬遜，現(xiàn)任資深主任科學(xué)家。

徐偉，開山老祖，現(xiàn)任地平線AI首席科學(xué)家。

王益，絕頂神僧，谷歌、騰訊、螞蟻金服美研主任科學(xué)家，2021年初去臉書公司。

袁進(jìn)輝，苦煉金剛，網(wǎng)名老師木，清華博后，微軟科學(xué)家，窮酸創(chuàng)業(yè)。

林敏，羽化成仙，跳出三界，研究基礎(chǔ)理論去了。

無論是產(chǎn)品，還是生態(tài)，最終，市場會(huì)決定勝出者。

人工智能頭頂高科技花環(huán)，被高高捧起，又被左右開弓扇耳光，靈魂三逼問：到底行不行？啥時(shí)候突破？誰殺死那只獨(dú)角獸？ 突破難規(guī)劃，創(chuàng)新難計(jì)劃，獨(dú)角獸不拼命也不行……此后，深度學(xué)習(xí)框架，對于國外開發(fā)者同樣重要。

需要發(fā)問的是：如何才能做出全球大流行的開源深度學(xué)習(xí)框架？網(wǎng)友質(zhì)問的原話是：“你敢超過嗎？”

原文標(biāo)題：搞深度學(xué)習(xí)框架的那幫人，不是瘋子，就是騙子

文章出處：【微信公眾號：人工智能與大數(shù)據(jù)技術(shù)】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq