“天元”訓(xùn)練推理一體化、兼容并包、靈活高效

疫情中的深度學(xué)習(xí)領(lǐng)域又有大動作。

3月25日下午，曠視科技舉辦線上發(fā)布會，宣布其自主研發(fā)、全員使用的AI生產(chǎn)力套件Brain++的核心深度學(xué)習(xí)框架——天元（MegEngine）開源。

回溯2017年，AlphaGo與柯潔的圍棋大戰(zhàn)讓人嘆為觀止，也點燃了不少科研人員對AI的研發(fā)熱情，其中，支撐AlphaGo運轉(zhuǎn)的底層技術(shù)框架是谷歌的TensorFlow。但其實，早在2014年，曠視就已經(jīng)著手開始研發(fā)其深度學(xué)習(xí)框架MegEngine，在過去5年內(nèi)，這套深度學(xué)習(xí)框架被曠視全員使用，也支撐起了整個曠視的科研及產(chǎn)品化進(jìn)程。

現(xiàn)在，這套深度學(xué)習(xí)框架終于開源啦！這也是本月繼清華Jittor之后，又一個開源的國產(chǎn)深度學(xué)習(xí)框架。

作為曠視絕對招牌之一，MegEngine是什么，有何特點？在曠視的發(fā)展歷程中，它做出了哪些貢獻(xiàn)，文摘菌在這里為你一網(wǎng)打盡~

AI時代的三位一體生產(chǎn)力平臺

開源發(fā)布會上，曠視聯(lián)合創(chuàng)始人、首席技術(shù)官唐文斌用廚房來做比喻，解釋曠視的三位一體生產(chǎn)力平臺——Brain++。

唐文斌介紹道，AI系統(tǒng)存在兩大基礎(chǔ)設(shè)施，芯片平臺和AI生產(chǎn)力平臺，后者涉及到數(shù)據(jù)、算法、算力等多方面問題。

什么是AI生產(chǎn)力平臺，它就像是一道美食，需要原材料、一口好鍋和一灶猛火共同烹飪炒出，以Brain++為例，數(shù)據(jù)、算法、算力分別就代表了材料、鍋和猛火，今天就是這口“鍋”亮相的時候。

天元MegEngine深度學(xué)習(xí)框架官方網(wǎng)站：

https://megengine.org.cn/

簡單回想一下人工智能發(fā)展初期，想要訓(xùn)練出一個AI模型，至少需要一兩個月，而且開發(fā)者要通過手敲代碼完成計算過程，深度學(xué)習(xí)社區(qū)基本上被TensorFlow和PyTorch壟斷。因此為了快速進(jìn)行算法實驗，落地實際工業(yè)場景，我們需要的是一個具有高性能、可復(fù)用和能靈活迭代的AI算法平臺，要打造這個平臺，就必須從計算性能，平臺易用性，滿足真實業(yè)務(wù)場景需求等各個方面進(jìn)行考量。

曠視Brain++就是這樣的一個系統(tǒng)，天元就是其中核心模塊，唐文斌說，“天元”取圍棋盤上的中心點之意，就是要做到訓(xùn)練推理一體化、兼容并包、靈活高效。

自2014年研發(fā)，2015年正式投入使用，如今曠視所有產(chǎn)品都使用了天元框架，整個過程可謂是來之不易。

今天天元開源代碼共35萬行，包括78%C++，17%CUDA，5%Python。唐文斌大方地承認(rèn)道，今天發(fā)布的是Alpha版本，6月份會發(fā)布Beta版本，9月份發(fā)布正式版本。

他也很誠懇地表示，“所有程序員都知道，一個代碼自己用和拿出來和別人分享的差距有多大?！币虼讼Ｍ懈嗳藢@一發(fā)布版本給出批評建議，共建更好的產(chǎn)品。九月份推出正式版本，即日起向企業(yè)開發(fā)。

發(fā)布會上也公布了代碼的托管地址，感興趣的同學(xué)不妨一試。

GitHub地址：

https://github.com/MegEngine/MegEngine

訓(xùn)練和推理一體化，適配不同框架接口

據(jù)介紹，天元系統(tǒng)共分為五個層次：計算接口，圖表示、優(yōu)化與翻譯、運行時管理、計算內(nèi)核。

可以從圖中看到，天元支持Python和C++接口，支持靜態(tài)圖和動態(tài)圖表達(dá)，也支持自動求導(dǎo)器、圖優(yōu)化、圖編譯。

傳統(tǒng)的訓(xùn)練框架和推理框架是分開進(jìn)行的，也就是說，系統(tǒng)要先經(jīng)過訓(xùn)練再接受新的格式，在推理框架上適配不同的場景，但是在兩者轉(zhuǎn)化過程中會遇到算子無法支持、手工無法優(yōu)化、大量冗余算子等多種問題。

天元系統(tǒng)的訓(xùn)練和推理是一體的，因此無需進(jìn)行模型轉(zhuǎn)換，同時，系統(tǒng)內(nèi)部內(nèi)置有模型優(yōu)化，可以有效降低手工優(yōu)化的誤差，精度和速度都能得到保證。

靜態(tài)圖和動態(tài)圖之爭也就是TensorFlow和PyTotch之爭，但是兩種框架真的不得兼得嗎？天元給出的答案是，可以。動靜合一就是天元的做法，從結(jié)果上看，使用靜態(tài)圖提速約5%-20%。

在學(xué)術(shù)界和工業(yè)界都會遇到框架接口不同引起的各種適配問題，天元在此也提出了解決方案，那就是兼容并包。天元采用了Pythonic風(fēng)格API，可以很自然地被用戶接受，函數(shù)的命名也尊重了以往的傳統(tǒng)，可以直接導(dǎo)入PyTotch Module，方便模型復(fù)現(xiàn)和實驗。

在生產(chǎn)環(huán)境上，天元也做到了“靈活高效”，不僅在許多算法上都取得了領(lǐng)先的性能，在與其他框架進(jìn)行對比時速度也完全不輸，同時，天元還關(guān)注到了顯存和片上內(nèi)存的節(jié)省，天元系統(tǒng)在保證不影響速度的前提下實現(xiàn)了20倍以上的內(nèi)存減少。

三大特點：“訓(xùn)得好”、“訓(xùn)得快”、“訓(xùn)得動”

在發(fā)布會上，曠視首席科學(xué)家孫劍表示，“天元就像我們的孩子”，他也就其三大特點進(jìn)行了介紹，包括框架與算法協(xié)同、高效訓(xùn)練系統(tǒng)、大規(guī)模能力，用大白話來說就是“訓(xùn)得好”、“訓(xùn)得快”、“訓(xùn)得動”。

孫劍表示，由于當(dāng)前計算平臺的特性差異比較大，無法用一種網(wǎng)絡(luò)滿足所有需求。

天元通過快速的算子算法開發(fā)，靈活高效的算子支持，Jit自動算子融合三方面，實現(xiàn)了端上的高性能，在自測和第三方測試中都取得了不錯的成績。目前也已經(jīng)配備至國產(chǎn)智能手機中，加速手機的智能化。

在介紹第二個優(yōu)點之前，孫劍提到，在計算機視覺挑戰(zhàn)賽COCO中，曠視已經(jīng)實現(xiàn)了三連冠，能取得這樣的成績，除了優(yōu)秀的研究員、對比賽的理解，曠視天元系統(tǒng)功不可沒。

曠視天元系統(tǒng)能夠通過多機訓(xùn)練提速16倍，加速了創(chuàng)新周期，并且精度更高，而且也是第一次實現(xiàn)了從框架上支持超大mini-Batch訓(xùn)練，種種優(yōu)點集中后，研究人員就可以在相同的比賽時間內(nèi)測試更多的想法。

在Object365之后，孫劍表示，Object365 V2也在今天開放給大家，Object365 V2可以說是世界上最大的物體檢測數(shù)據(jù)集，配備了365種常見物體，2百萬張圖像，2.8千萬個人工標(biāo)注，是COCO比賽數(shù)據(jù)集的16倍大。

面對如此龐大的數(shù)據(jù)集，孫劍表示，曠視天元完全“訓(xùn)得動”，高校加速比的多機訓(xùn)練、底顯存消耗、亞線性顯存節(jié)省技術(shù)、MegRay通訊框架、高效數(shù)據(jù)編碼傳輸，這些特點都使得天元系統(tǒng)能夠訓(xùn)練出一個精度更高速度更快的模型。

除了上述三個特點，孫劍讓大家試想，1400多名研發(fā)人員共享高效計算資源是怎樣的場景。

他說，共享時每個研發(fā)人員都有一份獨有的交互式訓(xùn)練模式，能夠讓每個人隨時停下來調(diào)試，不僅如此，系統(tǒng)還支持多人同時在線訓(xùn)練、數(shù)據(jù)自動預(yù)加載，自動閑置資源利用、計算配額管理，這些功能的實現(xiàn)，也都是要得益于曠視Brain++。

對于Brain++，用此前曠視聯(lián)合創(chuàng)始人唐文斌的話說就是，Brain++的“目標(biāo)是讓研發(fā)人員獲得從數(shù)據(jù)到算法產(chǎn)業(yè)化的綜合技術(shù)能力，不用重復(fù)造輪子也可以推進(jìn)AI快速落地。Brain++還引入了AutoML技術(shù)，可以讓算法來訓(xùn)練算法，讓AI來創(chuàng)造AI”。

發(fā)布會上，曠視云服務(wù)業(yè)務(wù)副總裁趙立威就曠視Brain++進(jìn)行了更深層的介紹。

具體來說，Brain++的架構(gòu)分為三部分，核心模塊就是最新開源的深度學(xué)習(xí)算法開發(fā)框架天元（MegEngine），其次是提供算力調(diào)度支持的深度學(xué)習(xí)云計算平臺MegCompute，以及用于提供數(shù)據(jù)服務(wù)和管理的數(shù)據(jù)管理平臺MegData。

他說道，AI加速著各行各業(yè)的創(chuàng)新進(jìn)程，但是在AI具體落地過程中馬太效應(yīng)還是比較明顯的。其中，以企業(yè)為例，企業(yè)在應(yīng)用AI時遇到了不少共性問題，比如對數(shù)據(jù)的利用、數(shù)據(jù)隱私、模型效果、難以保證使用方法在生產(chǎn)過程中的精度和性能需求等等。

曠視Brain++也正是基于解決這些問題提出，趙立威介紹道，在框架基礎(chǔ)上，曠視研究院提出“三位一體”概念，融合數(shù)據(jù)和算力平臺，構(gòu)建出集“算法、數(shù)據(jù)和算力”于一體的AI生產(chǎn)力套件Brain++，自動化、規(guī)模化、集約化生產(chǎn)算法，在Brain++的驅(qū)動下一一成為現(xiàn)實。

要讓AI真正助力到具體行業(yè)種，去賦能傳統(tǒng)行業(yè)，達(dá)到商業(yè)創(chuàng)新的目標(biāo)，趙立威在最后也向大家分享了三個通過使用曠視Brain++成功的案例，并表示，“你也可以擁有專屬的Brain++平臺”。

在這里，文摘菌也為大家簡單總結(jié)一下，Brain++的核心模塊MegEngine，也就是天元系統(tǒng)，是以C++為基礎(chǔ)，和其他框架使用異構(gòu)架構(gòu)的框架不同，MegEngine使用了計算圖方式，進(jìn)行分布式計算更為便捷。同時，MegEngine引入了曠視獨家AutoML技術(shù)，訓(xùn)練一次，就能得到整個模型空間的刻畫，降低了人力成本，也大幅提高開發(fā)效率。

天元系統(tǒng)可實現(xiàn)訓(xùn)練、部署一體化，能夠支撐大規(guī)模視覺方向的算法研發(fā)，具體又分為計算引擎、運行時管理、編譯和優(yōu)化以及編程和表示四個方面。

本次發(fā)布會上，眾多AI界大咖也紛紛送上祝福，中國工程院院士高文表示，深度學(xué)習(xí)是目前AI能夠掀起全球科研熱潮的重要原因之一，而另一個則是采取了開源開放的措施，曠視這次的開源是“一件值得祝賀的事”，也是“一件重要的事”。

中國科學(xué)院院士姚期智也表示，AI現(xiàn)在的地位就和過去數(shù)學(xué)和物理的地位很像，如何發(fā)展AI，這需要從兩個角度考慮，一個是人才培養(yǎng)，一個是研究創(chuàng)新，其中，前者呼吁具有豐富交叉學(xué)科背景的人才，清華也在重點培養(yǎng)，包括開設(shè)智班和姚班，以及編纂AI教材，后者則需要產(chǎn)學(xué)研的結(jié)合，曠視Brain++正是工程化的代表。

國產(chǎn)深度學(xué)習(xí)框架百花齊放！清華開源首個國內(nèi)高校自研的深度學(xué)習(xí)框架Jittor

先于曠視，3月20日，清華大學(xué)開發(fā)了名為Jittor的深度學(xué)習(xí)框架，這是首個國內(nèi)高校自研的深度學(xué)習(xí)框架，這一框架的開源有望為深度學(xué)習(xí)社區(qū)提供新方案，推動深度學(xué)習(xí)框架國產(chǎn)化。

根據(jù)官網(wǎng)介紹，Jittor是一個用元算子表達(dá)神經(jīng)網(wǎng)絡(luò)計算單元，并且完全基于動態(tài)編譯的深度學(xué)習(xí)框架。根據(jù)官網(wǎng)的定義，“研究團(tuán)隊將神經(jīng)網(wǎng)絡(luò)所需的基本算子定義為元算子”，而Jittor的主要特性正是元算子和統(tǒng)一計算圖。

元算子非常底層，通過相互融合可以完成復(fù)雜的深度學(xué)習(xí)計算，體現(xiàn)出了易于使用的特點。研發(fā)團(tuán)隊表示，采用元算子的Jittor目前已經(jīng)超越了Numpy，可以完成更復(fù)雜高效的操作。

在統(tǒng)一計算圖方面，Jittor融合了靜態(tài)計算圖和動態(tài)計算圖的優(yōu)點，在易于使用的同時，提供了高性能的優(yōu)化?；谠阕娱_發(fā)的深度學(xué)習(xí)模型，可以被Jittor實時自動優(yōu)化，并且運行在指定如CPU、GPU的硬件上。

Jittor官網(wǎng)：

https://cg.cs.tsinghua.edu.cn/jittor/

GitHub地址：

https://github.com/Jittor/jittor

在設(shè)計理念上，Jittor保持著易用、靈活和及時的特點：

易用且可定制：用戶只需要數(shù)行代碼，就可定義新的算子和模型，在易用的同時，不喪失任何可定制性；

實現(xiàn)與優(yōu)化分離：用戶可以通過前端接口專注于實現(xiàn)，而實現(xiàn)自動被后端優(yōu)化，從而提升前端代碼的可讀性，以及后端優(yōu)化的魯棒性和可重用性；

所有都是即時的：Jittor的所有代碼都是即時編譯并且運行的，包括Jittor本身。用戶可以隨時對Jittor的所有代碼進(jìn)行修改，并且動態(tài)運行。

具體來說，Jittor的7大新特點值得關(guān)注：

最近清華、曠視相繼開源深度學(xué)習(xí)框架，再加上更早的開源百度PaddlePaddle，而據(jù)了解，華為也即將開源自己的深度學(xué)習(xí)框架，國產(chǎn)深度學(xué)習(xí)框架正在迎來發(fā)展高速期，希望借著這股東風(fēng)，能夠激發(fā)更多的人對AI領(lǐng)域的興趣，參與到國產(chǎn)AI的建設(shè)中。