AI是在怎樣成為云端的訓(xùn)練師的

在這場大浪潮中，越來越多企業(yè)在尋求可以將AI集成到自有業(yè)務(wù)與產(chǎn)品中的渠道，無數(shù)開發(fā)者渴望搶先在AI舞臺上釋放創(chuàng)造力，然而面對深度學(xué)習(xí)為代表的巨型數(shù)據(jù)集，如果自建數(shù)據(jù)中心或個人電腦帶不動AI這匹“算力怪獸”，該怎么辦？

作為基礎(chǔ)設(shè)施一般存在的云服務(wù)商，此時就被賦予了一個新的角色——AI訓(xùn)練師。

花式AIaaS，離不開“訓(xùn)練”二字

云計算的普及，讓各種AI能力以“即服務(wù)”的形式出現(xiàn)在了各行各業(yè)之中。去年，RightScale的云研究報告指出，企業(yè)格外關(guān)注于AI技術(shù)體系中的機器學(xué)習(xí)。當(dāng)被問詢未來計劃使用哪種類型的公有云服務(wù)時，絕大多數(shù)的受訪者選擇了機器學(xué)習(xí)，12%的受訪者表示他們正在使用這一服務(wù)，46%的受訪者則表示他們正在測試或計劃部署機器學(xué)習(xí)服務(wù)。

目前看來，AI主要是以三種形式被“即服務(wù)”到產(chǎn)業(yè)當(dāng)中：一種是Chatbot，比如蘋果Siri、微軟Cortana或亞馬遜Alexa這樣的智能語音助理，被業(yè)務(wù)集成后可以直接打通AI體驗，解放人力;第二種是API。云服務(wù)商開發(fā)出的AI模型，如NLP、圖片分類、視頻識別等等，以應(yīng)用程序編程接口（API）的形式集成到自身的平臺上去，避免從零開發(fā)。目前廣泛應(yīng)用的人臉識別、語音翻譯等都是以各種形式被普及的。第三種則是機器學(xué)習(xí)框架。開發(fā)人員利用云訪問機器學(xué)習(xí)框架構(gòu)建出模型，再基于自身現(xiàn)有的數(shù)據(jù)對模型進(jìn)行訓(xùn)練，這種方式比起自建型算法模型更加便捷，節(jié)省時間。

顯然，這些讓AI全面開花的主流方式，依然依賴于一個環(huán)節(jié)，那就是訓(xùn)練。

我們知道，雖然目前絕大多數(shù)云服務(wù)商都提供多種AI模型來幫助各行各業(yè)實現(xiàn)智能化。但云服務(wù)商無法深入到產(chǎn)業(yè)肌理的每一個細(xì)微紋路，想要讓AI落地時精準(zhǔn)地匹配現(xiàn)實需求，高度定制化的數(shù)據(jù)訓(xùn)練就十分必要了。

即使云服務(wù)商有類似的平臺模型可供企業(yè)客戶調(diào)用，一個良好的模型依然需要具備可擴展、可訓(xùn)練性，也就是能夠根據(jù)實際數(shù)據(jù)隨時自我更新，不斷提升性能，才能真正成為提質(zhì)增效的神兵利器。

從這個層面看，面向企業(yè)和個人開發(fā)者的AI訓(xùn)練服務(wù)，幾乎成了公有云無法繞開的關(guān)鍵能力。

上探AI訓(xùn)練，對公有云意味著什么？

今天，在公有云上進(jìn)行深度學(xué)習(xí)訓(xùn)練可謂是人工智能的重要趨勢，然而有能力向企業(yè)和個人開發(fā)者輸出云端訓(xùn)練服務(wù)的云服務(wù)商可說是鳳毛麟角。

例如亞馬遜推出了AWS深度學(xué)習(xí)容器，也方便客戶定制AI訓(xùn)練流程;谷歌和Facebook也推出了適合自身深度學(xué)習(xí)框架TensorFlow的訓(xùn)練平臺;在中國，華為、百度、阿里、浪潮、騰訊等也讓定制化AI訓(xùn)練服務(wù)走上了云端，整合到他們的企業(yè)服務(wù)解決方案中去。

我們知道，深度學(xué)習(xí)難以離開大數(shù)據(jù)和規(guī)?；?xùn)練的支撐，二者就像緊密結(jié)合的輪軸推動著算法向高性能、高精度的方向發(fā)展，進(jìn)而影響整個社會的AI進(jìn)程。但目前市面上只有少數(shù)幾家頭部公有云廠商有類似的服務(wù)。為什么云端AI訓(xùn)練如何“陽春白雪”？

其中很大一部分原因在于，定制化神經(jīng)網(wǎng)絡(luò)的訓(xùn)練任務(wù)，往往需要強大的計算能力，也就是GPU集群來保障。然而今天， AI算力依然是一種昂貴的計算資源，而云端訓(xùn)練往往會在不訓(xùn)練時將算力資源釋放出去，實現(xiàn)彈性調(diào)配，服務(wù)商按照實際計算消耗進(jìn)行付費，個人開發(fā)者與企業(yè)則可以省去購買計算單元或是自建數(shù)據(jù)中心的高昂開支，從而大大降低了AI落地的成本。

不過，目前用戶可以選擇的云端訓(xùn)練平臺并不多。主要原因是用于神經(jīng)訓(xùn)練的GPU芯片幾乎由英偉達(dá)一家獨大，云服務(wù)商建立訓(xùn)練平臺的成本很高。后來谷歌、華為分別推出了自己的大規(guī)模計算單元，起到了一定了市場制衡作用。但整體而言，訓(xùn)練環(huán)節(jié)的云端芯片依然難以滿足廣泛的部署需求。

還有一個顧慮是云巨頭在AI領(lǐng)域的投入與創(chuàng)新，正好具備了輸出基礎(chǔ)算力與應(yīng)用工具的雙重能力。大多企業(yè)想要AI，依然需要花費大量時間與精力、人力去熟悉相應(yīng)的深度學(xué)習(xí)框架、標(biāo)注數(shù)據(jù)、調(diào)教參數(shù)、設(shè)計容錯等等，在一份Vanson Bourne公司的“企業(yè)人工智能狀況”調(diào)查報告中，有34%的企業(yè)IT決策者表示他們沒有合適的人才來支持技術(shù)的成功部署，30%缺乏實施的預(yù)算。

舉個例子，大部分中小企業(yè)采用公有云來進(jìn)行超大規(guī)模的AI訓(xùn)練，一個基本出發(fā)點就是試錯和驗證AI進(jìn)入產(chǎn)業(yè)的新想法，因此時間成本就非常重要，這需要效率更高、擴展性更好的深度學(xué)習(xí)框架和專項加速來支撐。因此，想要幫助企業(yè)減少定制化訓(xùn)練的學(xué)習(xí)門檻與風(fēng)險成本，只有少數(shù)有意愿、有實力的頭部云技術(shù)巨頭才能切入。

另外值得注意的是，無論是需要財報好看的企業(yè)，還是渴望擁抱AI的開發(fā)者，云平臺面臨的訓(xùn)練任務(wù)是五花八門的，接收到的數(shù)據(jù)資源也很可能放飛自我。不同的程序、業(yè)務(wù)模式可能對應(yīng)著不同的訪問模式和存儲結(jié)構(gòu)，因此，如何存儲、處理、分析、最終輸出基于任意類型數(shù)據(jù)的訓(xùn)練模型，這就要求云平臺擁有構(gòu)建和管理數(shù)據(jù)湖，來處理各種結(jié)構(gòu)化或非結(jié)構(gòu)化的數(shù)據(jù)，并統(tǒng)統(tǒng)投喂給神經(jīng)網(wǎng)絡(luò)。顯然，想要積累如此龐大且豐滿的全量數(shù)據(jù)，頭部選手的表現(xiàn)更優(yōu)且更完備。

總體來看，AI訓(xùn)練作為智能這座大廈所必備的原材料鍛造過程，迫切需要一個靈活機動的全能選手“隨叫隨到”，就地完成特殊模塊的精雕細(xì)琢然后就功成身退，而不是在材料原產(chǎn)地處理完再運往施工現(xiàn)場。

具備這種彈性作戰(zhàn)能力的“工程隊”，顯然具備爭奪市場的關(guān)鍵能力。這也是為什么今天幾乎所有頭部云廠商都開始紛紛輸出自身的云端訓(xùn)練能力，甚至不惜“虧本賺吆喝”。

那么向AI的技術(shù)上游切入訓(xùn)練服務(wù)產(chǎn)業(yè)鏈，對于公有云廠商來說，究竟意味著什么？是以算法API和應(yīng)用程序的方式“被連接”？還是提供工具和計算平臺“被集成”？亦或者向更底層的芯片等“硬實力”進(jìn)發(fā)？

如果某一朵云懷抱著的野望，是真正成為智能時代的容器與基礎(chǔ)設(shè)施，構(gòu)建全方位、立體化的AI技術(shù)體系，那么集硬件算力、軟件技術(shù)、生態(tài)開發(fā)于一體的AI訓(xùn)練，雖然是復(fù)雜而漫長的冒險，卻是中國AI產(chǎn)業(yè)真正進(jìn)入千行萬業(yè)所必要的投入與支撐。

一方面，云服務(wù)商需要開放自身的計算資源，為了不掣肘他人，就必須倒逼半導(dǎo)體產(chǎn)業(yè)自我升級。尤其時我國的短板，如承擔(dān)訓(xùn)練任務(wù)的云端訓(xùn)練芯片，針對深度學(xué)習(xí)框架專項加速、提高性能的計算單元，高精度基礎(chǔ)模型的釋放等等，這些AI訓(xùn)練的必要支撐，伴隨云服務(wù)商的產(chǎn)業(yè)上探實現(xiàn)系聯(lián)動升級，正是當(dāng)前的趨勢。

另外，云端分布式訓(xùn)練、終端模型部署相結(jié)合，正在成為AI開發(fā)流程的全周期模式。企業(yè)利用公有云的算力、解決方案所訓(xùn)練的專有模型，大多需要在端、邊側(cè)部署和應(yīng)用，在“從硬到軟再到硬”的過程中，往往需要云平臺協(xié)同綜合考慮，這也讓構(gòu)建從訓(xùn)練到應(yīng)用的產(chǎn)業(yè)閉環(huán)成為可能。而中國企業(yè)和開發(fā)者，以及各產(chǎn)業(yè)端的關(guān)鍵數(shù)據(jù)、創(chuàng)新應(yīng)用等都得以在國產(chǎn)云環(huán)境中運行，在地域化情緒與環(huán)境不穩(wěn)定的當(dāng)下，也有著重要的產(chǎn)業(yè)安全戰(zhàn)略意義。

由此，我們可以引出一個新的話題：一個好的云端AI訓(xùn)練平臺，應(yīng)用具備哪些能力？

讓AI飛入尋常百姓家的云端“魔術(shù)手”

AI開始走進(jìn)大眾視野，是以阿爾法狗所代表的深度學(xué)習(xí)技術(shù)為起點。而云服務(wù)商所扮演的角色，就是不斷將實驗室中影影綽綽的技術(shù)“實體化”、工具化成一個個道具，運用一雙虛實變幻、軟硬結(jié)合的“魔術(shù)手”，將AI驚艷地呈現(xiàn)在各行各業(yè)、普羅大眾眼前。

通過這雙魔術(shù)之手，我們則可以反向去理解，“云端訓(xùn)練”在AI普惠的過程當(dāng)中，都需要哪些條件的支持：

1.計算性能的持續(xù)升級。算力，是云端訓(xùn)練的基礎(chǔ)保障，這里涉及兩個基本命題，一是絕對規(guī)模，也就是硬件化計算能力，在訓(xùn)練時，數(shù)據(jù)會被分派給眾多訓(xùn)練機器，再通過反饋及標(biāo)志變量重新組合在一起，從而創(chuàng)建完整的訓(xùn)練模型，對GPU驅(qū)動、底層庫之間的兼容性等硬件提出了不少挑戰(zhàn)。第二需要考慮的則是精度，通過網(wǎng)絡(luò)優(yōu)化和超參組合，云平臺可以利用少量數(shù)據(jù)就達(dá)到出色的訓(xùn)練效果和高性能的模型，這對于一些中小微開發(fā)者來說有著化不可能為可能的現(xiàn)實意義。

2.友好模式的開發(fā)態(tài)。簡單來說，就是降低開發(fā)者的訓(xùn)練成本、學(xué)習(xí)門檻。一種方式是提供簡單易上手的開發(fā)工具和交互界面。舉個例子，神經(jīng)網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)集往往達(dá)到1PB的數(shù)據(jù)量，即使用1G帶寬的網(wǎng)絡(luò)來傳輸也需要耗費將近4個月，黃花菜都要涼了，對此一些云巨頭借助新的傳輸工具，如谷歌的Transfer Appliance ，就能在25 小時內(nèi)將 1PB 的數(shù)據(jù)裝入數(shù)據(jù)中心。還有一些自動化、可視化的任務(wù)管理工具，能夠大大解放開發(fā)者的重復(fù)勞動，比如訓(xùn)練任務(wù)一站式托管，可以自動跟蹤任務(wù)的訓(xùn)練狀態(tài)，提供輸出日志功能，開發(fā)者只需實時監(jiān)控就可以了;

友好的第二種意義，則是云平臺的兼容性。我們知道，目前深度學(xué)習(xí)框架有許多，開發(fā)者需要在不同的框架下完成特定的訓(xùn)練及推論任務(wù)，因此云平臺的兼容并蓄就非常重要了。像是新的AWS容器就能夠支持谷歌的TensorFlow、Apache的MXNet以及臉書的PyTorch等不同的機器學(xué)習(xí)架構(gòu)，華為新發(fā)布的Atlas智能計算平臺，也志在解決中國企業(yè)和開發(fā)者對算力與兼容性的難題。這意味著對每一種架構(gòu)提供針對性的優(yōu)化和加速，讓特定的模型訓(xùn)練速度更上一層樓，這也有助于打消企業(yè)開發(fā)者的上云顧慮。

3.穿透各個場景的降本增效。一方面，成本控制作為云端訓(xùn)練的核心優(yōu)勢，在整個開發(fā)過程中是不可或缺的。這意味著云平臺需要具備合理的擴展性與靈活度，讓企業(yè)輕松獲得自己所需要的AI資源并靈活合理地支付費用，如果試點項目沒有成功，也可以很容易地關(guān)閉;而項目成功后，也可以很容易地擴大資源規(guī)模。

另外，基于原生場景數(shù)據(jù)的訓(xùn)練完成以后，如何將模型快速擴展到企業(yè)或產(chǎn)業(yè)其他業(yè)務(wù)部門及軟硬件，這是困擾AI開發(fā)生態(tài)的落地難題。能夠集中打通數(shù)據(jù)，讓終端和云端在統(tǒng)一的智能基礎(chǔ)設(shè)施上協(xié)同完成復(fù)雜任務(wù)處理的開發(fā)生態(tài)，將會在未來釋放更具應(yīng)用價值的能量。

4.云端數(shù)據(jù)訓(xùn)練的安全保障。定制化訓(xùn)練意味著企業(yè)和開發(fā)者需要將自身的關(guān)鍵敏感數(shù)據(jù)上傳到云端，多個“租戶”任務(wù)同時進(jìn)行，不同訓(xùn)練任務(wù)數(shù)據(jù)之間的安全隔離就變得至關(guān)重要了。否則影響的不僅僅是模型的精度與性能，更可能在遷移、訓(xùn)練、存儲中面臨數(shù)據(jù)泄露風(fēng)險。

云平臺一方面需要確保自身數(shù)據(jù)的合規(guī)性，保證算法不因為地方法規(guī)的數(shù)據(jù)政策限制而失效;同時也需要應(yīng)對潛在的網(wǎng)絡(luò)攻擊，采取數(shù)加密等手段來實現(xiàn)完善安全的服務(wù)調(diào)用。

總體而言，云端訓(xùn)練讓AI得以在軟硬件雙重通道上得到淬煉，進(jìn)而以低門檻、可應(yīng)用的方式真正適配千行萬業(yè)的智能化需求。同時我們應(yīng)該看到的是，云服務(wù)想要描繪出賦能無數(shù)產(chǎn)業(yè)、抵達(dá)生活方方面面的AI普惠藍(lán)圖，還需要跨越一座座高聳的山峰。而在這一條時代的跑道上，需要的不僅是宣傳口徑上的華麗辭藻，更是浸透了汗水與淚水的砥礪前行。

來源：腦極體