深度學(xué)習(xí)框架比較，Caffe/Tensorflow/ Keras有何不同？

導(dǎo)語(yǔ)：Science is NOT a battle, it is a collaboration. We all build on each other’s ideas. Science is an act of love, not war. Love for the beauty in the world that surrounds us and love to share and build something together. That makes science a highly satisfying activity, emotionally speaking! ——Yoshua Bengio

人工智能的浪潮正席卷全球，諸多詞匯時(shí)刻縈繞在我們的耳邊，如人工智能，機(jī)器學(xué)習(xí)，深度學(xué)習(xí)等。“人工智能”的概念早在1956年就被提出，顧名思義用計(jì)算機(jī)來(lái)構(gòu)造復(fù)雜的，擁有與人類(lèi)智慧同樣本質(zhì)特性的機(jī)器。經(jīng)過(guò)幾十年的發(fā)展，在2012年后，得益于數(shù)據(jù)量的上漲，運(yùn)算力的提升和機(jī)器學(xué)習(xí)算法(深度學(xué)習(xí))的出現(xiàn)，人工智能開(kāi)始大爆發(fā)。但目前的科研工作都集中在弱人工智能部分，即讓機(jī)器具備觀察和感知能力，可以一定程度的理解和推理，預(yù)期在該領(lǐng)域能夠取得一些重大突破。電影里的人工智能多半都是在描繪強(qiáng)人工智能，即讓機(jī)器獲得自適應(yīng)能力，解決一些之前還沒(méi)遇到過(guò)的問(wèn)題，而這部分在目前的現(xiàn)實(shí)世界里難以真正實(shí)現(xiàn)。

若人工智能有希望取得突破，是如何實(shí)現(xiàn)的，“智能”又從何而來(lái)呢？這主要?dú)w功于一種實(shí)現(xiàn)人工智能的方法——機(jī)器學(xué)習(xí)。

一、機(jī)器學(xué)習(xí)概念

機(jī)器學(xué)習(xí)一種實(shí)現(xiàn)人工智能的方法。

機(jī)器學(xué)習(xí)最基本的做法是，使用算法來(lái)解析數(shù)據(jù)從中學(xué)習(xí)，然后對(duì)真實(shí)世界中的事件做出決策和預(yù)測(cè)。與傳統(tǒng)的為解決特定任務(wù)、硬編碼的軟件程序不同，機(jī)器學(xué)習(xí)是用大量的數(shù)據(jù)來(lái)“訓(xùn)練”，通過(guò)各種算法從數(shù)據(jù)中學(xué)習(xí)如何完成任務(wù)。機(jī)器學(xué)習(xí)源于早期的人工智能領(lǐng)域，傳統(tǒng)的算法包括決策樹(shù)、聚類(lèi)、貝葉斯分類(lèi)、支持向量機(jī)、EM、Adaboost等等。從學(xué)習(xí)方法上來(lái)分，機(jī)器學(xué)習(xí)算法可以分為監(jiān)督學(xué)習(xí)（如分類(lèi)問(wèn)題）、無(wú)監(jiān)督學(xué)習(xí)（如聚類(lèi)問(wèn)題）、半監(jiān)督學(xué)習(xí)、集成學(xué)習(xí)、深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。

傳統(tǒng)的機(jī)器學(xué)習(xí)算法在指紋識(shí)別、基于Haar的人臉檢測(cè)、基于HoG特征的物體檢測(cè)等領(lǐng)域的應(yīng)用基本達(dá)到了商業(yè)化的要求或者特定場(chǎng)景的商業(yè)化水平，但每前進(jìn)一步都異常艱難，直到深度學(xué)習(xí)算法的出現(xiàn)。

二、深度學(xué)習(xí)概念

深度學(xué)習(xí)是一種實(shí)現(xiàn)機(jī)器學(xué)習(xí)的技術(shù)。

其本身并不是一種獨(dú)立的學(xué)習(xí)方法，也會(huì)用到有監(jiān)督和無(wú)監(jiān)督的學(xué)習(xí)方法來(lái)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。但由于近幾年該領(lǐng)域發(fā)展迅猛，一些特有的學(xué)習(xí)手段相繼被提出（如殘差網(wǎng)絡(luò)），因此越來(lái)越多的人將其單獨(dú)看作一種學(xué)習(xí)的方法。

最初的深度學(xué)習(xí)是利用深度神經(jīng)網(wǎng)絡(luò)來(lái)解決特征表達(dá)的一種學(xué)習(xí)過(guò)程。深度神經(jīng)網(wǎng)絡(luò)本身并不是一個(gè)全新的概念，可大致理解為包含多個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。為了提高深層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果，人們對(duì)神經(jīng)元的連接方法和激活函數(shù)等方面做出相應(yīng)的調(diào)整。其實(shí)有不少想法早年間也曾有過(guò)，但由于當(dāng)時(shí)訓(xùn)練數(shù)據(jù)量不足、計(jì)算能力落后，因此最終的效果不盡如人意。深度學(xué)習(xí)，作為目前最熱的機(jī)器學(xué)習(xí)方法，但并不意味著是機(jī)器學(xué)習(xí)的終點(diǎn)。起碼目前存在以下問(wèn)題：

1、深度學(xué)習(xí)模型需要大量的訓(xùn)練數(shù)據(jù)，才能展現(xiàn)出神奇的效果，但現(xiàn)實(shí)生活中往往會(huì)遇到小樣本問(wèn)題，此時(shí)深度學(xué)習(xí)方法無(wú)法入手，傳統(tǒng)的機(jī)器學(xué)習(xí)方法就可以處理；

2、有些領(lǐng)域，采用傳統(tǒng)的簡(jiǎn)單的機(jī)器學(xué)習(xí)方法，可以很好地解決了，沒(méi)必要非得用復(fù)雜的深度學(xué)習(xí)方法；

3、深度學(xué)習(xí)的思想，來(lái)源于人腦的啟發(fā)，但絕不是人腦的模擬。

因此，機(jī)器學(xué)習(xí)框架和深度學(xué)習(xí)框架之間也是有區(qū)別的。本質(zhì)上，機(jī)器學(xué)習(xí)框架涵蓋用于分類(lèi)，回歸，聚類(lèi)，異常檢測(cè)和數(shù)據(jù)準(zhǔn)備的各種學(xué)習(xí)方法，也可以包括神經(jīng)網(wǎng)絡(luò)方法。深度學(xué)習(xí)或深度神經(jīng)網(wǎng)絡(luò)（DNN）框架涵蓋具有許多隱藏層的各種神經(jīng)網(wǎng)絡(luò)拓?fù)?，包括模式識(shí)別的多步驟過(guò)程。網(wǎng)絡(luò)中的層越多，可以提取用于聚類(lèi)和分類(lèi)的特征越復(fù)雜。常見(jiàn)的Caffe，CNTK，DeepLearning4j，Keras，MXNet和TensorFlow是深度學(xué)習(xí)框架。 而Scikit-learning和Spark MLlib是機(jī)器學(xué)習(xí)框架。 Theano則跨越了這兩個(gè)類(lèi)別。

本文接下來(lái)的篇幅將會(huì)重點(diǎn)介紹深度學(xué)習(xí)的三個(gè)框架caffe、tensorflow和keras，如果只是需要使用傳統(tǒng)的機(jī)器學(xué)習(xí)基礎(chǔ)算法使用scikit-learning和spark MLlib則更為合適。

三、深度學(xué)習(xí)框架比較

神經(jīng)網(wǎng)絡(luò)一般包括：訓(xùn)練，測(cè)試兩大階段。訓(xùn)練就是把訓(xùn)練數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)模型（AlexNet、RNN等神經(jīng)網(wǎng)絡(luò)訓(xùn)練框架Caffe等）用CPU或GPU提煉出模型參數(shù)的過(guò)程。測(cè)試就是把測(cè)試數(shù)據(jù)用訓(xùn)練好的模型（神經(jīng)網(wǎng)絡(luò)模型+模型參數(shù)）運(yùn)行后查看結(jié)果。而caffe，keras，tensorflow就是把訓(xùn)練過(guò)程所涉及的環(huán)節(jié)數(shù)據(jù)統(tǒng)一抽象，形成可使用框架。

（一）Caffe

1、概念