深度學(xué)習(xí)框架大PK

近年來，開發(fā)者社區(qū)中，「開源」成了新流行趨勢(shì)。

尤其是深度學(xué)習(xí)框架，自騰訊2017年將ncnn開源之后，各大AI實(shí)驗(yàn)室都「慷慨」的將自己的框架開源，以實(shí)現(xiàn)較為快速的創(chuàng)新。

騰訊又宣布基于ncnn設(shè)計(jì)的深度學(xué)習(xí)推理框架TNN也將開源。TNN開源后，許多開發(fā)者都將其與ncnn，MNN等開源框架作比較。

TNN性能略勝一籌，「劍指」移動(dòng)端；MNN通用性表現(xiàn)更佳

TNN設(shè)計(jì)之初一方面是為了提高算力，另一方面強(qiáng)調(diào)了對(duì)移動(dòng)設(shè)備的支持。不然用戶就沒必要放棄生態(tài)很好的MNN和大家都熟悉的ncnn來使用TNN了。

TNN是基于ncnn開發(fā)的，對(duì)其進(jìn)行重構(gòu)升級(jí)。除了算力顯著的提升以外，基于TNN開發(fā)者還可以將深度學(xué)習(xí)算法移植到手機(jī)端，開發(fā)移動(dòng)端的AI產(chǎn)品。

為了比較MNN，ncnn和TNN的性能，在以下的主流平臺(tái)做了測(cè)試：

可以看到性能方面TNN還是有優(yōu)勢(shì)的。但是有些環(huán)境下的測(cè)試其實(shí)和MNN還是不相上下，阿里的開發(fā)團(tuán)隊(duì)也說，TNN的性能激勵(lì)了MNN的提高，但相比當(dāng)年2000ms到700ms的飛越還是差點(diǎn)意思。

TNN性能提升的關(guān)鍵是低精度計(jì)算，之前講的沒有辦法移植到移動(dòng)端的本質(zhì)原因是手機(jī)處理器比較薄弱，因此框架適應(yīng)中低端機(jī)是非常重要的。TNN在這方面做的很好，在中低端機(jī)上的性能提升約20%。

通用、輕便也是TNN框架的亮點(diǎn)之一，解決了一部分不同框架間的模型轉(zhuǎn)換問題。但是TNN的模型轉(zhuǎn)換需要基于ONNX，而不像MNN那樣直接支持。操作上只是多了一步，通用性上又大打折扣了。

通用性上MNN的優(yōu)勢(shì)也不容置喙，MNN在通用性上下了很大的功夫，你看支持的算子數(shù)目就可以知道這算是MNN的一個(gè)工作重點(diǎn)。

算子實(shí)現(xiàn)上，MNN在計(jì)算后端的支持也是最廣的。除了ARM v8.2，MNN在GPU算子的支持上也遠(yuǎn)超于其他兩個(gè)框架。

再講講開源的一個(gè)重要問題：代碼可讀性。盡管CPU的代碼框架上，TNN和ncnn非常像，但是風(fēng)格和結(jié)構(gòu)遠(yuǎn)超ncnn，更加的易讀。這點(diǎn)MNN也做得很不錯(cuò)，MNN和TNN在代碼各結(jié)構(gòu)上還是有很多相似點(diǎn)。這些相似點(diǎn)讓MNN到TNN做代碼遷移變的沒有那么復(fù)雜。

總的來說，ncnn作為2017年第一個(gè)開源的框架，非常經(jīng)典。在TNN和MNN的性能差距不大的情況下，選擇哪個(gè)框架就屬于因人而異的事情，各有各的優(yōu)勢(shì)。

從ncnn開始，深度學(xué)習(xí)框架開源已成大趨勢(shì)

雖然企鵝最近因?yàn)橐恍┗ㄟ呅侣劺鲜潜徽{(diào)侃，但是深度學(xué)習(xí)框架開源這方面，真的要感謝這個(gè)傻白甜鵝在2017年7月開源的ncnn。幾乎開啟了深度學(xué)習(xí)框架開源的「熱潮」。

在業(yè)界各方人士三年不懈努力（內(nèi)卷）下，VGG16 在 RK3399 上單核心的推理速度從 2000 ms+ 壓榨到了 700 ms+。這之中也正是因?yàn)殚_源，才能夠集眾人智慧，得到如此卓越的性能提升。

ncnn作為元老級(jí)別的框架，本身就是為移動(dòng)平臺(tái)優(yōu)化的高性能神經(jīng)網(wǎng)絡(luò)推理計(jì)算來開發(fā)的。從設(shè)計(jì)之初，ncnn就在手機(jī)上進(jìn)行部署和使用深思熟慮。ncnn當(dāng)前在許多騰訊應(yīng)用程序中使用，包括我們熟悉的微信、QQ等。

MNN也是具有重大意義的一個(gè)開源框架。MNN是一個(gè)高效，輕量的深度學(xué)習(xí)框架。它支持深度模型推理與訓(xùn)練，尤其是在端側(cè)的推理與訓(xùn)練性能在其中領(lǐng)先領(lǐng)先。目前，MNN已經(jīng)在阿里巴巴的手機(jī)淘寶，手機(jī)天貓，優(yōu)酷，釘釘，閑魚等20個(gè)應(yīng)用中使用。

MNN對(duì)于性能的提升有著卓越的貢獻(xiàn)，因此也成為開發(fā)者的框架首選。

TNN作為2020年鵝廠開源的一款移動(dòng)端推理框架，具有高性能、輕量級(jí)的特點(diǎn)，擁有跨平臺(tái)、高性能、模型壓縮、代碼裁剪等眾多優(yōu)勢(shì)。目前TNN已經(jīng)在手機(jī)QQ、微視、P圖等應(yīng)用中落地。

除了這三個(gè)主流的框架，還有一些也經(jīng)常被使用的框架，例如PPL。但是PPL現(xiàn)在還沒有開源，可能商湯還是想「有所保留」的。其實(shí)ncnn開源的時(shí)候PPL就出來說過他們的性能更好，PPL其實(shí)也是被開發(fā)者們經(jīng)常使用的框架之一了。

百度開源了一個(gè)叫做Padle-Lite的框架。Paddle-Mobile是一個(gè)開放源代碼的深度學(xué)習(xí)框架，旨在簡(jiǎn)化在移動(dòng)，嵌入式和IoT設(shè)備上的推理。它與PaddlePaddle和其他來源的預(yù)訓(xùn)練模型兼容。

開源框架甚至有雷總的身影，小米主體業(yè)務(wù)還是在硬件方面，開源框架確實(shí)很稀奇。MACE是一個(gè)深度學(xué)習(xí)推理框架，針對(duì)Android，iOS，Linux和Windows設(shè)備上的移動(dòng)異構(gòu)計(jì)算進(jìn)行了優(yōu)化。