谷歌、百度、英特爾、AMD、哈佛大學(xué)與斯坦福大學(xué)聯(lián)合發(fā)布了新型基準(zhǔn)測試工具 MLPerf

日前，來自谷歌、百度、英特爾、AMD、哈佛大學(xué)與斯坦福大學(xué)聯(lián)合發(fā)布了新型基準(zhǔn)測試工具 MLPerf。這款獲得 AI 技術(shù)大佬吳恩達(dá)和谷歌機(jī)器學(xué)習(xí)領(lǐng)頭羊 Jeff Dean 力薦的工具專門用于測量機(jī)器學(xué)習(xí)軟件與硬件的執(zhí)行速度，它的到來代表著原本市場規(guī)模較為有限的 AI 性能比較方案正式踏上發(fā)展正軌。簡而言之就是：以后各大公司發(fā)布的 AI 性能對比不能再王婆賣瓜自賣自夸了。

上周，RiseML 博客對谷歌 TPUv2 與英偉達(dá) V100 進(jìn)行了比較。如今，英特爾公司發(fā)布了另一篇博文，其中提到在利用 RNN 進(jìn)行機(jī)器翻譯數(shù)據(jù)處理時，“英特爾 Xeon Scalable 處理器的 AWS Sockeye（https://github.com/awslabs/sockeye ）神經(jīng)機(jī)器翻譯模型性能可達(dá)英偉達(dá) V100 的 4 倍?！?/p>

很長一段時間以來，業(yè)界對 AI 基準(zhǔn)測試需求的現(xiàn)實意義展開了激烈的探討與爭論。支持者們認(rèn)為，基準(zhǔn)測試工具的缺失嚴(yán)重限制了 AI 技術(shù)的實際應(yīng)用。

根據(jù) AI 技術(shù)先驅(qū)吳恩達(dá)在 MLPerf 聲明中的說法，“AI 正在給各個行業(yè)帶來改變，但為了充分這項技術(shù)的真正潛力，我們?nèi)匀恍枰斓挠布c軟件?！蔽覀儺?dāng)然希望獲得更強(qiáng)大的資源平臺，而基準(zhǔn)測試方案的標(biāo)準(zhǔn)化進(jìn)程將幫助 AI 技術(shù)開發(fā)人員創(chuàng)造出此類產(chǎn)品，從而幫助采用者更明智地選擇適合需求的 AI 選項。

不止吳恩達(dá)，連谷歌機(jī)器學(xué)習(xí)大佬 Jeff Dean 也在推特上強(qiáng)烈推薦這款工具：

大意：谷歌很高興和斯坦福、伯克利、哈佛、百度、英特爾、AMD 等等企業(yè)一起，成為致力于將 MLPerf 作為衡量機(jī)器學(xué)習(xí)性能的通用標(biāo)準(zhǔn)的組織之一。

MLPerf 項目的主要目標(biāo)包括：

通過公平且實用的衡量標(biāo)準(zhǔn)加快機(jī)器學(xué)習(xí)發(fā)展進(jìn)程。

對各競爭系統(tǒng)進(jìn)行公平比較，同時鼓勵創(chuàng)新以改善業(yè)界領(lǐng)先的機(jī)器學(xué)習(xí)技術(shù)。

保持基準(zhǔn)測試的成本合理性，允許所有人參與其中。

為商業(yè)及研究社區(qū)提供服務(wù)。

提供可重復(fù)且可靠的測試結(jié)果。

對 AI 性能（包括 h/w 與 s/w 兩種方向）的比較此前一直由各既得利益方發(fā)布，此次英特爾公司題為《利用英特爾至強(qiáng) Scalable 處理器實現(xiàn)令人驚艷的推理性能》的博文正是最好的例子。

這里我們并不針對英特爾——但必須承認(rèn)，此類比較雖然包含重要見解，但通常也會通過故意設(shè)計確保某一供應(yīng)商的方案表現(xiàn)優(yōu)于其競爭對手。因此，標(biāo)準(zhǔn)化基準(zhǔn)測試的存在將徹底解決這種中立性缺失，從而提供公平且客觀的比較結(jié)果。

MLPerf 項目的定位參考了以往的類似方案，例如 SPEC（即標(biāo)準(zhǔn)性能評估集團(tuán)）。MLPerf 項目聲明指出，“SPEC 基準(zhǔn)測試的出現(xiàn)顯著推動了通用計算能力的改進(jìn)。SPEC 由計算機(jī)公司聯(lián)盟于 1988 年推出，并在接下來的 15 年內(nèi)實現(xiàn)了年均 1.6 倍的 CPU 性能提升。MLPerf 結(jié)合有原有基準(zhǔn)測試領(lǐng)域的最佳實踐，包括 SPEC 使用的程序套件、SOR 使用的性能與創(chuàng)新性分別比較方法、DeepBench 的生產(chǎn)環(huán)境內(nèi)軟件部署以及 DAWNBench 的時間精確性度量標(biāo)準(zhǔn)等等?！?/p>

Intersect360 Research 公司 CEO Addison Snell 指出，“AI 已經(jīng)成為目前眾多企業(yè)不可忽視的技術(shù)力量，因此任何中立性質(zhì)的基準(zhǔn)指導(dǎo)結(jié)論都非常重要——特別是在挑選競爭性技術(shù)方案的場景之內(nèi)。然而，AI 同時也是一類多元化領(lǐng)域，因此隨著時間的推移，任何基準(zhǔn)都有可能發(fā)展成惟一的主導(dǎo)性選項。五年之前，大數(shù)據(jù)與分析技術(shù)鼓動了整個科技業(yè)界的熱情 ; 然而時至今日，這一領(lǐng)域仍未出現(xiàn)一種統(tǒng)一的通用基準(zhǔn)。我認(rèn)為 AI 領(lǐng)域可能也會發(fā)生同樣的情況?！?/p>

Hyperion Research 公司高級研究副總裁 Steve Conway 表示，MLPerf 代表著“積極且實用的”一步，“因為多年以來買賣雙方一直缺少必要的基準(zhǔn)方案，用以證明不同 AI 產(chǎn)品與解決方案之間的差異。

原有基準(zhǔn)的存在僅僅是為了解決早期 AI 發(fā)展階段中的有界類實際問題。而隨著無界類 AI 問題數(shù)量的快速增加，我們顯然需要額外的基準(zhǔn)工具對其進(jìn)行評估，這一點在經(jīng)濟(jì)層面極為重要。所謂有限問題通常比較簡單，例如語音與圖像識別或游戲 AI 等等。而無界類問題則包括診斷癌癥與閱讀醫(yī)學(xué)影像內(nèi)容等，其目標(biāo)在于真正為復(fù)雜的問題提供建議與決策?！?/p>

MLPerf 目前已在 GitHub 上發(fā)布，但仍處于早期開發(fā)階段。正如 MLPerf 聲明當(dāng)中所強(qiáng)調(diào)，“目前的版本尚屬于‘前 apha’階段，因此在很多方面仍然有待改進(jìn)?；鶞?zhǔn)測試套件仍在開發(fā)與完善當(dāng)中，請參閱以下建議部分以了解如何參與項目貢獻(xiàn)。根據(jù)用戶的反饋，我們預(yù)計 5 月底將會對項目進(jìn)行一輪重大更新?！?/p>

目前，MLPerf 套件中的七項基準(zhǔn)測試皆已提供參考實現(xiàn)方案（摘自 GitHub）：

圖像分類– Resnet-50 v1，適用于 ImageNet。

對象檢測– Mask R-CNN，適用于 COCO。

語音識別– DeepSpeech2，適用于 Librispeech。

翻譯– Transformer，適用于 WMT English-German。

推薦– Neural Collaborative Filtering，適用于 MovieLens 20 Million (簡稱 ml-20m)。

情緒分析– Seq-CNN，適用于 IMDB 數(shù)據(jù)集。

強(qiáng)化– Mini-go，適用于預(yù)測游戲行動。

每套參考實現(xiàn)皆提供以下內(nèi)容：在至少一套框架當(dāng)中實現(xiàn)模型的相關(guān)代碼，一個可在容器內(nèi)運(yùn)行基準(zhǔn)測試的 Dockerfile，一個用于下載對應(yīng)數(shù)據(jù)集的腳本，一個負(fù)責(zé)運(yùn)行模型訓(xùn)練并加以計時的腳本，外加關(guān)于數(shù)據(jù)集、模型以及機(jī)器設(shè)置的說明文檔。

根據(jù) GitHub 頁面中的說明，此基準(zhǔn)測試已經(jīng)在以下設(shè)備配置中完成驗證：

16 CPU，單個英偉達(dá) P100。

Ubuntu 16.04，包括支持英偉達(dá)硬件的 Docker。

600 GB 磁盤（實際上，大多數(shù)基準(zhǔn)測試并不需要這么大的存儲容量）。

我們期待看到 AI 行業(yè)最終會迎來怎樣的基準(zhǔn)測試前景——少數(shù)壟斷，還是百家爭鳴。在這樣一個年輕的市場當(dāng)中，相信會有很多廠商提供基準(zhǔn)測試工具與服務(wù)。斯坦福大學(xué)就是 MLPerf 項目成員，其最近剛剛發(fā)布了首個 DAWNBench v1 深度學(xué)習(xí)測試結(jié)果。

斯坦福大學(xué)報告稱：“2018 年 4 月 20 日，第一個深度學(xué)習(xí)端到端基準(zhǔn)測試與性能衡量競賽正式啟動，旨在記錄普通深度學(xué)習(xí)任務(wù)達(dá)到最高準(zhǔn)確度水平所需的時間和成本，以及達(dá)到此最高推理準(zhǔn)確度水平的延遲和成本。專注于端到端性能，意味著我們提供一種更為客觀的方法，可用于對不同計算框架、硬件、優(yōu)化算法、超參數(shù)設(shè)置以及影響實際性能的其它因素進(jìn)行標(biāo)準(zhǔn)化比較。”

作為參賽選手之一，fast.ai——一家年輕的人工智能訓(xùn)練與人工智能軟件工具開發(fā)公司——取得了出色的成績。這些基準(zhǔn)結(jié)果非常重要，斯坦福大學(xué)也確實在以嚴(yán)肅的態(tài)度對待此輪競賽。但除此之外，目前我們顯然還需要更多與之類似的客觀、公平的比較平臺。在這方面，MLPerf 的出現(xiàn)應(yīng)該能夠幫助我們早日突破困局，真正有理有據(jù)地選擇最適合實際需求的 AI 解決方案。