人工智能預(yù)處理建構(gòu)模塊加速大數(shù)據(jù)機(jī)器學(xué)習(xí)算法案例解讀

IBM蘇黎世實(shí)驗(yàn)室(IBM Zurich)的研究人員開發(fā)出通用的人工智能(AI)預(yù)處理建構(gòu)模塊，據(jù)稱可較現(xiàn)有方法加速大數(shù)據(jù)(Big Data)機(jī)器學(xué)習(xí)算法至少10倍以上。

在日前于美國(guó)加州長(zhǎng)灘舉行的神經(jīng)信息處理系統(tǒng)大會(huì)(NIPS 2017)上，IBM在發(fā)表這種新途徑時(shí)解釋，它采用了數(shù)學(xué)對(duì)偶性(duality)，在Big Data串流中精心挑選能發(fā)揮效用的項(xiàng)目，并略過其余無效的選項(xiàng)。

IBM Zurich研究人員Celestine Dünner說：“我們的動(dòng)機(jī)在于，當(dāng)缺少足夠的內(nèi)存來為Big Data機(jī)器學(xué)習(xí)保存所有的數(shù)據(jù)時(shí)，如何使用硬件加速器，如繪圖處理器(GPU)和現(xiàn)場(chǎng)可編程數(shù)組(FPGA)?！盋elestine Dünner同時(shí)也是這一算法的共同發(fā)明人。

IBM Zurich數(shù)學(xué)家Thomas Parnell則表示：“我們應(yīng)該算是最先提供了可加速10倍的通用解決方案。特別是針對(duì)傳統(tǒng)的線性機(jī)器學(xué)習(xí)模型(目前廣泛用于規(guī)模太大而無法用于神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的數(shù)據(jù)集)，我們?cè)谧罴褏⒖挤桨傅幕A(chǔ)上建置相關(guān)技術(shù)，并展示了至少10倍的加速方案?！?/p>

IBM蘇黎世研究人員Thomas Parnell和Celestine Dünner討論在NIPS 2017發(fā)表的預(yù)處理算法。

在一開始的展示中，研究人員使用Nvidia Quadro M4000 GPU搭配8GB內(nèi)存，在容量約30GB的4萬張照片數(shù)據(jù)集上進(jìn)行訓(xùn)練——該照片數(shù)據(jù)集采用支持向量機(jī)器(SVM)的算法，先將影像解析為各種類別以進(jìn)行辨識(shí)。SVM算法還可為所學(xué)習(xí)的模型建立幾何式解讀，這和無法證實(shí)其結(jié)論的神經(jīng)網(wǎng)絡(luò)是不一樣的。IBM的數(shù)據(jù)預(yù)處理方法讓該算法可在不到1分鐘的時(shí)間完成執(zhí)行，比目前采用有限內(nèi)存訓(xùn)練的方法更快10倍。

該技術(shù)的關(guān)鍵在于對(duì)每個(gè)數(shù)據(jù)點(diǎn)進(jìn)行預(yù)處理，查看它是不是已經(jīng)處理數(shù)據(jù)點(diǎn)的數(shù)學(xué)對(duì)偶。如果是的話，那么算法就會(huì)自動(dòng)略過，這個(gè)過程在數(shù)據(jù)集進(jìn)行處理時(shí)變得越來越頻繁出現(xiàn)。Dünner說：“我們?cè)诿總€(gè)數(shù)據(jù)點(diǎn)以進(jìn)行處理以前，我們先計(jì)算每個(gè)數(shù)據(jù)點(diǎn)的重要性，再以測(cè)量對(duì)偶差距大小的方式進(jìn)行處理?！?/p>

Parnell說，“如果你的問題適于放在加速器的內(nèi)存空間，那么在內(nèi)存內(nèi)部執(zhí)行將會(huì)獲得更好的結(jié)果。因此，我們的結(jié)果只適用于Big Data的問題。它不僅能讓運(yùn)行時(shí)間加快10倍以上，而且如果在云端執(zhí)行時(shí)，也不必付出太多的成本?！?/p>

隨著Big Data數(shù)據(jù)集越滾越大，這種節(jié)省時(shí)間和成本的預(yù)處理算法將會(huì)變得越來越重要。IBM指出，為了顯示其基于對(duì)偶性的算法能夠處理任意大小的數(shù)據(jù)集，該公司在NIPS上展示了8GPU的版本，它能處理網(wǎng)頁(yè)廣告的十億次點(diǎn)擊數(shù)據(jù)。

研究人員正進(jìn)一步開發(fā)該算法，期望在不久部署于IBM BlueMix Cloud——稱為基于對(duì)偶差距(duality-gap)的異質(zhì)學(xué)習(xí)，適用于包括社群媒體、在線營(yíng)銷、目標(biāo)式廣告、查找電信數(shù)據(jù)模式以及欺詐檢測(cè)等Big Data數(shù)據(jù)集。