MIT開發(fā)數(shù)據(jù)分析師的“無界畫布”

還記得《復(fù)仇者聯(lián)盟2》里面鋼鐵俠和班納博士創(chuàng)造奧創(chuàng)的時(shí)候，使用全息投影將三維數(shù)據(jù)投射到空氣中，然后直接用雙手操控這些數(shù)據(jù)的畫面嗎？

遺憾的是，這樣的系統(tǒng)目前尚未成為現(xiàn)實(shí)。

是什么限制了我們像鋼鐵俠一樣操作數(shù)據(jù)呢？如果暫時(shí)還想不到答案，不如我們先來看一下要實(shí)現(xiàn)這個(gè)需要哪些技術(shù)吧。

首先肯定是全息投影，很多人可能認(rèn)為，限制這個(gè)技術(shù)的肯定是沒有這么好的全息投影，誠然，全息投影目前還尚未成熟，但是以目前的發(fā)展來看，并不是說現(xiàn)有的技術(shù)不能將數(shù)據(jù)表實(shí)時(shí)投影到三維空間中，還記得五月中旬被Magic Leap收購的Mimesys公司么？我們來看看這家公司已經(jīng)將全息投影做到什么地步了。

建筑模型和人都進(jìn)行了全息投影，而且人還可以對(duì)模型進(jìn)行交互操作，是不是有點(diǎn)賽博朋克？

也就是說，盡管在邊界的處理還存在一些瑕疵，但是將數(shù)據(jù)表投影到空氣中并進(jìn)行操作，并不是遙不可及的。

那是究竟什么封印了Stark的出現(xiàn)？

答案是智能。因?yàn)榫退阄覀儗⒏鞣N數(shù)據(jù)表投影到了空氣中，并且各種諸如手環(huán)、指環(huán)的傳感器也能夠?qū)⑽覀兊膭?dòng)作反映給計(jì)算機(jī)形成指令，但是如果沒有智能，我們實(shí)現(xiàn)的僅僅就是用了更加炫酷的姿勢來操作Excel而已。你將一個(gè)表格拖過來，也就實(shí)現(xiàn)了ctrl+c&ctrl+v。

兩家高校的研究員正在嘗試突破這個(gè)瓶頸。

不久之前，麻省理工學(xué)院和布朗大學(xué)的研究人員開發(fā)了一個(gè)在觸摸屏上運(yùn)行的交互式智能數(shù)據(jù)分析系統(tǒng)，名為Northstar，該系統(tǒng)在云中運(yùn)行，而且其界面支持任何觸摸屏設(shè)備，包括智能手機(jī)和大型交互式顯示屏。

更關(guān)鍵的是，它可以根據(jù)用戶操作實(shí)時(shí)生成機(jī)器學(xué)習(xí)模型，從而在其數(shù)據(jù)集上運(yùn)行預(yù)測任務(wù)。

而這，得益于一項(xiàng)新的AutoML組件：VDS

迄今為止最快的交互式AutoML工具——VDS

VDS首先出現(xiàn)在ACM SIGMOD會(huì)議上發(fā)表的一篇論文中，利用的是現(xiàn)在比較火的人工智能技術(shù)——自動(dòng)機(jī)器學(xué)習(xí)(AutoML)，它可以讓沒有數(shù)據(jù)科學(xué)知識(shí)的人根據(jù)他們的數(shù)據(jù)集訓(xùn)練AI模型進(jìn)行預(yù)測。

例如，醫(yī)生可以使用該系統(tǒng)來幫助預(yù)測哪些患者更容易患某些疾病，而企業(yè)主也可以通過該系統(tǒng)預(yù)測銷售情況。用戶也可以通過使用交互式顯示屏進(jìn)行實(shí)時(shí)協(xié)作。這個(gè)系統(tǒng)的目的是使用戶更容易進(jìn)行復(fù)雜的數(shù)據(jù)分析，同時(shí)保證分析的速度和準(zhǔn)確度，在此基礎(chǔ)上實(shí)現(xiàn)數(shù)據(jù)科學(xué)的大眾化。

“即使是不了解數(shù)據(jù)科學(xué)的咖啡店老板也應(yīng)該能夠預(yù)測未來幾周內(nèi)他們的銷售情況，以確定要進(jìn)多少貨”，論文的共同作者和長期擔(dān)任Northstar項(xiàng)目的負(fù)責(zé)人Tim Kraska說。他是麻省理工學(xué)院計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室(CSAIL)的電氣工程和計(jì)算機(jī)科學(xué)副教授，也是新數(shù)據(jù)系統(tǒng)和人工智能實(shí)驗(yàn)室(DSAIL)的創(chuàng)始人之一。

目前，自動(dòng)機(jī)器學(xué)習(xí)技術(shù)的優(yōu)化基于DARPA D3M自動(dòng)機(jī)器學(xué)習(xí)競賽，該競賽每六個(gè)月決出一次性能最佳的AutoML工具。

數(shù)據(jù)分析師的“無界畫布”

這一新成果建立在麻省理工學(xué)院和布朗研究員在Northstar的多年合作基礎(chǔ)之上。四年多來，研究人員發(fā)表了大量論文，詳細(xì)介紹Northstar組件，包括交互式界面，多平臺(tái)操作，加速運(yùn)行結(jié)果以及用戶行為研究。

Northstar系統(tǒng)以空白白色界面開始。用戶將數(shù)據(jù)集上載到系統(tǒng)之后，該數(shù)據(jù)集會(huì)顯示在左側(cè)的“數(shù)據(jù)集”框中。任何數(shù)據(jù)標(biāo)簽都會(huì)自動(dòng)填充進(jìn)界面下方的“屬性”框。界面上還有一個(gè)“運(yùn)算符”框，其中包含各種算法，以及新的AutoML工具。所有數(shù)據(jù)都在云中存儲(chǔ)和分析。

下面讓我們用一個(gè)例子詳細(xì)論述：

設(shè)想一群醫(yī)學(xué)研究人員，他們想要探究某年齡組中特定疾病并發(fā)可能性。

他們將模式檢查算法拖放到界面中間，該算法最初顯示為空白框。

作為輸入，他們將標(biāo)記好的疾病特征如“血液”、“傳染性”和“代謝”移動(dòng)到算法框中。

隨后，算法框中就會(huì)顯示這些疾病的百分比。如果他們將“年齡”特征拖到界面中，該界面就會(huì)出現(xiàn)另外一個(gè)框，框內(nèi)會(huì)顯示患者年齡分布的條形圖。

最后，在兩個(gè)框之間畫一條線將它們連接在一起，算法就會(huì)立即自動(dòng)計(jì)算圍繞不同年齡范圍的三種疾病的關(guān)聯(lián)和并發(fā)現(xiàn)象。

“這就像一個(gè)大而無界的畫布，你可以在這里展示你想要的一切”，Northstar互動(dòng)界面的主要開發(fā)者的Zgraggen說，“你還可以將所有內(nèi)容鏈接在一起，以處理更復(fù)雜的問題”。

通過VDS，用戶現(xiàn)在還可以通過個(gè)性化模型，使其適合自己的分析任務(wù)，并在自己的數(shù)據(jù)集上進(jìn)行預(yù)測分析，例如數(shù)據(jù)預(yù)測，圖像分類或分析復(fù)雜圖形結(jié)構(gòu)。

以上述的醫(yī)學(xué)探究為例，醫(yī)學(xué)研究人員希望根據(jù)數(shù)據(jù)集中的特征預(yù)測哪些患者可能患有血液疾病。他們從算法列表中將“AutoML”拖入數(shù)據(jù)集中。系統(tǒng)首先會(huì)產(chǎn)生一個(gè)帶有“目標(biāo)”標(biāo)簽的空白框。研究人員將“血液”這一標(biāo)簽拖到空白框。系統(tǒng)將自動(dòng)找到性能最佳的機(jī)器學(xué)習(xí)算法，以不斷更新的精度百分比的選項(xiàng)卡顯示。用戶可以隨時(shí)停止該過程，優(yōu)化搜索，并檢查每個(gè)模型的錯(cuò)誤率，結(jié)構(gòu)，計(jì)算和其他事項(xiàng)。

請(qǐng)看視頻演示：

實(shí)時(shí)智能交互，才是真正的交互

據(jù)研究人員的介紹，VDS是迄今為止最快的交互式AutoML工具，這部分歸功于他們定制的“估算引擎”。引擎位于界面和云存儲(chǔ)之間。引擎自動(dòng)創(chuàng)建數(shù)據(jù)集的幾個(gè)代表性樣本進(jìn)行逐步處理，從而在幾秒鐘內(nèi)生成高質(zhì)量的結(jié)果。

“我們花了兩年時(shí)間設(shè)計(jì)VDS，使之契合數(shù)據(jù)科學(xué)家的思維方式，”論文的另一位作者Shang說。VDS可以根據(jù)各種編譯規(guī)則，立即確定哪些模型和預(yù)處理步驟是不是應(yīng)該為用戶提前實(shí)現(xiàn)。

在機(jī)器學(xué)習(xí)模型的選擇上，它可以從那些大量的機(jī)器學(xué)習(xí)算法列表中選擇并在樣本集上運(yùn)行模擬，同時(shí)記錄結(jié)果并優(yōu)化選擇。在提供快速近似結(jié)果后，系統(tǒng)還會(huì)在后端細(xì)化結(jié)果。

“至于預(yù)測，用戶不希望等待四個(gè)小時(shí)才能獲得第一個(gè)結(jié)果。用戶希望看到實(shí)時(shí)發(fā)生的事情，這樣如果發(fā)現(xiàn)了錯(cuò)誤，用戶可以立即糾正它。但這在任何其他系統(tǒng)中通常是不可能的”，Kraska說。

研究人員在300個(gè)真實(shí)數(shù)據(jù)集上對(duì)工具進(jìn)行評(píng)估。與其他最先進(jìn)的AutoML系統(tǒng)相比，VDS預(yù)測的準(zhǔn)確度大致相同，但VDS的預(yù)測結(jié)果可以在幾秒鐘內(nèi)生成，這比其他工具快得多，后者往往需要在幾分鐘到幾小時(shí)內(nèi)才能運(yùn)行出結(jié)果。

有了Northstar的VDS組件，我們得到了一個(gè)二維空間的交互式智能數(shù)據(jù)分析系統(tǒng)，也許離鋼鐵俠的實(shí)驗(yàn)室還有點(diǎn)距離，但是如果有一天Northstar將全息投影加到下一代分析系統(tǒng)中，那么——也許我就可以坐在沙發(fā)上小手一揮：“Javis，把我這個(gè)表做好發(fā)給老板?！?/p>