一種工具將AutoML方法的分析和控制權(quán)給到用戶手中

MIT、香港科技大學(xué)和浙江大學(xué)的研究人員開發(fā)了一種交互式工具，首次實(shí)現(xiàn)讓用戶對(duì)自動(dòng)化機(jī)器學(xué)習(xí)（AutoML）系統(tǒng)的工作方式和流程進(jìn)行查看和控制，提高系統(tǒng)定制化程度，向打開機(jī)器學(xué)習(xí)“黑盒子”的目標(biāo)邁進(jìn)了一大步。

為特定任務(wù)設(shè)計(jì)機(jī)器學(xué)習(xí)模型（如圖像分類，疾病診斷和股市預(yù)測等）是一個(gè)艱巨而耗時(shí)的過程。研究人員首先要從多種不同的算法中進(jìn)行選擇來構(gòu)建模型。然后在模型開始訓(xùn)練之前，手動(dòng)調(diào)整“超參數(shù)”，確定模型的整體結(jié)構(gòu)。

近期出現(xiàn)的自動(dòng)機(jī)器學(xué)習(xí)（AutoML）系統(tǒng)可以對(duì)算法和超參數(shù)進(jìn)行迭代式的測試和修改，并在此過程中選擇最適合的模型。但系統(tǒng)的運(yùn)行機(jī)制是不透明的，相當(dāng)于一個(gè)“黑盒子”，也就是說系統(tǒng)選擇了什么技術(shù)、什么模型，用戶是看不見的。因此，用戶就可能不信任模型給出的結(jié)果，而且很難根據(jù)自己的搜索需求來對(duì)系統(tǒng)進(jìn)行定制。

定制化AutoML工具：模型自選，超參數(shù)自調(diào)

近日，在ACM CHI計(jì)算系統(tǒng)中人的因素會(huì)議上，麻省理工學(xué)院，香港科技大學(xué)和浙江大學(xué)的研究人員共同研發(fā)出一種工具，將AutoML方法的分析和控制權(quán)給到用戶手中。

該工具名為ATMSeer，它將AutoML系統(tǒng)、數(shù)據(jù)集和有關(guān)用戶任務(wù)的一些信息作為輸入，然后在用戶友好型的界面內(nèi)實(shí)現(xiàn)可視化搜索過程，界面中還能提供更多關(guān)于模型性能的深入信息。

“使用ATMSeer，用戶可以自己選擇和觀察AutoML系統(tǒng)是如何工作的，”該研究論文的共同作者之一Kalyan Veeramachaneni說道，他是麻省理工學(xué)院信息與決策系統(tǒng)實(shí)驗(yàn)室（LIDS）的首席研究科學(xué)家，負(fù)責(zé)將數(shù)據(jù)引入AI團(tuán)隊(duì)。 “用戶可以只選擇一些性能最好的模型，或者結(jié)合其他因素或某些領(lǐng)域的專業(yè)知識(shí)，來指導(dǎo)AutoML系統(tǒng)去搜索某些特定模型?！?/p>

在對(duì)AutoML新手的案例研究中，研究人員發(fā)現(xiàn)大約85％使用ATMSeer的人對(duì)系統(tǒng)選擇的模型充滿信心。幾乎所有參與者都表示，該工具讓使用AutoML系統(tǒng)變得更舒服了。

ATMSeer會(huì)生成一個(gè)用戶友好的界面，顯示有關(guān)所選模型性能的深入信息，以及可調(diào)整的算法和參數(shù)的選項(xiàng)。

ATMSeer自動(dòng)機(jī)器學(xué)習(xí)定制化工具的用戶友好型交互界面

“數(shù)據(jù)可視化是實(shí)現(xiàn)人與機(jī)器之間更好協(xié)作的有效方法。ATMSeer體現(xiàn)了這一理念，”論文合作者之一、香港科技大學(xué)的Wang Qianwen說。 “ATMSeer主要會(huì)讓機(jī)器學(xué)習(xí)從業(yè)者受益，無論他們從事什么領(lǐng)域，專業(yè)水平如何，都能獲益。ATMSeer可以緩解手動(dòng)選擇機(jī)器學(xué)習(xí)算法和調(diào)整超參數(shù)的不便?！?/p>

便捷可視化工具實(shí)現(xiàn)“可視即可調(diào)”

ATMSeer工具的核心是一款定制的AutoML系統(tǒng)，名為“自動(dòng)調(diào)整模型”（ATM），由Veeramachaneni等研究人員在2017年開發(fā)。與傳統(tǒng)的AutoML系統(tǒng)不同的是，ATM在嘗試擬合模型時(shí)會(huì)對(duì)所有搜索結(jié)果進(jìn)行完整的編目。

ATM將任何數(shù)據(jù)集和編碼預(yù)測任務(wù)作為輸入。系統(tǒng)隨機(jī)選擇算法類別，比如神經(jīng)網(wǎng)絡(luò)，決策樹、隨機(jī)森林和邏輯回歸，并選擇模型的超參數(shù)，如決策樹的大小或神經(jīng)網(wǎng)絡(luò)層數(shù)等。

然后，系統(tǒng)針對(duì)數(shù)據(jù)集運(yùn)行模型，迭代式調(diào)整超參數(shù)，并衡量模型性能。ATM利用掌握到了模型性能來選擇另一個(gè)模型。最后，由系統(tǒng)針對(duì)任務(wù)輸出幾個(gè)表現(xiàn)最理想的模型。

訣竅在于，每個(gè)模型基本上可以被視為帶有一系列變量的數(shù)據(jù)點(diǎn)：這里說的變量包含算法，超參數(shù)和性能。在此基礎(chǔ)上，研究人員設(shè)計(jì)了一套系統(tǒng)，在指定的圖形和圖表上繪制數(shù)據(jù)點(diǎn)和變量。以此為起點(diǎn)，開發(fā)了一系列新技術(shù)，能夠?qū)崟r(shí)重新配置數(shù)據(jù)。 “亮點(diǎn)在于，使用這些工具，你能夠可視化的任何東西，都可以修改?！笔访芩拐f。

類似的可視化工具專門用于分析一種特定的機(jī)器學(xué)習(xí)模型，并能夠在有限的搜索空間內(nèi)實(shí)現(xiàn)定制化?！耙虼?，這些工具可以為分析和觀察AutoML的運(yùn)行流程提供了有限的支持，還需要對(duì)許多搜索模型的配置進(jìn)行分析。相比之下，ATMSeer支持分析使用各種算法生成的機(jī)器學(xué)習(xí)模型?！?/p>

將AutoML控制權(quán)交給用戶，使用體驗(yàn)和信心明顯提升

ATMSeer的可視化界面由三部分組成。用戶可以通過控制面板上傳數(shù)據(jù)集和AutoML系統(tǒng)，并啟動(dòng)或暫停搜索過程。下圖是一個(gè)概覽面板，顯示了基本統(tǒng)計(jì)數(shù)據(jù)，如搜索的算法和超參數(shù)的數(shù)量，還有按降序排列的最佳模型的“排行榜”。Veeramachaneni表示：“如果你不是特別在意技術(shù)細(xì)節(jié)的專家，這可能是你最感興趣的點(diǎn)?！?/p>

ATMSeer包含一個(gè)“AutoML Profiler”，其中的面板包含有關(guān)算法和超參數(shù)的深入信息，這些信息都可以進(jìn)行調(diào)整。面板可以將所有算法類別表示為直方圖形式，用條形圖顯示算法性能分?jǐn)?shù)的分布，范圍為0到10，具體取決于其超參數(shù)。用一個(gè)單獨(dú)的面板呈現(xiàn)散點(diǎn)圖，顯示不同超參數(shù)和算法類型的性能折衷。

對(duì)沒有AutoML經(jīng)驗(yàn)的機(jī)器學(xué)習(xí)專家的案例研究表明，讓用戶掌握控制權(quán)確實(shí)有助于提高AutoML應(yīng)用的性能和效率。對(duì)生物學(xué)、金融等不同科學(xué)領(lǐng)域的13位研究生的研究也表明，確定用戶對(duì)AutoML的搜索的自定義關(guān)鍵有三點(diǎn)：搜索的算法數(shù)量、系統(tǒng)運(yùn)行時(shí)間以及查找表現(xiàn)最好的模型。研究人員表示，這些信息可用來為用戶量身定制系統(tǒng)。

研究人員表示，目前對(duì)AutoML的應(yīng)用缺乏足夠的靈活性?！艾F(xiàn)在所有這些信息都集中在一個(gè)地方，如果人們能夠清楚看到幕后發(fā)生的事情，有能力控制這些流程，未來對(duì)AutoML的應(yīng)用將跨入一個(gè)嶄新的階段?！?/p>