破解自動(dòng)化機(jī)器學(xué)習(xí)的黑匣子的具體詳情

最近小茹姐發(fā)現(xiàn)破解自動(dòng)化機(jī)器學(xué)習(xí)的黑匣子這個(gè)話題相信很多小伙伴們都很感興趣吧，那么今天就帶大家了解下破解自動(dòng)化機(jī)器學(xué)習(xí)的黑匣子的具體詳情，那么小茹姐就來給大家說說具體的一些問題吧，希望對(duì)大家有所幫助。

麻省理工學(xué)院和其他地方的研究人員已經(jīng)開發(fā)了一種交互式工具，該工具首次使用戶可以查看和控制自動(dòng)化機(jī)器學(xué)習(xí)系統(tǒng)的工作方式。目的是建立對(duì)這些系統(tǒng)的信心并找到改善它們的方法。

為特定任務(wù)（例如圖像分類，疾病診斷和股票市場(chǎng)預(yù)測(cè)）設(shè)計(jì)機(jī)器學(xué)習(xí)模型是一個(gè)艱巨且耗時(shí)的過程。專家首先從許多不同的算法中進(jìn)行選擇以構(gòu)建模型。然后，他們?cè)谀Ｐ烷_始訓(xùn)練之前手動(dòng)調(diào)整“超參數(shù)”，這些“超參數(shù)”確定了模型的整體結(jié)構(gòu)。

最近開發(fā)的自動(dòng)機(jī)器學(xué)習(xí)（AutoML）系統(tǒng)反復(fù)測(cè)試和修改算法以及那些超參數(shù)，并選擇最適合的模型。但是這些系統(tǒng)就像“黑匣子”一樣運(yùn)作，這意味著用戶無法選擇它們的選擇技術(shù)。因此，用戶可能不信任結(jié)果，并且會(huì)發(fā)現(xiàn)很難根據(jù)其搜索需求來定制系統(tǒng)。

麻省理工學(xué)院，香港科技大學(xué)和浙江大學(xué)的研究人員在ACM CHI計(jì)算系統(tǒng)中的人為因素大會(huì)上發(fā)表的論文中，描述了一種工具，該工具將AutoML方法的分析和控制應(yīng)用到用戶的計(jì)算機(jī)中。手。該工具稱為ATMSeer，將AutoML系統(tǒng)，數(shù)據(jù)集和有關(guān)用戶任務(wù)的一些信息作為輸入。然后，它在一個(gè)用戶友好的界面中可視化搜索過程，從而提供有關(guān)模型性能的深入信息。

麻省理工學(xué)院信息與決策系統(tǒng)實(shí)驗(yàn)室（LIDS）的首席研究科學(xué)家Kalyan Veeramachaneni說：“我們讓用戶選擇AutoML系統(tǒng)是如何工作的?！?“您可能只是選擇性能最高的模型，或者您可能有其他考慮因素或使用領(lǐng)域?qū)I(yè)知識(shí)來指導(dǎo)系統(tǒng)在某些模型之上尋找其他模型?！?/p>

在對(duì)作為AutoML新手的理科研究生進(jìn)行的案例研究中，研究人員發(fā)現(xiàn)使用ATMSeer的參與者中約有85%對(duì)系統(tǒng)選擇的模型充滿信心。幾乎所有參與者都說，使用該工具使他們將來足以使用AutoML系統(tǒng)。

電氣工程和計(jì)算機(jī)科學(xué)系（EECS）的研究生Micah Smith說：“我們發(fā)現(xiàn)，打開黑匣子并查看并控制系統(tǒng)的運(yùn)行方式，會(huì)使人們更傾向于使用AutoML?！?LIDS研究人員。

“數(shù)據(jù)可視化是一種有效的方法，可以改善人機(jī)之間的協(xié)作。ATMSeer就是這個(gè)想法的例證?！?“ ATMSeer將使受益于一定水平專業(yè)知識(shí)的機(jī)器學(xué)習(xí)從業(yè)者大為受益，無論他們來自哪個(gè)領(lǐng)域。它可以減輕手動(dòng)選擇機(jī)器學(xué)習(xí)算法和調(diào)整超參數(shù)的麻煩?！?/p>

在論文上與史密斯，韋拉瑪卡尼尼和王一起加入的還有：科大的姚明，沉巧木，劉冬雨和曲華敏;和浙江大學(xué)的金志華。

新工具的核心是一個(gè)定制的AutoML系統(tǒng)，稱為Veeramachaneni和其他研究人員于2017年開發(fā)的“ Auto-Tuned Models ”（ATM）。與傳統(tǒng)的AutoML系統(tǒng)不同，ATM會(huì)在嘗試擬合模型時(shí)對(duì)所有搜索結(jié)果進(jìn)行完全分類數(shù)據(jù)。

ATM將任何數(shù)據(jù)集和編碼的預(yù)測(cè)任務(wù)作為輸入。系統(tǒng)隨機(jī)選擇算法類別（例如神經(jīng)網(wǎng)絡(luò)，決策樹，隨機(jī)森林和邏輯回歸），以及模型的超參數(shù)，例如決策樹的大小或神經(jīng)網(wǎng)絡(luò)層數(shù)。

然后，系統(tǒng)針對(duì)數(shù)據(jù)集運(yùn)行模型，迭代調(diào)整超參數(shù)，并測(cè)量性能。它使用從該模型的性能中學(xué)到的知識(shí)來選擇另一個(gè)模型，依此類推。最后，系統(tǒng)為任務(wù)輸出幾個(gè)性能最高的模型。

訣竅在于，每個(gè)模型實(shí)際上都可以視為具有幾個(gè)變量的一個(gè)數(shù)據(jù)點(diǎn)：算法，超參數(shù)和性能。在這項(xiàng)工作的基礎(chǔ)上，研究人員設(shè)計(jì)了一個(gè)系統(tǒng)，可以在指定的圖形和圖表上繪制數(shù)據(jù)點(diǎn)和變量。從那里，他們開發(fā)了一種單獨(dú)的技術(shù)，該技術(shù)還使他們可以實(shí)時(shí)重新配置該數(shù)據(jù)?！霸E竅在于，使用這些工具，您可以可視化的任何東西，也可以修改，” Smith說。