關(guān)于AutoML的完整資源列表

深度學(xué)習(xí)的發(fā)展促進(jìn)了相關(guān)應(yīng)用的涌現(xiàn)。但是，深度學(xué)習(xí)模型往往具有非常大的參數(shù)搜索空間，為了保證模型的效果，經(jīng)常需要機(jī)器學(xué)習(xí)專家耗費(fèi)大量的時(shí)間構(gòu)建深度學(xué)習(xí)模型。

為了降低深度學(xué)習(xí)模型的設(shè)計(jì)成本和難度、提高模型構(gòu)建效率，學(xué)界提出了一個(gè)新的概念： Automated Machine Learning（AutoML）。目前 AutoML 這一概念并無統(tǒng)一定義，主要理念是：通過使用 AutoML 方法，用戶只需向模型輸入數(shù)據(jù)，之后模型會(huì)自動(dòng)完成架構(gòu)選擇和參數(shù)訓(xùn)練。

2018年初， Google 發(fā)布的深度學(xué)習(xí)模型自動(dòng)構(gòu)建工具—— Cloud AutoML ，引發(fā)了針對(duì) AutoML 更為廣泛的討論。本文中，營長將為大家推薦 GitHub 上一項(xiàng)針對(duì) AutoML 的資源整理項(xiàng)目。項(xiàng)目作者對(duì) AutoML 和傳統(tǒng)深度學(xué)習(xí)的特點(diǎn)進(jìn)行了對(duì)比，并提供了關(guān)于 AutoML 的完整資源列表，包括論文、教程、教材、模型及項(xiàng)目、 PPT 等。

地址：

https://github.com/hibayesian/awesome-automl-papers

整體介紹

在傳統(tǒng)深度學(xué)習(xí)的模型構(gòu)建中，主要包含以下步驟：數(shù)據(jù)處理、特征工程、模型架構(gòu)選擇、超參數(shù)優(yōu)化、模型后處理、結(jié)果分析。這些步驟往往會(huì)耗費(fèi)大量人力和時(shí)間。在 AutoML 中，則可以對(duì)大部分步驟進(jìn)行自動(dòng)處理。在該項(xiàng)目中，作者對(duì)相關(guān)的 AutoML 類別進(jìn)行了總結(jié)，包括：

自動(dòng)數(shù)據(jù)清洗（Automated Data Clean, Auto Clean）

自動(dòng)特征工程（Automated Feature Enginnering, Auto FE）

超參數(shù)優(yōu)化（Hyperparameter Optimization, HPO）

元學(xué)習(xí)（Meta-Learning）

神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（Neural Architecture Search, NAS）

此外，細(xì)心的項(xiàng)目作者還提供了一個(gè)詳細(xì)的結(jié)構(gòu)圖，以及部分現(xiàn)有模型的實(shí)現(xiàn)情況分析表。有興趣的讀者可以找到該項(xiàng)目地址以查看更多詳細(xì)內(nèi)容。

論文

在這一部分，該項(xiàng)目針對(duì)于上述幾個(gè) AutoML 類別提供了涉及 AutoML 的完整論文列表。

自動(dòng)特征工程

模型架構(gòu)搜索

超參數(shù)優(yōu)化

混合模型

教程

這一部分，作者提供了關(guān)于貝葉斯優(yōu)化和元學(xué)習(xí)的兩個(gè)教程，內(nèi)容如下：

博客

書籍

項(xiàng)目

這一部分提供了一些相關(guān)模型和項(xiàng)目的官網(wǎng)或開源代碼鏈接：

PPT

最后是三個(gè)相關(guān)的 PPT 資源：

以上就是此次分享內(nèi)容，希望對(duì)大家有所幫助！