華裔女博士提出：Facebook提出用于超參數(shù)調(diào)整的自我監(jiān)督學習框架

來源：Facebook

【導讀】Facebook的研究人員近日提出了一種用于超參數(shù)調(diào)整的自我監(jiān)督學習框架。這個新模型實現(xiàn)了準確預測的結(jié)果，估計超參數(shù)的速度快了6到20倍。

近日，F(xiàn)acebook的研究人員提出了一種新的用于模型選擇(SSL-MS) 和超參數(shù)調(diào)整(SSL-HPT)的自監(jiān)督學習框架，該框架以較少的計算時間和資源提供準確的預測。

與基于基線搜索的算法相比，SSL-HPT 算法估計超參數(shù)的速度快了6-20倍，同時在各種應用中產(chǎn)生了比較準確的預測結(jié)果。

SSL：估算超參數(shù)速度快6-20倍

在時間序列分析(用于發(fā)現(xiàn)趨勢或預測未來值)中，超參數(shù)的細微差別可能導致給定模型的非常不同的預測結(jié)果。

因此，選擇最優(yōu)的超參數(shù)值顯得尤為重要。

大多數(shù)現(xiàn)有的超參數(shù)調(diào)整方法，如網(wǎng)格搜索、隨機搜索和貝葉斯最優(yōu)搜索，都是基于一個關(guān)鍵組件: 搜索。

因此，它們計算代價非常昂貴，不能應用于快速、可擴展的時間序列超參數(shù)調(diào)整。

研究人員提出的框架 SSL-HPT 使用時間序列特征作為輸入（不犧牲精確度的情況下），在較短的時間內(nèi)產(chǎn)生最佳的超參數(shù)。

那么，它們是如何工作的呢？

研究人員開發(fā)的自監(jiān)督學習框架在預測時的兩個主要任務: SSL-MS 和 SSL-HPT。

SSL-MS: SSL-MS 的自我監(jiān)督學習框架包括三個步驟，如下所示:

1 離線訓練數(shù)據(jù)準備: 獲得每個時間序列的時間序列特征和每個時間序列的最佳性能模型通過離線超參數(shù)調(diào)整。

2 離線訓練: 利用步驟1中的數(shù)據(jù)訓練分類器(自我監(jiān)督學習者) ，其中輸入特征(預測器)是時間序列特征，標記是步驟1中性能最好的模型。

3 線模型預測: 在線服務中，對于新的時間序列數(shù)據(jù)，提取特征，然后使用預先訓練的分類器進行推理，例如隨機森林模型。

SSL-MS 的工作流程可以自然地擴展到 SSL-HPT。

如下圖所示，給定一個模型，探索每個時間序列在預定義參數(shù)空間內(nèi)的所有超參數(shù)設置。

對于輸入 x，研究者在這里使用的時間序列特征與 SSL-MS 相同。

自監(jiān)督學習器一經(jīng)訓練，就可以直接對超參數(shù)進行預測，并針對任何新的時間序列數(shù)據(jù)產(chǎn)生預測結(jié)果。

最終，研究人員通過在內(nèi)部和外部數(shù)據(jù)集上對新型算法進行了實證評估，并得到了相似的結(jié)論。

SSL 框架可以極大地提高模型選擇和超參數(shù)調(diào)整的效率，以可比的預測精度減少6-20倍的運行時間。

預測為什么重要？

預測是 Facebook 的核心數(shù)據(jù)科學和機器學習任務之一，因此提供快速、可靠、準確的預測結(jié)果和大量的時間序列數(shù)據(jù)對自身的業(yè)務非常重要。

這個框架的應用包括容量規(guī)劃和管理、需求預測、能源預測和異常檢測。

計算技術(shù)的迅速發(fā)展使企業(yè)能夠跟蹤大量的時間序列數(shù)據(jù)集。因此，定期預測數(shù)百萬個時間序列的需求正變得越來越普遍。

但是，要獲得大量時間序列的快速且準確的預測仍然具有挑戰(zhàn)性。

Facebook新提出的 SSL 框架提供了一個高效的解決方案，以低計算成本和短運行時間提供高質(zhì)量的預測結(jié)果。

這種方法獨立于特定的預測模型和算法，因此享有單個預測技術(shù)的優(yōu)勢，例如 Prophet 模型的可解釋性。

初步分析表明， SSL框架可以擴展到模型推薦，并在Facebook內(nèi)部 AX 庫中增強貝葉斯優(yōu)化算法。

論文一作：普渡大學華人學者

這篇論文一作是普渡大學大學的研究員Peiyi Zhang。

Peiyi Zhang本科畢業(yè)于浙江大學，并在康奈爾大學獲得了碩士學位，普渡大學獲得了博士學位。

去年6月，她還在Facebook進行了兩個月的實習。

Peiyi Zhang曾獲得洛杉磯市數(shù)據(jù)分析項目榮譽獎、浙江大學學生科研訓練計劃優(yōu)秀獎、大學生數(shù)學建模競賽優(yōu)秀獎。

Xiaodong Jiang是本片論文的第二作者，他目前在Facebook工作，擔任基礎設施研究數(shù)據(jù)科學家，開發(fā)通用時間序列分析工具。

他在佐治亞大學獲得了碩士和博士學位。

參考資料：

https://ai.facebook.com/blog/large-scale-forecasting-self-supervised-learning-framework-for-hyper-parameter-tuning/

編輯：jq