ICLR 2019論文解讀：深度學習應用于復雜系統(tǒng)控制

引言

20世紀，控制論、系統(tǒng)論、信息論，對工業(yè)產生了顛覆性的影響。繼2011年深度學習在物體檢測上超越傳統(tǒng)方法以來，深度學習在識別傳感（包含語音識別、物體識別），自然語言處理領域里產生了顛覆性的影響。最近在信息論里，深度學習也產生了重要影響。使用深度學習可以對不同形式編碼的信息進行自動解碼。如今，深度學習再次影響控制論，傳統(tǒng)控制論往往是模型驅動算法，需要設計復雜的模型和控制方案，而以數(shù)據(jù)驅動為核心的深度學習用作控制領域的春天即將到來，這將推動數(shù)十萬億的工業(yè)、服務業(yè)的進一步升級。通過深度學習控制，可以讓機器人，能源，交通等行業(yè)效率顯著提升。例如，使用深度學習進行智能樓宇控制，可以節(jié)約大樓20%的能耗，傳統(tǒng)的控制需要多名專家2年的時間建立一個樓宇模型，深度學習可以利用樓宇歷史數(shù)據(jù)在一天內得到超越傳統(tǒng)方法的模型；在機器人控制和強化學習領域里，相比傳統(tǒng)控制方法，本文提出的方法可以節(jié)約80%以上的運算時間并且提升10%以上的控制準確度。

深度學習控制行業(yè)剛剛興起，還有很多的問題沒有解決，還需要很多的理論突破。近期，華盛頓大學研究組在ICLR2019發(fā)表了一篇深度學習控制的最新成果[1]，這是第一次將深度學習與凸優(yōu)化理論結合應用到最優(yōu)控制理論中，在從理論層面保證模型達到全局最優(yōu)解的同時，大幅提升了復雜系統(tǒng)控制的效率和準確度。該論文在公開評審中獲得了6/7/8的評分，在所有1449submissions中得分位列前90位(top6%)。在這里，論文的兩位作者將親自為我們解讀其中的核心思想。

論文地址：https://openreview.net/forum?id=H1MW72AcK7?eId=HylsgDCzeV

機器學習/強化學習與控制

自動控制與機器學習作為兩個擁有深厚歷史的學科，已經發(fā)展了數(shù)十年，并建立了各自較為完善的學科體系。在自動控制中的重要一環(huán)，是首先根據(jù)歷史數(shù)據(jù)對控制系統(tǒng)進行輸入-輸出的端到端建模。目前廣泛使用的系統(tǒng)辨識（systemidentification）方法主要有兩種：一是使用線性/或分段線性模型來預測系統(tǒng)的（狀態(tài)，控制變量）->(狀態(tài))關系。這樣做的好處是后續(xù)的優(yōu)化問題是線性優(yōu)化問題(linearprogramming)并可結合控制論中的線性二次型調節(jié)器LQR（LinearQuadraticRegulator）等控制模型，易于求解并實現(xiàn)閉環(huán)最優(yōu)控制。同時控制論較為注重系統(tǒng)的理論性質研究，如系統(tǒng)的李雅普諾夫穩(wěn)定性，以及基于卡爾曼濾波等的最優(yōu)狀態(tài)估計等。但是線性模型很難準確地描述復雜系統(tǒng)的動態(tài)，且建模過程需要大量專家知識和調試。因為存在對物理對象的建模，這類方法也被稱為基于模型的控制和強化學習model-basedcontrol/reinforcementlearning。第二種方法是使用一些較為復雜的機器學習模型，比如深度神經網絡，支持向量機(SVM)等對物理系統(tǒng)進行建模。相比線性模型，這些模型能夠更為準確地捕捉系統(tǒng)輸入-輸出的動態(tài)關系。而在一般的（深度）強化學習算法中，通常研究者也會訓練一個端到端的算法，由狀態(tài)直接輸出控制。由于不存在物理建模過程，這類方法也一般被稱為model-freecontrol/reinforcementlearning。但是這些復雜模型給后續(xù)的優(yōu)化控制問題求解帶來了困難。我們都知道深度神經網絡，一般來說輸出對于輸入都是非凸的，包含很多局部最優(yōu)點，所以在優(yōu)化過程中很容易陷入局部最優(yōu)情況。在對穩(wěn)定性要求很高的系統(tǒng)控制情境下（比如電力系統(tǒng)控制，航天系統(tǒng)以及工業(yè)控制），這種多個局部最優(yōu)解并且沒有全局最優(yōu)收斂性保證的情況是我們非常不愿看到的，也一定程度限制了目前深度模型在這些行業(yè)中的應用。同時，在當前的深度強化學習研究中，盡管在多個應用和領域中已經取得行業(yè)領先的控制和優(yōu)化效果，但對模型的理論性質尚缺乏研究，同時需要大量標注的狀態(tài)和決策數(shù)據(jù)以泛化模型的表征能力和應用場景[2](ICML2018tutorialandAnnualReviewofControl,RoboticsandAutonomousSystems,Recht,Berkeley)。

圖一：本文提出的輸入凸的神經網絡的（a）動態(tài)系統(tǒng)學習與（b）閉環(huán)控制過程。

在「Optimalcontrolvianeuralnetwork:aconvexapproach」一文中，作者提出了一種新的數(shù)據(jù)驅動的控制方法。該篇文章作出了結合model-freecontrol與model-basedcontrol的一步重要嘗試。在訓練過程中，我們用一個輸入凸(inputconvex)的神經網絡來表達系統(tǒng)表達復雜的動態(tài)特性；在控制與優(yōu)化過程中，我們就可以將訓練好的神經網絡作為動態(tài)系統(tǒng)的模型，求解凸優(yōu)化問題從而得到有最優(yōu)保證的控制輸入。算法思路詳見圖一

基于輸入凸神經網絡的最優(yōu)控制框架

為了解決現(xiàn)有模型的不足，本文作者提出了一種新的系統(tǒng)辨識方法：基于輸入凸的神經網絡的系統(tǒng)辨識。建立在之前InputConvexNeuralNetwork(ICNN)[3](ICML2017,Amosetal.,2017,CMU)的基礎上，本文作者提出一種新型的InputConvexRecurrentNeuralNetwork(ICRNN)用于具有時間關聯(lián)的動態(tài)系統(tǒng)建模。不同于通用的神經網絡結構，輸入凸的神經網絡要求所有隱藏層之間的權重矩陣非負，同時加入了對輸入向量的負映射以及輸入到隱藏層的直連層增加ICNN和ICRNN的表達能力。

作者在文章中理論證明了，輸入凸神經網絡ICNN和ICRNN可以表示所有凸函數(shù)（Theorem1），并且其表達的效率比分段線性函數(shù)高指數(shù)級（Theorem2）。兩條性質保證所提出的網絡架構能夠很好地應用于優(yōu)化與控制問題中用于對象建模與求解。

在使用輸入凸神經網絡進行系統(tǒng)建模后，作者將系統(tǒng)模型嵌入到模型預測控制（ModelPredictiveControl）框架中，用于求解最優(yōu)的系統(tǒng)控制值。因為使用了輸入凸神經網絡，這里的MPC問題是一個凸優(yōu)化問題，使用經典的梯度下降方法就可以保證我們找到最優(yōu)的控制策略。如果系統(tǒng)的狀態(tài)或者控制輸入包含約束條件（constraints），我們也可以使用投影梯度下降（ProjectedGradientMethod)或者內點法進行求解。這樣，使用ICNN對瞬態(tài)特性建?；蚴褂肐CRNN對時序過程建模并用于控制對輸入優(yōu)化求解，我們不僅能夠滿足控制論中對于最優(yōu)解的性質的保證，同時也可以充分發(fā)揮深度模型的表征能力，即可作為一種適用于各領域的建模與控制方法。

圖3.基于ICNN的MuJoColocomotiontasks的控制結果。K=100,300,1000對應[4]中基于模型的強化學習的算法設定，我們測試了在模型預測控制中，不同未來預測區(qū)間長度下各任務的回報。

應用一：機器人運動控制

作者首先將提出的深度學習控制框架應用于機器人的控制，使用的是OpenAI中的MuJuCo機器人仿真平臺的四個前向運動任務。我們首先使用隨機采樣的機器人動作和狀態(tài)的數(shù)據(jù)作為初始樣本訓練一個ICNN網絡，并結合DAGGER(AISTATS,Rossetal,2011,CMU)以在訓練和控制過程中更好地探索和泛化。本文提出的方法相比目前的強化學習方法更加高效、準確。同目前最好的基于模型的強化學習算法(model-basedRL)[4](2018ICRA,Nagabandietal.,2018,Berkeley)相比，本文提出的方法僅僅使用20%的運算時間就可以達到比之前方法高10%的控制效果（圖3）。與無模型的深度強化學習算法如TRPO,DDPG往往超過10^6的樣本數(shù)量相比，我們的控制方法可以從10^4量級的樣本中學習到極為準確的動態(tài)模型并用于控制。同時我們還可以將該方法得到控制結果作為初始控制策略，然后隨著機器人在環(huán)境中收集更多的樣本，與無模型的強化學習方法(model-freeRL)結合，在動態(tài)系統(tǒng)環(huán)境下實現(xiàn)更好的控制效果。

應用二：大樓的能源管理

同時，本文作者也將提出的深度學習控制框架應用于智能樓宇的供熱通風與空氣調節(jié)系統(tǒng)(HVAC)控制。我們通過建筑能耗仿真軟件EnergyPlus得到一棟大樓的分時能耗數(shù)據(jù)及各個分區(qū)的傳感器數(shù)據(jù)，并使用ICRNN建立樓宇輸入特征（如室內溫度，人流量，空調設定溫度等）到輸出特征（如能耗）的動態(tài)模型。在控制過程中，文章提出的模型可以非常方便地加入一系列約束，如溫度可調節(jié)范圍等。我們通過設計大樓在一定時間段內的溫度設置值，并滿足相應約束的前提下，來最優(yōu)化樓宇的能耗。相比于傳統(tǒng)的線性模型以及控制方法，使用ICRNN的控制方法在保證房間溫度維持在[19,24]攝氏度區(qū)間內的情況下，幫助大樓節(jié)約多于20%的能耗。在更大的溫度波動區(qū)間內([16,27]攝氏度),可以幫助建筑節(jié)約近40%能耗（圖4左）。同時相比于傳統(tǒng)神經網絡模型直接用于系統(tǒng)建模，基于ICRNN的控制方法由于有控制求解的最優(yōu)性保證，得到的溫度設定值更加的穩(wěn)定(圖4右中紅線為ICRNN控制溫度設置，綠線為普通神經網絡控制溫度設置)。

目前，華盛頓大學的PaulAllenCenter電子工程與計算機大樓正在安裝相應的傳感器，并計劃將該控制方案用于該建筑HAVC系統(tǒng)的實時控制。

隨著5G時代的到來與物聯(lián)網技術的進一步發(fā)展，越來越多的物理系統(tǒng)中（電力，交通，航天，工業(yè)控制等）將會有更多的智能傳感器與數(shù)據(jù)流，本文提出的基于深度學習的控制方法也將會有更廣闊的應用空間。

參考資料：

[1]ChenYize*,YuanyuanShi*,andBaosenZhang."OptimalControlViaNeuralNetworks:AConvexApproach."ToAppearinInternationalConferenceonLearningRepresentations(ICLR),2019

[2]Recht,Benjamin."Atourofreinforcementlearning:Theviewfromcontinuouscontrol."AnnualReviewofControl,Robotics,andAutonomousSystems(2018).

[3]Amos,Brandon,LeiXu,andJ.ZicoKolter."Inputconvexneuralnetworks."InternationalConferenceonMachineLearning(ICML),2017

[4]Nagabandi,Anusha,etal."Neuralnetworkdynamicsformodel-baseddeepreinforcementlearningwithmodel-freefine-tuning."2018IEEEInternationalConferenceonRoboticsandAutomation(ICRA).IEEE,2018.

[5]Ross,Stéphane,GeoffreyGordon,andDrewBagnell."Areductionofimitationlearningandstructuredpredictiontono-regretonlinelearning."Proceedingsofthefourteenthinternationalconferenceonartificialintelligenceandstatistics.2011.

本文來源：機器之心