LQR算法是最優(yōu)控制中經(jīng)典的算法，而且LQR是一個(gè)應(yīng)用較多的控制算法，所以在這里我以最優(yōu)控制為起點(diǎn)介紹LQR控制算法。

注意LQR控制算法的基礎(chǔ)是你要有現(xiàn)代控制理論的基礎(chǔ)，需要知道狀態(tài)空間（State Space）。

1 最優(yōu)控制問題實(shí)例分析

考慮一列火車 W，其質(zhì)量為 m，沿著水平軌道運(yùn)動(dòng)，不考慮空氣的阻力和地面對火車的摩擦力，把火車看成一個(gè)沿著直線運(yùn)動(dòng)的質(zhì)點(diǎn)，x(t)表示火車在t 時(shí)刻的位置，u(t)是施加在火車上的外部控制力，假設(shè)火車的初始位置和速度分別為 x(0)=x0，x' (0)=0要求選擇一個(gè)合適的外部控制函數(shù) (t)使火車在最短時(shí)間內(nèi)到達(dá)并靜止在坐標(biāo)原點(diǎn)，即到達(dá)坐標(biāo)原點(diǎn)時(shí)速度為零。

根據(jù)牛頓第二定律得火車的運(yùn)動(dòng)方程為

初始條件

終端條件

由于技術(shù)上的原因，外部推力不可能要多大就多大，它在數(shù)量上是有界的，即

其中，M是正常數(shù)

問題是尋找一個(gè)滿足式(1.1.4)的控制函數(shù)u(t)，把W由初態(tài)(x0,0)'轉(zhuǎn)移到終態(tài)(0,0)',且使J(u)這個(gè)性能指標(biāo)達(dá)到最小。任何能達(dá)到上述要求的控制函數(shù)都稱為最優(yōu)控制。電梯的快速升降、軋鋼機(jī)的快速控制和機(jī)械振動(dòng)的快速消振問題都可以用上述問題闡述。

2 最優(yōu)控制的數(shù)學(xué)描述

由上述四個(gè)最優(yōu)控制問題的實(shí)例可以看出，最優(yōu)控制理論所要解決的問題是根據(jù)被控對象的動(dòng)態(tài)特性(系統(tǒng)數(shù)學(xué)模型)，選擇一個(gè)容許的控制律，使得被控對象按預(yù)定要求運(yùn)行(由初始狀態(tài)運(yùn)行到終端狀態(tài))，并使給定的某一性能指標(biāo)達(dá)到最優(yōu)值。因此，最優(yōu)控制問題的數(shù)學(xué)描述應(yīng)包含被控對象的數(shù)學(xué)模型、系統(tǒng)的邊界條件(初態(tài)和終態(tài))、衡量“控制作用”效果的性能指標(biāo)和容許控制四個(gè)方面的內(nèi)容。

2.1 數(shù)學(xué)模型

被控對象的數(shù)學(xué)模型，即動(dòng)態(tài)系統(tǒng)的微分方程，它反映了動(dòng)態(tài)系統(tǒng)在運(yùn)動(dòng)過程中所應(yīng)遵循的物理或化學(xué)規(guī)律，其運(yùn)動(dòng)規(guī)律可以用狀態(tài)方程來表示。

令x=(x1,…,xn)^T ∈ R^n 表示控制系統(tǒng)的狀態(tài)變量，u=(u1,…,um)^T ∈ R^m 表示控制系統(tǒng)的控制變量，則控制系統(tǒng)的狀態(tài)方程通?？捎靡浑A微分方程組描述為

方程式(1.2.1)概括了方程式(1.1.1)、式(1.1.6)和式(1.1.12)幾種情況.

當(dāng) f 不顯含 t 時(shí)，稱式(1.2.1)為 定常系統(tǒng) (或稱為時(shí)不變系統(tǒng))。當(dāng)f關(guān)于x和u為線性關(guān)系時(shí)，稱式(1.2.1)為線性系統(tǒng)，這時(shí)方程可以寫成

其中，A(t)為n階方陣，B(t)為n 行 m 列矩陣。當(dāng)A和B與時(shí)間t無關(guān)時(shí)，稱式(1.2.2)為線性定常系統(tǒng)或線性自治系統(tǒng)。

在一些實(shí)際問題中，系統(tǒng)的狀態(tài)變量和控制變量關(guān)于時(shí)間是離散的，這樣的控制系統(tǒng)稱為 離散控制系統(tǒng) 。令 x(k)=[x1(k),…,xn(k)]^T ∈ R^n 表示控制系統(tǒng)的狀態(tài)變量，u(k)=[u1(k),…,um(k)]^T ∈ R^m 表示控制系統(tǒng)的控制變量，則離散控制系統(tǒng)的狀態(tài)方程可用差分方程描述成

方程式(1.2.3)概括了方程式(1.1.15)的情況。

2.2 邊界條件

動(dòng)態(tài)系統(tǒng)的初態(tài)和終態(tài)，也就是狀態(tài)方程的邊界條件 。動(dòng)態(tài)系統(tǒng)的運(yùn)動(dòng)歸根結(jié)底是在狀態(tài)空間里從一個(gè)狀態(tài)轉(zhuǎn)移到另一個(gè)狀態(tài)，其運(yùn)動(dòng)隨時(shí)間變化對應(yīng)于狀態(tài)空間的一條軌線。軌線的初始狀態(tài)可以記為 x(t0)，n 為初始時(shí)間；軌線的終端狀態(tài)可記為 x(s)，tf為達(dá)到終態(tài)的時(shí)間。

在最優(yōu)控制問題中，當(dāng)t=t0時(shí)的初態(tài)通常是已知的，即x(t0)=x，而到達(dá)終端的時(shí)間t和狀態(tài)x(tn)則因問題而異。就終端時(shí)間t來說，它可以有兩種情形:一種是固定的，如例1.3 中= 80 年，例 1.4 中= 3 年;另一種是變動(dòng)或自由的，如例1.1 和例1.2。至于終端狀態(tài) x(tn)，情況要復(fù)雜得多，可歸納為以下三種情況:

** (1)終端狀態(tài)固定**

終端狀態(tài)固定指終端狀態(tài)x(tno)對應(yīng)于狀態(tài)空間的一個(gè)固定點(diǎn)，即x(trsr是已知的如例1.1和例1.2中x(tf)=0，例13中x(tf)=0.5。

** (2)終端狀態(tài)受約束**

終端狀態(tài)受約束指終端狀態(tài) x(tf) 受到一些條件的限制 ，如用以下方程表示 x(tf)必須滿足的約束條件。

** (3)終端狀態(tài)自由**

終端狀態(tài)自由指終端狀態(tài)x(sn)不再是一個(gè)點(diǎn)，而是一個(gè)運(yùn)動(dòng)點(diǎn)。

對于以上情況，都可以用一個(gè)目標(biāo)集 S來概括，如果終端狀態(tài)固定，則目標(biāo)集 S僅有一個(gè)元素；如果終端狀態(tài)受某些條件的約束，則目標(biāo)集 S 為狀態(tài)空間的一個(gè)曲面；如果終端狀態(tài)自由，即不受任何條件的約束，則目標(biāo)集 S 擴(kuò)展到整個(gè)狀態(tài)空間。

2.3 性能指標(biāo)

在狀態(tài)空間中從初始狀態(tài)轉(zhuǎn)移到終端狀態(tài)，可以通過不同的控制作用來實(shí)現(xiàn)，如何來衡量系統(tǒng)在控制作用下的好壞，需要用一個(gè)標(biāo)準(zhǔn)對它進(jìn)行量化評定，這個(gè)評價(jià)的衡量尺度或標(biāo)準(zhǔn)我們稱之為性能指標(biāo)。

值得著重指出的是:第一，我們無法為各種各樣的最優(yōu)控制問題規(guī)定一個(gè)統(tǒng)一格式的性能指標(biāo)，那種面面俱到的最優(yōu)控制實(shí)際上是不存在的。第二，性能指標(biāo)的內(nèi)容和形式取決于最優(yōu)控制問題所要解決的主要矛盾。第三，即使是同一個(gè)問題，其性能指標(biāo)也可能因設(shè)計(jì)者著眼點(diǎn)的不同而異，如有的設(shè)計(jì)者注重縮短時(shí)間，有的設(shè)計(jì)者注重節(jié)省燃料，而有的設(shè)計(jì)者則兼顧縮短時(shí)間和節(jié)省燃料。因此，為了使性能指標(biāo)規(guī)定得恰到好處，理論知識(shí)固不可少，但經(jīng)驗(yàn)和技巧的積累尤為重要。性能指標(biāo)一般用J表示，在很多技術(shù)資料中被賦予不同的名稱，如性能泛函、價(jià)值函數(shù)、目標(biāo)函數(shù)、效益函數(shù)等。

性能指標(biāo)的數(shù)學(xué)表達(dá)主要有以下三種形式:

** （1）末值型性能指標(biāo)，也稱為邁耶爾(Mayer)性能指標(biāo)**

例1.1火車快速到達(dá)問題中，J(u)=tf-t0，即為末值型性能指標(biāo)。

** （2）積分型性能指標(biāo)，還稱為拉格朗日(Lagrange)性能指標(biāo)**

例 1.3 基金的最優(yōu)管理問題中，

即為積分型性能指標(biāo)

** （3）復(fù)合型性能指標(biāo)，也叫波爾扎(Bolza)性能指標(biāo)**

復(fù)合型性能指標(biāo)實(shí)際是末值型性能指標(biāo)和積分型性能指標(biāo)的組合，由式(1.2.7)可看出該指標(biāo)對**控制過程的狀態(tài)量 x(t)、控制量 u(t)及末端狀態(tài)x(tf)**均有要求。

2.4 容許控制

對于一個(gè)實(shí)際的控制問題， 控制變量u(t)通常是某種物理量 。根據(jù)控制量的變化范圍，控制問題可分為兩類：一類是 控制量變化范圍受限制的控制 ，如控制船舶轉(zhuǎn)向的舵角、控制電機(jī)的電流都是受限制的；另一類是 控制量變化范圍不受限制或?qū)嶋H上不受限制的控制 ，如導(dǎo)彈的推力控制方向角，因可作+/-360°的變化而不受限制。

對每一個(gè)控制問題來說，滿足條件的控制作用u(t)的一個(gè)取值對應(yīng)于m 維空間R^m中的一個(gè)點(diǎn)，所有滿足條件的控制作用 u(t)的取值構(gòu)成 m 維空間的一個(gè)集合，記為，稱之為容許控制集。凡是屬于容許控制集 Ω 的控制都是容許控制。在前面提到的兩類控制中，前一類控制屬于閉集控制，后一類控制屬于開集控制。后續(xù)我們將會(huì)看到，這兩類控制問題，在處理方法上有著本質(zhì)的區(qū)別。最優(yōu)控制一定是容許控制，即

2.5 最優(yōu)控制的一般提法

設(shè)已知系統(tǒng)的狀態(tài)方程為

初始條件和終端狀態(tài)滿足

控制函數(shù)為

其中，函數(shù)f是x(t)、u(t)和t的連續(xù)函數(shù)，并對x(t)和t連續(xù)可微。若存在一個(gè)在區(qū)間[t0,tf]中分段連續(xù)的控制函數(shù)u(t)能使系統(tǒng)狀態(tài) x(t)從初態(tài)x0轉(zhuǎn)移到終態(tài)xf∈S，并使性能指標(biāo)

達(dá)到極值，則稱控制函數(shù) u(t)為最優(yōu)控制函數(shù)，記為u* (t)，與之對應(yīng)的x(t)稱為最優(yōu)軌線，記為x*(t)，此時(shí)的性能指標(biāo)J叫做最優(yōu)性能指標(biāo)。

可見，最優(yōu)控制屬于系統(tǒng)綜合與設(shè)計(jì)范疇。最優(yōu)控制的任務(wù)是給定一個(gè)被控系統(tǒng)(controlled system)或被控過程(controlled process)(包括有關(guān)的約束條件和邊界條件)以及性能指標(biāo)(performance index)，如何設(shè)計(jì)相應(yīng)的控制系統(tǒng)(control system)，使得在滿足約束條件和邊界條件的同時(shí)，其性能指標(biāo)達(dá)到極值（極大或極?。?/p>

2.6 離散系統(tǒng)最優(yōu)控制問題的數(shù)學(xué)描述

設(shè)已知系統(tǒng)的差分方程為

初始條件和終端狀態(tài)滿足

控制函數(shù)為

性能指標(biāo)

離散系統(tǒng)的最優(yōu)控制問題就是尋求一個(gè)容許控制 u(k)，使系統(tǒng)的狀態(tài) x(k)從給定的初值0轉(zhuǎn)移到終態(tài)x(k) ∈S，并使性能指標(biāo)J達(dá)到極值。

若上述最優(yōu)控制問題有解u* (k)，則u*(k)稱為最優(yōu)控制函數(shù)，對應(yīng)的軌x*(k)稱為最優(yōu)軌線，而這時(shí)的性能指標(biāo)J叫做最優(yōu)性能指標(biāo)

3 最優(yōu)控制的發(fā)展

最優(yōu)控制理論是現(xiàn)代控制理論的一個(gè)重要組成部分,它的發(fā)展與現(xiàn)代控制理論的發(fā)展是分不開的。迄今為止，控制理論的發(fā)展經(jīng)歷了古典控制理論和現(xiàn)代控制理論的兩個(gè)重要發(fā)展階段，并進(jìn)入了第三個(gè)階段，即大系統(tǒng)理論和 智能控制理論 。

第二次世界大戰(zhàn)以后發(fā)展起來的自動(dòng)控制理論，在用來設(shè)計(jì)與分析單輸入單輸出的線性定常系統(tǒng)時(shí)是行之有效的。然而，隨著生產(chǎn)的發(fā)展，特別是空間技術(shù)的發(fā)展，控制系統(tǒng)日趨復(fù)雜，其精度要求愈來愈高。于是，建立在傳遞函數(shù)和頻率特性基礎(chǔ)上的自動(dòng)控制理論，即我們通常說的經(jīng)典控制理論，就日益顯示出它的局限性來。這種局限性首先表現(xiàn)在對于時(shí)變系統(tǒng)，傳遞函數(shù)根本無法定義；即使是線性定常系統(tǒng)，在多輸入多輸出時(shí)，其傳遞函數(shù)成為一個(gè)函數(shù)矩陣，以致從傳遞函數(shù)概念得出的工程上的結(jié)論，在這里也變得很復(fù)雜而難于應(yīng)用。其次還表現(xiàn)在頻率法本質(zhì)上是一種工程方法，由 頻率法所獲得的校正特性只能靠簡單的網(wǎng)絡(luò)來實(shí)現(xiàn)，而網(wǎng)絡(luò)參數(shù)的確定，還須經(jīng)過調(diào)試過程，當(dāng)系統(tǒng)很復(fù)雜，精度要求很高時(shí)，這種半經(jīng)驗(yàn)的方法就不大適用了 。因此，人們又回到時(shí)間域，建立了以狀態(tài)空間概念為基礎(chǔ)的現(xiàn)代控制理論。

現(xiàn)代控制理論所能處理的問題范圍很廣。原則上，它可以用來處理時(shí)變系統(tǒng)、非線性系統(tǒng)、多輸入多輸出系統(tǒng)以及分布參數(shù)系統(tǒng)的問題。用它來處理隨機(jī)系統(tǒng)問題和離散系統(tǒng)問題同樣是很方便的。

早在20世紀(jì)50年代初期，就有人發(fā)表了從工程觀點(diǎn)研究最短時(shí)間控制問題的文章，雖然最優(yōu)性的證明借助于幾何圖形，帶有啟發(fā)性質(zhì)，但它為現(xiàn)代控制理論的發(fā)展提供了第一批實(shí)際模型。隨后，最優(yōu)控制問題的深入研究以及空間技術(shù)的迫切需要吸引了一大批數(shù)學(xué)家的密切注意。人們通過研究發(fā)現(xiàn)， 從數(shù)學(xué)觀點(diǎn)來看，最優(yōu)控制問題就是求解一類帶有約束條件的泛函極值問題，其本質(zhì)是一個(gè)變分學(xué)問題 。然而，經(jīng)典變分理論所能解決的只是其容許控制屬于開集的一類最優(yōu)控制問題，在工程實(shí)踐中所遇到的，卻大多是其容許控制屬于閉集的一類最優(yōu)控制問題，經(jīng)典變分理論無能為力，這就需要人們?nèi)ヌ剿髑蠼庾顑?yōu)控制問題的新途徑。

在種種新方法中,有兩種方法最富成效。一種是前蘇聯(lián)學(xué)者龐特里亞金(L.C.Pontryagin)的“極小值原理”:另一種是美國學(xué)者貝爾曼(RE.Bellman)的“動(dòng)態(tài)規(guī)劃”。

受力學(xué)中哈密爾頓原理的啟發(fā)，龐特里亞金等人把“極小值原理”作為一種推測首先提出來，隨后不久又提供了一種嚴(yán)格的證明，并于1958年在愛丁堡召開的國際數(shù)學(xué)會(huì)議上首次宣讀?！皹O小值原理”發(fā)展了經(jīng)典變分原理，成為處理閉集性約束變分問題的強(qiáng)有力工具。

“動(dòng)態(tài)規(guī)則”是貝爾曼在1953至1957年間逐步創(chuàng)立的，他依據(jù)最優(yōu)性原理，發(fā)展了變分學(xué)中的哈密爾頓-雅可比(Hamilton-Jacobi) 理論，構(gòu)成了“動(dòng)態(tài)規(guī)劃”，它是一種適用于計(jì)算機(jī)計(jì)算、處理問題范圍更廣泛的方法。在現(xiàn)代控制理論的形成與發(fā)展中，極小值原理、動(dòng)態(tài)規(guī)劃和卡爾曼的最優(yōu)估計(jì)理論起了重要的推動(dòng)作用?，F(xiàn)代控制理論迅速發(fā)展的同時(shí)，數(shù)字計(jì)算機(jī)也在飛速地發(fā)展，并得到廣泛地應(yīng)用。數(shù)字計(jì)算機(jī)運(yùn)算速度的提高、存儲(chǔ)容量的增大、體積的縮小以及軟件的廣泛應(yīng)用，使數(shù)字計(jì)算機(jī)不僅成為控制系統(tǒng)分析與設(shè)計(jì)的強(qiáng)有力的工具,而且逐漸成為自動(dòng)控制系統(tǒng)的主要部件之一。計(jì)算機(jī)“在線”參與控制，使得許多既不要求把控制器歸結(jié)為簡單的校正網(wǎng)絡(luò)，也不要求有封閉式解析解的復(fù)雜控制方法在實(shí)際工程應(yīng)用中成為可能。因此，高速度、大容量、軟硬結(jié)合計(jì)算機(jī)的問世，一方面使現(xiàn)代控制理論的工程實(shí)現(xiàn)有了可能，另一方面又反過來提出許多新的理論和問題,導(dǎo)致諸如最優(yōu)控制的直接和間接計(jì)算的大批研究成果的出現(xiàn)，進(jìn)一步推動(dòng)了現(xiàn)代控制理論的發(fā)展。

近20年來，在現(xiàn)代控制理論和現(xiàn)代控制工程應(yīng)用中， 吸收了現(xiàn)代數(shù)學(xué)的很多成果 ，又得到了很大發(fā)展，并滲透到生產(chǎn)、生活、國防、城市規(guī)劃、智能交通、管理等許多領(lǐng)域.發(fā)揮了愈來愈大的作用。最優(yōu)控制的發(fā)展成果主要包括分布式參數(shù)的最優(yōu)控制、隨機(jī)最優(yōu)控制、自適應(yīng)控制、大系統(tǒng)最優(yōu)控制、微分對策等，最優(yōu)控制理論形成了比較完善的理論體系，為現(xiàn)代控制工程做了比較充分的理論準(zhǔn)備。特別要指出的是，隨著高性能嵌入式系統(tǒng)的應(yīng)用和發(fā)展，最優(yōu)控制理論研究將是一個(gè)十分活躍的研究領(lǐng)域，最優(yōu)控制理論在實(shí)際工程中應(yīng)用將愈來愈廣泛。