如何將強化學(xué)習(xí)用于火箭發(fā)動機引擎研發(fā)的創(chuàng)新解決方案中

如何將強化學(xué)習(xí)用于火箭發(fā)動機引擎研發(fā)的創(chuàng)新解決方案中。

超越科技行業(yè)的機器學(xué)習(xí)

機器學(xué)習(xí)（ML）在各個行業(yè)以及眾多的應(yīng)用軟件中產(chǎn)生了令人難以置信的影響，其中包括個性化電視推薦和順風(fēng)車應(yīng)用中的動態(tài)價格模型等。因為它是當下科技行業(yè)各大公司成功的核心要素，所以機器學(xué)習(xí)相關(guān)理論研究和應(yīng)用的發(fā)展速度十分驚人。

對于科技以外的行業(yè)，機器學(xué)習(xí)可用于用戶的個性化體驗，自動地執(zhí)行繁重的任務(wù)并優(yōu)化主觀決策。然而，即使是科技行業(yè)的業(yè)內(nèi)人士，了解最新的機器學(xué)習(xí)進展并且知道如何最大化利用現(xiàn)有的先進技術(shù)依然十分困難，更不用說那些在其他領(lǐng)域（例如制造業(yè)）致力于優(yōu)化工作的人。

然而，跨學(xué)科的產(chǎn)品經(jīng)理能夠很好地應(yīng)對這一艱巨的挑戰(zhàn)。通過了解行業(yè)，進程和商業(yè)價值，以及對機器學(xué)習(xí)應(yīng)用廣度的深入理解，產(chǎn)品經(jīng)理可以確定現(xiàn)有哪些領(lǐng)域的創(chuàng)新是成熟的。

具有產(chǎn)品管理、軟件工程和數(shù)據(jù)科學(xué)經(jīng)驗的他們具有獨特的視角，使他們自己能夠促進那些尚未廣泛應(yīng)用機器學(xué)習(xí)的行業(yè)與先進技術(shù)應(yīng)用之間的融合。通過與跨學(xué)科的各領(lǐng)域?qū)＜液献?，產(chǎn)品經(jīng)理可以重塑制造流程，全面提升其效率、安全性和可靠性。

作為Insight的數(shù)據(jù)產(chǎn)品管理研究員，我曾與機器學(xué)習(xí)工程研究員，Nina Lopatina，仿真工程師Saeed Jahangirian以及Jordan Noone的動力工程師一起工作，研究提高火箭發(fā)動機引擎的生產(chǎn)效率。硬件設(shè)計人員和制造商的最大成本來自于控制系統(tǒng)的測試、驗證和校準。

我們提出了一個概念，并驗證可以將強化學(xué)習(xí)用于自動調(diào)整火箭引擎中的子組件，以滿足驗證和協(xié)作中對大量時間和資源的需求問題。我們的解決方案可以節(jié)省數(shù)千美元，從而避免在昂貴的測試設(shè)備上進行長達三個月的手動測試。傳統(tǒng)的程序也十分危險，很小的錯誤也會對昂貴的硬件造成重大損害，更重要的是，會對參與測試的技術(shù)人員構(gòu)成危害。

測試，驗證和校準是硬件開發(fā)中最昂貴，最耗時的任務(wù)

在制造過程中開發(fā)控制軟件的過程是非常繁瑣的

在我上一份工作中，我是一名軟件和控制工程師，為一個大型金屬3D打印機開發(fā)控制回路?？刂苹芈肥且慌_機器控制軟件的別稱?？刂破囇埠降目刂栖浖褪且粋€相當簡單的例子。它監(jiān)控車輛的速度并控制油門直至達到目標速度。對于3D金屬打印機這個項目，控制算法相對更復(fù)雜一些。我們開發(fā)的打印機是一個連接機器人手臂的焊工。機器人逐層跟蹤零件，而焊工將新的一層焊接到先前的一層并構(gòu)建零件。

在逐層追蹤零件的同時，熱源熔化金屬絲并將新層融合到前一層 - 圖片由Sciaky Inc.提供

控制軟件可控制熱量的輸入，遍歷速度，送絲速度以及其他一些旋鈕，以確保零件符合規(guī)格要求。規(guī)范包括最終部件的質(zhì)量，例如缺陷的數(shù)量和尺寸，以及部件的尺寸，每層的寬度和高度。如果一切正常，結(jié)果將符合規(guī)范。但是如果控制算法沒有正確地完成其工作，則該部件會變形、斷裂或撕裂，并具有許多裂縫和毛孔。

開發(fā)控制算法包括三個階段：

控制器法則設(shè)計：在這個階段，目標是理解管理過程的物理學(xué)。開發(fā)了該過程的模擬仿真并用于創(chuàng)建控制軟件，而無需進行昂貴且冗長的物理試驗。

軟件開發(fā)：在此階段，我們使用不同的建模技術(shù)來定義過程中輸入和輸出之間的關(guān)系。此步驟需要工程師將問題分解為更小的部分并為每個部分開發(fā)相對應(yīng)的模型。然后使用這些模型創(chuàng)建可以控制過程以達到預(yù)期結(jié)果的軟件。

控制校準：一旦軟件成功通過模擬仿真測試，工程師就會花幾個月的時間在物理系統(tǒng)上對軟件進行調(diào)整優(yōu)化，以解釋模擬仿真和物理現(xiàn)實之間的差異。

問題是每個階段可能需要數(shù)周到數(shù)年，并且在大多數(shù)情況下，包括微調(diào)過程模型或微調(diào)控制軟件以實現(xiàn)所需輸出的種種試驗。這是許多試驗所做的優(yōu)化問題。更智能的方法是將系統(tǒng)分解為更容易建模的子組件，然后使用直接和迭代方法來找到控制子組件的最佳方法。這種方法仍然需要工程師的聰明才智來解決問題，并且最終需要通過多次試驗來優(yōu)化各個子組件之間的交互。它還遠遠不是一個全自動化的過程。

為了尋找解決這一問題的自動化方法，我們將強化學(xué)習(xí)作為開發(fā)復(fù)雜機械控制回路的端到端解決方案。

強化學(xué)習(xí)

強化學(xué)習(xí)（RL）正在學(xué)習(xí)如何最大化獎勵功能。從某種意義上說，強化學(xué)習(xí)是學(xué)習(xí)環(huán)境中代理的控制算法的自動化過程。

1. 一個代理在一個環(huán)境中運行，它可以使用我們稱為“動作”的執(zhí)行器來執(zhí)行環(huán)境。

2. 然后環(huán)境響應(yīng)代理所采取的操作，這樣會將代理和環(huán)境置于一個新的狀態(tài)。

3. 然后根據(jù)代理的狀態(tài)和環(huán)境定義獎勵函數(shù)。

4. RL的目標是學(xué)習(xí)采取行動的最佳策略，使未來的回報總和最大化。

強化學(xué)習(xí)的組成部分

例如，像俄羅斯方塊這樣的電子游戲可以被認為是一個環(huán)境，游戲中的玩家可以被認為是一個代理。

1.動作是玩家可以采取的動作，比如旋轉(zhuǎn)形狀。

2. 這些動作改變了游戲的狀態(tài)，游戲狀態(tài)可以定義為在每個時間點上顯示器上的所有像素。

3.我們可以將獎勵函數(shù)定義為玩家清除的每一行的+1和輸?shù)粲螒虻?100。

4. 強化學(xué)習(xí)的目的是提出一個將狀態(tài)映射到操作的函數(shù)，從而使總回報最大化。

類似地，金屬3D打印機控制回路的開發(fā)也可以表示為強化學(xué)習(xí)問題。

1. 所采取的動作是改變熱輸入的強度、遍歷速度、送絲速度等。

2. 這些操作改變了打印的幾何形狀及其質(zhì)量，我們稱之為打印狀態(tài)。

3.獎勵函數(shù)可以被定義為這樣一種函數(shù)：它顯示了打印結(jié)果在任何時刻與它的規(guī)格的接近程度。

4. 其目標是提出一個函數(shù)，告訴打印機如何控制其執(zhí)行器，給定其當前打印狀態(tài)，以獲得最佳打印結(jié)果。

所有控制的問題都可以描述為強化學(xué)習(xí)問題。目的是估計一個稱為“策略”的函數(shù)。策略將狀態(tài)映射到操作，從而使獎勵函數(shù)最大化。如果函數(shù)域是有限的，那么你可以探索和存儲每個輸入和輸出映射，但是如果函數(shù)具有復(fù)雜的動態(tài)和很大或無限的域，那么這時機器學(xué)習(xí)就可以發(fā)揮作用了。

最近，強化學(xué)習(xí)研究人員一直致力于解決棘手的問題。他們跟隨深度學(xué)習(xí)的腳步，解決了經(jīng)典算法無法解決的任務(wù)（圖像分類），得到了很多的牽引和關(guān)注。他們著手解決目前經(jīng)典算法幾乎無法解決的非常困難的問題。谷歌的DeepMind專注于在圍棋等非常復(fù)雜的游戲中擊敗人類，而OpenAI專注于開發(fā)通用的人工智能。

另外，強化學(xué)習(xí)也可以用來自動解決更簡單的問題，而不是專注于困難的問題，這些問題目前都是人工完成的，需要花費大量的時間和精力來解決，比如為3D打印機或其他復(fù)雜的機械部件開發(fā)一個控制循環(huán)。這種影響不如開發(fā)通用智能具有新聞價值，但它可以為許多制造組織中的許多控制工程師節(jié)省時間和精力。

用RL調(diào)整火箭發(fā)動機

我們制作了火箭發(fā)動機或燃氣輪機中遇到的流體動力學(xué)問題的簡化版本。為這樣的系統(tǒng)開發(fā)控制算法可能需要長達3個月的設(shè)計、測試和驗證。這是一個非線性控制問題，需要工程師的智慧和時間來解決，可以證明強化學(xué)習(xí)在解放工程師時間方面的可行性。

以流體動力學(xué)中的一個非線性控制問題為例，說明了用強化學(xué)習(xí)開發(fā)控制算法的可行性

這是一個跨學(xué)科的項目，需要推動工程師之間的合作來定義問題，仿效工程師來構(gòu)建一個準確的系統(tǒng)模擬，以及一個培訓(xùn)代理的機器學(xué)習(xí)工程師。最后，結(jié)果表明強化學(xué)習(xí)算法可以產(chǎn)生與控制工程師一樣好的控制策略，并且可以節(jié)省數(shù)月的試驗時間。

針對流體動力學(xué)控制問題，策略優(yōu)化過程中的模擬狀態(tài)快照。

一個使用深度增強學(xué)習(xí)(Proximal Policy Optimization)訓(xùn)練過的代理對一個新目標做出反應(yīng)。代理平均通過4個步驟自動更改輸入參數(shù)以匹配所需的輸出。結(jié)果與由工程師開發(fā)和調(diào)整的控制算法一樣好。

結(jié)論

我們使用強化學(xué)習(xí)來為火箭發(fā)動機的制造提供一個有效的解決方案，而不是使用機器學(xué)習(xí)技術(shù)來解決以前幾乎不可能完成的任務(wù)。使用機器學(xué)習(xí)解決更簡單的問題是一種適用于許多領(lǐng)域的方法，如制造業(yè)、汽車和航空航天工業(yè)。強化學(xué)習(xí)研究人員通常是看不到這些行業(yè)所面臨的困難，同樣地，這些行業(yè)往往也不熟悉強化學(xué)習(xí)領(lǐng)域的進展。這種脫節(jié)更突出了機器學(xué)習(xí)產(chǎn)品經(jīng)理在機器學(xué)習(xí)與產(chǎn)品需求之間的聯(lián)系，以及彌合學(xué)科之間的差距方面所起到的作用。

Insight的數(shù)據(jù)產(chǎn)品管理研究項目（The Insight Data Product Management Fellowship）提供了一個協(xié)作學(xué)習(xí)環(huán)境來彌補這一差距。產(chǎn)品經(jīng)理、工程師和數(shù)據(jù)科學(xué)家通過利用各自在這些領(lǐng)域的專長，共同構(gòu)建交叉學(xué)科的產(chǎn)品。Insight吸引了來自工程、科學(xué)和產(chǎn)品領(lǐng)域的不同背景的學(xué)者，當他們聚在一起時，我們看到機器學(xué)習(xí)的新應(yīng)用成功地解決了各個行業(yè)的問題。