淺談基于邊緣智能協(xié)同的工業(yè)互聯(lián)網(wǎng)體系

導(dǎo)讀：為了推動基于工業(yè)互聯(lián)網(wǎng)的智慧工廠快速發(fā)展，邊緣智能技術(shù)相關(guān)研究與應(yīng)用獲得廣泛關(guān)注。針對邊緣節(jié)點計算資源受限的難題，提出了基于邊緣智能協(xié)同的工業(yè)互聯(lián)網(wǎng)體系，并給出了邊緣智能協(xié)同計算任務(wù)分配與邊緣智能模型輕量化方法。邊緣智能協(xié)同計算技術(shù)解決了單一邊緣節(jié)點計算能力與智慧工廠應(yīng)用海量計算資源需求間的矛盾，降低了邊緣智能技術(shù)的部署開銷，提高了工業(yè)互聯(lián)網(wǎng)部署的靈活性與可擴(kuò)展性。

0 引言

工業(yè)互聯(lián)網(wǎng)已成為全球制造業(yè)發(fā)展的新趨勢，我國作為制造業(yè)大國，為了應(yīng)對新一輪科技革命和產(chǎn)業(yè)變革，從戰(zhàn)略規(guī)劃與技術(shù)推動等多方面開展了相關(guān)行動。習(xí)近平總書記在制造強(qiáng)國戰(zhàn)略重要論述中要求，推動制造業(yè)高質(zhì)量發(fā)展，堅定不移建設(shè)制造強(qiáng)國。在新基建的推動下，5G、人工智能、云計算等技術(shù)與傳統(tǒng)工業(yè)深度融合，為實現(xiàn)智能制造提供了技術(shù)支撐，將有力促進(jìn)制造強(qiáng)國早日實現(xiàn)。

國際上，德國提出“工業(yè)4.0”、美國提出“先進(jìn)制造業(yè)國家戰(zhàn)略計劃”、日本提出“科技工業(yè)聯(lián)盟”、英國提出“工業(yè)2050戰(zhàn)略”，也都是為了實現(xiàn)信息技術(shù)與制造技術(shù)深度融合的數(shù)字化、網(wǎng)絡(luò)化、智能化制造，實現(xiàn)智慧工廠［1］。

在智慧工廠建設(shè)中，工業(yè)互聯(lián)網(wǎng)賦能智能制造，工業(yè)互聯(lián)網(wǎng)作為關(guān)鍵技術(shù)手段，通過對工業(yè)要素的互聯(lián)互通、相關(guān)要素的深度協(xié)同，實現(xiàn)了設(shè)備管理精細(xì)化、生產(chǎn)過程一體化、企業(yè)管理標(biāo)準(zhǔn)化、分析應(yīng)用數(shù)據(jù)化和決策支持科學(xué)化［2］。

邊緣智能是邊緣計算與人工智能相互結(jié)合的一種新興技術(shù)方案，其發(fā)展對邊緣計算和人工智能具有雙贏優(yōu)勢：一方面，邊緣數(shù)據(jù)可以借助智能算法釋放潛力，提供更高的可用性。隨著萬物互聯(lián)的發(fā)展，邊緣數(shù)據(jù)需要借鑒智能算法進(jìn)行分析，實現(xiàn)智能化的功能。以深度學(xué)習(xí)為代表的智能算法能從邊緣數(shù)據(jù)中提取實時信息以提高決策的效率和準(zhǔn)確性［3-4］。

另一方面，邊緣計算能為智能算法提供更多的數(shù)據(jù)和應(yīng)用場景。傳統(tǒng)的人工智能和大數(shù)據(jù)應(yīng)用都存放在云端服務(wù)器和大數(shù)據(jù)中心［3-4］，而邊緣智能技術(shù)在網(wǎng)絡(luò)邊緣部署具備通信與計算能力的邊緣設(shè)備（稱為邊緣節(jié)點），直接從物端設(shè)備獲取海量數(shù)據(jù)并實現(xiàn)智能計算，將有力推動人工智能應(yīng)用的進(jìn)一步普及與發(fā)展，特別是工業(yè)互聯(lián)網(wǎng)相關(guān)的應(yīng)用［5］。

但邊緣智能技術(shù)發(fā)展面臨多方面困難，包括人工智能算法的資源需求與邊緣節(jié)點資源有限之間的矛盾、智能任務(wù)需求多樣與邊緣節(jié)點設(shè)備能力單一之間的矛盾等。邊緣智能協(xié)同計算系統(tǒng)由中心云服務(wù)器、邊緣節(jié)點、物端設(shè)備之間的協(xié)作組成，可以有效地解決上述矛盾。

基于邊緣智能協(xié)同的工業(yè)互聯(lián)網(wǎng)體系，解決了邊緣節(jié)點計算資源受限的難題，滿足了智能制造等工業(yè)應(yīng)用場景對任務(wù)響應(yīng)時延的要求。本文所提邊緣智能協(xié)同計算主要是考慮多個邊緣節(jié)點之間的協(xié)同，通過合理優(yōu)化任務(wù)分配策略，在工業(yè)互聯(lián)網(wǎng)網(wǎng)絡(luò)邊緣完成各種應(yīng)用的智能計算，既可以減輕單一邊緣節(jié)點的計算壓力又可以滿足各類人工智能算法對算力的需求，在滿足工業(yè)互聯(lián)網(wǎng)智能計算應(yīng)用需求的同時避免了云服務(wù)器到物端設(shè)備的計算任務(wù)的通信開銷。進(jìn)一步地，為了降低邊緣節(jié)點部署的軟硬件開銷，本文提出了相應(yīng)的邊緣智能模型輕量化方法，提升邊緣智能協(xié)同計算技術(shù)的可擴(kuò)展性，有助于面向智慧工廠的工業(yè)互聯(lián)網(wǎng)絡(luò)的廣泛應(yīng)用。

1 基于邊緣智能協(xié)同的工業(yè)互聯(lián)網(wǎng)體系

未來智慧工廠的應(yīng)用需求，例如基于視覺檢測的故障缺陷自動檢測、集中遠(yuǎn)程操控等，需要實現(xiàn)工業(yè)生產(chǎn)效率提升、工業(yè)投資有效提升、安全生產(chǎn)性能提升。在智慧工廠中，遠(yuǎn)程操控類、無人搬運(yùn)車及移動監(jiān)控類業(yè)務(wù)對于響應(yīng)時延要求非常高，除了網(wǎng)絡(luò)傳輸時延之外，人工智能的計算時延、大數(shù)據(jù)分析的處理時延等也至關(guān)重要。因此，本文在工業(yè)互聯(lián)網(wǎng)體系中引入了邊緣智能協(xié)同概念，設(shè)計了相應(yīng)的基于邊緣智能協(xié)同的工業(yè)互聯(lián)網(wǎng)體系架構(gòu)。在如圖1所示基于邊緣智能協(xié)同的工業(yè)互聯(lián)網(wǎng)體系架構(gòu)中，從邊緣設(shè)備到云端主要包括以下功能模塊。

圖1 基于邊緣智能協(xié)同的工業(yè)互聯(lián)網(wǎng)體系架構(gòu)

（1）工藝建模與參數(shù)優(yōu)化模塊：通過邊緣設(shè)備和傳感器等采集工廠生產(chǎn)線、運(yùn)營系統(tǒng)等數(shù)據(jù)，通過大數(shù)據(jù)分析與工藝建模，得到最優(yōu)的工藝參數(shù)配置，并結(jié)合人工智能算法獲得工藝參數(shù)調(diào)優(yōu)方法，實現(xiàn)工業(yè)生產(chǎn)效率的提升。

（2）邊緣智能協(xié)同與算法實現(xiàn)模塊：針對智慧工廠基于人工智能的垂直應(yīng)用高計算容量需求與實際生產(chǎn)環(huán)境下邊緣設(shè)備計算能力有限的典型矛盾，利用邊緣智能協(xié)同計算技術(shù)實現(xiàn)邊緣設(shè)備高效實時信息采集與處理。典型應(yīng)用包括有色金屬加工行業(yè)中的銅箔質(zhì)量實時監(jiān)測與生產(chǎn)設(shè)備故障預(yù)檢等。

（3）無線空口安全防護(hù)模塊：針對工業(yè)互聯(lián)網(wǎng)應(yīng)用中無線傳播特性下存在的空口安全隱患，提供無線空口安全防護(hù)能力，例如檢測違法終端與基站、防御多種安全攻擊等，以確保廠區(qū)無線通信環(huán)境安全可控，提升安全生產(chǎn)性能。

（4）云邊協(xié)同智能管控平臺：針對上述功能模塊，形成云邊端一體化系統(tǒng)與管控平臺，支持大數(shù)據(jù)存儲分析、人工智能建模與算法實現(xiàn)、可視化界面管理。本文給出的基于邊緣智能協(xié)同的工業(yè)互聯(lián)網(wǎng)體系架構(gòu)設(shè)計方案充分利用了邊緣智能協(xié)同計算能力，滿足智慧工廠各類應(yīng)用的性能要求，提供確定性業(yè)務(wù)保證的能力。

2 邊緣智能的協(xié)同計算任務(wù)分配

通過進(jìn)一步利用邊緣節(jié)點強(qiáng)大的可計算的擴(kuò)展能力，可以在邊緣環(huán)境架構(gòu)下實現(xiàn)對深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型的并行訓(xùn)練，以達(dá)到時延更小的目的，更好地將云服務(wù)器計算量卸載到邊緣。分布式模型的并行訓(xùn)練包括不同任務(wù)網(wǎng)絡(luò)模型間的并行訓(xùn)練、同一任務(wù)網(wǎng)絡(luò)模型內(nèi)部的并行訓(xùn)練兩個方面。

2.1 不同任務(wù)網(wǎng)絡(luò)模型間的并行訓(xùn)練在實際場景中通常存在多種任務(wù)需要同時進(jìn)行處理，包括質(zhì)量檢測、視頻監(jiān)控、危險預(yù)警等任務(wù)。受益于邊緣節(jié)點的多任務(wù)計算能力，可以在邊緣節(jié)點中部署多種任務(wù)的子模型，以達(dá)到在某一邊緣節(jié)點進(jìn)行不同的數(shù)據(jù)分析處理任務(wù)的目的。

邊緣節(jié)點可以將從傳感器設(shè)備接收到的數(shù)據(jù)執(zhí)行分配到的任務(wù)，通過將自身的子任務(wù)模型得到的結(jié)果傳輸至云服務(wù)器，并且同時對自身的子任務(wù)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，而后將多個子任務(wù)網(wǎng)絡(luò)模型訓(xùn)練得到的權(quán)重分別傳輸至云服務(wù)器進(jìn)行模型同步。云服務(wù)器一般具有任務(wù)分配、資源分配、數(shù)據(jù)管理以及數(shù)據(jù)可視化功能。云服務(wù)器可以根據(jù)邊緣節(jié)點的算力不同以及任務(wù)的優(yōu)先級不同給邊緣節(jié)點分配不同的子任務(wù)與資源，并且根據(jù)各個邊緣節(jié)點更新得到的任務(wù)網(wǎng)絡(luò)模型的權(quán)重對模型進(jìn)行同步，而后分析匯總各個邊緣節(jié)點的子任務(wù)執(zhí)行結(jié)果，對相應(yīng)數(shù)據(jù)結(jié)果進(jìn)行可視化展示。為了進(jìn)一步降低時延，每隔一定周期根據(jù)任務(wù)復(fù)雜度與邊緣節(jié)點的計算能力之間的關(guān)系分配任務(wù)，以達(dá)到減少信號處理任務(wù)完成時間的目的。

2.2 同一任務(wù)網(wǎng)絡(luò)模型內(nèi)部的并行訓(xùn)練對于質(zhì)量檢測、視頻監(jiān)控等涉及圖像處理的任務(wù)，可以在不同邊緣節(jié)點之間實現(xiàn)同一任務(wù)網(wǎng)絡(luò)模型內(nèi)部的并行訓(xùn)練，包括卷積層與全連接層的訓(xùn)練并行化。

（1）卷積層的訓(xùn)練并行化：假設(shè)輸入卷積層的圖像或者視頻幀數(shù)據(jù)矩陣為X，卷積核矩陣為F，將X與F進(jìn)行卷積相乘后得到特征矩陣A。根據(jù)卷積層的特性，多個卷積區(qū)域間互不產(chǎn)生影響，因此可以將X拆分為多個卷積區(qū)域進(jìn)行并行卷積，從而達(dá)到進(jìn)一步降低時延的目的。將每個卷積區(qū)域分別與濾波器參數(shù)矩陣卷積，可以組成特征矩陣A，其中的每個元素都是基于X和F中對應(yīng)的卷積區(qū)域計算的。不同的任務(wù)可以同時訪問X中不同的卷積區(qū)域而不需要更新它們的值，這些任務(wù)之間不存在數(shù)據(jù)依賴性。

（2）全連接層的訓(xùn)練并行化：全連接層部署著多個神經(jīng)元，每層的神經(jīng)元均與前一層的神經(jīng)元全部相連。設(shè)在第i層的Li一共有ni個神經(jīng)元，每個神經(jīng)元與前一層的ni-1個神經(jīng)元全部相連，但是此層的神經(jīng)元均相互獨立，因此每層的每個獨立的神經(jīng)元可以進(jìn)行并行計算。

2.3 權(quán)重更新與模型同步對于每一個邊緣節(jié)點，需要根據(jù)傳感器接收到的數(shù)據(jù)進(jìn)行實時的子任務(wù)模型訓(xùn)練與更新，而由于邊緣節(jié)點的算力不同、存儲資源不同可能導(dǎo)致多個邊緣節(jié)點的工作負(fù)載、傳輸能力不在同一等級上，因此需要云服務(wù)器對邊緣節(jié)點的子任務(wù)模型進(jìn)行同步。權(quán)重更新與模型同步的步驟如下。

（1）協(xié)同初始化：云服務(wù)器在給各個邊緣節(jié)點分配子任務(wù)時，由云服務(wù)器同時給每個子任務(wù)網(wǎng)絡(luò)模型賦予相同的全局權(quán)重系數(shù)W0，其可以由云服務(wù)器提前對一些輸入數(shù)據(jù)進(jìn)行訓(xùn)練得到。

（2）邊緣節(jié)點本地權(quán)重的更新：邊緣節(jié)點通過分配到的子任務(wù)網(wǎng)絡(luò)模型的初始全局權(quán)重W0對輸入數(shù)據(jù)進(jìn)行分析，并將這些數(shù)據(jù)傳輸至云服務(wù)器進(jìn)行數(shù)據(jù)可視化展示。同時，邊緣節(jié)點m根據(jù)輸入數(shù)據(jù)對本地權(quán)重系數(shù) W0m進(jìn)行更新，更新為W1m，待到迭代一定次數(shù)后，將其傳輸至云服務(wù)器。

（3）云服務(wù)器全局權(quán)重的更新：云服務(wù)器接收到一定迭代次數(shù)后全部邊緣節(jié)點的本地權(quán)重系數(shù)W1m之后，根據(jù)W1m通過對原來全局權(quán)重系數(shù)進(jìn)行分析調(diào)整后，即可得到新的全局權(quán)重W1，其更新的公式為：

其中，Qm為每個邊緣節(jié)點的本地權(quán)重在全局權(quán)重更新過程中的系數(shù)，而后再將該系數(shù)廣播到所有的邊緣節(jié)點上完成模型同步。最后，重復(fù)步驟（2）、（3）即可不斷地更新邊緣節(jié)點之間的模型直至達(dá)到完全收斂。

3 邊緣智能計算模型輕量化

在智慧工廠應(yīng)用中，大部分面向機(jī)器視覺的智能計算任務(wù)一般使用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行計算，其巨大的參數(shù)量和通道量使習(xí)得的神經(jīng)網(wǎng)絡(luò)模型在應(yīng)用中需要消耗大量的存儲和計算資源，這對模型在移動端和嵌入式設(shè)備上落地帶來困難。因此，為了適應(yīng)終端有限的內(nèi)存和計算條件，有必要在模型正式部署前對神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化。本文采用基于知識蒸餾的邊緣智能計算模型輕量化方法。知識蒸餾是一種通用的神經(jīng)網(wǎng)絡(luò)輕量化方法，通過對教師模型所習(xí)得的知識進(jìn)行學(xué)習(xí)，以獲得網(wǎng)絡(luò)更加緊湊的學(xué)生模型，并且能夠在節(jié)省內(nèi)存占用的同時很好地保留原始網(wǎng)絡(luò)的性能。

基于知識蒸餾的神經(jīng)網(wǎng)絡(luò)輕量化訓(xùn)練流程如圖 2（a）所示?？刹捎枚嗳蝿?wù)的學(xué)習(xí)方法，將訓(xùn)練好的教師模型的輸出結(jié)果sT以及數(shù)據(jù)的真實標(biāo)簽y作為學(xué)生模型的目標(biāo)來訓(xùn)練學(xué)生模型，以使學(xué)生網(wǎng)絡(luò)的輸出結(jié)果接近目標(biāo)值。訓(xùn)練完的學(xué)生模型還可直接應(yīng)用到實際部署的具備邊緣智能能力的設(shè)備中，具體參見圖2（b）。

圖2 基于知識蒸餾的神經(jīng)網(wǎng)絡(luò)輕量化訓(xùn)練流程

具體來說，可以把模型看成一個黑盒子，把知識定義為輸入到輸出的映射關(guān)系。采用網(wǎng)絡(luò)的Softmax輸出結(jié)果作為學(xué)習(xí)任務(wù)的目標(biāo)進(jìn)行訓(xùn)練，公式為：

其中，xi表示輸入x的第i個元素，Softmax表征了網(wǎng)絡(luò)對輸出結(jié)果的預(yù)測概率，并利用T因子縮小不同結(jié)果的概率差距，以使訓(xùn)練目標(biāo)能夠提供更多的類別間和類內(nèi)信息。同時，因為訓(xùn)練時使用了有標(biāo)簽的數(shù)據(jù)，將標(biāo)簽y與學(xué)生模型的Softmax分布的交叉熵加入到損失函數(shù)中，加入更多的監(jiān)督信號，可以改善學(xué)生模型的表現(xiàn)。

4 結(jié)束語

本文提出了基于邊緣智能協(xié)同的工業(yè)互聯(lián)網(wǎng)體系，研究了邊緣智能協(xié)同計算任務(wù)分配與邊緣智能模型輕量化方法。邊緣智能協(xié)同計算技術(shù)實現(xiàn)了在工業(yè)互聯(lián)網(wǎng)網(wǎng)絡(luò)邊緣完成各種應(yīng)用的智能計算，解決了邊緣節(jié)點計算資源受限的難題，滿足了智能制造等工業(yè)應(yīng)用場景中對任務(wù)響應(yīng)時延的要求，有助于面向智慧工廠的工業(yè)互聯(lián)網(wǎng)絡(luò)的廣泛部署與應(yīng)用。

參考文獻(xiàn)

［1］ 宋慧欣。 和利時： 深拓FA， 布局智能工廠［J］。 自動化博覽， 2016（8）：20-22.［2］ 郭義偉。 2023年實現(xiàn)集團(tuán)全覆蓋［N］。 中國煤炭報， 2019-07-09（008）。［3］ 施巍松， 張星洲， 王一帆， 等。 邊緣計算： 現(xiàn)狀與展望［J］。 計算機(jī)研究與發(fā)展， 2019，56（1）：69-89.［4］ 張星洲， 魯思迪， 施巍松。 邊緣智能中的協(xié)同計算技術(shù)研究［J］。 人工智能， 2019（5）：55-67.［5］ 李肯立， 劉楚波。 邊緣智能： 現(xiàn)狀和展望［J］。 大數(shù)據(jù)， 2019，5（3）：69-75.
編輯：lyn