工業(yè)大數(shù)據(jù)的范疇,為什么大數(shù)據(jù)上云要輕量化？

一、工業(yè)大數(shù)據(jù)的范疇

工業(yè)大數(shù)據(jù)包括制造企業(yè)信息化數(shù)據(jù)、工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)，以及外部跨界數(shù)據(jù)。信息化數(shù)據(jù)包括了ERP中的客戶訂單、生產(chǎn)計劃等信息，工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)主要是從生產(chǎn)設備上采集到的各種產(chǎn)質(zhì)耗數(shù)據(jù)和智能產(chǎn)品上獲得的運維數(shù)據(jù)，而外部跨界數(shù)據(jù)包括環(huán)境數(shù)據(jù)、市場數(shù)據(jù)和競品數(shù)據(jù)等，而其中從機器設備上得到的數(shù)據(jù)比重將越來越大。

工業(yè)大數(shù)據(jù)的特征除了大數(shù)據(jù)的4V(數(shù)據(jù)量大、類型多、價值密度低、速度快)以外，還有專業(yè)性、關(guān)聯(lián)性、和時序性特征。工業(yè)大數(shù)據(jù)應該注意特征背后的物理意義以及特征之間關(guān)聯(lián)性的機理邏輯，互聯(lián)網(wǎng)上的大數(shù)據(jù)可以只針對數(shù)據(jù)本身進行挖掘和關(guān)聯(lián)，而不考慮數(shù)據(jù)本身的意義，挖掘到什么結(jié)果就是什么結(jié)果。工業(yè)大數(shù)據(jù)的挖掘必須要有明確的挖掘目標，針對應用的功能在此基礎上逐步擴展挖掘的方向。

二、為什么大數(shù)據(jù)上云要輕量化？

制造企業(yè)在構(gòu)建大數(shù)據(jù)分析系統(tǒng)時，除了采用傳統(tǒng)的自建數(shù)據(jù)中心架構(gòu)以外，還可以采用數(shù)據(jù)存儲和分析構(gòu)建在公有云平臺，采用離線訓練模型，結(jié)合邊緣計算在生產(chǎn)現(xiàn)場利用實時數(shù)據(jù)和已經(jīng)訓練好的模型進行業(yè)務應用的兩級架構(gòu)。

兩級架構(gòu)的優(yōu)點主要體現(xiàn)在以下四個方面：

1、降低存儲成本：從設備傳感器上采集的數(shù)據(jù)點往往是時序連續(xù)的過程量，隨著采集頻率的提高和周期延長，數(shù)據(jù)量是非常大的，如果考慮對海量的數(shù)據(jù)的存儲、備份和還原全生命周期的管理，往往在公有云上成本更低。

2、提高彈性：在公有云上處理大數(shù)據(jù)，空間和時間靈活性約高，對數(shù)據(jù)存儲和計算資源的要求會隨著項目時間越來越長而要求越來越高，而公有云基本能做到想什么時候要就什么時候要，想要多少就要多少。

3、提高容災性：傳統(tǒng)的數(shù)據(jù)中心的容災備份往往采用兩地三中心的方式，為保證7*24的系統(tǒng)高可用性對系統(tǒng)的要求高，而公有云的IaaS和PaaS的容災備份機制能實現(xiàn)低成本的低數(shù)據(jù)丟失率和更短恢復間隔。

4、數(shù)據(jù)共享更便利：企業(yè)應該把自身看成“大數(shù)據(jù)”價值鏈中的一部分，那么企業(yè)既是貢獻者也是受益者，工業(yè)大數(shù)據(jù)的價值可以共享給企業(yè)上下游使用， 采用統(tǒng)一的公有云平臺，促進數(shù)據(jù)資源的融會貫通，使得數(shù)據(jù)共享更方便。

大數(shù)據(jù)上云以后由于網(wǎng)絡帶寬的限制、對數(shù)據(jù)處理的時效性要求高、數(shù)據(jù)存儲成本以及模型訓練復雜程度多方面的原因，也要求在企業(yè)邊緣層對原始數(shù)據(jù)進行一些輕量化處理，在不損失大數(shù)據(jù)價值性的基礎上減少原始數(shù)據(jù)量。

三、輕量化的方法

輕量化是在不損失大數(shù)據(jù)價值性的基礎上減少網(wǎng)絡傳輸、存儲和訓練的數(shù)據(jù)量，并不是要剔除異常數(shù)據(jù)。在傳統(tǒng)的儀表數(shù)據(jù)采集的時候都有一個過濾異常數(shù)據(jù)的操作，會設定一定的閾值去除儀表讀數(shù)的異常跳變，而輕量化的方法不是采用這樣的方法去除異常數(shù)據(jù)，因為異常的數(shù)據(jù)有可能對業(yè)務分析是有價值的。輕量化的方法是在業(yè)務分析人員以價值需求為導向去發(fā)現(xiàn)數(shù)據(jù)和提取數(shù)據(jù)，主要是通過采樣中的特征選取和數(shù)據(jù)壓縮兩種方法。

特征選取是在可采集的樣本特征集合中選擇預測能力強的最佳子集，剔除重復，簡化多個特征之間的相互關(guān)聯(lián)。首先可以對多個特征做相關(guān)性分析，如果特征的相關(guān)性為1，表示兩個特征的變化是完全相同的，通過找出兩個特征的線性關(guān)系，能夠通過一個特征還原另外一個特征，一個簡單的例子如果產(chǎn)品的中文名稱要求是唯一的，那么這個產(chǎn)品的中文名稱和它的編碼相關(guān)性就是1，不存在多個編碼的產(chǎn)品取相同的名稱，那么在做數(shù)據(jù)采集、傳輸、存儲和訓練的時候只需要保留產(chǎn)品編碼，只需要在結(jié)果展示的時候通過對應表的方式找出產(chǎn)品名稱。如果在訓練樣本的時候?qū)μ卣骶S度有明確的要求，也可以采用PCA方法對特征進行降維，PCA把原先的n個特征用數(shù)目更少的m個特征取代，從舊特征到新特征的映射捕獲數(shù)據(jù)中的固有變異性，盡量使新的m個特征互不相關(guān)。還有一些特征之間是有特殊規(guī)律可循，比如說某個機臺生產(chǎn)的班次和班組的關(guān)系是完全按照四班三運轉(zhuǎn)模式來排班，這個時候只需要確認班次就可以推導出執(zhí)行班組信息，這樣的規(guī)則如果是固定不變的話，可以在模型訓練時候直接處理特征，而不需要另外做采集和儲存。

采用壓縮算法也是常用的輕量化手段，在帶有時間戳的時序性連續(xù)變量采集中，隨著采集頻率的提高數(shù)據(jù)量也成級數(shù)上升，可以通過偏差檢測處理和羅旋門壓縮過濾，既能反映數(shù)據(jù)實際趨勢，所需要采集、傳輸和保存的數(shù)據(jù)也顯著減少。 下面的三張圖簡單展示了數(shù)據(jù)壓縮的過程。

而自編碼神經(jīng)網(wǎng)絡是結(jié)合了以上兩種方式，采用自編碼神經(jīng)網(wǎng)絡既可以對特征維度進行降維，也會通過編碼方式對數(shù)據(jù)進行壓縮。自編碼神經(jīng)網(wǎng)絡是一種無監(jiān)督學習算法，它使用了反向傳播算法，并讓目標值等于輸入值，可以通過設定神經(jīng)網(wǎng)絡的隱藏層節(jié)點數(shù)量來達到數(shù)據(jù)壓縮的目的。比如我們有100個輸入特征，可以設定隱藏層節(jié)點數(shù)量為50，最終輸出層還是還原100個輸入特征。模型訓練完成后，我們可以用模型的輸入層到隱藏層作為壓縮算法，把模型的隱藏層到輸出層作為解壓算法，這樣在邊緣層進行模型部署進行壓縮，在公有云利用模型進行解壓。自編碼神經(jīng)網(wǎng)絡相對PCA來說可以更好的處理特征之間的非線性關(guān)系。

四、結(jié)語

在越來越多的制造業(yè)把大數(shù)據(jù)放在云端進行處理的時候，在網(wǎng)絡、存儲和計算能力有效的情況下，采用對數(shù)據(jù)進行壓縮和對數(shù)據(jù)特征進行選取的方法進行數(shù)據(jù)輕量化處理，以滿足數(shù)據(jù)業(yè)務分析需求和處理效率的高效。