電子發(fā)燒友App
互聯(lián)網(wǎng)數(shù)據(jù)分析大家都討論的太多了，但是對物聯(lián)網(wǎng)數(shù)據(jù)分析而言，卻講的太少。本文筆者將從對物聯(lián)網(wǎng)數(shù)據(jù)進行分類出發(fā)，講述：如何進行物聯(lián)網(wǎng)數(shù)據(jù)分析？
?
在網(wǎng)上查了查，關(guān)于互聯(lián)網(wǎng)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)分析的文章比較多，但是關(guān)于物聯(lián)網(wǎng)數(shù)據(jù)分析的文章幾乎找不到，于是萌發(fā)了寫一篇專門講解物聯(lián)網(wǎng)數(shù)據(jù)分析的文章，作為自己工作經(jīng)驗及方法論的復(fù)盤，同時也期望能夠?qū)Ω魑煌兴鶈l(fā)。
一、引言
《深度剖析物聯(lián)網(wǎng)服務(wù)結(jié)構(gòu)如何構(gòu)建》的朋友應(yīng)該比較清楚的知道：物聯(lián)網(wǎng)服務(wù)究竟是如何運轉(zhuǎn)的？包含哪些要素？每個部分起什么作用？如何運轉(zhuǎn)？有哪些關(guān)鍵技術(shù)或者技能？
從傳感器->設(shè)備->網(wǎng)關(guān)->服務(wù)器，整個路徑能夠很好地實現(xiàn)將數(shù)據(jù)采集到物聯(lián)網(wǎng)平臺，但是為什么要對這些數(shù)據(jù)做分析，如何應(yīng)用這些數(shù)據(jù)，如何做好數(shù)據(jù)分析呢？
1. 什么是物聯(lián)網(wǎng)數(shù)據(jù)
基于我們對于物聯(lián)網(wǎng)服務(wù)構(gòu)建的基礎(chǔ)我們可以知道，物聯(lián)網(wǎng)數(shù)據(jù)數(shù)據(jù)主要是指傳感器和設(shè)備發(fā)過來的數(shù)據(jù)。這些數(shù)據(jù)一部分是對現(xiàn)實環(huán)境參數(shù)的采集值，一部分是設(shè)備的一些常規(guī)信息值，比如：狀態(tài)、故障信息、錯誤代碼、運行情況等。
物聯(lián)網(wǎng)數(shù)據(jù)在任何情況下都會產(chǎn)生數(shù)據(jù)，無需人為參與就不會不斷涌現(xiàn)出新的數(shù)據(jù)，其數(shù)據(jù)量遠遠大于傳統(tǒng)業(yè)務(wù)系統(tǒng)的業(yè)務(wù)數(shù)據(jù)。
如果單純的按照數(shù)據(jù)變化來對物聯(lián)網(wǎng)數(shù)據(jù)進行分類，我們可以分為：靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)。
1）靜態(tài)數(shù)據(jù)
指傳感器或者設(shè)備的一些屬性性質(zhì)的數(shù)據(jù)，不增加新設(shè)備的情況下，不伴隨時間的變化而變化，也不會隨著時間的增長而增長。代表性的數(shù)據(jù)是設(shè)備ID、設(shè)備地址等，這種數(shù)據(jù)采用結(jié)構(gòu)型、關(guān)系型數(shù)據(jù)庫存儲。
2）動態(tài)數(shù)據(jù)
指隨著時間周期會發(fā)生變化的數(shù)據(jù)，每個數(shù)據(jù)都與時間值有對應(yīng)關(guān)系，數(shù)據(jù)采用時序方式進行存儲，數(shù)據(jù)量非常大，并且采集越頻繁數(shù)據(jù)量越大。
其不僅僅會隨著設(shè)備數(shù)量增加而增加，還會隨著時間增加而增加。這樣的數(shù)據(jù)通常情況下，我們會按照一定的時間進行刪除，否則數(shù)據(jù)量會過大。根據(jù)一些行業(yè)的要求，通常情況下保存的年限設(shè)置在3~5年，具體的沒有明確要求，關(guān)鍵是看自己所處行業(yè)的要求進行自行設(shè)定。
2. 為什么要做物聯(lián)網(wǎng)數(shù)據(jù)分析
如果物聯(lián)網(wǎng)只是負責采集一堆傳感器和設(shè)備發(fā)過來的數(shù)據(jù)，那就只不過是一堆龐大的數(shù)據(jù)聚集在一起，產(chǎn)生不了實際的價值意義。
然而，在實際實踐中我們可以發(fā)現(xiàn)，物聯(lián)網(wǎng)數(shù)據(jù)非常有意思，經(jīng)過分析我們可以利用傳感器或者設(shè)備數(shù)據(jù)，清楚的知道設(shè)備的運行情況以及現(xiàn)實環(huán)境運營的趨勢，幫助作出預(yù)判和提前作出響應(yīng)。
比如：利用物聯(lián)網(wǎng)的數(shù)據(jù)可以有效預(yù)判機械的故障，減少因為設(shè)備故障而帶來的工作耽誤。根據(jù)設(shè)備上傳的設(shè)備狀態(tài)信息值的變化，以及特定傳感器采集的參數(shù)，就可以監(jiān)測預(yù)判發(fā)生故障的概率，同時提前做出響應(yīng)。這樣就能夠把一個物聯(lián)網(wǎng)服務(wù)從一個單純的數(shù)據(jù)采集，上升到一個能夠不斷創(chuàng)造附加值的服務(wù)層面。
同時，基于采集的數(shù)據(jù)的分析的運營，還可以重新構(gòu)建企業(yè)新的運營模式，部分內(nèi)容可以參照我的另外一篇文章《物聯(lián)網(wǎng)技術(shù)如何助力企業(yè)轉(zhuǎn)型升級》的相關(guān)闡述，整體來說物聯(lián)網(wǎng)數(shù)據(jù)分析在新形式下的應(yīng)用將會極大助力企業(yè)轉(zhuǎn)型升級。
3. 物聯(lián)網(wǎng)數(shù)據(jù)能做哪些方面的應(yīng)用
物聯(lián)網(wǎng)數(shù)據(jù)能夠幫助我們做哪些方面的應(yīng)用呢，總結(jié)下來可能主要有以下幾個：
監(jiān)控：將物聯(lián)網(wǎng)數(shù)據(jù)直接可視化展示，就可以實現(xiàn)設(shè)備的狀態(tài)監(jiān)控，及時知道什么發(fā)生了什么。
反控：當監(jiān)測到異常數(shù)據(jù)需要干預(yù)時，可以直接通知對應(yīng)的管理員，遠程操控設(shè)備實現(xiàn)反控，提高操作效率，避免直接到設(shè)備現(xiàn)場。
報表統(tǒng)計：基于物聯(lián)網(wǎng)數(shù)據(jù)，我們可以根據(jù)實際的需求，對相關(guān)的歷史數(shù)據(jù)做報表統(tǒng)計分析，按照不同的維度以圖表或者圖形的形式呈現(xiàn)給不同類型的用戶，幫助他們快速直觀知道設(shè)備的運行情況。
預(yù)測/預(yù)判：基于數(shù)據(jù)分析模型，可以對一些事件做預(yù)判，提前獲取概率性，以便及時作出響應(yīng)，避免造成更大的損失，或者直接獲取其他收益。
人工智能：當數(shù)據(jù)及經(jīng)驗積累到一定程度，系統(tǒng)可以自動針對事件數(shù)據(jù)分析后，作出正確的響應(yīng)，無需人工干預(yù)。
基于此呢，我們基本上算是給大家說了一個基礎(chǔ)的鋪墊了。那么接下來，我們就要本次分享的重點了，我們來看：如何進行物聯(lián)網(wǎng)數(shù)據(jù)分析，有哪些方法論，具體怎么實操呢？
二、數(shù)據(jù)分析準備工作
如果把數(shù)據(jù)分析比作炒菜，那么我們首先得準備一些原材料，那么對于數(shù)據(jù)分析，我們應(yīng)該做哪些準備工作呢？
1. 數(shù)據(jù)采集
數(shù)據(jù)采集顧名思義就是采集我們需要用來做分析的數(shù)據(jù)，同時將這些數(shù)據(jù)以特定格式保存下來。通常情況下，數(shù)據(jù)分析會基于歷史累計下來的數(shù)據(jù)，如果數(shù)量大，可以使用一些大數(shù)據(jù)工具進行處理，比如常用的Hadoop等。
數(shù)據(jù)采集的方式及過程，我們就不多說了，直接參照之前的文章，基本上就可以知道數(shù)據(jù)采集的流程及處理的過程。
2. 數(shù)據(jù)積累
數(shù)據(jù)積累就是將有用的數(shù)據(jù)保存下來，方便管理和提取。數(shù)據(jù)積累會用到數(shù)據(jù)庫，這個在我們上一篇文章也有體積，不僅僅是結(jié)構(gòu)化數(shù)據(jù)的關(guān)系型數(shù)據(jù)庫，還有鍵值存儲數(shù)據(jù)庫等。
3. 數(shù)據(jù)預(yù)處理
數(shù)據(jù)預(yù)處理就是對數(shù)據(jù)進行加工，剔除沒有用的或者異常的數(shù)據(jù)，提取有用的部分的信息，對數(shù)值進行處理等等。對數(shù)據(jù)進行必要的處理，形成匯集分析用的數(shù)據(jù)集，就是數(shù)據(jù)預(yù)處理的目的。
三、數(shù)據(jù)分析方法
基于數(shù)據(jù)應(yīng)用的用途考慮，我們將數(shù)據(jù)分析方法姑且分為統(tǒng)計分析法和機器學習法。
其中統(tǒng)計分析法主要是依靠分析師手工進行分析，基于一定的目的提取數(shù)據(jù)，并進以各種形式進行展示。機器學習法呢，就是說的比較多的人工智能，主要依據(jù)對以往數(shù)據(jù)的學習，來推斷未知的數(shù)據(jù)或者狀態(tài)。
1. 統(tǒng)計分析法
統(tǒng)計分析其實還真沒太多的需要說的，就是基于統(tǒng)計結(jié)果做呈現(xiàn)，用各種形式表示出來，達到直觀呈現(xiàn)的目的。
如果按照步驟來講，那么主要是以下幾個步驟：
step1：決定你的信息
根據(jù)你手里面的數(shù)據(jù)，明確你想要的表達的具體信息是什么；
step2：確定相對關(guān)系
你確定的信息在一定程度上講主要包括5種基本類別中的一種，成分、項目、時間順序、頻率分析及相關(guān)性；
step3：選擇圖表形式
每一種相對關(guān)系都可以引導(dǎo)出相對應(yīng)的圖表形式，常見的圖表形式包含：餅圖、條形圖、柱形圖、折線圖、散點圖，當然不是特別完整哈，我們只是列舉。
下面我們來舉一個例子，說明一下具體的使用：
比如家里面的智能燃氣表采集了用氣的數(shù)據(jù)，那么我們就可以用圖形表示一定時間內(nèi)用氣量的變化，從而直觀的掌握用氣數(shù)據(jù)的變化趨勢。
2. 機器學習法
機器學習主要是指：基于大量數(shù)據(jù)來學習數(shù)據(jù)的傾向，從而做出某些判斷并執(zhí)行對應(yīng)的“動作”。
機器學習和數(shù)據(jù)挖掘是同根同生，二者都是基于數(shù)據(jù)進行某些推測和判斷。統(tǒng)計分析法是是對采集數(shù)據(jù)進行呈現(xiàn)，數(shù)據(jù)被視為無機的數(shù)值，屬于表層的數(shù)據(jù)分析。機器學習分析法主要是從數(shù)據(jù)中提取更復(fù)雜的傾向、規(guī)則、結(jié)構(gòu)等信息，采用數(shù)學公式和規(guī)律模型來表現(xiàn)傾向。
說機器學習法之前，我們首先來說一下數(shù)據(jù)學習的類型，我們分為“規(guī)則學習”和“非規(guī)則學習”兩個類別。
規(guī)則學習主要是指數(shù)據(jù)的答案是明確的，機器只需要將新的數(shù)據(jù)與正確答案進行比較即可做出判斷。非規(guī)則學習則沒有既定的正確的答案，需要根據(jù)數(shù)據(jù)的整體傾向然后找出異常值。
舉個例子：我們將某一設(shè)備的故障值范圍設(shè)定為12~28，直接基于這個范圍就叫規(guī)則學習。而如果沒有范圍，那么就需要采用一定的算法讓機器區(qū)分數(shù)據(jù)傾向，并且正確調(diào)出異常值了。
下面我們直接舉幾個例子，透過例子來理解應(yīng)該來講是更加直接的：
命題一：通過傳感器采集到的數(shù)據(jù)，判斷機器故障的原因。
對于這類問題，需要先定義清楚數(shù)據(jù)時非故障機器的還是故障機器的，然后再通過對比數(shù)據(jù)差異化找出因果關(guān)系最后形成判斷依據(jù)，讓機器具備判斷能力。
命題二：通過各種因素因素來預(yù)測交通量。
說到預(yù)測分析，那么對于交通量的預(yù)測無疑是比較有意思的，通過傳感器在一定的持續(xù)時間范圍內(nèi)對某條道路的交通量進行采集。
然后，再通過星期數(shù)、天氣、時間段等因素的綜合分析計算，那么就可以形成一套計算方法，并且在某一段時間內(nèi)運用計算值與實際值進行對比，不斷修正算法，就能夠較為精準的預(yù)算某一天的交流通量，比如：交通量=a*星期數(shù)+b*天氣情況+c+……
四、總結(jié)
關(guān)于物聯(lián)網(wǎng)數(shù)據(jù)分析其實是與互聯(lián)網(wǎng)數(shù)據(jù)分析有些相似的基礎(chǔ)知識的，所以我們沒講那么多。
分析是基礎(chǔ)，對于數(shù)據(jù)的應(yīng)用的才是關(guān)鍵。具體對數(shù)據(jù)咋個應(yīng)用，需要對行業(yè)和客戶有較為深刻的理解，那么就需要我們產(chǎn)品經(jīng)理戶或者數(shù)據(jù)分析師對行業(yè)及業(yè)務(wù)非常的了解，然后再根據(jù)物聯(lián)網(wǎng)數(shù)據(jù)特性制定相關(guān)方案，解決實際的問題。
工商網(wǎng)監(jiān)
評論