百分點(diǎn)技術(shù)負(fù)責(zé)人談大數(shù)據(jù)操作系統(tǒng)

　去年9月，百分點(diǎn)公司發(fā)布了“全球首款”大數(shù)據(jù)操作系統(tǒng)BD-OS（基于Lambda架構(gòu)）。日前，百分點(diǎn)技術(shù)副總裁劉譯璟和百分點(diǎn)BD-OS產(chǎn)品高級(jí)研發(fā)總監(jiān)線(xiàn)劉國(guó)棟接受CSDN記者采訪，結(jié)合BD-OS的設(shè)計(jì)、研發(fā)和架構(gòu)，對(duì)大數(shù)據(jù)技術(shù)演進(jìn)及應(yīng)用實(shí)踐的趨勢(shì)進(jìn)行了解讀。
　　所謂“全球首款”，意味著Hadoop、Storm、Spark等當(dāng)前主流大數(shù)據(jù)技術(shù)的相關(guān)從業(yè)者幾乎聽(tīng)說(shuō)過(guò)“大數(shù)據(jù)操作系統(tǒng)”的存在（之所以說(shuō)“幾乎”，是因?yàn)?a href='http://wenjunhu.com/tags/intel/' target='_blank' class='arckwlink_none'>Intel曾把Hadoop視為大數(shù)據(jù)操作系統(tǒng)，Apache Hadoop的一位committer聯(lián)合創(chuàng)立的海綿數(shù)據(jù)公司也曾推出一款名為Sponge的大數(shù)據(jù)操作系統(tǒng)，但百分點(diǎn)認(rèn)為BD-OS首先實(shí)現(xiàn)了理論的突破）。那么，BD-OS的研發(fā)的意義何在？在百分點(diǎn)看來(lái)，一言蔽之，就是填補(bǔ)底層技術(shù)到數(shù)據(jù)應(yīng)用之間的鴻溝?；诎俜贮c(diǎn)的實(shí)踐，劉譯璟和劉國(guó)棟從大數(shù)據(jù)生命周期的角度闡述了這個(gè)核心觀點(diǎn)，并介紹了BD-OS的一些應(yīng)用案例。
　　百分點(diǎn)眼中的大數(shù)據(jù)
　　劉譯璟介紹了百分點(diǎn)對(duì)大數(shù)據(jù)的認(rèn)識(shí)。他認(rèn)為，在整個(gè)信息化的方向上，有五個(gè)大的趨勢(shì)：云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、社會(huì)化和移動(dòng)化。在這個(gè)數(shù)據(jù)世界里，大數(shù)據(jù)處于大腦的地位，要把這些數(shù)據(jù)進(jìn)行收集加工轉(zhuǎn)化成信息，甚至轉(zhuǎn)化成知識(shí)，最后再通過(guò)物聯(lián)網(wǎng)的技術(shù)反饋到現(xiàn)實(shí)世界中，不斷地產(chǎn)生更多的價(jià)值。
　　大數(shù)據(jù)最核心的技術(shù)是跟人工智能的相關(guān)知識(shí)是緊密相關(guān)的，包括知識(shí)表示、自然語(yǔ)言理解、機(jī)器學(xué)習(xí)，還有相關(guān)的圖象語(yǔ)音識(shí)別、機(jī)器人，這都屬于這個(gè)范圍，但是為了實(shí)現(xiàn)人工智能，特別是機(jī)器學(xué)習(xí)，要處理相當(dāng)多的數(shù)據(jù)需要有一些足夠堅(jiān)實(shí)的底層架構(gòu)來(lái)支持。像Hadoop技術(shù)的誕生，原因就是在搜索相關(guān)的智能應(yīng)用里，原有的技術(shù)不能支撐了，所以說(shuō)，大數(shù)據(jù)的發(fā)展一定是跟著業(yè)務(wù)或者跟著智能化的技術(shù)發(fā)展的。
　　整個(gè)大數(shù)據(jù)的產(chǎn)業(yè)主要分成四個(gè)方面，第一是底層的基礎(chǔ)技術(shù)和基礎(chǔ)架構(gòu)。第二是在基礎(chǔ)架構(gòu)上構(gòu)建各種分析的無(wú)論是算法模型等等。第三層次，在分析之上更多結(jié)合到行業(yè)和業(yè)務(wù)的應(yīng)用。當(dāng)然還有很重要的一點(diǎn)是這里面產(chǎn)生的數(shù)據(jù)。BD-OS主要偏向于基礎(chǔ)軟件的層次，但是包含了很多分析應(yīng)用方面的工具。
　　整個(gè)大數(shù)據(jù)產(chǎn)業(yè)的趨勢(shì)發(fā)展有六個(gè)特點(diǎn)。
　　更多往具體的應(yīng)用里做，一定會(huì)形成行業(yè)的應(yīng)用。雖然現(xiàn)在很多大數(shù)據(jù)方面服務(wù)過(guò)的企業(yè)還是偏向通用化，但是最終的業(yè)務(wù)價(jià)值一定是在行業(yè)應(yīng)用里產(chǎn)生的。
　　服務(wù)化，通過(guò)服務(wù)的方式為企業(yè)和消費(fèi)者提供服務(wù)，而不是提供最原始的軟件或者IT基礎(chǔ)設(shè)施。
　　云計(jì)算是未來(lái)的骨骼，所有的應(yīng)用都會(huì)上到云端，所以云端化是未來(lái)的一個(gè)趨勢(shì)。
　　企業(yè)已經(jīng)不單單需要一個(gè)大數(shù)據(jù)的底層和大數(shù)據(jù)某一個(gè)存儲(chǔ)的方案，而是想要從數(shù)據(jù)獲取到大數(shù)據(jù)的全鏈條的端到端的整體的解決方案，企業(yè)越來(lái)越務(wù)實(shí)。
　　大數(shù)據(jù)一定變的更加的實(shí)用。實(shí)用化的四個(gè)方面：第一，最基礎(chǔ)只是說(shuō)描述，比如在做一些基礎(chǔ)的監(jiān)控等等方面。第二個(gè)方面是診斷，發(fā)現(xiàn)里面的一些問(wèn)題，把這些問(wèn)題找出來(lái)。第三是做一些預(yù)測(cè)，預(yù)測(cè)未來(lái)整個(gè)的趨勢(shì)，是向好還是向壞，如果向壞的話(huà)可能問(wèn)題發(fā)生在什么地方。最高級(jí)的一點(diǎn)，就是建議性的一些分析，不止是發(fā)現(xiàn)問(wèn)題、發(fā)現(xiàn)趨勢(shì)，還要告訴企業(yè)和用戶(hù)應(yīng)該怎么適應(yīng)這種變化。
　　低成本化一直是大數(shù)據(jù)的一個(gè)方向。
　　一個(gè)企業(yè)或者一個(gè)組織如果想真的應(yīng)用大數(shù)據(jù)，必須具備如下條件：
　　時(shí)代：相關(guān)的時(shí)代必須要到來(lái)，即不僅有信息化系統(tǒng)的基礎(chǔ)，有很多客戶(hù)，還要進(jìn)入到互聯(lián)網(wǎng)的時(shí)代，有較高的數(shù)據(jù)化的程度。
　　理念：很多企業(yè)主覺(jué)得數(shù)據(jù)是核心資產(chǎn)，原因是他認(rèn)為數(shù)據(jù)只有買(mǎi)才能得來(lái)，而不是自己的經(jīng)營(yíng)過(guò)程需要數(shù)據(jù)化。如果是這樣，說(shuō)到底他并不認(rèn)為數(shù)據(jù)能對(duì)他的業(yè)務(wù)產(chǎn)生核心的變化。所以需要真真切切地認(rèn)為數(shù)據(jù)能夠產(chǎn)生最大的價(jià)值。
　　理論：從現(xiàn)實(shí)的業(yè)務(wù)，到時(shí)候可以建模型，中間有非常大的鴻溝，這個(gè)鴻溝包括數(shù)據(jù)如何采集如何建模以及如何把一個(gè)業(yè)務(wù)問(wèn)題轉(zhuǎn)化成真正的數(shù)據(jù)的問(wèn)題，這其實(shí)是需要有相當(dāng)多的經(jīng)驗(yàn)和人做這件事。這是最麻煩的一件事，只有業(yè)務(wù)變換成了數(shù)學(xué)問(wèn)題，底層的技術(shù)才能實(shí)現(xiàn)。比如地震預(yù)測(cè)，數(shù)據(jù)界并沒(méi)有把它完全用理論解釋清楚，顯然沒(méi)有任何技術(shù)手段可以實(shí)踐這件事。
　　技術(shù)：理論問(wèn)題解決完以后，要通過(guò)一些基礎(chǔ)的技術(shù)手段來(lái)落地。比如說(shuō)有一些基礎(chǔ)架構(gòu)，或者軟件包的形式來(lái)實(shí)現(xiàn)。
　　BD-OS就是解決理論以及技術(shù)這兩方面的問(wèn)題，把消費(fèi)者數(shù)據(jù)化，并驅(qū)動(dòng)企業(yè)數(shù)據(jù)化的經(jīng)營(yíng)。百分點(diǎn)大數(shù)據(jù)產(chǎn)品分為三層，最底下的大數(shù)據(jù)的技術(shù)層，主要解決的是數(shù)據(jù)的采集獲取以及數(shù)據(jù)如何分析建模這一套東西，以及數(shù)據(jù)如何運(yùn)用到具體的業(yè)務(wù)上，提供這些基本的接口。中間的管理，最后流程的末端能看到用戶(hù)標(biāo)簽管理以及商品的標(biāo)簽管理，用戶(hù)畫(huà)像和產(chǎn)品畫(huà)像就是通過(guò)數(shù)據(jù)的方式來(lái)描述人，也就是人工智能領(lǐng)域的知識(shí)表示。有了數(shù)據(jù)化的消費(fèi)者的描述以后，將來(lái)要做的事情把他應(yīng)用到具體的業(yè)務(wù)里。百分點(diǎn)支持三大類(lèi)的業(yè)務(wù)：個(gè)性化推薦引擎、自動(dòng)化營(yíng)銷(xiāo)引擎和、大數(shù)據(jù)分析引擎。