浪潮云海OS大數(shù)據(jù)整合升級(jí)，發(fā)揮云計(jì)算與大數(shù)據(jù)融合優(yōu)勢(shì)

當(dāng)今世界，網(wǎng)絡(luò)信息技術(shù)日新月異，大數(shù)據(jù)等新一代信息技術(shù)的出現(xiàn)，推動(dòng)智慧產(chǎn)業(yè)、智能產(chǎn)業(yè)、各類大腦等應(yīng)運(yùn)而生，推動(dòng)社會(huì)從信息科技時(shí)代進(jìn)入智能科技時(shí)代。

政策與需求共推大數(shù)據(jù)應(yīng)用向前發(fā)展，云平臺(tái)升級(jí)迫在眉睫

近年來(lái)，我國(guó)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展取得了顯著的成效：

一是發(fā)展環(huán)境持續(xù)優(yōu)化。國(guó)家層面《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》等文件，加快落地實(shí)施國(guó)家大數(shù)據(jù)綜合實(shí)驗(yàn)區(qū)公共信息資源開放，有關(guān)大數(shù)據(jù)的相關(guān)政策和文件。多層次協(xié)同推進(jìn)大數(shù)據(jù)發(fā)展的管理，應(yīng)該說(shuō)已經(jīng)基本形成。

二是產(chǎn)業(yè)生產(chǎn)加速，技術(shù)創(chuàng)新不斷取得新突破。涌現(xiàn)出一批有帶動(dòng)力和影響力的龍頭企業(yè)，以及眾多創(chuàng)新特色輸出的中小企業(yè)，上下游企業(yè)密切互動(dòng)的產(chǎn)業(yè)格局初步形成。

三是大數(shù)據(jù)應(yīng)用已經(jīng)從互聯(lián)網(wǎng)營(yíng)銷、廣告等領(lǐng)域逐步向電信、交通、金融、醫(yī)療、教育、政務(wù)等廣泛滲透，有戰(zhàn)略性的大數(shù)據(jù)典型應(yīng)用的案例不斷涌現(xiàn)。大數(shù)據(jù)與各行各業(yè)的深度融合是新動(dòng)能在加快的推進(jìn)，是全社會(huì)應(yīng)用大數(shù)據(jù)的氛圍越加濃厚。

大數(shù)據(jù)產(chǎn)業(yè)的迅速發(fā)展，使得各行各業(yè)的企事業(yè)單位的業(yè)務(wù)產(chǎn)生大量數(shù)據(jù)。傳統(tǒng)的云平臺(tái)通常采用IaaS-PaaS-SaaS(亦即基礎(chǔ)設(shè)施即服務(wù)-平臺(tái)即服務(wù)-應(yīng)用即服務(wù))三層解耦方式部署，不同層、不同應(yīng)用、不同租戶的數(shù)據(jù)的整個(gè)生命周期都是孤立的，這種方式在一定程度上存在與業(yè)務(wù)關(guān)聯(lián)性不足、數(shù)據(jù)管理混亂、無(wú)法做到數(shù)據(jù)共享及隔離等問(wèn)題，隨著平臺(tái)的擴(kuò)展，數(shù)據(jù)會(huì)呈現(xiàn)指數(shù)級(jí)上升，而運(yùn)維、運(yùn)營(yíng)難度亦陡然增加，企業(yè)云與大數(shù)據(jù)融合和治理迫在眉睫。

浪潮云海OS升級(jí)大數(shù)據(jù)管理能力，為IT轉(zhuǎn)型上好“四保險(xiǎn)”

浪潮將云平臺(tái)與大數(shù)據(jù)深度融合，增加大數(shù)據(jù)服務(wù)層(DaaS)，實(shí)現(xiàn)平臺(tái)內(nèi)部自下而上所有數(shù)據(jù)的整合和治理，IaaS、PaaS、DaaS、SaaS統(tǒng)一權(quán)限管理，并以統(tǒng)一目錄方式對(duì)租戶提供服務(wù)。

浪潮云數(shù)融合方案部署架構(gòu)圖

生產(chǎn)環(huán)境注重業(yè)務(wù)連續(xù)、平臺(tái)穩(wěn)定及數(shù)據(jù)安全性，考慮到大數(shù)據(jù)處理效率、HDFS多副本導(dǎo)致的冗余消耗及大數(shù)據(jù)應(yīng)用的快速開發(fā)部署等諸多因素，浪潮采用大數(shù)據(jù)平臺(tái)物理機(jī)部署、大數(shù)據(jù)應(yīng)用云上部署、“云上”應(yīng)用調(diào)用“云下”大數(shù)據(jù)平臺(tái)能力，并通過(guò)統(tǒng)一云管平臺(tái)實(shí)現(xiàn)虛擬集群及大數(shù)據(jù)集群的統(tǒng)一管理(智能監(jiān)控，運(yùn)維自動(dòng)化、計(jì)量計(jì)費(fèi))、用戶統(tǒng)一認(rèn)證并提供統(tǒng)一的對(duì)外服務(wù)目錄，實(shí)現(xiàn)了高效大數(shù)據(jù)處理、合理數(shù)據(jù)冗余、快速的應(yīng)用部署、以及基于RBAC權(quán)限訪問(wèn)和以VDC維度的資源管理，最大限度發(fā)揮云計(jì)算與大數(shù)據(jù)融合的優(yōu)勢(shì)。

在IaaS層，使用浪潮云海平臺(tái)InCloud OpenStack及大數(shù)據(jù)平臺(tái)InCloud Insight實(shí)現(xiàn)物理設(shè)備(服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等)云化，并形成虛擬化資源池、裸金屬資源池及大數(shù)據(jù)資源池，向上層提供計(jì)算虛擬化、存儲(chǔ)虛擬化(塊存儲(chǔ)服務(wù)、對(duì)象存儲(chǔ)服務(wù)、文件存儲(chǔ)服務(wù))、網(wǎng)絡(luò)虛擬化及大數(shù)據(jù)服務(wù)。

在PaaS層，通過(guò)基礎(chǔ)環(huán)境適配器(Cloud Provider Interface)，浪潮彈性分布式操作系統(tǒng)(IOP)能夠直接調(diào)用IaaS能力，并向上提供基礎(chǔ)資源服務(wù)、計(jì)算服務(wù)、數(shù)據(jù)/大數(shù)據(jù)服務(wù)、應(yīng)用中間件服務(wù)、開發(fā)支撐服務(wù)及多媒體處理服務(wù)等六大類功能。其中基礎(chǔ)資源服務(wù)包含彈性云主機(jī)服務(wù)、對(duì)象存儲(chǔ)服務(wù)、負(fù)載均衡服務(wù)、網(wǎng)絡(luò)服務(wù)及VDC服務(wù)。計(jì)算服務(wù)則利用大數(shù)據(jù)能力提供離線計(jì)算服務(wù)(用于批量計(jì)算、指標(biāo)匯總計(jì)算、數(shù)據(jù)挖掘等場(chǎng)景)、實(shí)時(shí)計(jì)算服務(wù)(用于TB級(jí)以上數(shù)據(jù)實(shí)時(shí)讀寫和數(shù)據(jù)實(shí)時(shí)分析等場(chǎng)景)、流式計(jì)算服務(wù)(用于實(shí)時(shí)布控、實(shí)時(shí)監(jiān)控預(yù)警、實(shí)時(shí)統(tǒng)計(jì)等實(shí)時(shí)性要求非常高的場(chǎng)景)、內(nèi)存計(jì)算服務(wù)(用于批處理，SQL查詢，流式處理以及機(jī)器學(xué)習(xí)等)，全方位支撐上層的數(shù)據(jù)治理和應(yīng)用。

浪潮云數(shù)融合方案IaaS&PaaS架構(gòu)圖

在DaaS層，由數(shù)據(jù)集成、數(shù)據(jù)治理、數(shù)據(jù)處理、數(shù)據(jù)服務(wù)組成，覆蓋數(shù)據(jù)從產(chǎn)生、傳輸、存儲(chǔ)、初加工、細(xì)加工到應(yīng)用及銷毀的全生命周期。以數(shù)據(jù)資源為核心的理念，充分利用云平臺(tái)基礎(chǔ)設(shè)施與云平臺(tái)提供的各類計(jì)算服務(wù)，對(duì)業(yè)務(wù)各種來(lái)源的各種類別數(shù)據(jù)進(jìn)行整合匯集、存儲(chǔ)組織、分析處理以及標(biāo)準(zhǔn)化管理，并以服務(wù)、接口等形式提供給上層各類應(yīng)用。在數(shù)據(jù)集成階段，能夠接受不同數(shù)據(jù)源(如內(nèi)網(wǎng)數(shù)據(jù)庫(kù)、行業(yè)文件庫(kù)、應(yīng)用系統(tǒng)日志等)和不同數(shù)據(jù)類型(結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)等)，并提供集成工具及數(shù)據(jù)格式轉(zhuǎn)換工具實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化，上層應(yīng)用可無(wú)差別地調(diào)用各類數(shù)據(jù)。數(shù)據(jù)集成之后會(huì)進(jìn)入數(shù)據(jù)治理環(huán)節(jié)，實(shí)現(xiàn)數(shù)據(jù)類別規(guī)劃(定義不同安全要求等級(jí)數(shù)據(jù)不同的訪問(wèn)權(quán)限及方式)、數(shù)據(jù)質(zhì)量管理(劃分?jǐn)?shù)據(jù)質(zhì)量等級(jí)及存儲(chǔ)方式)、數(shù)據(jù)倉(cāng)庫(kù)(可根據(jù)業(yè)務(wù)維度劃分)及數(shù)據(jù)服務(wù)總線(提供數(shù)據(jù)訪問(wèn)控制)。而數(shù)據(jù)處理層則負(fù)責(zé)提供面向業(yè)務(wù)的各類功能引擎(檔案引擎、索引引擎、對(duì)比引擎、分析引擎及計(jì)算引擎等)及相應(yīng)的調(diào)度服務(wù)，上層應(yīng)用可通過(guò)提交任務(wù)形式調(diào)用以上引擎服務(wù)，輕松實(shí)現(xiàn)數(shù)據(jù)的并發(fā)異步調(diào)用。數(shù)據(jù)是企業(yè)的重要資產(chǎn)，為最大化提高數(shù)據(jù)的價(jià)值，平臺(tái)對(duì)外提供數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)中心，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)超市、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)共享交換機(jī)數(shù)據(jù)價(jià)值評(píng)估。上述所有數(shù)據(jù)加工環(huán)節(jié)，均以RPC或API接口方式對(duì)應(yīng)用開放服務(wù)，以專業(yè)的數(shù)據(jù)服務(wù)使得應(yīng)用層能更加聚焦業(yè)務(wù)的孵化和加速。

浪潮云數(shù)融合方案DaaS架構(gòu)圖

在SaaS層，分為兩方面應(yīng)用：基礎(chǔ)應(yīng)用(郵件、辦公應(yīng)用、日志系統(tǒng)等)和業(yè)務(wù)自定義應(yīng)用。通過(guò)調(diào)用IaaS、PaaS、DaaS層服務(wù)接口，應(yīng)用開發(fā)商可快速完成高可用、高并發(fā)的業(yè)務(wù)應(yīng)用的開發(fā)和部署。

通過(guò)這四層，浪潮云數(shù)融合方案能夠提供全方位的IaaS-PaaS-Daas-SaaS云化能力，亦提供了計(jì)算能力強(qiáng)大，覆蓋離線計(jì)算、在線計(jì)算、內(nèi)存計(jì)算、流計(jì)算等典型大數(shù)據(jù)應(yīng)用場(chǎng)景的大數(shù)據(jù)平臺(tái)，同時(shí)特有的云數(shù)融合方案，實(shí)現(xiàn)數(shù)據(jù)不同層、不同應(yīng)用、不同租戶從數(shù)據(jù)采集-數(shù)據(jù)集成-數(shù)據(jù)治理-數(shù)據(jù)處理全數(shù)據(jù)生命周期的管理，讓客戶在云數(shù)時(shí)代乘風(fēng)破浪，永立潮頭。