彈性、高效，騰訊云大數(shù)據(jù)混合云存儲(chǔ)之道

企業(yè)數(shù)字化轉(zhuǎn)型過程中，數(shù)據(jù)價(jià)值被顯著放大，大數(shù)據(jù)應(yīng)用成為不少企業(yè)探索的重點(diǎn)。

從技術(shù)上看，大數(shù)據(jù)業(yè)務(wù)由于數(shù)據(jù)體量大，且數(shù)據(jù)量很多時(shí)候呈急速膨脹狀態(tài)；在進(jìn)行大數(shù)據(jù)計(jì)算分析時(shí)，對(duì)資源的需求呈現(xiàn)浪涌式特征，又偶有突發(fā)性，因此通過上云充分發(fā)揮資源按需使用按需付費(fèi)的優(yōu)勢(shì)，成為了不少企業(yè)在探索大數(shù)據(jù)應(yīng)用時(shí)的常見模式。

這其中，企業(yè)在綜合考量數(shù)據(jù)安全性、可擴(kuò)展、可管理和成本效益等因素后，混合云部署的方式就成為了企業(yè)的主流選擇。

近日，騰訊云存儲(chǔ)高級(jí)產(chǎn)品經(jīng)理賀永紅在混合云主題論壇上發(fā)表演講，詳解了大數(shù)據(jù)應(yīng)用上云的新思路。

一、企業(yè)自建大數(shù)據(jù)的難點(diǎn)

企業(yè)數(shù)據(jù)中心自建大數(shù)據(jù)業(yè)務(wù)，一般會(huì)遇到擴(kuò)容的問題，隨著大數(shù)據(jù)分析在業(yè)務(wù)價(jià)值挖掘上的作用愈加重要，新增及突發(fā)的分析任務(wù)越來越多，此時(shí)，趨于飽和使用率的硬件資源便會(huì)成為瓶頸，從提交預(yù)算申領(lǐng)設(shè)備到新設(shè)備加入分析集群通常需要較長(zhǎng)時(shí)間(有時(shí)會(huì)超過一個(gè)月)，這樣會(huì)也導(dǎo)致大數(shù)據(jù)計(jì)算結(jié)果延期交付。隨著時(shí)間推移，大數(shù)據(jù)中存儲(chǔ)的數(shù)據(jù)越來越多，如何降低數(shù)據(jù)的存儲(chǔ)成本，在需要的時(shí)候又能快速分析。

二、大數(shù)據(jù)混合云存儲(chǔ)之道

大數(shù)據(jù)混合云存儲(chǔ)將IDC大數(shù)據(jù)和公有云大數(shù)據(jù)連接為混合云，通過存算分離（計(jì)算與存儲(chǔ)分離），實(shí)現(xiàn)計(jì)算彈性伸縮；通過數(shù)據(jù)全生命周期自動(dòng)沉降實(shí)現(xiàn)存儲(chǔ)低成本。

三、大數(shù)據(jù)混合云存儲(chǔ)中的關(guān)鍵技術(shù)

1、存算分離

存算分離，計(jì)算與存儲(chǔ)分離，計(jì)算基于標(biāo)準(zhǔn)HDFS協(xié)議訪問存儲(chǔ)，計(jì)算資源和存儲(chǔ)資源各自按需擴(kuò)容；計(jì)算資源可以分鐘級(jí)按需創(chuàng)建及銷毀，數(shù)據(jù)存儲(chǔ)在COS（Cloud Object Storage）「https://cloud.tencent.com/product/cos」統(tǒng)一存儲(chǔ)層，集中存儲(chǔ)、統(tǒng)一管理。

存算分離，讓數(shù)據(jù)存儲(chǔ)在云中對(duì)象存儲(chǔ)COS上，計(jì)算集群直接分析COS中的數(shù)據(jù)，計(jì)算資源專注于計(jì)算，按需實(shí)現(xiàn)彈性伸縮，按需創(chuàng)建及銷毀，不用維持冗余設(shè)備來保存數(shù)據(jù)；通過計(jì)算與存儲(chǔ)分離，實(shí)現(xiàn)計(jì)算彈性伸縮，按需創(chuàng)建及銷毀，可以節(jié)約大數(shù)據(jù)20-30%的成本。

2、高效存儲(chǔ)

存儲(chǔ)資源COS（Cloud Object Storage）海量、無容量上限、無需擴(kuò)容、按需供給，高效、平滑接入大數(shù)據(jù)生態(tài)、按需使用付費(fèi)、通過生命周期策略自動(dòng)沉降極致降低成本。

COS中存儲(chǔ)類型分為標(biāo)準(zhǔn)存儲(chǔ)、低頻存儲(chǔ)和歸檔存儲(chǔ)，通過配置數(shù)據(jù)全生命周期策略實(shí)現(xiàn)自動(dòng)沉降：經(jīng)常訪問的數(shù)據(jù)放在標(biāo)準(zhǔn)存儲(chǔ)，較少訪問的數(shù)據(jù)放在低頻存儲(chǔ)，基本不訪問的數(shù)據(jù)放在歸檔存儲(chǔ)，以上三種存儲(chǔ)類型，價(jià)格不同，例如歸檔存儲(chǔ)刊例價(jià)就不到標(biāo)準(zhǔn)存儲(chǔ)刊例價(jià)的1/3，數(shù)據(jù)自動(dòng)沉降后成本節(jié)約20-30%。數(shù)據(jù)沉降歸檔后，能及時(shí)回?zé)?，需要用的時(shí)候能及時(shí)被計(jì)算集群訪問。

3、統(tǒng)一管理

云上云下的統(tǒng)一管理，一致使用體驗(yàn)；在數(shù)據(jù)面云上COS與IDC中HDFS統(tǒng)一元數(shù)據(jù)管理，實(shí)現(xiàn)全量數(shù)據(jù)ETL(抽取、轉(zhuǎn)換、裝載)。在技術(shù)面，云上和云下均采用大數(shù)據(jù)開源組件，接入大數(shù)據(jù)開源生態(tài)，保持一致使用體驗(yàn)。

4、數(shù)據(jù)高效流動(dòng)

云下與云上的數(shù)據(jù)流動(dòng)，這里主要包括兩種數(shù)據(jù)流動(dòng)。

其一、數(shù)據(jù)在IDC與云上COS間快速水平流動(dòng)；用戶每天可往云上COS灌入200TB+數(shù)據(jù)，基于COS海量并發(fā)設(shè)計(jì)，可進(jìn)一步加粗上傳管道，加速數(shù)據(jù)上云。數(shù)據(jù)下云，一般是結(jié)算結(jié)果返回到用戶IDC，這部分?jǐn)?shù)據(jù)量比較小，是從海量沙子里掏出的金子，不存在技術(shù)挑戰(zhàn)。

其二、數(shù)據(jù)在EMR「https://cloud.tencent.com/product/emr」計(jì)算與COS存儲(chǔ)間快速垂直流動(dòng)，在EMR進(jìn)行大數(shù)據(jù)計(jì)算時(shí)，需要在瞬間從COS中讀取大量數(shù)據(jù)到EMR中進(jìn)行計(jì)算，關(guān)鍵技術(shù)是COS的高性能，來滿足數(shù)據(jù)的快速讀寫。

四、騰訊云大數(shù)據(jù)混合云存儲(chǔ)實(shí)踐

騰訊云大數(shù)據(jù)混合云存儲(chǔ)方案，經(jīng)歷騰訊內(nèi)部業(yè)務(wù)（微信、QQ、騰訊視頻等）長(zhǎng)期打磨而沉淀下來。

騰訊云大數(shù)據(jù)混合云存儲(chǔ)，包括三層：混合大數(shù)據(jù)引擎、任務(wù)統(tǒng)一編排、數(shù)據(jù)開發(fā)平臺(tái)：數(shù)據(jù)開發(fā)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)價(jià)值開發(fā)，包括用戶畫像、廣告推薦等；任務(wù)統(tǒng)一編排實(shí)現(xiàn)大數(shù)據(jù)任務(wù)在IDC及云中全局調(diào)度及計(jì)算彈性伸縮；混合大數(shù)據(jù)引擎對(duì)IDC及云中大數(shù)據(jù)進(jìn)行管理。

某頭部游戲直播公司，大數(shù)據(jù)體量大，很早就成立了近百人的專業(yè)大數(shù)據(jù)團(tuán)隊(duì)，以支撐近百P規(guī)模的離線、實(shí)時(shí)流式數(shù)據(jù)的高效存儲(chǔ)計(jì)算及數(shù)據(jù)科學(xué)探索。

其大數(shù)據(jù)架構(gòu)如圖，左邊本地IDC，右邊騰訊云 EMR ON COS，通過專線打通，數(shù)據(jù)互通，優(yōu)先上傳分析用到的數(shù)據(jù)，將數(shù)據(jù)導(dǎo)入到騰訊云COS中；基于存算分離，通過騰訊云EMR產(chǎn)品創(chuàng)建的Hadoop集群分析已導(dǎo)入到COS中數(shù)據(jù)。分析任務(wù)結(jié)束后，銷毀EMR集群，不再產(chǎn)生費(fèi)用，COS數(shù)據(jù)自動(dòng)沉降進(jìn)一步降低成本。

五、結(jié)語

騰訊云大數(shù)據(jù)混合云，能夠?qū)崿F(xiàn)大數(shù)據(jù)業(yè)務(wù)平滑上云，并實(shí)現(xiàn)對(duì)已有IDC硬件資源的合理利用，實(shí)現(xiàn)業(yè)務(wù)彈性伸縮，實(shí)現(xiàn)存儲(chǔ)資源和計(jì)算資源的高效利用。

未來，騰訊云存儲(chǔ)還將以業(yè)務(wù)場(chǎng)景為指引，推出更多高效的云存儲(chǔ)方案，并結(jié)合生態(tài)資源，為用戶提供更好的云上存儲(chǔ)服務(wù)。