大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)的技術(shù)關(guān)鍵及解決辦法

　2015中國大數(shù)據(jù)技術(shù)大會第二天的大數(shù)據(jù)基礎(chǔ)設(shè)施分論壇中，來自阿里云、Hulu、北京憶恒創(chuàng)源、阿里巴巴、企事錄以及中科院計算所的技術(shù)專家分享了大數(shù)據(jù)基礎(chǔ)設(shè)施從設(shè)計、搭建到平臺測試標(biāo)準(zhǔn)各個方面的技術(shù)關(guān)鍵點、實際問題和解決方法。
　　
　　阿里云的高級技術(shù)專家李超
　　首先，來自阿里云的高級技術(shù)專家李超通過雙11活動講解了阿里如何構(gòu)建自己的大數(shù)據(jù)平臺。他首先講解了阿里云大數(shù)據(jù)的發(fā)展史，接下來講解了今天的阿里巴巴大數(shù)據(jù)平臺到底能做什么事情，第一點最重要就是海量處理能力，這個離線計算平臺支持SQL、MR、MPI、BSP算法平臺。單個集群規(guī)模上線達(dá)到一萬臺，存儲有800PB的數(shù)據(jù)，有100萬以上的JOB數(shù)，響應(yīng)速度做到100個毫秒級別，導(dǎo)出速度達(dá)到100萬。除了海量數(shù)據(jù)處理能夠，平臺還可以提供數(shù)據(jù)整合能力，包括大數(shù)據(jù)的整合，把集團內(nèi)部各個業(yè)務(wù)的數(shù)據(jù)整合在自己的平臺，現(xiàn)在已經(jīng)達(dá)到800PB的數(shù)據(jù)量，相互之間可以流轉(zhuǎn)，包括結(jié)構(gòu)化半結(jié)構(gòu)化非結(jié)構(gòu)化的數(shù)據(jù)，用統(tǒng)一的數(shù)據(jù)進(jìn)行整合。還有數(shù)據(jù)交換能力，完全可信的數(shù)據(jù)交換平臺，多層次的數(shù)據(jù)交換，還有數(shù)據(jù)管理能力，包括原數(shù)據(jù)管理，數(shù)據(jù)質(zhì)量管理，數(shù)據(jù)標(biāo)準(zhǔn)管理。接下來李超講解了大數(shù)據(jù)平臺里面三個比較重要的計算框架，一個是ODPS，第二個ADS實時數(shù)據(jù)分析，第三個StreamSQL，離線實時計算。前面兩個已經(jīng)在阿里云官網(wǎng)有云服務(wù)提供，后面一個處于準(zhǔn)備當(dāng)中。此外，阿里云的伏羲系統(tǒng)今年打破了sort benchmark的4項世界紀(jì)錄，而ODPS和ADS系統(tǒng)的底層，都是基于伏羲分布式調(diào)度。李超也從技術(shù)上講解了如何用377秒將100TB的數(shù)據(jù)做出排序。
　　
　　Hulu公司的資深研發(fā)主管梁宇明
　　Docker 技術(shù)越來越得到了很多開發(fā)者的青睞，而YARN對于多數(shù)愛好者來說還是一個比較新的平臺。來自Hulu公司的資深研發(fā)主管梁宇明為大家講解了如何把Voidbox用在YARN中。他的演講題目是《Voidbox - Docker On YARN在Hulu的實踐》。
　　Voidbox是什么？可以做什么呢？梁宇明說， 在一個集群中，你把不同的應(yīng)用在同一個計算的集群中共同的運行起來，這時候其實需要一個很好的調(diào)度系統(tǒng)，在開源的社區(qū)一般情況下大家就用Voidbox。為了把更多的應(yīng)用，在全部的基礎(chǔ)框架之上，用戶構(gòu)建一些Voidbox。
　　在集群中的很多部署問題，用戶可以寫完打包到同一個集群去，利用Voidbox就可自動匹配，類似于虛擬機提供復(fù)雜環(huán)境得包的能力，提供一個相對比較好的資源隔離。Yarn作為資源調(diào)度系統(tǒng)實現(xiàn)了資源調(diào)度，VoidboxAPI使得用戶把復(fù)雜的東西統(tǒng)一到Y(jié)arn上去。
　　梁宇明介紹說：“我們之所以選擇Voidbox有兩個原因，第一個對應(yīng)用程序可以進(jìn)行很好封裝，可以屏蔽環(huán)境的依賴。把這些復(fù)雜環(huán)境封裝更好的打包在里面這是第一點。第二點本身CPU有很好隔離，在新版本中做到一定對網(wǎng)絡(luò)比較好的隔離，這一點是可以提供的，這些隔離基于在一個程序之中，通過設(shè)置不同的隊列，你可以把不同的任務(wù)分到不同業(yè)務(wù)運行，你可以把不同運用程序支持不同隊列當(dāng)中去，不同隊列支持不同的機器?！?br />