云計算走向2.0時代,開始成為企業(yè)IT基礎的核心引擎,軟件定義存儲也被賦予了新的角色,成為跨云的橋梁。任意云、任意設備、任意應用、任意數(shù)據(jù),軟件定義存儲,構建了云2.0時代數(shù)據(jù)流動的平臺。
12月12日,2018年中國存儲與數(shù)據(jù)峰會“軟件定義存儲”論壇,以“軟件定義,全棧軟件賦能 從核心到邊緣”為主題,邀請VMware大中華區(qū)高級技術總監(jiān)李剛擔綱出品人,浪潮存儲產(chǎn)品部副總經(jīng)理孫斌、青云QingCloud 存儲高級技術專家劉樂樂、群蜂科技CEO王成巍、京東云產(chǎn)品研發(fā)部中間件負責人李道兵、中國移動蘇州研發(fā)中心對象存儲研發(fā)工程師余禮楊、XSKY產(chǎn)品營銷總監(jiān)呂磊等嘉賓進行分享和探討。
浪潮存儲產(chǎn)品部副總經(jīng)理孫斌發(fā)表了主題為“面向新數(shù)據(jù)的軟件定義存儲”的演講。以下內(nèi)容根據(jù)速記整理,未經(jīng)本人審定。
浪潮存儲產(chǎn)品部副總經(jīng)理孫斌
孫斌:謝謝李剛介紹我上個舞臺。
軟件和硬件在存儲領域,剛剛提到說硬件不斷在翻新、升級軟件怎么樣跟得上,其實20年前英特爾就一直在埋怨微軟跟不上節(jié)奏。我們做企業(yè)系統(tǒng)的軟件產(chǎn)品,不管哪一個領域哪一個行業(yè)不斷在繁衍。
今天我更多想分享的是,上一周去Gartner關于數(shù)據(jù)中心的峰會,其客戶有75%是使用IT設備的用戶,還有25%是IT知名廠商,它左手拿著供應商右手拿著客戶,說明設計游戲規(guī)則Gartner已創(chuàng)造了一個很好的商業(yè)模式,這是我理解的。這是我個人的感受,不知道網(wǎng)上是否有類似的內(nèi)容。
昨天在主論壇我們同事李輝跟大家分享“新時代呼喚新存儲”,剛才李剛總提的“企業(yè)云2.0” 也很契合也很我們這個主題——數(shù)據(jù)峰會,這么多年第一次聽到數(shù)據(jù)峰會。
我們嘗試著做一個歸類,也借鑒了一些第三方機構的數(shù)據(jù),包括福布斯最近兩三年的數(shù)據(jù),有AI的,大家想想AI現(xiàn)在和明天會如何影響我們自己或周邊,還有物聯(lián)網(wǎng)、社交媒體、通信(短信早就過時了,我相信在座的跟我一樣都不發(fā)短信了)。不同的維度,這是傳統(tǒng)的數(shù)據(jù)來源還有新應用產(chǎn)生的數(shù)據(jù)的一些特征??吹叫聰?shù)據(jù)有這樣的來源也好,形態(tài)也好,我們看看應用負載有什么變化。
挑了一個應用,人們反復講的AI應用,這是浪潮這兩年的一個積累,我們在國內(nèi)做AI服務器這塊占比是遙遙領先后面所有的對手,超過他們的總和,所以我們有機會接觸到公有云服務商在公有云上的應用,以及廠商四小龍,大量的傳統(tǒng)企業(yè),像通信行業(yè)、金融行業(yè)已經(jīng)在大規(guī)模采購跟AI相關的軟硬件平臺設備。
這里想說的跟AI有關的應用分哪些數(shù)據(jù)階段,從提取到準備,包括標簽到訓練、推理、歸納,不同的階段對存儲的要求是不一樣的,你會看到協(xié)議會有差別,以及I/O的模式,I/O有很多,順利還是隨機,有沒有一個高峰、低谷,還是順順當當走一個水平線等等。這個更多是來自Gartner數(shù)據(jù)。作為一個企業(yè)看到了這方面應用的特征,有的數(shù)據(jù)大家可以記下來。我們認為這只會跑得更快,不會跑得更慢。未來四年公司的部署將超過50%,今年只有4%。
今天的主題是軟件定義存儲,這個概念出來估計有十年甚至更長的時間。什么叫軟件定義存儲?超融合也好,分布式存儲也好,有一個特點就是存儲系統(tǒng)都是跑在標準的商業(yè)服務器上面。這其實算是軟件定義存儲的一種形態(tài),在五年前你要問一個做IT的估計他也這樣回答,但是這兩年在變化,軟件定義存儲把范圍遠遠拉開了。
舉例,把傳統(tǒng)的軟件一體的也算成軟件定義存儲,超融合、分布式也算是,還有正在發(fā)生的新的變化,不管是全球或者國內(nèi)的一些公有云服務廠商,還有一些新興的存儲廠商以及新興的創(chuàng)業(yè)公司,他們開始把存儲產(chǎn)品變成一種服務部署在云上面。我們自己的一個看法,在這些軟件定義存儲多種形態(tài)里面,分布式存儲將越來越成為占比越來越高的,其中也有一些Gartner的數(shù)據(jù),現(xiàn)在的企業(yè)數(shù)據(jù)目前是40%存在在橫向擴展的存儲中的,40%的數(shù)據(jù)是從容量的角度,3、4年之后是80%。
國內(nèi)的一些大型央企已經(jīng)在發(fā)生這樣的變化,速度很快,每年幾倍增長把非結構化和半結構化的數(shù)據(jù)放在分布式存儲里面。
分布式存儲未來發(fā)展的一個方向就是真正的私有云,但是這個私有云可能跟一兩年前的那個定義有一些差別,更多是需要具備像今天公有云這樣的彈性,敏捷等等特征,數(shù)據(jù)也好,應用也好,都可以在云上云下多云之間順暢流動,為什么企業(yè)要建大量的私有云,把數(shù)據(jù)搬到公有云上,很多國際的企業(yè)從私有云撤下應用或者數(shù)據(jù)。Gartner也有一個統(tǒng)計,使用公有云服務考慮的第一要素是什么,第一投票選擇節(jié)省成本。對主流客戶來說數(shù)據(jù)上云再下云等等是不是像公有云更便宜,第二這個數(shù)據(jù)是不是更放心放在私有云上面。公有云政策下移,沉降到私有云里面,硬件和存儲設備成本差兩倍,可能一年或者兩年之后,計算硬件和存儲硬件成本相差三倍甚至更多,這樣的問題如何解決? 我們看好分布式存儲,一方面就是剛才分享的及時響應,第二就是真正的企業(yè)私有云為中心,是有公有云服務能力的。
說到分布式存儲給大家看一個圖,是Gartner定義的規(guī)則。當年一些國有廠商進入中國、中國的廠商會問你是不是一個主流廠商,如今當我們把產(chǎn)品帶到國外的時候,就像當初人家進入中國一樣。這是被問到的前三個問題之一。
這里面有兩家中國企業(yè),Gartner為能進入四象限的供應商定義了大量的準則,有兩個維度,一個是執(zhí)行力,一個是愿景能力,代表未來的方向。這里面也定義了很多一級、二級的要素。以執(zhí)行力來說,產(chǎn)品和服務能力分布式存儲,總體反映力是高要求的。愿景能力是對市場的理解,在產(chǎn)品上的創(chuàng)新,尤其是抓住新應用上面的創(chuàng)新等等。
這個有浪潮自己的理解,當然也有Gartner的一部分,有一個報告叫《關鍵技術存儲能力》針對每一個象限,每一個廠商會選擇綜合技術能力表現(xiàn)較好表現(xiàn)的定義這樣形態(tài)的產(chǎn)品,主要面向哪些應用場景。比如說分布式存儲一共定義五大類的應用模式也好,應用場景也好,包括像大數(shù)據(jù)、高性能計算,列為兩種類型。第五種就是混合云也好,云計算也好在這個基礎上增加了如火如荼的視頻監(jiān)控,可能占了中國整個企業(yè)外部存儲的30%、40%的空間和收入空間。我們看到,國內(nèi)大量的像廣電也有存儲的需求,以及現(xiàn)在還沒有進入到Gartner,我們看到快速增長人工智能上的需求。Gartner定義了一共八個技術能力,包括定價、吸引力、產(chǎn)品安全、部署彈性、性能、效應等等,在每一個典型應用場景下面,其實各項關鍵技術的要求是不一樣的,有興趣的可以下來到相關展臺跟我們相關同事做一個交流。
Gartner定義了大量的標準,量化各個企業(yè)給它提供的各種調(diào)研報告里,產(chǎn)品在不同案例以及不同應用場景下面各項得分的情況。Gartner全球選出來26家廠商,只有兩家中國廠商,進入到四象限的一共16家廠商,進入到工業(yè)技術能力一共7家廠商,浪潮兩個應用場景里面,一個是叫大數(shù)據(jù)分析,這和今天的AI應用有一定關聯(lián),另外一個是高性能計算,在這兩個維度上還比較靠前。
這個是在昨天輝總論壇分享的一個場景,分布存儲AS13000,有幾個特征,有一些特征在業(yè)界是數(shù)一數(shù)二的,是我們率先推出來的。
一是同一個硬件用一套軟件架構軟件棧能主機承載四種數(shù)據(jù)服務,包括不同的文件等等,網(wǎng)絡文件、網(wǎng)絡協(xié)議以及像與AS3相仿的協(xié)議,塊、文件、對象與大數(shù)據(jù)的對接等等。
二是選擇Openstack,浪潮也推出了自己業(yè)務的Openstack發(fā)行版,提供了對Openstack多個版本以及最新版本各種插件的支持,這些都開放到社區(qū)里面。
分布式存儲,往往客戶部署很少會看到節(jié)點,有這樣特征類似像啞鈴的有不少的客戶,分布式是50個節(jié)點、100個節(jié)點甚至更大規(guī)模幾百個節(jié)點的,對這些客戶來說他們的應用場景只要超過塊以上,不管是文件還是對象,訪問的企業(yè)的復雜度。
我們不斷跟客戶學習新的應用場景,所以我們提出來“場景化定制”,換句話說就是“研發(fā)即服務”,讓產(chǎn)品在客戶這樣的應用場景下應用有限的資源配置,觸發(fā)應有的性能也許是可用的空間等等,給客戶創(chuàng)造價值。
有幾個技術點可以分享。
一個是“多源數(shù)據(jù)零拷貝”,這是技術工程師起的名字。我們發(fā)現(xiàn),中國存儲產(chǎn)生數(shù)據(jù)源往往有多種,不是像傳統(tǒng)的看到的往往是單一的個位數(shù),而分布式往往是出幾組甚至更大的,不同的業(yè)務往往會支持已有的協(xié)議或者寫進來或者讀出來。
分布式存儲分析處理再加工,有不同新的協(xié)議要進來。一組數(shù)據(jù)同一個數(shù)據(jù)做一個轉(zhuǎn)換做一個臨時的空間文本占用,還有一種方式給它戴不同的帽子,不管是用什么樣的網(wǎng)絡文件協(xié)議寫下的文件,都可以用別的網(wǎng)絡文件協(xié)議,你能不能用對象模式訪問、能不能用網(wǎng)頁?同樣的數(shù)據(jù)訪問的同時不需要做任何數(shù)據(jù)的轉(zhuǎn)換,這是幾個真實的生產(chǎn)應用里面常發(fā)生的問題,有不少客戶對這樣的特性非常的懷疑。
二是向大家分享性能優(yōu)化。性能優(yōu)化是永久話題。我們2016年推出這個產(chǎn)品以后也在不斷演進,今天說到的SDS,網(wǎng)絡,網(wǎng)絡協(xié)議也在變化,看到這樣的數(shù)據(jù)報告,一個遠程訪問的延遲和當?shù)卦L問延遲只相差幾十微秒,基本上跟當?shù)匾粯涌欤@樣的新的硬件跟底層協(xié)議的變化,怎么去擁抱它,讓它能為客戶的生產(chǎn)系統(tǒng)充分被利用上來。
我們講的性能優(yōu)化是在原數(shù)據(jù)層面,比較動態(tài),要根據(jù)訪問模式定義一些規(guī)則,對數(shù)據(jù)一定要做分區(qū)。產(chǎn)生的結構是什么好處呢,使得一個分布式存儲系統(tǒng)最少從幾百到幾十個節(jié)點都能工作,跨度確實很大。
這個是文件聚合,十年前、五年前的一些學術方面的論文時不時都會談及,包括現(xiàn)在看到訪問文件協(xié)議常用的SND也好,幾乎每一個五種場景都是使用的網(wǎng)絡協(xié)議,效率極低。我們曾經(jīng)做過一個測試,用當?shù)氐奈募到y(tǒng)模擬出來,同樣去做一樣的擴展對比,獲取的每秒超速和使用網(wǎng)絡系統(tǒng)真的是一個NaasAS,存儲能力一樣,差了將近6倍,這是今年上半年測試結果。多方面的原因,有些是屬于網(wǎng)絡文件協(xié)議者本身的設計,有些NaaSAS性能優(yōu)化是一個持續(xù)的過程。
舉例,比如說針對哪些類型小文件要識別,以什么樣的方式進行組合,存儲節(jié)點達到一些效果,我們以訪問次數(shù)進行了一個統(tǒng)計。小文件其實就是把這個痛往后挪一挪,還有一個挑戰(zhàn)就是接觸過SND,我們也了解過任何一個數(shù)據(jù)結構算法都要做垃圾分工,像平時用的電腦進行碎片整理,降低后臺運行對前臺的影響。
三是統(tǒng)一管理。以前我們看到的典型的數(shù)據(jù)中心就是一個機柜,放了幾臺設備都不滿,現(xiàn)在越來越多的用戶不只是一個機柜,而是多個機柜,甚至城市的數(shù)據(jù)中心。如何解決管理設備問題,以前一個管理員只需管理幾臺設備,現(xiàn)在要管理幾十上百臺。十年前我在IT行業(yè)經(jīng)常聽到怎么樣提高管理效率,我當時笑不存在這個問題,因為我們的IT工程師便宜,國外一個IT工程師10萬美金是起薪。今年不便宜了,明年會更貴,光靠他一個人兩只手,24個小時還不夠。
這是怎么樣存儲從應用到一個盤之間,存儲協(xié)議之間,所有的邏輯路徑、物理路徑也好,以及設備各方面的檢測、配備。最近這一年在這個行業(yè)比較熱的就是自有云。有一定的能力,進行排查,指導用戶或者二級工程師排查,真正能把這個承載系統(tǒng)運行能及時有效地匯總起來,不管是交給客戶數(shù)據(jù)中心,還是供應商的數(shù)據(jù)中心,由他們來做后端的數(shù)據(jù)分析,找潛在的問題,及時提供修復問題的建議,以及還有哪些可以優(yōu)化的地方。
Gartner的一個分析師分享了一個成熟的分布層面的系統(tǒng),周期很長,要7年,這可能是觀察了無數(shù)企業(yè)的結果,浪潮已經(jīng)跨過第九個年頭,從2008年、2009年承擔國家項目,當時就是海量浪項目,到2016年底推出了自己重構第三代存儲系統(tǒng)。這個離不開長期積累。我們已經(jīng)授權的發(fā)明專利300個,在國際也是名列前茅的,也離不開大量的技術合作伙伴,我們也積極參與行業(yè)的組織、社區(qū)以及國家、行業(yè)標準建設,比如牽頭海標委(海量存儲標準委員會),高校、研究所和供應商等一起來研討、制定出臺國家相關的標準、技術標準。
從企業(yè)存儲產(chǎn)品、業(yè)績增長、新增的用戶以及七大業(yè)務場景(其實應用場景下面還有大量的二級場景的覆蓋),新增多少的合作伙伴,新增多少節(jié)點數(shù)量、容量等(不一定成正比,因為越來越多的需要更靈活的空間的配置,高密的,也要偏計算型的),七大應用場景讓我們收獲和合作伙伴和客戶合作各行業(yè)成功案例,贏得了用戶的認可。
主持人:剛才聽了孫總的演講,我覺得國產(chǎn)存儲的技術發(fā)展非???,因為個人的關系,我眼見浪潮存儲事業(yè)部一步一步發(fā)展起來,而且有很多核心的技術,另外一點非常好就是提到了研發(fā)即服務的概念,這個概念特別增強了國內(nèi)廠商的核心競爭能力,更加貼近用戶,很多的功能創(chuàng)新都是來自場景,這個是一個擴展加速創(chuàng)新流程的概念。中國加油!
評論
查看更多