杉巖對象存儲助力廣汽豐田存儲新變革

廣汽豐田汽車有限公司成立于2004年，是由廣州汽車集團股份有限公司和豐田汽車公司共同投資建設和經營的企業(yè)，公司位于中國極具活力的珠三角的幾何中心--廣州南沙區(qū)，占地面積282萬平方米，當前員工數超過5500人，為國內最知名的汽車生產廠商之一。

隨著業(yè)務的快速發(fā)展、公司人員規(guī)模不斷擴大，企業(yè)內部產生的非結構化數據量也在高速增長，文檔管理系統(tǒng)承擔著越來越大的壓力。目前，廣汽豐田文檔管理系統(tǒng)采用的是輕量級的容器架構，可實現快速發(fā)布和故障切換，為文檔管理系統(tǒng)的快速迭代和穩(wěn)定運行提供了保障。

然而當前文檔管理系統(tǒng)擁有千萬級的文件量且保持高速增長，底層所使用的集中式NAS存儲與當前應用架構的矛盾日益突出：隨著數據量的增長及業(yè)務的實時響應需求，NAS性能無法滿足文檔管理系統(tǒng)的要求；新增NAS卷的規(guī)劃及頻繁的變更操作，使IT運維變得更加復雜，增加IT故障風險；面對海量非結構化數據，NAS磁盤數量的擴容受限，而采購全新NAS設備成本高昂。

因此，廣汽豐田IT部門負責人決定選納更適合當前業(yè)務需求的方案。考慮到面對萬億級文件的存儲，亞馬遜、阿里云等公有云廠商普遍采用對象存儲技術方案， 從2006年亞馬遜發(fā)布S3對象存儲至今已經在互聯網行業(yè)應用超過十年，是經過實踐所證明的海量非結構化數據存儲的最佳方案。而到底哪種對象存儲方案才更適合廣汽豐田的文檔管理系統(tǒng)，大致需要滿足如下需求：

1. 去中心化：無中心節(jié)點，排除單點故障；

2. 分布式架構：易擴展，高可靠；

3. 海量數據性能：在海量文件場景下，文件數量增加，訪問性能保持穩(wěn)定；

4. x86服務器：控制成本，易更新，不被硬件廠商綁定；

5. 便捷運維：軟硬件統(tǒng)一監(jiān)控，智能告警。

經過多重考察、選型，最終廣汽豐田選擇部署杉巖海量對象存儲（SandStone MOS）解決方案。杉巖海量對象存儲采用去中心化、分布式架構，以軟件形式部署在通用x86服務器上，支持百億級文件及EB級容量存儲。同時，具備高效的數據檢索、智能化標簽和數據分析能力，可以幫助廣汽豐田輕松應對大數據和云時代的存儲挑戰(zhàn)。究其技術優(yōu)勢，主要有如下幾點：

輕松擴展，高效訪問

杉巖海量對象存儲構建在通用的x86服務器上，采用去中心化全分布式架構，單集群可擴展至EB級規(guī)模。同時，杉巖對象存儲產品利用先進的分布式哈希算法技術，通過哈希計算代替?zhèn)鹘y(tǒng)文件系統(tǒng)的樹形索引，使得在單一命名空間下，可管理的文件數量達到百億級別，輕松突破傳統(tǒng)NAS數千萬文件的瓶頸；另外，利用獨有的緩存技術對數據訪問進行加速，保證在海量數據下依舊保持穩(wěn)定高效的訪問性能。

通用架構，更新無憂

杉巖海量對象存儲采用"x86通用硬件+軟件"的分布式解耦架構，單個硬件更新維護不會影響到整個系統(tǒng)的正常運行。杉巖數據首創(chuàng)的分布式存儲數據盤漫游功能，可以幫助用戶漸進式的進行硬件更新，在業(yè)務持續(xù)運行下，實現硬件的更新換代。

統(tǒng)一管理，輕松運維

杉巖海量對象存儲管理系統(tǒng)，統(tǒng)一監(jiān)控、管理存儲集群及所有服務器，故障自愈、自動巡檢、自動換盤等功能可盡量減少運維人員的工作。單一命名空間下百億級文件的支持，一個存儲空間即可滿足應用的全部需求，無需像傳統(tǒng)NAS進行反復的擴容及變更，減小運維壓力。

智能標簽，快速檢索

杉巖海量對象存儲支持文件標簽，并且具備標簽檢索功能，單個文件支持數百個標簽，用戶可將文件相關的元數據作為文件標簽與數據一同存儲與存儲系統(tǒng)中，利用存儲系統(tǒng)中的搜索引擎，實現文件的多維度搜索功能。另外，存儲系統(tǒng)中搜索引擎同樣采用分布式架構，保證在海量數據下的檢索性能以及搜索引擎的高可靠性。

完美契合，無限前景

彈性、去中心化的杉巖海量對象存儲，與文檔管理系統(tǒng)的輕量級架構完美契合。廣汽豐田文檔管理系統(tǒng)經過短期的接口改造，成功對接S3接口，并將全部數據遷移至杉巖海量對象存儲平臺上。杉巖海量對象存儲S3接口的無狀態(tài)連接方式，與Docker環(huán)境中運行的無狀態(tài)服務，共同搭建了彈性、無瓶頸、易擴展的系統(tǒng)架構。

過去，廣汽豐田文檔管理系統(tǒng)采用某知名廠商的中端NAS存儲，在文件數達到3000多萬的情況下，平均業(yè)務訪問時延在500-800ms，且隨著文件數量的上升，訪問時延也有上升的趨勢。2017年至今，杉巖海量對象存儲已經為廣汽豐田數千名員工穩(wěn)定服務近一年時間，每天有近150萬個請求發(fā)往存儲，文件數量由原來的3000多萬增長至8000多萬，業(yè)務訪問時延始終保持在100ms以內，并且文件數量的增多不會影響訪問性能。

廣汽豐田文檔系統(tǒng)架構示意圖

廣汽豐田的IT部門使用杉巖海量對象存儲后，不再需要擔心業(yè)務及數據的增長給存儲帶來的壓力，統(tǒng)一命名空間下百億級文件數量的支持，大大減少了存儲的變更操作和IT運維故障。同時，智能監(jiān)控告警及自動巡檢也為運維人員節(jié)省了大量的時間和精力。相信隨著大數據積累工作的完成和人工智能技術的引入，杉巖海量對象存儲將發(fā)揮更大價值，為廣汽豐田的業(yè)務發(fā)展提供更大的助力。