IBM ESS產(chǎn)品滿足長期數(shù)據(jù)保護 實現(xiàn)高效開發(fā)迭代和系統(tǒng)管理

IBM的公益項目，從來不是簡單地捐錢捐物，而是通過自己百年積累的技術(shù)優(yōu)勢服務(wù)社會。記得2008年初到 IBM，發(fā)生了汶川地震，IBM不僅組織員工捐錢捐物，還派出志愿者前往災(zāi)區(qū)協(xié)助救援。在工作中IBM志愿者發(fā)現(xiàn)當時大量物資進川，缺乏有效地IT系統(tǒng)對物資進行管理，于是發(fā)揮技術(shù)優(yōu)勢，迅速幫助當?shù)卣罱ê昧薎T平臺，大大提高了物資運輸和管理的效率。也是在同年，IBM成立了企業(yè)全球志愿者服務(wù)隊，簡稱CSC，和 “捐款捐物”的公益活動有所不同，IBM CSC是一個特別的企業(yè)公益項目：服務(wù)隊成員來自不同的國家，具備不同的文化背景和技能，帶來全球的經(jīng)驗；項目著眼于當?shù)厣鐣l(fā)展大局，在經(jīng)濟、環(huán)境、健康、教育等領(lǐng)域?qū)ふ艺n題，無償提供商業(yè)領(lǐng)域的優(yōu)秀人才和技能。

2019年開始，IBM組織了AI公益啟蒙季，旨在為青少年提供領(lǐng)先系統(tǒng)化的STEM興趣課程。我也有幸參與其中，為云南滄源小同學進行了線上授課，講解了地球科學部分。當時為了能給小同學講的更清晰、更生動，翻閱了很多科學科普讀物，比如：《時間的形狀》、《槍炮、病菌與鋼鐵》等等，慢慢地也開始關(guān)心天文，人類學，量子理論。

另外，值得一提的是，疫情期間，AI啟蒙季提供了Open P-TECH網(wǎng)絡(luò)平臺，提供免費的線上課程，已經(jīng)有幾十萬的中小學生受益于這個項目，更為榮幸的是，目前這個項目的系統(tǒng)維護就是由我所在部門的小伙伴負責的，而這個系統(tǒng)的背后采用了最新的容器云平臺Openshift構(gòu)建，底層存儲使用了支持容器原生存儲的 IBM Spectrum Scale。

IBM Spectrum Scale是針對云計算、大數(shù)據(jù)分析、對象等的高級非結(jié)構(gòu)化數(shù)據(jù)存儲管理解決方案。Spectrum Scale 可為所有這些數(shù)據(jù)提供全局命名空間，并提供統(tǒng)一管理。然后，數(shù)據(jù)可在不同類別的存儲中進行分層，并可在全球范圍內(nèi)進行訪問，確保始終可以在正確的時間在正確的位置提供數(shù)據(jù)。Spectrum Scale 基于IBM General Parallel File System （GPFS） 而設(shè)計，可降低高達90% 的存儲成本，同時還可為云、大數(shù)據(jù)和分析以及高性能計算數(shù)據(jù)提供世界級的可靠性、可擴展性和可用性，從而輕松應(yīng)對數(shù)據(jù)增長。最近IBM發(fā)布的ESS3500產(chǎn)品，正是基于 Spectrum Scale 的硬件一體機產(chǎn)品。

簡單來說，Spectrum Scale的三大特點：一是加速性能，二是簡化多云管理，三是降低成本。這里我們介紹三個對應(yīng)的案例故事。

加速性能

第一個是加速科學計算的故事。前幾天我看到科學家公布了一張銀河系人馬座的黑洞的照片，這張照片實際是5年前由分布在全球的8臺射電望遠鏡拍攝的，那為什么這張照片需要“沖洗”5年之久呢？主要是數(shù)據(jù)量巨大，8臺望遠鏡采集了將近8PB的數(shù)據(jù)，然后由美國和德國大學的HPC服務(wù)器進行計算，這一算就是5年。可見硬件性能對科學計算的作用是相當關(guān)鍵的。

類似科學研究的案例，是復(fù)旦大學的冷凍電鏡項目，它借助IBM ESS產(chǎn)品加速了生命科學研究的進程。冷凍電鏡是結(jié)構(gòu)生物學的分支學科，其應(yīng)用會產(chǎn)生大量的二維圖像數(shù)據(jù)，需要通過高性能的集群設(shè)備對這些數(shù)據(jù)進行分析處理才能夠變成可用的大分子三維結(jié)構(gòu)的數(shù)據(jù)。之所以選擇IBM ESS的解決方案，主要是因為

首先，IBM ESS 聚合帶寬整體的 IO 可以達到上百個 GB， 本身就能滿足冷凍電鏡項目并發(fā)的高吞吐量的讀寫要求。

第二，ESS 接口協(xié)議很豐富，用戶可以在不同的操作系統(tǒng)上、不同的體系上、不同的設(shè)備上掛載一個存儲池，方便管理和運維。

第三， ESS 本身有比較強的橫向擴展的能力。ESS 大容量、靈活擴展和部署的屬性更符合于冷凍電鏡項目的需求。

第四，該項目還有更大量的數(shù)據(jù)長期保存和轉(zhuǎn)儲的需求，ESS可以方便的把一些冷數(shù)據(jù)保存到磁帶上， 滿足長期數(shù)據(jù)保護，同時降低歸檔成本。

簡化多云管理

另一個故事是幫助AI自動駕駛領(lǐng)域的獨角獸企業(yè)，簡化他們的數(shù)據(jù)管理。地平線是一家 AI 領(lǐng)域的獨角獸公司，面向智能駕駛以及 AIoT 領(lǐng)域提供全面開放的賦能服務(wù)，在 AI 芯片和算法方面獨樹一幟。地平線在 AI 模型訓練中所累積的數(shù)據(jù)量超過數(shù)十PB，并且以每年以若干PB 的增量繼續(xù)高速增長，這些數(shù)據(jù)分散在多中心、多云環(huán)境里。起初，地平線使用基于開源 GlusterFS、Ceph、以及 HDFS 所構(gòu)建的數(shù)據(jù)存儲基礎(chǔ)架構(gòu)，面臨著豎井林立，存取性能下降，數(shù)據(jù)調(diào)度困難，管理復(fù)雜、數(shù)據(jù)存放成本高等難題，因此亟需改造和升級，以滿足業(yè)務(wù)發(fā)展的要求。基于 IBM Spectrum Scale，地平線構(gòu)建了高性能海量數(shù)據(jù)分布式存儲架構(gòu)，統(tǒng)一數(shù)據(jù)平臺，消除豎井，更好地利用資源，讓業(yè)務(wù)迭代更加快速。具體而言：

第一，統(tǒng)一數(shù)據(jù)平臺，提升開發(fā)效率。利用 IBM Spectrum Scale 在多云之間形成統(tǒng)一的全局命名空間，將不同數(shù)據(jù)訪問接口的數(shù)據(jù)方便地接入進來統(tǒng)一管理，消除豎井，實現(xiàn)高效開發(fā)迭代和系統(tǒng)管理。

第二，數(shù)據(jù)隨需調(diào)度，快速響應(yīng)需求。Spectrum Scale 讓數(shù)據(jù)得以統(tǒng)一調(diào)度，數(shù)據(jù)可以自動透明地在多云間自由流動，大大節(jié)省了人工成本、降低了誤操作的風險，訪問速度達到毫秒級，加速訓練任務(wù)日程。

第三，運維自動完成，提升數(shù)據(jù)安全。Spectrum Scale 自帶管理功能，提供簡單易用的圖形界面、操作簡便，原有的很多需要人工干預(yù)的操作變?yōu)樽詣油瓿?，在降低管理難度的同時，提升了數(shù)據(jù)安全性。

最后，數(shù)據(jù)自動分層，降低存儲成本。依托 IBM Spectrum Scale 統(tǒng)一管理磁盤和磁帶，實現(xiàn)多樣的擴容方式和數(shù)據(jù)自動分層，把冷數(shù)據(jù)如訪問量不高的大文件自動地歸檔到磁帶系統(tǒng)中，形成低成本的長期存儲池，且磁帶數(shù)據(jù)實時隨機讀取，冷數(shù)據(jù)存儲降低了大約 80% 的成本，同時滿足合規(guī)需求。

降本增效

最后一個故事是為頭部的互聯(lián)網(wǎng)企業(yè)降低成本。百度是國內(nèi)一家著名的互聯(lián)網(wǎng)高科技企業(yè)，提供百度搜索等諸多服務(wù)。作為全球領(lǐng)先的AI公司，百度擁有大量的數(shù)據(jù)，有的來自百度智能云的對象數(shù)據(jù)，有的來自搜索，還有的來自自動駕駛等。這些數(shù)據(jù)大都是非結(jié)構(gòu)化數(shù)據(jù)，有些數(shù)據(jù)已經(jīng)被加工使用過，數(shù)據(jù)的價值密度不高，如何安全存儲這些低價值的海量數(shù)據(jù)，降低數(shù)據(jù)存儲的成本，是百度面臨的一個挑戰(zhàn)。百度智能云冷數(shù)據(jù)存儲項目為百度提供分布式磁帶數(shù)據(jù)湖、YB級存儲容量、數(shù)據(jù)分層存儲的能力。項目無縫對接百度現(xiàn)有框架，統(tǒng)一上層應(yīng)用數(shù)據(jù)訪問接口，對內(nèi)滿足百度搜索、無人車等部門的需求，對外滿足客戶在大數(shù)據(jù)、物聯(lián)網(wǎng)、智能家居、石油勘探等場景下的需求。該項目的價值主要包括：

第一，它提供了超大的EB級數(shù)據(jù)規(guī)模，并且規(guī)模還在以每年10萬盤磁帶的速度增長

第二，是提供了便捷高速安全的海量數(shù)據(jù)湖，通過IBM的軟件定義磁帶技術(shù)，可以統(tǒng)一的為前端不同業(yè)務(wù)提供各種存儲訪問接口，簡化了使用；并結(jié)合高性能閃存、磁盤和磁帶實現(xiàn)透明的數(shù)據(jù)分層存儲，提高了數(shù)據(jù)訪問性能；結(jié)合磁帶天然的空氣隔離技術(shù)，有效的隔離了黑客入侵。

第三，為企業(yè)節(jié)能減排，整個數(shù)據(jù)中心功耗減低90%，存儲成本降低84%。

此外，三個故事中除了為企業(yè)解決了各種挑戰(zhàn)，都無一例外的都為他們降低了碳排放，推動了商業(yè)和社會的雙重進步，踐行了“科技向善”的初心?！翱萍枷蛏啤币恢笔荌BM遵循的價值觀之一。疫情爆發(fā)以來，IBM開放資源、攜手同盟并部署新興技術(shù)，致力于遏制新冠病毒的傳播。這包括免費開放 8萬項專利、貢獻 IBM Summit全球最強超級計算機、通過“代碼集結(jié)號”尋找最優(yōu)解決方案、發(fā)起“全球網(wǎng)格大同盟”倡議等9項實質(zhì)行動。而IBM Summit背后存儲，正是基于ESS和Spectrum Scale的強大支持。

科技是一種能力，向善是一種選擇。IBM 愿用有溫度的科技力成為你最堅實的后盾，走過艱難的今天，迎來美好的明天！