下一站AI：實時服務(wù)

隨著實時服務(wù)浪潮逐漸滲透進我們的日常生活，計算基礎(chǔ)設(shè)施也開始迎來重大變化。從使用自然語言提供即時型個人智能助手，到通過店面分析生成與客戶購物行為相關(guān)的結(jié)論信息，各類實時服務(wù)的出現(xiàn)給服務(wù)供應商帶來了前所未有的巨大市場空間。

為了從這些服務(wù)中獲取價值，一大基本前提就是保證數(shù)據(jù)與洞見結(jié)論的即時可訪問能力;很明顯，這種能力在很大程度上需要AI技術(shù)作為基礎(chǔ)。也正因為如此，Amazon Web Services（AWS）、微軟、阿里巴巴以及SK電信等云服務(wù)巨頭都在開發(fā)自己的計算基礎(chǔ)設(shè)施，用于提供這類服務(wù)方案。

數(shù)據(jù)中心運營商現(xiàn)在也需要優(yōu)化計算以滿足實時響應要求。為此，IT架構(gòu)不僅要解決持續(xù)快速變化的工作負載與算法需求（主要由AI驅(qū)動），同時必須進一步提升計算資源與存儲/網(wǎng)絡(luò)資源的集成水平。

這就給服務(wù)供應商帶來了新的難題：要求他們提供一套能夠?qū)崿F(xiàn)差異化優(yōu)勢與卓越性能，同樣具備高吞吐量、低延遲與靈活軟件/硬件堆棧的基礎(chǔ)設(shè)施平臺。這套平臺還必須能夠處理從遞歸神經(jīng)網(wǎng)絡(luò)、長期/短期內(nèi)存網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)以及基于Apache Spark集群計算框架的查詢加速等實際任務(wù)。

為了建立起這樣的差異化優(yōu)勢，服務(wù)供應商開始自主構(gòu)建與眾不同的硬件與軟件堆棧。例如，AWS Advanced Query Accelerator就是一套包含定制化軟件與可編程硬件堆棧的數(shù)據(jù)分析平臺。SK電信最近也立足自家定制化軟件與可編程硬件堆棧，開發(fā)出支持AI技術(shù)的語音與視頻分析方案。

下一輪計算還需要具備自適應性，將軟件與硬件合并在一處，且硬件與軟件都要擁有可編程性以滿足業(yè)務(wù)用例對于實時性能、最高吞吐量以及低延遲/低功耗的要求。隨著實時解決方案的增長與人工智能技術(shù)的發(fā)展，工作負載的日益提升以及非結(jié)構(gòu)化數(shù)據(jù)的爆炸式增長，數(shù)據(jù)中心的發(fā)展方向正朝著加速計算、存儲與網(wǎng)絡(luò)適應性前進。

實時預測

學術(shù)研究人員目前正利用高性能計算（HPC）解決真實世界中存在的各類高復雜度問題。為了加快洞察處理過程與大規(guī)模HPC部署工作，原始計算能力、能源效率與適應性已經(jīng)成為決定項目最終命運的先決條件。

為了回答世界上最具挑戰(zhàn)性的科學問題之一，歐洲粒子物理實驗室（CERN）約2萬名科學家組成的聯(lián)盟正試圖重現(xiàn)宇宙的起源。為此，研究人員必須不斷突破技術(shù)極限。

大型強子對撞機是世界上最大的粒子加速器。總長27公里的環(huán)形隧道由超導磁體組成，可將粒子加速到前所未有的能量水平。每個質(zhì)子每秒繞隧道運行11000圈，速度接近于光速。環(huán)形隧道上還部署有四個定位點（質(zhì)子每25納秒經(jīng)過一次），質(zhì)子將在這里發(fā)生碰撞。對撞的條件將由粒子探測器捕捉并記錄。

整個觸發(fā)系統(tǒng)分兩層實現(xiàn)——第一層觸發(fā)要求AI技術(shù)在約3微秒周期內(nèi)完成事件處理，這對其推理延遲提出了極高的要求。至于第二層，自然是大量的數(shù)據(jù)傳輸帶寬。

CPU與GPU根本無法滿足這樣的要求。因此，研究人員在地下100米深、且不受輻射區(qū)影響的位置構(gòu)建起一套用于運行分析算法的FPGA網(wǎng)絡(luò)。該算法旨在即時過濾生成的數(shù)據(jù)并識別新型亞粒子結(jié)構(gòu)，借此證明暗物質(zhì)的存在乃至其他重要物理現(xiàn)象。這些FPGA將同時運行經(jīng)典與卷積神經(jīng)網(wǎng)絡(luò)，負責接收并校準傳感器數(shù)據(jù)、執(zhí)行跟蹤與聚類、運行機器學習對象識別并觸發(fā)功能——所有操作都需要在事件數(shù)據(jù)的格式化與交付之前完成。結(jié)果就是，這套網(wǎng)絡(luò)帶來了極低的推理延遲（約100納秒）。

為實時分析提供存儲支持

高速存儲方案的采用，以及現(xiàn)實用例對于數(shù)據(jù)密集型應用程序的更高性能要求，已經(jīng)令現(xiàn)有CPU、內(nèi)存與存儲淪為瓶頸。為此，研究人員的探索重點由計算能力轉(zhuǎn)向通過計算存儲完成數(shù)據(jù)處理。這樣的轉(zhuǎn)變，也給應用程序性能與基礎(chǔ)設(shè)施整體效率帶來了深遠影響。

最可行的解決方案，自然是盡可能縮小計算與數(shù)據(jù)間的距離。將數(shù)據(jù)分析與存儲集成在一起，能夠極大減少系統(tǒng)層面的數(shù)據(jù)瓶頸、提高并行度，同時降低總體功耗水平。這種方法也得到IBM及美光科技等廠商的支持，他們據(jù)此開發(fā)出加速存儲與計算存儲產(chǎn)品，保證一切處理方案緊緊圍繞在數(shù)據(jù)周邊。三星電子還推出SmartSSD，將閃存作為主干建立高性能加速計算體系，借此克服CPU與內(nèi)存帶來的限制。通過將智能元素推送至數(shù)據(jù)所在的位置，三星SmartSSD成功提高了速度與效率，同時降低了運營成本。

復雜網(wǎng)絡(luò)

隨著虛擬化計算與容器化工作負載的出現(xiàn)，網(wǎng)絡(luò)也變得越來越復雜。在將這些環(huán)境擴展到單一服務(wù)器之外時，我們必須與其匹配復雜的覆蓋網(wǎng)絡(luò)。覆蓋網(wǎng)絡(luò)的本質(zhì)，屬于通過分組封裝概念動態(tài)創(chuàng)建并維護的虛擬化系統(tǒng)。對這種封裝進行監(jiān)管，必然會增強操作系統(tǒng)或虛擬化內(nèi)核的處理負擔。在與傳統(tǒng)網(wǎng)絡(luò)任務(wù)配合使用時，這類方案會直接消耗掉近30%的服務(wù)器原始CPU周期。

目前比較常見的覆蓋網(wǎng)絡(luò)管理方法當屬vSwitch（OvS）協(xié)議?；贔PGA的SmartNIC（網(wǎng)卡）能夠把這近30%的計算負擔從主機CPU轉(zhuǎn)移到自身之上。簡而言之，三臺配備OvS協(xié)議SmartNIC的服務(wù)器，足以提供等同于四臺配備標準網(wǎng)卡的服務(wù)器的計算能力。

基于FPGA的SmartNIC還能顯著降低服務(wù)器CPU在執(zhí)行安全與加密任務(wù)時面臨的計算負擔。目前的安全保障方案通常采取深度數(shù)據(jù)包檢查的形式;一旦發(fā)現(xiàn)數(shù)據(jù)包中存在威脅，則將該數(shù)據(jù)包丟棄。這種方法能夠增強甚至徹底取代企業(yè)在服務(wù)器上運行的傳統(tǒng)防火墻軟件。另外，SmartNIC也可以輕松承擔起各類加密與解密任務(wù)。

新的世界，新的秩序

在實時服務(wù)新時代之下，考慮到成本、功耗以及純CPU的擴展能力等各類限制性條件，單純使用CPU或者多核心CPU來滿足業(yè)務(wù)需求早已不具備可行性。對于大多數(shù)復合型工作負載而言，單純投入更多服務(wù)器CPU已經(jīng)永遠無法帶來必要的性能表現(xiàn)。

隨著摩爾定律的逐步終結(jié)，下一代CPU恐怕也無法解決這些實際問題。因此，自適應計算加速器將成為一種可行的解決方案，有望在滿足廣泛計算需求的同時，極大提高擴展能力以幫助企業(yè)控制運營成本。