智能算力規(guī)模超通用算力，大模型對(duì)智能算力提出高要求

電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）算力是設(shè)備通過處理數(shù)據(jù)，實(shí)現(xiàn)特定結(jié)果輸出的計(jì)算能力，常用FLOPS作為計(jì)量單位。FLOPS是Floating-point Operations Per Second的縮寫，即每秒所能夠進(jìn)行的浮點(diǎn)運(yùn)算數(shù)目（每秒浮點(diǎn)運(yùn)算量）。

算力可以分為通用算力、智能算力和超算算力。早前通用算力占整體算力的比重達(dá)到90%以上，近些年隨著人工智能技術(shù)的發(fā)展，智能算力規(guī)模迅速增長。從需求層面看，2022年，中國智能算力規(guī)模為268百億億次/秒(EFLOPS)，已經(jīng)超過通用算力規(guī)模。

大模型對(duì)智能算力提出更高要求

通用算力、智能算力和超算算力三者的區(qū)別在于，通用算力，由基于CPU芯片的服務(wù)器提供算力，主要用于基礎(chǔ)通用計(jì)算。日常提到的云計(jì)算、邊緣計(jì)算等都屬于基礎(chǔ)算力，它為移動(dòng)計(jì)算、物聯(lián)網(wǎng)等提供計(jì)算支持。

智能算力，由基于GPU、FPGA、ASIC等AI芯片的加速計(jì)算平臺(tái)提供的算力，主要用于人工智能的訓(xùn)練和推理計(jì)算，比如語音、圖像和視頻的處理。在技術(shù)架構(gòu)上，人工智能的核心計(jì)算能力由訓(xùn)練、推理等專用計(jì)算芯片提供，注重單精度、半精度等多樣化計(jì)算能力。

超算算力，由超級(jí)計(jì)算機(jī)等高性能計(jì)算集群提供算力，主要用于尖端科學(xué)領(lǐng)域的計(jì)算，比如行星模擬、藥物分子設(shè)計(jì)、基因分析等。在技術(shù)架構(gòu)上，超算的核心計(jì)算能力由高性能CPU或協(xié)處理器提供，注重雙精度通用計(jì)算能力，追求精確的數(shù)值計(jì)算。

2023年以來大模型迅猛發(fā)展，更是讓智算中心成為發(fā)展的重點(diǎn)。當(dāng)然，相比于之前，大模型對(duì)智算中心也提出更高要求。首先是隨著大模型規(guī)模的不斷擴(kuò)大，對(duì)計(jì)算資源的需求不斷增加，智算中心需要提供更強(qiáng)大的計(jì)算能力來支持大模型的訓(xùn)練和推理任務(wù)。

其次是大模型需要大量的存儲(chǔ)空間來存儲(chǔ)參數(shù)、權(quán)重和中間結(jié)果，智算中心需要提供高效的存儲(chǔ)系統(tǒng)。第三是大模型的訓(xùn)練和推理過程中會(huì)產(chǎn)生大量的數(shù)據(jù)，需要進(jìn)行頻繁的數(shù)據(jù)傳輸和通信，智算中心需要具備高速的網(wǎng)絡(luò)連接和大規(guī)模的數(shù)據(jù)傳輸能力。

第四則是大模型的訓(xùn)練和推理過程需要大量的計(jì)算資源，導(dǎo)致能源消耗的增加，智算中心需要采取節(jié)能措施，如使用高效的硬件設(shè)備和優(yōu)化算法，以降低能源消耗。另外還有，大模型的訓(xùn)練和推理過程需要進(jìn)行復(fù)雜的模型管理和調(diào)度，包括模型版本控制、并行訓(xùn)練和推理等，智算中心需要提供相應(yīng)的管理和調(diào)度工具來支持這些任務(wù)。

各地和企業(yè)建設(shè)智算中心支持大模型

對(duì)于各地方和企業(yè)來說，建設(shè)能夠支持大模型的智算中心已經(jīng)成為當(dāng)下的重點(diǎn)。近日，上海電信聯(lián)合徐匯區(qū)政府共同舉辦“算力惠模都 萬兆連速城”人工智能公共算力服務(wù)產(chǎn)品發(fā)布會(huì)，消息稱，2024年上半年，中國電信將在上海規(guī)劃建設(shè)到達(dá)15000卡，總算力超4500P。其中，單池新建國產(chǎn)算力達(dá)萬卡，是國內(nèi)首個(gè)超大規(guī)模國產(chǎn)算力液冷集群。

據(jù)介紹，該集群采用新一代國產(chǎn)AI算力，實(shí)現(xiàn)了全棧自主創(chuàng)新和技術(shù)突破，通過高速RDMA（遠(yuǎn)程直接數(shù)據(jù)存?。┻B接各物理機(jī)節(jié)點(diǎn)，提供低延時(shí)、高吞吐量、無損通信網(wǎng)絡(luò)和強(qiáng)大的并行計(jì)算能力，是目前規(guī)模最大的全國產(chǎn)液冷機(jī)房，多項(xiàng)技術(shù)指標(biāo)領(lǐng)跑全國。

該集群最高可支持萬億參數(shù)大模型，便于各科研院校、大模型訓(xùn)練公司等機(jī)構(gòu)和企業(yè)實(shí)現(xiàn)物理資源獨(dú)享，無虛擬化損耗，滿足AI計(jì)算、深度學(xué)習(xí)、圖形渲染等復(fù)雜訓(xùn)練任務(wù)對(duì)算力的要求。

早前廣州海珠區(qū)和中國電信廣州分公司也攜手揭牌了粵港澳大灣區(qū)首個(gè)服務(wù)大模型的智算中心。該智算中心搭載華為最新一代高端算力芯片昇騰910B，昇騰910B在大模型訓(xùn)練場(chǎng)景性能和A100持平，可提供全流程工具輔助大模型遷移。

中國電信廣州分公司云技術(shù)總監(jiān)時(shí)瑞表示，目前各種個(gè)性化推薦算法都需要調(diào)用智算，包括人臉識(shí)別、汽車自動(dòng)駕駛等各種場(chǎng)景。他介紹，中心目前建成算力100P，計(jì)劃兩年內(nèi)擴(kuò)展到300P。海珠區(qū)相關(guān)負(fù)責(zé)人表示，該智算中心定位服務(wù)大模型，主要服務(wù)于廣州市人工智能與數(shù)字經(jīng)濟(jì)試驗(yàn)區(qū)至粵港澳大灣區(qū)大模型研發(fā)運(yùn)用。

寫在最后

隨著人工智能技術(shù)發(fā)展，智能算力的規(guī)模已經(jīng)超過通用算力。近年來，大模型迅猛發(fā)展，使得智能算力市場(chǎng)需求會(huì)越來越大，同時(shí)大模型也給智能算力提出更高要求。為了抓住大模型發(fā)展帶來的產(chǎn)業(yè)機(jī)會(huì)，各地及企業(yè)都在積極建設(shè)智算中心來支持大模型訓(xùn)練部署。