浪潮AI服務(wù)器NF5488A5的實(shí)測(cè)數(shù)據(jù)分享，單機(jī)最大推理路數(shù)提升88%

近日，在GTC China元腦生態(tài)技術(shù)論壇上，中科極限元、趨動(dòng)科技、睿沿科技等元腦生態(tài)伙伴分享了多個(gè)場(chǎng)景下浪潮AI服務(wù)器NF5488A5的實(shí)測(cè)數(shù)據(jù)，結(jié)果表明浪潮NF5488A5大幅提升了智能語(yǔ)音、圖像識(shí)別等AI模型的訓(xùn)練和推理性能，促進(jìn)了產(chǎn)業(yè)AI解決方案的開(kāi)發(fā)與應(yīng)用。

NF5488A5是浪潮自研的新一代AI服務(wù)器，在4U空間內(nèi)支持8顆第三代NVLink全互聯(lián)的A100芯片，可為用戶(hù)提供高達(dá)5 PetaFLOPS的AI計(jì)算性能和超高速帶寬，為各類(lèi)AI應(yīng)用場(chǎng)景提供強(qiáng)大的計(jì)算力支撐。NF5488A5曾屢次打破全球權(quán)威AI測(cè)試榜單MLPerf的記錄，基于ImageNet的ResNet50基準(zhǔn)測(cè)試顯示，NF5488A5完成訓(xùn)練僅需33.37分鐘，單機(jī)性能高居第一；推理性能達(dá)到每秒54.9萬(wàn)張圖片，3倍于去年推理榜單的服務(wù)器最好性能。

在本次GTC元腦生態(tài)技術(shù)論壇上，生態(tài)伙伴展示了與浪潮的合作方案并公布了在NF5488A5上的性能實(shí)測(cè)數(shù)據(jù)。

中科極限元開(kāi)發(fā)的智能語(yǔ)音交互解決方案在國(guó)內(nèi)處于領(lǐng)先水平，廣泛應(yīng)用于教育、交通、呼叫中心、智能硬件等多個(gè)領(lǐng)域，本次在浪潮NF5488A5進(jìn)行加速。NF5488A5高性能、高帶寬、易部署的特性極大地促進(jìn)了智能語(yǔ)音模型訓(xùn)練及線上推理。測(cè)試數(shù)據(jù)顯示，在相同準(zhǔn)確率下，與原有的系統(tǒng)相比，NF5488A5將模型訓(xùn)練速度提升了50%，單機(jī)最大推理路數(shù)提升88%，推理延遲提升65%。

趨動(dòng)科技與浪潮聯(lián)合打造了業(yè)內(nèi)領(lǐng)先的一體化GPU資源池化解決方案。本次測(cè)試采用TensorFlow框架的Benchmark，測(cè)試小模型推理、大模型訓(xùn)練等多種AI應(yīng)用場(chǎng)景，驗(yàn)證趨動(dòng)科技OrionX AI加速器資源池化方案對(duì)浪潮NF5488A5的兼容性和性能。結(jié)果表明，NF5488A5服務(wù)器性能優(yōu)異，部署資源池化方案后，本機(jī)性能損耗小于1%，對(duì)比以往服務(wù)器的GPU性能，數(shù)據(jù)提升近50%。

睿沿科技推出的高山雨燕工業(yè)視覺(jué)平臺(tái)是為工業(yè)生產(chǎn)場(chǎng)景構(gòu)建的智能多業(yè)務(wù)管理安全生產(chǎn)管理平臺(tái)，可實(shí)現(xiàn)遠(yuǎn)程巡檢、作業(yè)安全監(jiān)管、區(qū)域安防等功能。該平臺(tái)在計(jì)算層使用了浪潮NF5488A5加速訓(xùn)練和推理。實(shí)測(cè)結(jié)果顯示，在圖片視頻分辨率相同的情況下，模型原來(lái)的訓(xùn)練時(shí)間為140分鐘，使用NF5488A5之后，訓(xùn)練時(shí)間可縮短到105分鐘，速度提升25%。單機(jī)最大推理FPS（每秒傳輸幀數(shù)）由20800提高到28000，提升35%。

以上實(shí)測(cè)數(shù)據(jù)顯示，浪潮NF5488A5可廣泛應(yīng)用于圖像視頻、語(yǔ)音識(shí)別、金融分析、智能客服等典型AI應(yīng)用場(chǎng)景，幫助AI用戶(hù)高效完成AI基礎(chǔ)設(shè)施和開(kāi)發(fā)環(huán)境的構(gòu)建，縮短開(kāi)發(fā)周期，顯著提升AI開(kāi)發(fā)和應(yīng)用效率。

浪潮是全球領(lǐng)先的AI計(jì)算領(lǐng)導(dǎo)廠商，其AI服務(wù)器在中國(guó)的市場(chǎng)份額已連續(xù)三年保持在50%以上。面對(duì)產(chǎn)業(yè)AI化的趨勢(shì)，浪潮提出元腦生態(tài)，將聚集左右手伙伴、浪潮AI資源，以更加優(yōu)質(zhì)的產(chǎn)品技術(shù)能力和整體方案實(shí)施能力助力更多用戶(hù)實(shí)現(xiàn)智能化轉(zhuǎn)型和升級(jí)。在元腦生態(tài)中，浪潮將共享AI計(jì)算平臺(tái)、AI資源平臺(tái)和AI算法平臺(tái)。目前元腦生態(tài)吸引了200+左右手伙伴參與，孵化出6大行業(yè)100+解決方案。

責(zé)任編輯：gt