0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

ARM 服務器如何引領“數(shù)智時代”發(fā)展,打通“智變質變”正循環(huán)

GPU視覺識別 ? 來源: GPU視覺識別 ? 作者: GPU視覺識別 ? 2023-02-02 16:53 ? 次閱讀

并行計算 | 多樣性計算 | ARM架構

深度學習 | 高性能計算| ARM服務器

如今隨著算力、高性能計算的快速發(fā)展,數(shù)字經濟已經成為全球經濟增長的主引擎。數(shù)字經濟的快速發(fā)展,使得深度學習、數(shù)據分析、數(shù)據挖掘等技術迅猛發(fā)展起來。伴隨國家政策東數(shù)西算的出臺,傳統(tǒng)的風冷散熱方式已經不足以滿足散熱需要,這就需要新興的液冷散熱技術以此滿足節(jié)能減排、靜音高效的需求。

作為國內品牌服務器廠商,藍海大腦液冷GPU服務器是基于ARM 架構的基礎軟硬件設施、行業(yè)應用及服務,涵蓋從底層硬件、基礎軟件到上層行業(yè)應用的全產業(yè)鏈條。硬件方面,圍繞ARM處理器,涵蓋包括智能網卡芯片、底板管理控制器(BMC)芯片、固態(tài)硬盤(SSD)、磁盤陣列卡(RAID卡)、主板等部件以及個人計算機、服務器、存儲等整機產品?;A軟件方面,涵蓋操作系統(tǒng)、虛擬化軟件、數(shù)據庫、中間件、存儲軟件、大數(shù)據平臺、數(shù)據保護和云服務等基礎軟件及平臺軟件。行業(yè)應用方面,藍海大腦產業(yè)生態(tài)覆蓋政府、金融、電信、能源、大企業(yè)等各大行業(yè)應用,提供全面、完整、一體化的信息化解決方案。

隨著通用算力的普及,各行各業(yè)的數(shù)字化得到快速發(fā)展的同屬又產生更多的數(shù)據,這就需要更多的算力。預計到2030年,全球通用計算算力相比2020年將增長10倍,AI算力將增長500倍。

計算從通用計算進入通用計算+AI計算的多樣性計算時代。通用計算構建了數(shù)字經濟發(fā)展的基礎,AI計算將成為數(shù)字經濟發(fā)展的加速器。從數(shù)字化到智能化,人工智能作為新的GPT,將使數(shù)字經濟邁向新高度。

為此華為聯(lián)合合作伙伴發(fā)出《邁向智能世界計算白皮書》,以下將對該白皮書進行解讀,一起了解算力發(fā)展六大趨勢。

注:由于篇幅有限需要更多詳細資料,請在公眾號末尾留下您的郵箱,小編會將PDF文件發(fā)您郵箱,共同進步。

wny4HZFs_zUg2.png?auth_key=1675612799-0-0-9b32be64f661502c654bf93f80f60cba

ARM 成為多樣性計算的重要選擇

一、產業(yè)趨勢

1、應用的多樣化驅動算力多樣性發(fā)展

1)隨著自動駕駛、云游戲VR/AR等應用的興起,以及物聯(lián)網、移動應用、短視頻、個人娛樂、人工智能的爆炸式增長,應用越來越多樣化,用戶對應用體驗的追求不斷提高。數(shù)據中心側傳統(tǒng)單一架構難以滿足要求。

萬物互聯(lián)的智能時代非結構化數(shù)據占比越來越大。相對應原來可以用數(shù)據庫二維表結構來實現(xiàn)的結構化數(shù)據,海量、多種多樣非結構化數(shù)據,如文本、圖片、語音、視頻等數(shù)據的加工、處理、傳輸,自然需要多樣性的計算來匹配。

舉例來說,CPU處理大數(shù)據、Web等場景是非常匹配的,但對于圖形、圖像的處理,需要GPU來匹配;而日常生活中的圖形 /圖像識別、智能搜索推薦等,需要基于AI計算的NPU處理。因此業(yè)務應用場景的多樣性、數(shù)據的多樣化,使得計算進入多樣性計算的新時代。

2)未來超過70%的數(shù)據和應用將在邊緣產生和處理。邊緣和移動端設備受場景約束,處理能力和性能的提升受到限制,需要與云協(xié)同。隨著5G的規(guī)模部署,網絡傳輸時延、帶寬、連接密度均得到數(shù)量級的提升,給端-邊-云協(xié)同提供了基礎保障。目前云、邊、端的計算架構、開發(fā)模式存在較大差異,應用須多次開發(fā)和部署。

2、多樣性計算需求,加速算力格局轉換,ARM算力從嵌入式場景快速延深至服務器場景

ARM算力是從最初的端側起步,在智能手機、平板、智能電視等領域占據絕對領先的份額,但隨著云、邊、端協(xié)同的驅動、多樣性計算的發(fā)展,已經開始進入到算力更高的服務器領域,同時也表現(xiàn)出顯著的優(yōu)勢:

1)在分布式數(shù)據庫、大數(shù)據、Web前端等高并發(fā)應用場景中,單芯片核數(shù)更多的ARM架構處理器相比傳統(tǒng)處理器擁有更好的并發(fā)處理效率。

2)絕大多數(shù)移動終端采用ARM架構處理器,端云同構為開發(fā)人員在整個生態(tài)系統(tǒng)的編寫與優(yōu)化上提供便利,而且能夠降低異構環(huán)境開發(fā)所造成的性能損失和潛在漏洞風險。隨著云化進程的推進,大量基于ARM架構的終端業(yè)務與數(shù)據中心的云端業(yè)務維持同構,可以實現(xiàn)應用開發(fā)、部署和運行的無縫協(xié)同,大幅度降低開發(fā)者開發(fā)難度。

3)ARM生態(tài)優(yōu)勢不斷推動技術進步,近年來不斷涌現(xiàn)出創(chuàng)新的服務器產品和解決方案,如藍海大腦液冷服務器就是基于ARM架構,華為基于ARM架構鯤鵬處理器打造了TaiShan系列服務器等。在高性能計算領域,以ARM、RISC-V 為代表的多樣性計算平臺也逐漸發(fā)揮重要作用,例如歐盟EPI項目致力于打造本土基于ARM架構核心處理器和RISC-V架構加速器芯片的百億億級超級計算機;日本“富岳”超算系統(tǒng)采用自主開發(fā)的ARM架構處理器,成為全球首臺基于ARM芯片的TOP500冠軍超級計算機等。

4)ARM架構授權模式讓合作伙伴既自主發(fā)展又共享生態(tài)平臺,加速產業(yè)鏈多樣化。ARM的商業(yè)模式不以出售芯片為主,而是架構授權。 合作伙伴可以根據自身需求,靈活選擇不同的授權模式:

架構授權模式,基于ARM 架構,可以自主擴充指令集并升級產品

CPU核授權模式(軟核和硬核),基于ARM CPU IP可實現(xiàn)設計生產,升級則需完成新CPU 核授權的獲取

5)2000年x86占據市場第一份額,總算力輸出達到70%。到2020年,算力架構發(fā)生逆轉,世界上最大算力架構變成了ARM平臺,基于ARM指令的處理器總算力輸出占比超過 80%。

3、中國市場,服務器側ARM生態(tài)已逐步成熟,并全面應用于國計民生行業(yè)

全球范圍內,以ARM為核心架構的CPU已經開始顯現(xiàn)出增長趨勢。在中國,眾多芯片廠商和云巨頭也紛紛布局基于ARM架構的系列產品,鯤鵬、飛騰已耕耘多年,ARM服務器市場份額持續(xù)增加。

以鯤鵬為代表的ARM服務器,已經廣泛應用于包括政府、金融、電信、電力、交通、制造、教育、醫(yī)療等行業(yè)核心場景;各行業(yè)生態(tài)已經建立,超過12000個行業(yè)應用完成適配認證,產業(yè)生態(tài)瓶頸已經消除。

wWDdk4ps_sfCQ.png?auth_key=1675612799-0-0-5f858bc31f2d07548420117a5c6fa9a4

二、行動建議

1、基于業(yè)務需求,識別適合ARM架構的業(yè)務場景,主動規(guī)劃部署ARM架構服務器

數(shù)字化轉型、人工智能和5G在垂直行業(yè)的廣泛應用帶來了海量數(shù)據處理、高能效邊緣計算等問題,尤其在電信、金融、政府、能源等重點行業(yè),ARM架構能夠更好的滿足數(shù)字化應用對IT基礎設施算力的嚴苛要求,在升級發(fā)展中發(fā)揮關鍵作用。

以電信行業(yè)為例,5G時代數(shù)據量爆發(fā)式增長、電信云面臨從架構到底層硬件基礎設施的全面升級,在容器化部署、分布式存儲和邊緣計算等關鍵場景都非常適合引入ARM架構,充分利用其多核高并發(fā)、大內存和高內存帶寬等架構優(yōu)勢。

1)IT云方面

IT支撐系統(tǒng)業(yè)務邏輯更趨復雜,實時數(shù)據處理、高并發(fā)數(shù)據處理、大數(shù)據分析等技術需求不斷擴大,容器化部署、分布式處理等場景加速向CRM、BOSS、MSS等核心系統(tǒng)滲透,需要底層IT基礎設施在并行計算、內存容量和帶寬等方面提供更好能力匹配

2)網絡云方面

5G核心網采用原生云化設計思路和微服務架構,將網元功能拆分為細顆粒度的網絡服務,為差異化的業(yè)務場景提供敏捷的系統(tǒng)架構支持,核心網容器化、硬件資源池化成為發(fā)展方向,對底層計算架構的多樣性、負載能力和計算效率提出新要求

3)邊緣節(jié)點方面

為應對大視頻、物聯(lián)網等各類高帶寬和低時延的邊緣計算類業(yè)務,電信云計算能力將向移動邊緣節(jié)點下沉,邊緣數(shù)據中心 IT 基礎設施將面臨計算、存儲等網絡能力的全面提升以實現(xiàn)大流量、高并發(fā)、低時延的本地數(shù)據處理能力。

藍海大腦圍繞重點行業(yè)的計算訴求,主動推進ARM架構服務器的應用,依托ARM處理器多核高并發(fā)、高效可靠的硬件平臺,以及在基礎軟件方面的領先優(yōu)勢和安全特性,在大數(shù)據、分布式存儲、數(shù)據庫和云平臺等計算場景中構建安全可靠的算力底座。

63d73082-adf8-48ba-b0ad-3562ac10006a.png?auth_key=1675612799-0-0-afc496a9a000d2e9eeab84dc15736f7f

電信行業(yè)主要計算場景

2、有節(jié)奏的開展現(xiàn)有應用適配、遷移,并基于ARM架構,持續(xù)開發(fā)原生應用

以電信行業(yè)為例,根據電信行業(yè)的業(yè)界專家評估繪制的《電信行業(yè)ARM架構遷移路徑圖》顯示,ARM架構平均優(yōu)勢高,平均遷移難度較小,其中云核心網、大數(shù)據經營分析系統(tǒng)、大數(shù)據網絡優(yōu)化平臺、CRM前臺和中臺、網關資源管理系統(tǒng)、網管性能管理系統(tǒng)、BOSS話單存儲、Cloud VR等系統(tǒng)的ARM架構優(yōu)勢明顯并且遷移難度偏低,均可優(yōu)先考慮適配遷移。

在遷移過程中,針對行業(yè)應用跨架構遷移周期長、工作量大的問題,通過ARM架構配套的應用遷移工具,將代碼修改、匯編語言翻譯、兼容文件替換、編譯調試、調優(yōu)診斷等遷移關鍵步驟在工具輔助下自動完成,降低開發(fā)人員技術門檻、提升應用遷移效率,引導行業(yè)加快應用遷移進展。

遷移完成之后,在后續(xù)版本迭代及新功能開發(fā)過程中,通過ARM架構配套的開發(fā)工具,幫助開發(fā)人員便捷獲取和使用ARM架構優(yōu)勢特性,開發(fā)出高性能軟件,同時自動完成典型場景下的應用包構建和執(zhí)行,提升開發(fā)效率和體驗,引導開發(fā)人員持續(xù)基于ARM架構原生開發(fā)行業(yè)應用,深入構建行業(yè)軟件生態(tài)。

63d73172-1d3c-47ee-81a0-350aac10006a.png?auth_key=1675612799-0-0-b6f5242fe64464803238d32b20e78b05

電信行業(yè)ARM架構遷移路徑圖

3、通過全棧軟硬件優(yōu)化,充分釋放多樣算力,發(fā)揮極致性能

為適應行業(yè)應用快速創(chuàng)新及多樣性計算的需求,進一步提升軟件運行性能,面向ARM架構的全棧優(yōu)化能力必不可少,通過使用包括一系列的硬件加速庫、軟件加速包、開源加速組件、典型場景的性能優(yōu)化解決方案等,圍繞硬件、基礎軟件,到場景化應用開展全棧優(yōu)化,充分發(fā)揮應用極致性能。

1)硬件加速

提供CPU、內存、磁盤、網絡子系統(tǒng)等硬件基礎性能優(yōu)化參考,包括系統(tǒng)硬件配置優(yōu)化方法及硬件加速庫,消除性能瓶頸,提升硬件資源利用率

2)軟件加速

圍繞系統(tǒng)指令、媒體轉碼、數(shù)學算法、存儲網絡等方向,提供一系列軟件加速包,優(yōu)化大數(shù)據加解密、分布式存儲壓縮、視頻轉碼等常用軟件性能

3)基礎軟件優(yōu)化

開源軟件作為最重要的軟件開發(fā)模式之一是軟件生態(tài)的核心,讓開源軟件與ARM平臺進行充分的適配和優(yōu)化尤為重要,持續(xù)在開源社區(qū)貢獻關鍵性能優(yōu)化成果,提供典型場景下的開源加速組件,讓主流開源軟件能夠在ARM架構上發(fā)揮最佳性能

4)典型場景優(yōu)化

面向大數(shù)據、分布式存儲和數(shù)據庫等行業(yè)應用的典型計算場景,提供加速數(shù)據處理、優(yōu)化存儲訪問和提升算力部署密度的場景優(yōu)化方案,有針對性的提升行業(yè)應用性能

ktI6MrTK_SLUw.png?auth_key=1675612799-0-0-c9493061f799e992d78817bbc3cf5963

三、解決方案

藍海大腦提供基于ARM架構的鯤鵬全?;A軟件平臺解決方案

鯤鵬計算產業(yè)是基于鯤鵬處理器(基于ARM 架構)的基礎軟硬件設施、行業(yè)應用及服務,涵蓋從底層硬件、基礎軟件到上層行業(yè)應用的全產業(yè)鏈條??v觀鯤鵬計算產業(yè)生態(tài)全景,硬件方面,圍繞鯤鵬處理器,涵蓋包括智能網卡芯片、底板管理控制器(BMC)芯片、固態(tài)硬盤(SSD)、磁盤陣列卡(RAID卡)、主板等部件以及個人計算機、服務器、存儲等整機產品。基礎軟件方面,涵蓋操作系統(tǒng)、虛擬化軟件、數(shù)據庫、中間件、存儲軟件、大數(shù)據平臺、數(shù)據保護和云服務等基礎軟件及平臺軟件。行業(yè)應用方面,鯤鵬計算產業(yè)生態(tài)覆蓋政府、金融、電信、能源、大企業(yè)等各大行業(yè)應用,提供全面、完整、一體化的信息化解決方案。

鯤鵬計算產業(yè)從2019年正式起航,在全球鯤鵬計算產業(yè)伙伴的共同努力下,已經構筑了完整的基礎軟硬件生態(tài)和人才發(fā)展體系,并在各大國計民生行業(yè)實現(xiàn)了規(guī)模商用落地,為行業(yè)數(shù)字化變革和應用創(chuàng)新提供了強大穩(wěn)定的算力支持。

作為鯤鵬計算產業(yè)的發(fā)起者和重要成員,華為秉持“硬件開放、軟件開源、使能伙伴,發(fā)展人才”的策略,通過戰(zhàn)略性、長周期的研發(fā)投入,吸納全球計算產業(yè)的優(yōu)秀人才和先進技術和產業(yè)伙伴一起,持續(xù)推進全棧計算技術的創(chuàng)新發(fā)展,構筑面向多樣性計算的全球開源體系與產業(yè)標準,推動鯤鵬生態(tài)全面發(fā)展。

63d7348d-63d0-4490-b5af-3516ac10006a.png?auth_key=1675612799-0-0-e858d296326bb43f5f1a94efcd41cf10

鯤鵬全棧開放,使能全產業(yè)伙伴創(chuàng)新

1、鯤鵬主板開放,伙伴優(yōu)先,使能商業(yè)成功

2019年華為面向伙伴開放基于鯤鵬處理器的主板、網卡、硬盤等標準部件,幫助整機合作伙伴快速推出自有品牌的服務器產品。

2020年華為發(fā)布了主板開放2.0,通過基礎板+擴展板的開放模式,基礎板沉淀共性,減少伙伴重復開發(fā);擴展板實現(xiàn)創(chuàng)新,使能伙伴差異化競爭力;同時結合BIOS/BMC軟件開放,支持伙伴自行開發(fā)差異化部件,打造創(chuàng)新整機產品。當前,鯤鵬主板走向更加開放,華為僅聚焦“CPU+內存”最小計算單元,通過全量組件化方式,實現(xiàn)從使能伙伴創(chuàng)新走向伙伴主導創(chuàng)新。

此外,在鯤鵬主板開放的同時,華為從研發(fā)、制造、采購供應、服務、商業(yè)模式、解決方案、市場、人力資源、財務、文化十大方面,全方面對伙伴進行賦能,幫助伙伴快速成長,使能合作伙伴打造更有競爭力的鯤鵬計算產品。

市場上,華為踐行伙伴優(yōu)先,將自有品牌TaiShan服務器逐步退出市場,和伙伴不競爭,把市場空間讓出來,支持伙伴商業(yè)成功,2022年1到10月,伙伴出貨占比已達95%以上。

63d73939-b0e8-4c39-ae82-350aac10006a.png?auth_key=1675612799-0-0-48aa755f996d9eb18f98dd8b34077fd3

硬件開放,伙伴優(yōu)先,使能商業(yè)成功

2、基礎軟件開源,持續(xù)創(chuàng)新,實現(xiàn)最佳支持鯤鵬

基礎軟件方面,華為堅定開源,把自身多年來構建的操作系統(tǒng)能力和數(shù)據庫能力開源出來,讓合作伙伴能夠在此基礎上做增量開發(fā),由此來提升中國的基礎軟件產業(yè)水平,和伙伴共建生態(tài)。并創(chuàng)建了openEuler開源社區(qū)和openGauss開源社區(qū),以社區(qū) 運作的方式,同產業(yè)伙伴和廣大開發(fā)者共同構建基礎軟件生態(tài)。

當前無論是openEuler,或是openGauss,均在鯤鵬服務器上做了大量的性能優(yōu)化工作,最終實現(xiàn)最佳支持鯤鵬,為鯤鵬生態(tài)的體系構建,奠定了基礎。

以openGauss為例,通過NUMA-Aware優(yōu)化,Inplace-Update融合引擎,多存儲引擎架構,軟硬協(xié)同優(yōu)化等技術為用戶帶來多樣化業(yè)務場景下極致、穩(wěn)定的數(shù)據業(yè)務處理能力,在鯤鵬2路服務器上實現(xiàn)性能達150W TpmC,鯤鵬4路服務器上達230W TpmC,單節(jié)點處理能力業(yè)界領先,同時保持內核在高負載情況下性能抖動小于5%,業(yè)界穩(wěn)定性最優(yōu)。在2022年4月openGauss3.0版本,發(fā)布分布式解決方案,在性能方面持續(xù)精進,16節(jié)點性能達到1000萬 tpmC,領先目前競品性能2倍。

3、使能極簡開發(fā),極致性能,繁榮應用生態(tài)

鯤鵬開發(fā)套件(鯤鵬DevKit)使能應用極簡開發(fā)鯤鵬生態(tài)發(fā)展的關鍵挑戰(zhàn)是應用軟件遷移,為了幫助開發(fā)者加速應用遷移和算力升級,華為提供鯤鵬開發(fā)套件DevKit,包括代碼遷移、開發(fā)調試、編譯、測試、調優(yōu)和診斷等一系列工具套件。

鯤鵬DevKit主要面向不同計算平臺間的應用遷移以及鯤鵬平臺原生開發(fā),當前實現(xiàn)1-2人天應用無憂遷移。2022年鯤鵬DevKit2.0聚焦原生開發(fā)能力增強,面向全研發(fā)作業(yè)流程,提供鯤鵬開發(fā)框架和場景化SDK、鯤鵬編譯工具、鯤鵬調試器、云測服務、以及面向全場景性能分析和調優(yōu),讓開發(fā)者更便捷高效的基于鯤鵬原生開發(fā),效率提升50%+。

Jfza5UpK_upHA.png?auth_key=1675612799-0-0-efc74581ad05c9ab673cd988d55f502e

鯤鵬DevKit:從“應用遷移”走向“原生開發(fā)”, 開發(fā)效率提升50%+

鯤鵬BoostKit,從硬件、基礎軟件,到場景化應用開展全棧優(yōu)化,主要面向伙伴和客戶的開發(fā)者,提供高性能開源組件、基礎加速軟件包、應用加速軟件包,使能應用極致性能。其中,高性能開源組件由伙伴從開源社區(qū)、鯤鵬社區(qū)獲取,直接編譯/部署,目前90%主流開源軟件已支持鯤鵬,實現(xiàn)開源軟件在鯤鵬上開箱即用?;A加速軟件包,面向伙伴開源、開放豐富的基礎性能優(yōu)化方法、加速庫、加速算法,釋放鯤鵬算力。應用加速軟件包,聯(lián)合伙伴開展解決方案創(chuàng)新,提供業(yè)界領先的加速組件、算法,實現(xiàn)應用性能倍增。

鯤鵬BoostKit 1.0面向鯤鵬聚焦的八大主力場景,把鯤鵬算力性能發(fā)揮到極致。在很多傳統(tǒng)計算負載中,CPU的實際利用率并不高,大量有效計算能力浪費在等待數(shù)據的加載上。2021 年全新推出的BoostKit 2.0,提供五大類“數(shù)據親和”加速組件,包括數(shù)據就近計算,數(shù)據加速傳輸,數(shù)據并行化處理,數(shù)據安全等,對數(shù)據全處理流程進行負載優(yōu)化,從而大幅提升應用性能。

RXqQbXGm_RBK4.png?auth_key=1675612799-0-0-ac01fa20434ed5ae1b1dd996798afde9

鯤鵬BoostKit :“數(shù)據親和”五大加速組件,使能應用性能倍增

通過使能極簡開發(fā)、極致性能,鯤鵬在國計民生行業(yè)的技術生態(tài)滿足度從19年的僅9%,逐年穩(wěn)步提升,22年底預計達70%以上,生態(tài)兼容性的瓶頸已基本消除,初步構建起繁榮的鯤鵬應用生態(tài)。

SbVeB4CV_QQ5Y.png?auth_key=1675612799-0-0-c347dfc0f40c04c879922698f2764595

極簡開發(fā),極致性能,繁榮應用生態(tài)

4、全棧協(xié)同,加速行業(yè)規(guī)模應用

鯤鵬與伙伴、開發(fā)者一路前行,全面進入國計民生行業(yè)核心應用場景。在政府,鯤鵬與北明、超圖、太極和神州軟件等伙伴服務于各省市政務云;在金融,鯤鵬攜手長亮、麒麟軟件、科藍、華銳等伙伴服務于大行和金融機構的核心交易系統(tǒng)。

在電信運營商,鯤鵬和亞信、浩瀚深度、東方國信等伙伴服務于三大運營商的網絡云、IT云與公有云。在電力,鯤鵬攜手南瑞集團、許繼、麒麟信安和岳能科技等伙伴服務于國網、南網電力調度系統(tǒng)。

郵儲銀行作為擁有百年歷史的金融機構,在中國有6億用戶,4萬個營銷網點,是國家普惠金融的主力,為國民經濟發(fā)展做了突出貢獻?,F(xiàn)有的核心系統(tǒng)采用經典的大型機+商業(yè)軟件搭建而成,支撐了郵儲銀行初期信息化,電子金融。但隨著金融服務在線化,小額交易頻次越來越高等這些服務場景的變化,對傳統(tǒng)的核心系統(tǒng)帶來了巨烈的沖擊,尤其在交易熱點時段,現(xiàn)有系統(tǒng)彈性不足,造成交易緩慢。商業(yè)軟件架構與技術封閉,迭代慢,在應對金融創(chuàng)新乏力。無法繼續(xù)支撐郵儲銀行向前發(fā)展。

因此,郵儲銀行從19年初開始啟動下一代金融核心的預研,為了保持持續(xù)創(chuàng)力的能力和可能,郵儲銀行決定基于通用計算平臺加開源軟件技術構建分布基礎IT能力。整個不僅保持靈活的資源擴縮容能力,還具有豐富的開源軟件生態(tài),使未來的技術獲取等方面成本更低。同時郵儲采用企業(yè)級業(yè)務建模,對郵儲上千種業(yè)務進行抽像建模,使用業(yè)務邏輯關系更清晰。

同時基于鯤鵬服務器和openGauss的原型驗證,結果超越客戶預期。并引入了微服務,容器等業(yè)界先進成熟的技術。經過一年多的建設,并于21年4月18日技術平臺上線,開始接入生產系統(tǒng)進行鏡像驗證于6月上線分布式運維系統(tǒng),利用AI技術解決海量節(jié)點帶來的運維復雜度。系統(tǒng)于22年3月份全量投產,支持郵儲日均20億筆的交易和未來10年的業(yè)務發(fā)展。

郵儲銀行是國內首個建成新一代個人業(yè)務新核心的國有大行,證明了鯤鵬openGauss在金融這種的對可靠性和性能要求極高的場景,不但可以勝任, 而且可以很好,鯤鵬的多核、高并發(fā),結合openGauss高性能、高可用及智能運維等內核能力,助力郵儲個人新核心業(yè)務處理能力5倍提升,支取和查詢等核心業(yè)務場景的性能提升25%以上,這些數(shù)據都可以提升客戶的使用體驗與感知,提升滿意度,加強郵儲銀行服務競爭力。

郵儲銀行通過分布式金融新核心建設,在金融服務技術上已走到同行前列,相信憑借郵儲銀行人的勇于開拓的創(chuàng)新精神,未來會持續(xù)領先,為同業(yè)樹立新的標桿和為用戶帶來更好的服務。

kTO3ncZE_JhRu.png?auth_key=1675612799-0-0-456f700024214d11061f259fbd29242d

多樣性算力全場景的協(xié)同

操作系統(tǒng)作為計算產業(yè)中最基礎的軟件,承擔著抽象底層硬件,向上層應用提供統(tǒng)一接口的核心功能,是計算產業(yè)的關鍵環(huán)節(jié)。面向多樣性計算和海量應用場景,操作系統(tǒng)應支持多樣算力和多種應用的協(xié)同,成為數(shù)字產業(yè)的可靠軟件底座。

一、產業(yè)趨勢

在IT產業(yè)的全棧系統(tǒng)中,處理器是硬件的基礎,操作系統(tǒng)是所有軟件的根基。

63d73d51-9ae4-4c36-a432-34bcac10006a.png?auth_key=1675612799-0-0-7bba0e5420077226ea5d709c5a274afc

操作系統(tǒng)是軟件的根

操作系統(tǒng)作為連接底層基礎硬件(處理器,整機/部件)和上層應用的最基礎軟件,被稱為IT產業(yè)的魂:硬件提供算力的供給,應用軟件是算力價值的實現(xiàn),而操作系統(tǒng)則完成算力釋放。一方面,操作系統(tǒng)面向硬件系統(tǒng),提供更好更高效的硬件資源管理能力;另一方面,操作系統(tǒng)面向應用和用戶,沉淀應用領域共性,提供更為便利易用的人機交互。

1、多樣性計算時代,呼喚面向數(shù)字基礎設施的操作系統(tǒng)

計算產業(yè)從通用計算已經進入到通用計算+AI計算的多樣性計算時代。多種算力協(xié)同發(fā)展,對操作系統(tǒng)提出了新的要求。首先,操作系統(tǒng)對上層應用,要屏蔽不同硬件的差異,提供統(tǒng)一的接口,要完成不同計算架構、不同硬件的兼容適配,提供良好的兼容 性,為應軟件用的部署提供盡可能的便利。其次,針對不同的硬件的特征,操作系統(tǒng)需要針對性的優(yōu)化,確保能充分發(fā)揮硬件的能力,提升性能。比如,基于ARM架構的處理器,其典型特征是核數(shù)更多,這使得ARM處理器在高并發(fā)應用場景,更具競爭力。因此,操作系統(tǒng)需要針對多核的處理器進行優(yōu)化,確保多核任務并發(fā)時的任務調度更加合理,避免任務沖突,提高系統(tǒng)整體性能。

此外,除了針對不同架構的CPU優(yōu)化,CPU和GPU、NPU等其他特定用途之間處理器之間的協(xié)同,也是影響系統(tǒng)效率的關鍵因素。操作系統(tǒng)層面,在處理CPU任務和GPU、NPU任務時,協(xié)調好這些任務的調度,成為必要的能力。

2、數(shù)字化走向深入,操作系統(tǒng)面向云管邊端全場景應用協(xié)同發(fā)展

隨著云計算的快速發(fā)展,云計算和云服務已經成為各企業(yè)進行數(shù)字化轉型的優(yōu)先選擇。無論是高科技行業(yè)還是傳統(tǒng)行業(yè),無論是大企業(yè)還是小企業(yè),都可以通過云服務隨時隨地獲取數(shù)字化轉型所必需的計算、存儲等硬件資源,大數(shù)據、AI、IoT 等技術資源,以及凝結了領先企業(yè)大量投入的經驗知識資源,極大提升了企業(yè)運行效率。

云上的應用與其他場景的應用協(xié)同場景越來越豐富,比如AI應用在云和邊緣的協(xié)同。通過云端充足強大的算力進行AI訓練,而且云端能很好的支持多種不同的服務和AI框架,此外云端可以簡化訓練的開發(fā),無需軟件下載、無需配置、無需安裝。邊緣端則利用靠近數(shù)據產生和采集的優(yōu)勢,在邊緣端可以迅速把采集的數(shù)據拿去做推理,快速得到推理結果的同時,避免了向云端傳輸大量數(shù)據帶來的高成本。

因此,操作系統(tǒng)通過在軟件底層實現(xiàn)應用在云、管、邊、端、數(shù)據的高效、可靠、安全交換,是可以大幅提升系統(tǒng)整體效率和安全性的。

3、開源成為主流軟件開發(fā)模式, 操作系統(tǒng)開源共建成為產業(yè)共識

開源已經成為主流軟件開發(fā)模式。從全球范圍來看,過去一年,開源整體呈現(xiàn)高速發(fā)展的趨勢。據最新官方報告,2021年全球最大開源代碼平臺GitHub活躍用戶數(shù)和活躍代碼倉庫數(shù)量均有明顯增長,其中新增活躍用戶數(shù)超過 1600 萬、新增活躍代碼倉庫數(shù)量超過 6100 萬。中國開源貢獻者占比明顯提升,從2015年的7%的占比,快速提升至2021年的11%。開源模式越來越成為全球軟件技術和產業(yè)創(chuàng)新的主導模式。

同時,開放開源是軟件技術創(chuàng)新,特別是發(fā)展操作系統(tǒng)這類基礎軟件的重要途徑,充分利用開源,參與開源,支持開源,發(fā)展操作系統(tǒng),聯(lián)合做大做強是當前最為可行之路。構建根植于中國的開源社區(qū),培養(yǎng)良好的土壤和與環(huán)境,可以為產業(yè)打造可持續(xù)發(fā)展的創(chuàng)新之地。

UHePjcuX_ptch.png?auth_key=1675612799-0-0-88ed7a9255ddf60a056e6a233d9de1fc

二、行動建議

1、規(guī)劃部署支持數(shù)字基礎設施多樣算力的操作系統(tǒng),使能全場景應用協(xié)同創(chuàng)新

通過規(guī)劃部署支持不同應用場景、支持多樣性算力的統(tǒng)一數(shù)字基礎設施操作系統(tǒng),打通不同硬件架構和多種場景應用,實現(xiàn)更優(yōu)的性能,業(yè)務更好的協(xié)同。

在企業(yè)的各類數(shù)字應用場景中,通常部署了各種不同類型的計算設備,典型的包括服務器、邊緣設備,嵌入式等等。不同設備安裝各類不同的操作系統(tǒng),給整體系統(tǒng)運行運維帶來挑戰(zhàn);設備間的互聯(lián)互通復雜度也因此顯著提升;不同應用之間的可靠、安全的交互,協(xié)同相對繁瑣。

統(tǒng)一的數(shù)字基礎設施操作系統(tǒng),可以實現(xiàn)從操作系統(tǒng)底層完成設備間的連接、數(shù)據交互,從而大幅提升運行運維效率。

2、分析應用遷移策略,制定應用遷移計劃,完成應用高效遷移

部署新的操作系統(tǒng),應選擇具備可持續(xù)演進性、基礎兼容性和支持應用快速遷移的能力的技術路線。可持續(xù)演進是指除了可靠、穩(wěn)定、安全等基礎能力外,所選擇的技術路線有具備獨立維護、長期演進的機制和能力;基礎兼容性是指在操作系統(tǒng)南向各類處理器、整機、板卡的兼容性支持,以及北向的各類應用的適配性;應用遷移能力是指需要提供包括兼容性識別、應用遷移與調優(yōu),系統(tǒng)測試等全流程的自動化工具和技術支持文檔。

操作系統(tǒng)遷移是一個系統(tǒng)工程,包括從技術路線選型、系統(tǒng)分析、方案設計、移植適 配、遷移實施和測試上線等全流程,因此需要組建合理的團隊、詳細的計劃,有節(jié)奏分階段實施,在確保業(yè)務持續(xù)穩(wěn)定運行的情況下有序開展。

3、加入開源操作系統(tǒng)社區(qū),積極擁抱開源、回饋開源

通過主動加入開源社區(qū),與社區(qū)核心組織和成員的運作與溝通,保持與業(yè)界各類領先技術的同步,可獲取最新的技術趨勢、業(yè)務方向以及關鍵支撐。企業(yè)、高校、操作系統(tǒng)廠商等組織單位加入操作系統(tǒng)開源社區(qū),加強交流,合作共建共贏,共同發(fā)展。

更為重要的是操作系統(tǒng)開源社區(qū)提供各類開發(fā)工具,硬件資源,技術指導以及各類在線服務,企業(yè)鼓勵有能力的開發(fā)人員加入社區(qū),獲取最新的開發(fā)手冊、技術補丁以及開發(fā)平臺,可以大幅度提升應用開發(fā)效率。成熟的開源社區(qū),除了提供日常代碼審核、提交的工具之外,還包括大量滿足開發(fā)全流程所需要的各類資源,同時社區(qū)是技術人員積累能力、了解技術趨勢、解決技術難題,互相交流的平臺。

三、解決方案

華為是全球領先的ICT(信息與通信)基礎設施和智能終端提供商,在ICT領域提供包括服務器、存儲、云服務、邊緣計算、基站、路由器、工業(yè)控制等各類產品和解決方案。在多年的全系列產品研發(fā)過程中,不斷累積軟件根技術,全面布局操作系統(tǒng)等基礎軟件,滿足自身業(yè)務發(fā)展需要。

2019年12月,華為創(chuàng)立歐拉開源項目,通過開源的方式,把積累的操作系統(tǒng)能力開放出來,攜手產業(yè)伙伴共同發(fā)展操作系統(tǒng)產業(yè),得到了產業(yè)積極響應。

目前,歐拉開源操作系統(tǒng)發(fā)展迅速,生態(tài)快速構建,已累計實現(xiàn)超過245萬套裝機,國內新增市場份額超過22%,跨越生態(tài)拐點,成為企業(yè)數(shù)字化轉型、應用創(chuàng)新、構筑安全可靠操作系統(tǒng)的首選技術路線。

1、歐拉,面向數(shù)字基礎設施的開源操作系統(tǒng)

歐拉是面向數(shù)字基礎設施的開源操作系統(tǒng),支持服務器、云計算、邊緣計算、嵌入式等應用場景,支持多樣性計算,致力于提供安全、穩(wěn)定、易用的操作系統(tǒng)。通過為應用提供確定性保障能力,支持OT領域應用及OT與ICT的融合。

歐拉持續(xù)豐富南向多樣性設備支持,北向使能 IT、CT和OT全場景應用。當前歐拉已經實現(xiàn)主流計算架構100%覆蓋,支持包括ARM、x86、RISC-V等全部主流CPU指令集,同時支持NPU、GPU和DPU等多種異構算力,適配超過100款整機、300款板卡,成為最佳支持多樣性算力的開源操作系統(tǒng)。在北向應用生態(tài)上,與伙伴協(xié)作,適配了一萬多款應用,主流應用場景100%支持,滿足各行業(yè)不同應用需求。

63d73eae-3370-49fc-aea5-355eac10006a.png?auth_key=1675612799-0-0-800459cbc61c27eeb4cf3865fad437a5

歐拉,面向數(shù)字基礎設施的開源操作系統(tǒng)

1)統(tǒng)一操作系統(tǒng),支持多設備

通過一套操作系統(tǒng)架構,支持多樣性設備。歐拉采用全量組件原子化,支持內核靈活組合,全棧服務化按需構建,可以根據設備不同的資源能力和業(yè)務需求靈活裁剪,按需構建不同的操作系統(tǒng)版本,滿足不同設備對于操作系統(tǒng)的要求。

同時,歐拉支持構建服務自助化,支持“菜單式”配置內核和系統(tǒng)服務,可以針對軟件包、文件級、函數(shù)級的不同層級分級靈活組合,自動化、簡化版本構建。 進一步,歐拉還提供多設備協(xié)同套件,來實現(xiàn)不同設備間的能力互助和資源共享。

2)應用一次開發(fā),覆蓋全場景

歐拉通過一套標準API,ICT+OT全場景提供統(tǒng)一API,這樣就實現(xiàn)了操作系統(tǒng)與應用之間交互語言的統(tǒng)一; 同時,通過歐拉SDK,把各種應用所需數(shù)據能力、音視頻能力、安全等能力,進行統(tǒng)一封裝,使能極簡開發(fā);歐拉Devkit開發(fā)套件,還可以方便的集成到各種主流應用開發(fā)平臺。

3)歐拉與鴻蒙能力共享,生態(tài)互通

歐拉是數(shù)字基礎設施開源操作系統(tǒng),鴻蒙是面向萬物互聯(lián)的智能終端操作系統(tǒng),歐拉和鴻蒙,進一步打通,就可以更好地服務數(shù)字全場景。歐拉和鴻蒙已經實現(xiàn)了內核技術和分布式能力共享。通過共享分布式套件,實現(xiàn)了歐拉和鴻蒙的互通,兩大開源操作系統(tǒng)打通,歐拉覆蓋云管邊,鴻蒙覆蓋端,歐拉+鴻蒙共同服務全場景數(shù)字應用。未來進一步在安全OS、設備驅動框架、以及新編程語言等方面實現(xiàn)共享,通過能力共享,實現(xiàn)生態(tài)互通。

X2ZTc94u_g6EU.png?auth_key=1675612799-0-0-2fbfad4c20590acec7cd0671d22bdfba

歐拉與鴻蒙能力共享 生態(tài)互通

2、歐拉開源共建,已構建成熟的產業(yè)生態(tài)

1)歐拉開源項目

2019年12月,華為創(chuàng)建歐拉開源項目,成立歐拉開源社區(qū),開源代碼上線。

2021年11月,在操作系統(tǒng)產業(yè)峰會2021上,在“政產學研用”各方代表的共同見證下,華為攜手社區(qū)全體伙伴,將歐拉開源操作系統(tǒng)全量代碼、品牌商標、社區(qū)基礎設施等相關資產貢獻給中國開放原子開源基金會,具體包括:華為自己開發(fā)的數(shù)百萬的自研代碼,版權和知識產權許可,超過8000多個經過華為和社區(qū)驗證的軟件包,openEuler以及相關項目的中英文的商標品牌共30多個,域名4個,以及構建服務與測試體系代碼托管,社區(qū)運營平臺等社區(qū)基礎設施。這實現(xiàn)了歐拉開源操作系統(tǒng)從企業(yè) 主導到產業(yè)主導的重要轉變,有利于促進歐拉開源項目從開放治理走向自治繁榮。

dgQzO4NQ_ZMAJ.png?auth_key=1675612799-0-0-9155d7de9dafca6bfdd3a9b5f7a626be

2)歐拉生態(tài)繁榮,歐拉社區(qū)已成為國內最具活力開源社區(qū)

截止目前,國內外10+家主流操作系統(tǒng)廠商 (麒麟、統(tǒng)信、麒麟信安、SUSE等)均已發(fā)布了歐拉路線的操作系統(tǒng)商業(yè)發(fā)行版;社區(qū)當前已有超過400家企業(yè)加入,匯聚了從處理 器、整機、到基礎軟件、應用軟件、行業(yè)客戶等全產業(yè)鏈核心伙伴;社區(qū)已經有超過1萬名開源貢獻者,創(chuàng)立近100個SIG組(特別興趣小組),社區(qū)維護的核心軟件包達到8000多個。

歐拉創(chuàng)新領先的技術,良好的硬件兼容性,豐富的應用軟件生態(tài)和覆蓋全場景的部署能力,為歐拉的規(guī)模部署提供了充分的條件。

截至目前,歐拉技術路線的操作系統(tǒng),已經在數(shù)字政府、電信、金融、電力等多個行業(yè)實現(xiàn)大規(guī)模部署應用在核心系統(tǒng)中,為各行業(yè)提供穩(wěn)定、可靠的數(shù)字根基,累計部署量超過245萬套,國內新增市場份額占比達到22%,在數(shù)字政府、金融行業(yè)增速第一。

部署歐拉路線操作系統(tǒng)的用戶包括三大運營商(中國移動、中國電信、中國聯(lián)通)、兩大電網(國家電網、南方電網)以及多個大型國有和商業(yè)銀行(建設銀行、工商銀行、中信銀行、中國銀聯(lián)等)等。典型應用案例包括:中移在線大數(shù)據平臺、中國電信云平臺、國家電網核心調度系統(tǒng)、中國建設銀行信用卡核心系統(tǒng)等等。

3、歐拉,以發(fā)展根技術引領操作系統(tǒng)創(chuàng)新

歐拉以內核級創(chuàng)新,打造最佳多樣性算力支持、全場景數(shù)字基礎設施操作系統(tǒng),成為企業(yè)數(shù)字化轉型、應用創(chuàng)新的首選可靠操作系統(tǒng)技術路線。

歐拉引領操作系統(tǒng)內核創(chuàng)新。作為社區(qū)主要成員,華為自 2012 年以來向 Linux Kernel 社區(qū)貢獻,在 Linux Kernel 5.10版本中,華為內核代碼貢獻排名第一。

歐拉最佳支持多樣性算力。支持鯤鵬、x86、飛騰、龍芯、申威、RISC-V等多種處理器架構,并且性能相比主流操作系統(tǒng)更佳。

歐拉打破不同場景操作系統(tǒng)生態(tài)壁壘,成為首個全場景數(shù)字基礎設施操作系統(tǒng)。歐拉統(tǒng)一支持服務器、云計算、邊緣計算、嵌入式等等應用場景。

截止目前,歐拉已經發(fā)布2個LTS(長生命周期支持)版本和4個創(chuàng)新版本。華為不做歐拉商業(yè)發(fā)行版,通過社區(qū)使能伙伴商業(yè)發(fā)行版、企業(yè)自用版、社區(qū)發(fā)行版等多種形式,促進操作系統(tǒng)產業(yè)健康、高速發(fā)展。華為持續(xù)在歐拉開源項目貢獻,包括技術創(chuàng)新、社區(qū)運營、生態(tài)建設等。華為聯(lián)接、計算和云等各領域繼續(xù)全面使用歐拉技術路線,以社區(qū)版本為基線,構筑華為自用操作系統(tǒng)版本。

歐拉技術路線的操作系統(tǒng),主要包括以下集中形式:

1)社區(qū)發(fā)行版

由歐拉社區(qū)成員和社區(qū)開發(fā)者共同構建發(fā)布的開源操作系統(tǒng)版本,以免費的形式通過社區(qū)提供。社區(qū)每2年發(fā)布一個長周期(LTS:Long Term Support)版本, 比如:openEuler 20.03 LTS版,openEuler 22.03 LTS版。

2)商業(yè)發(fā)行版

操作系統(tǒng)產業(yè)伙伴(即OSV), 結合各自的優(yōu)勢,基于歐拉的社區(qū)版,開發(fā)自己的商業(yè)發(fā)行版操作系統(tǒng),面向最終用戶提供和銷售有競爭力的產品。比如麒麟軟件有限公司的銀河麒麟高級服務器操作系統(tǒng)V10、統(tǒng)信服務器操作系統(tǒng)V20(1020e), 麒麟信安操作系統(tǒng)V3(歐拉版),SUSE數(shù)碩Linux等。

3)企業(yè)自用版

具備自研能力的企業(yè),基于歐拉的社區(qū)發(fā)行版,開發(fā)自用的操作系統(tǒng)版本 (非獨立銷售或不銷售)。比如華為公司通信設備搭載的自研操作系統(tǒng)、中國移動BCLinux for Euler、中國電信CTyunOS,中國聯(lián)通CULinux、百度 Linux 智能云操作系統(tǒng)等。

JnBA3S3f_zNZp.png?auth_key=1675612799-0-0-9f252871df720ee527c7b1513fd0aff7

歐拉已發(fā)布2個LTS版本和4個創(chuàng)新版本

人工智能算力增長是主要增量

一、宏觀趨勢

1、數(shù)字經濟飛速發(fā)展將催生強勁算力需求,人工智能算力是主要增量

當前,數(shù)字經濟正在成為全球經濟的主要增長點,算力作為數(shù)字經濟時代新的生產力,是支撐數(shù)字經濟發(fā)展的堅實基礎。算力已成為全球戰(zhàn)略競爭新焦點,是國民經濟發(fā)展的重要引擎,全球各國的算力水平與經濟發(fā)展水平也呈現(xiàn)出顯著的正相關。

與此同時,人工智能技術的不斷發(fā)展帶來了遠遠超越摩爾定律的算力需求。從2011年深度學習技術興起到今天,對人工智能算力的需求一直是指數(shù)級增長的,每隔3-4個月算力需求翻一倍。2020年,自然語言處理模型GPT-3參數(shù)量達到1750億,算力需求是3640PD(PD代表 以千萬億次每秒的算力計算一天所用的浮點計算量);2021年,鵬程盤古——業(yè)界首個全開源 2000億參數(shù)中文預訓練語言模型,使用E級AI算力的鵬城云腦II算了50天,算力需求達到了 25000PD;到2023年,這種大模型的算力需求能到百萬PD,這就對現(xiàn)有計算處理能力提出了嚴峻的考驗。

在蓬勃的需求帶動下,全球算力發(fā)展水平正在持續(xù)擴大,而在這其中,人工智能算力成為主要增量。華為預測,到2030年,人類將進入YB 數(shù)據時代,全球通用算力將增長10倍達到3.3 ZFLOPS(FP32),人工智能算力將增長500倍, 超過105 ZFLOPS(FP16)。

2、人工智能正日益快速滲透行業(yè) 應用的核心場景

人工智能技術的落地為行業(yè)帶來更多價值,不僅提高了企業(yè)的運作效率、生產效率,還推動了企業(yè)創(chuàng)新的能力。調研發(fā)現(xiàn),采用人工智能三年以上的企業(yè),已經在多方面獲得顯著的收益,實現(xiàn)收入增加和生產效率提升。在2021的行業(yè)調研中,TOP3的行業(yè)人工智能滲透度均超過了50%,最高的滲透度甚至超過了80%。

人工智能將在城市、交通、制造、能源、醫(yī)藥、教育、農業(yè)等行業(yè)持續(xù)滲透,為衣食住行帶來更智能的體驗:在城市領域,城市的智慧化治理成為實現(xiàn)城市可持續(xù)發(fā)展的必然選擇。未來,每一個物理實體都將有一個數(shù)字孿生,如城市樓宇、水資源、基礎設施等將組成城市數(shù)字孿生,實現(xiàn)更加智能的城市管理。城市智慧治理將帶來100 倍的社會數(shù)據聚集,人工智能技術將實現(xiàn)高效城市治理。

在交通領域,預計2030年,全球道路上的電動汽車、面包車、重型卡車和公共汽車數(shù)量將達到1.45億輛。每輛汽車行駛中產生的數(shù)據需要在汽車與城市之間頻繁進行數(shù)據交換,借助智慧交通基礎設施的AI分析能力,城市通勤時間將得到大幅提升(日均通勤縮短15-30分鐘),交通事故和汽車對城市碳排放量也隨之大幅降低。智能帶來的交通安全、效率、體驗的提升,必將釋放出新的生產力,推動社會經濟的發(fā)展。

在制造領域,AI可以幫助制造企業(yè)實現(xiàn)智慧化運營管理、海量數(shù)據分析挖掘以及低時延診斷預警。中國制造2025提出,制造業(yè)重點領域全面實現(xiàn)智能化,試點示范項目運營成本將降低50%,產品生產周期縮短50%,不良品率降低50%。 人工智能將融入千行百業(yè)的核心場景,實現(xiàn)多個人工智能場景的落地,帶來源源不斷的創(chuàng)新與無所不及的智能。

二、行動建議

1、加速AI基礎設施建設,讓AI算力成為像水和電一樣的公共資源

作為新基建的重要組成部分,人工智能已經成為數(shù)字經濟發(fā)展的重要驅動力,人工智能產業(yè)在發(fā)展過程中仍面臨諸多挑戰(zhàn)。

1)人工智能產業(yè)布局不均衡

通過對多個城市的實際調研發(fā)現(xiàn),人工智能產業(yè)存在基礎薄弱和研發(fā)實力弱等情況,無法匹配產業(yè)發(fā)展規(guī)劃和戰(zhàn)略布局

2)企業(yè)使用AI算力成本高

大規(guī)模預訓練模型的參數(shù)量越來越大,需要的算力也從TFLOPS級別增加到PFLOPS級別,多數(shù)企業(yè)表示當前算力不足。企業(yè)使用人工智能算力成本昂貴,僅算力成本就占據企業(yè)開發(fā)成本的15%~25%

3)AI人才缺口大

大量人工智能企業(yè)表示缺乏AI技術人才,在全國各地都缺乏核心AI技術人才的背景下,加強培育本土AI人才非常必要。鑒于上述挑戰(zhàn),建議大力發(fā)展以人工智能計算中心為代表的新型基礎設施,讓AI成為水和電一樣的基礎公共資源,為數(shù)字經濟發(fā)展提供新動能。

人工智能計算中心建設具有技術實現(xiàn)復雜、建設周期長、資源投入巨大、產業(yè)輻射面廣的特點,需要進一步強化戰(zhàn)略統(tǒng)籌和政策保障,進行系統(tǒng)的組織機制和體制創(chuàng)新,加強關鍵核心技術攻關和標準化建設,以加快推動人工智能計算中心的高質量發(fā)展和網絡化建設。系統(tǒng)總結已建成的人工智能計算中心的建設經驗,持續(xù)加強人工智能計算中心的統(tǒng)籌建設,在確保已建成的人工智能計算中心保持高效運營的同時,順應人工智能發(fā)展趨勢和產業(yè)落地的需求,堅持以應用為導向,堅持自主創(chuàng)新技術路線,加強人工智能計算中心建設。

2、加速人工智能進入行業(yè)關鍵場景,使能行業(yè)智能化升級

促進人工智能與各行業(yè)融合創(chuàng)新,在城市、交通、制造、能源、醫(yī)療、金融等重點行業(yè)和領域開展人工智能應用試點示范,推動人工智能規(guī)模化應用,全面提升產業(yè)發(fā)展智能化水平

1)智慧城市

構建適用于政府服務與決策的人工智能融合賦能平臺,實現(xiàn)AI在智慧城市建設中 “大腦”般的智慧,將人工智能技術與城市應 用場景深度融合,實現(xiàn)城市在各類場景下的高效治理。研制面向開放環(huán)境的決策引擎,在復雜社會問題研判、政策評估、風險預警、應急處置等重大戰(zhàn)略決策方面推廣應用

2)智慧交通

針對高速公路自由流收費、收費稽核、視頻云聯(lián)網、車路協(xié)同等典型交通AI應用場景,打造智慧交通解決方案,用人工智能技術對車輛、軌跡等進行智能分析,讓出行管理更高效,讓通行更通暢

3)智慧制造

打造數(shù)字工廠AI使能解決方案,為制造行業(yè)量身定制的質量檢測、廠區(qū)安全等應用領域的一站式、高精度、支持快速換線、開箱即用的AI解決方案,打通AI落地制造行業(yè)的“最后一公里”,加速AI應用在工廠規(guī)模化部署,把AI帶入每一條產線,為工廠生產和運營提質增效

4)智慧巡檢

用人工智能的分析取代傳統(tǒng)的人工巡檢,讓巡檢更安全,效率和準確率更高。 結合智能電網、智能油氣和智能礦山的發(fā)展需求,以AI技術為基礎,打造智慧巡檢解決方 案,為輸電線路、變電站、配電房、油氣田、加油站和煤礦等場景提供區(qū)域智能感知

5)智慧醫(yī)療

打造傳染病AI監(jiān)測預警平臺、緊密型縣域醫(yī)共體AI解決方案、智慧醫(yī)院AI 解決方案等,助力醫(yī)療行業(yè)智能化升級,將AI科技進步服務于人類健康

6)智慧金融

面向金融行業(yè)提供更加高效、安全、個性化的綜合性金融解決方案,貫穿于金融服務垂直全流程,為銀行智慧網點、金融OCR、智能雙錄等AI應用場景提供智慧化解決方案。

三、解決方案

1、以昇騰AI基礎軟硬件平臺,構筑智能根基

昇騰AI產業(yè)是以昇騰AI基礎軟硬件平臺為基礎,堅持“硬件開放、軟件開源、使能伙伴、 發(fā)展人才”,聯(lián)合技術和商業(yè)伙伴,打造“共建、共享、共贏”的人工智能產業(yè),致力于讓 AI“用得起、用得好、用得放心”,以人工智能賦能社會發(fā)展與產業(yè)升級,為人類社會發(fā)展帶來價值。

昇騰AI產業(yè)(簡稱昇騰AI/昇騰)是以昇騰AI基礎軟硬件平臺為基礎構建的人工智能計算產業(yè)。 昇騰AI基礎軟硬件平臺包含Atlas系列硬件及伙伴硬件、異構計算架構CANN、全場景AI框架昇思MindSpore、昇騰應用使能MindX、全流程開發(fā)工具鏈MindStudio和一站式AI開發(fā)平臺ModelArts等。

1)Atlas系列硬件及伙伴硬件

基于昇騰AI處理器,通過模組、板卡、小站、服務器、集群等豐富的產品形態(tài),打造面向“云、 邊、端”的全場景昇騰AI基礎設施解決方案

2)異構計算架構CANN

異構計算架構CANN,北向支持業(yè)界主流AI 框架,南向支持系列化芯片的硬件差異,通過軟硬協(xié)同,充分釋放硬件的澎湃算力

3)全場景AI框架昇思MindSpore

全場景AI框架昇思MindSpore,致力于成為全球主流AI框架,具備一次開發(fā)云邊端全場景部署、原生支持大模型訓練、支持AI+科學計算等關鍵特性,加速科研創(chuàng)新和產業(yè)應用

4)MindX昇騰應用使能

昇騰應用使能MindX包含深度學習使能MindX DL、智能邊緣使能MindX Edge、模型優(yōu)選庫ModelZoo,和行業(yè)應用開發(fā)套件MindX SDK,旨在沉淀行業(yè)知識,使能行業(yè)應用極簡開發(fā),加速人工智能應用落地

TMxrmSPC_2se3.png?auth_key=1675612799-0-0-ded3850e824149f310307f17e20e3446

昇騰AI產業(yè)

2、以“一中心四平臺”建設人工智能計算中心,打造人工智能算力基礎設施

1)人工智能計算中心

是專注于AI計算的新型城市基礎設施,它以昇騰AI基礎軟硬件平臺為基礎,是涵蓋了從基建基礎設施、硬件基礎設施到軟件基礎設施的完整系統(tǒng)。作為一體化城市人工智能新型基礎設施,AICC承載著“一中心四平臺”的產業(yè)模式創(chuàng)新,解決算力普惠、科研創(chuàng)新、應用孵化與落地、人才培養(yǎng)等AI發(fā)展關鍵問題,旨在讓AI算力像水和電一樣成為城市公共基礎資源,為數(shù)字經濟發(fā)展提供新動能,讓智能無所不及

2)公共算力服務平臺

通過產業(yè)政策牽引,將人工智能計算中心的算力資源有序、高效、普惠地開放給當?shù)氐钠髽I(yè)、科研機構和高校,解決當?shù)谹I技術發(fā)展和產業(yè)智能升級的算力和服務需求

3)應用創(chuàng)新孵化平臺

各地AI企業(yè)、高校、科研機構,針對各地特色的AI應用場景項目機會,依托人工智能計算中心,進行科技創(chuàng)新成果商用轉化、形成有本地特色的的重大產品創(chuàng)新和示范應用

4)產業(yè)聚合發(fā)展平臺

依托計算中心,配套相關產業(yè)政策、吸引和招募AI產業(yè)鏈上的各類公司(算法公司、數(shù)據處理公司、行業(yè)集成公司等)入駐形成完整產業(yè)閉環(huán),促進和推動AI產業(yè)集約集聚發(fā)展

5)科研創(chuàng)新和人才培養(yǎng)平臺

基于人工智能計算中心充沛的算力資源,促進高校院所聯(lián)合行業(yè)龍頭企業(yè),圍繞產業(yè)技術創(chuàng)新需求,開展人工智能技術研發(fā)、科技成果轉化等重點工作,落地科技創(chuàng)新成果的、培養(yǎng)關鍵人才。

當前,在國家統(tǒng)籌規(guī)劃下,已有20多個城市在規(guī)劃和建設人工智能計算中心,華為也積極參與其中。深圳、武漢、中原、西安、成都、南京、杭州、沈陽、青島、重慶已相繼上線或試運營,已經累計為1200+企業(yè)、120+高校、70+科研單位提供了算力服務。

深圳“鵬城云腦II”于2020年10月正式上線,實現(xiàn)上線即飽和運營,其三項打榜獲得世界第一:2021年7月,在IO500排行榜中,蟬聯(lián)全系統(tǒng)輸入輸出和10節(jié)點規(guī)模系統(tǒng)兩項世界冠軍。其中,全系統(tǒng)輸入輸出性能超越第二名近20 倍,至今仍保持榜單第一。2021年11月,在AI Perf500排行榜中,保持世界第一。依托鵬城云腦IIE級的澎湃算力,鵬城實驗室與華為聯(lián)合研發(fā)了全開源開放的兩千億參數(shù)中文NLP大模型鵬程.盤古,以及賦能生物醫(yī)藥探索的大模型鵬程神農。

wc8GVRfu_wPzq.png?auth_key=1675612799-0-0-9017d76770c3f55651f387469c80a33c

武漢人工智能計算中心基于昇騰AI基礎軟硬件建設,于2021年5月31日正式竣工并投入運營,上線即算力資源滿負荷使用。于2022年2 月7日完成擴容,總算力達200P,并再次飽和運營。率先實踐“一中心四平臺”,開創(chuàng)“武 漢模式”。5個月從進場施工到正式投運,讓業(yè)界見證了“武漢速度”,打造了全國人工智能示范標桿。目前,基于武漢人工智能計算中心,孵化了全球全球首個三模態(tài)大模型——紫東太初,全球首個遙感影像智能解譯專用框架——武漢LuojiaNet,業(yè)界最大遙感影像樣本數(shù)據集——武漢LuojiaSet,并成立多模態(tài)人工智能產業(yè)聯(lián)盟和智能遙感開源生態(tài)聯(lián)盟,為武漢孵化數(shù)百億級智能遙感和多模態(tài)產業(yè)(大于300億),截止到2022年9月底,已服務企業(yè)120+,孵化AI創(chuàng)新解決方案130+。

7LzaeNBG_gBpa.png?auth_key=1675612799-0-0-bfc09d12a3092dd7605cdb28acb61690

3、產學研攜手,共筑人工智能產業(yè)生態(tài)

華為開放昇騰AI基礎軟硬件平臺,包括Atlas系列硬件、異構計算架構CANN、全場景AI框架昇思MindSpore、昇騰應用使能MindX以及一站式開發(fā)平臺ModelArts等,幫助伙伴和開發(fā)者高效使用AI能力,創(chuàng)新場景化AI應用,加速千行百業(yè)智能升級。

完成昇騰AI生態(tài)的初步構建,目前發(fā)展了100 萬+開發(fā)者,在100多所高校開設昇騰AI相關的人工智能課程,發(fā)展700+行業(yè)合作伙伴,共同孵化了超過1600+解決方案,為中國人工智能產業(yè)繁榮提供一個強健、穩(wěn)固的基石。

全場景AI框架昇思MindSpore是業(yè)界首個全自動并行的框架且具備全場景協(xié)同和全流程極簡的特點。華為于2020年3月28日開源昇思 MindSpore框架,開源后獲得國內外開發(fā)者的積極響應,訪問量數(shù)千萬,超過320萬用戶下載安裝使用,在碼云千萬開源項目中綜合排名第一,服務企業(yè)數(shù)量超過5500家,高校授課數(shù)量超過140所,超過40所科研機構選擇昇思進行科研創(chuàng)新,社區(qū)貢獻者達8000+,ModelZoo支持模型350+,獲得業(yè)界首個AI框架類產品級CC安全認證和AI可信開源社區(qū)認證,成為國內最具創(chuàng)新活力的AI開源社區(qū)。

昇騰眾智計劃是華為圍繞昇騰基礎軟件平臺推出的一項生態(tài)合作計劃,旨在匯聚高校、科研院所、企業(yè)等組織和機構的開發(fā)團隊,通過項目合作方式,基于昇騰基礎軟硬件平臺開發(fā)算子、網絡模型及行業(yè)參考設計,不斷豐富昇騰計算產業(yè)生態(tài),為加速千行百業(yè)智能化升級貢獻智慧與力量。目前,通過昇騰眾智計劃,已經完成4000多個AI模型、算子等。2022年,將繼續(xù)投入2億人民幣激勵基金,推出超過4000 個眾智任務。

此外,在人才培養(yǎng)方面,教育部-華為“智能基座”產教融合協(xié)同育人基地項目由教育部、華為于2020年底聯(lián)合發(fā)起,首批布局72所高校。

華為聯(lián)合72所高校持續(xù)深化“智能基座”項目,在理工科專業(yè)深入實踐,產教融合,把鯤鵬、昇騰、歐拉、高斯、昇思等根技術融入高校教學。目前,已賦能3000多個老師,開設 1500多門課程,覆蓋了30多萬學生,成立了72 個智能基座社團,出版約20本教材教輔書籍和12門精品慕課,并推出“智能基座”優(yōu)秀教學資源獎勵計劃,激勵更多教師百花齊放,自主開發(fā)教材和慕課。華為聯(lián)合教育部已建設17個教育部智能基座課程虛擬教研室。

大模型成為 AI 規(guī)模應用重要途徑

一、宏觀趨勢

1、“大算力+大數(shù)據”正在催生大模型的快速發(fā)展,孵化系列行業(yè)新應用

當前人工智能領域,大規(guī)模預訓練模型得到長足發(fā)展和廣泛關注,以大數(shù)據和大算力優(yōu)勢取代了一些小的算法模型,“大模型+大數(shù)據+大算力”成為邁向通用人工智能的一條可行路徑。以GPT-3為代表的超大規(guī)模預訓練模型,展示了一條通向通用人工智能的可能方向。

在此背景下,我國超大規(guī)模預訓練模型的發(fā)展如火如荼。2021年以來,國內相繼發(fā)布了一系列大模型,華為與鵬城實驗室聯(lián)合發(fā)布了“鵬程盤古”系列超大規(guī)模預訓練稠密模型,中科院自動化所發(fā)布了全球首個三模態(tài)大模型“紫東太初”,以及北京智源人工智能研究院發(fā)布了“悟道2.0”稀疏模型等。

人工智能大模型可以實現(xiàn)在眾多場景通用、泛化和規(guī)?;瘡椭?,減少對數(shù)據標注的依賴。隨著超大規(guī)模預訓練模型系統(tǒng)的開放,預訓練基線智能水平大幅提升,行業(yè)人工智能應用不必從零開始開發(fā),只需結合某個行業(yè)的領域數(shù)據進行調整,即可生成某個領域的相關模型,且得到良好的精度和性能。華為云發(fā)布的盤古預訓練大模型已經在多個行業(yè)、100多個場景成功驗證,包括能源、零售、金融、工業(yè)、醫(yī)療、環(huán)境、物流等等。其中,在能源領域,盤古預訓練大模型幫助行業(yè)客戶實現(xiàn)設備能耗的智能控制,可以節(jié)約電力成本50%;在金融行業(yè)中的異常財務檢測,讓模型精度提升20%以 上;在塵肺檢測中,病例識別準確率提升22%等等。行業(yè)應用和算法高效流通可以讓人工智 能應用和場景快速復制。

2、科學計算正在從傳統(tǒng)HPC進入科學智能新階段

科學計算是繼大模型之后,AI 發(fā)展的另一重要方向。此前,借助HPC高性能計算技術,科學計算對基礎科學研究和國計民生行業(yè)發(fā)展起到重大推動作用。但是,隨著求 解問題不斷復雜化、高維化,科學計算仍然面臨著維數(shù)災難、計算尺度受限、理論突破與工程方法創(chuàng)新緩慢三大挑戰(zhàn)。

因此,越來越多的科學家正在將AI技術引入到科學計算,科學計算正在從傳統(tǒng)HPC進入到科學智能的新階段。科學智能同時覆蓋HPC與AI 兩大技術領域,包含AI賦能機理計算、數(shù)據驅動AI計算、機理計算與AI計算相融合三大計算場景。

第一個場景是AI賦能機理計算,它是將AI計算嵌入到機理計算中,實現(xiàn)AI對機理計算的加速。 第二個場景是數(shù)據驅動的AI計算,它則不依賴于數(shù)學機理,通過大量的數(shù)據輸入,獲得AI模型,通過AI計算獲得結果。 第三個場景則是機理計算與AI計算相結合,它提升了科學計算的準確率和計算效率。

目前,科學計算已經進入科學智能新階段,其創(chuàng)新技術已經在氣象、新材料研發(fā)、生物信息等領域中得到應用。

二、建議

1、匯聚大模型發(fā)展要素,使能大模型從規(guī)劃到落地

當前人工智能技術趨勢正朝著通用大模型方向發(fā)展,大模型具備更強泛化能力、可覆蓋多業(yè)務場景,發(fā)展大模型也成為產學研各界共識。為了更好的推動大模型的發(fā)展,倡議匯聚大模型的發(fā)展要素,構建從規(guī)劃、開發(fā)到產業(yè)化的大模型全流程使能體系,與產業(yè)界共筑中國大模型生態(tài)。

1)以大模型地圖,統(tǒng)籌大模型有序發(fā)展

首先,建議統(tǒng)籌規(guī)劃大模型發(fā)展布局,匯聚大模型發(fā)展要素,在算力方面加強發(fā)展人工智能計算中心和算力網絡,塑造我國人工智能大模型人才培養(yǎng)體系,同時以自主創(chuàng)新的人工智能根技術發(fā)展我國大模型;其次,強化場景創(chuàng)新,提升大模型的活躍度和影響力;最后,強化政府支持,鼓勵產學研各界攜手在產業(yè)條件具備的行業(yè)和區(qū)域加速大模型的產業(yè)落地。

2)打造大模型開發(fā)使能平臺,讓大模型易開發(fā)、易適配、易部署

針對基礎模型開發(fā),建議打造大模型開發(fā)套件,通過算法開發(fā)、并行計算、存儲優(yōu)化等能力,實現(xiàn)大模型的高效開發(fā);此外,建議開發(fā)大模型微調組件來適配行業(yè)應用,實現(xiàn)一鍵式微調和調優(yōu)功能;在模型推理部署方面,還需要提供大模型部署套件,以實現(xiàn)分布式推理服務化、模型輕量化和動態(tài)加密部署功能。

3)成立大模型產業(yè)聯(lián)盟,推動大模型應用落地

技術維度端到端打通后,大模型下一個最為關鍵的問題是產業(yè)化落地。為了打通科研創(chuàng)新和產業(yè)應用的斷點、促進大模型產業(yè)化落地,建議圍繞大模型打通產學研用,建立大模型產業(yè)聯(lián)盟,促進產業(yè)伙伴直接基于大模型孵化行業(yè)應用,實現(xiàn)產業(yè)聚集,讓大模型真正賦能產業(yè)。

同時,產業(yè)聯(lián)盟模式可以加速大模型從科研創(chuàng)新到行業(yè)落地的進程,在這樣的大模型產業(yè)化落地過程中,各行業(yè)領域可以以更為豐富的數(shù)據和參數(shù)、更泛化的應用場景,來反哺大模型基礎能力,讓大模型更智能、場景適用性更好,從而迭代升級,為行業(yè)應用提供更大的支持,從而形成大模型創(chuàng)新-應用-迭代創(chuàng)新的產業(yè)正循環(huán),開啟了“煉大模型”的新范式。

2、打造科學智能基礎平臺、攜手產學研構筑科學智能生態(tài),加速產業(yè)閉環(huán)

過去單一、煙囪狀的軟硬件平臺已無法滿足科學智能需求。因此,華為建議打造原生科學智能基礎軟硬件平臺,以實現(xiàn)極致性能、極簡開發(fā)。華為認為,該基礎平臺在硬件方面應當擁有面向多樣性算力的液冷整機柜,在軟件方面包含業(yè)界領先的融合編程語言、編譯器和操作系統(tǒng),在開發(fā)使能方面則需要全場景統(tǒng)一的工具鏈,應用使能方面需要AI與HPC融合的框架和調度器。從底層硬件到上層應用協(xié)同創(chuàng)新,為科學研究提供“AI范式”。

對于科學智能的產業(yè)生態(tài)建設,華為倡議成立科學智能創(chuàng)新聯(lián)合體,匯聚政策、科研和產業(yè)優(yōu)質資源,攜手產學研伙伴,以科學智能新范式,拓展科學邊界,助力技術創(chuàng)新,加速科研創(chuàng)新到產業(yè)落地進程,加強交叉學科建設和人才培養(yǎng),構筑中國科學智能領先格局。

三、解決方案

1、基于大模型全流程使能體系, 使能大模型規(guī)劃、開發(fā)、產業(yè)化

華為的人工智能大模型全流程使能體系,包含從大模型規(guī)劃、大模型開發(fā)到大模型產業(yè)化的全流程,可端到端加速大模型產業(yè)落地,是以大模型產業(yè)化推動AI產業(yè)化的新范式。

1)規(guī)劃大模型沙盤,與產業(yè)界共筑中國大模型創(chuàng)新高地

從2020年開始,國內外頂尖公司的AI技術發(fā)展,越來越像一場比拼資金與人才的軍備競賽,推動AI競爭從2018年前后興起的“大煉(?。┠P汀?,進入到今天的“煉大模型”時代。大模型的優(yōu)勢不言而喻,但動則上百億的大參數(shù),也帶來了訓練成本太昂貴,模型修正不容易等難題,導致本來定位于“不再重復造 輪子”的大模型,面臨重新陷入粗放式發(fā)展的境地。華為看到這一問題,積極聯(lián)合產業(yè)界規(guī)劃大模型沙盤,牽引產業(yè)界建設真正需要的大模型,共筑中國大模型創(chuàng)新高地。

ICjG6IQs_jIsa.png?auth_key=1675612799-0-0-88370b4416e88a2612cb7310783d2ad0

昇騰大模型沙盤

從任務和應用類別兩個維度出發(fā),過去的一年,華為攜手產業(yè)界伙伴基于昇騰AI先后推出 了各個領域有影響力的大模型,形成了基礎大模型+行業(yè)大模型的整體布局?;A大模型面向多行業(yè)領域通用需求,行業(yè)大模型面向特定行業(yè)多應用場景,類似“新基建”中的信息基 礎設施+融合基礎設施,形成既有橫向,也有縱深的立體支撐。

值得一提的是,考慮到“煉大模型”對大算力的強需求,華為與產業(yè)界在規(guī)劃大模型沙盤的同時,全國20多個城市也都規(guī)劃和建設了人工智能計算中心,并已開始將部分算力中心連點成片構建中國算力網——智算網絡,以便基于它們的超強算力孵化AI大模型,大幅縮短大模型的訓練時間。鵬程、武漢、秦嶺、金陵系列大模型的快速推出,正得益于這一布局的強力支持。反過來,這些帶有一定地域特色的大模型,又能夠結合本地AI算力更好地服務產業(yè)。

2)打造大模型開發(fā)使能平臺,讓大模型易開發(fā)、易適配、易部署

依托長期的根技術積累,華為建立起了完整的大模型開發(fā)使能平臺,加速從基礎模型開發(fā)到推理部署的全流程,讓大模型易開發(fā)、易適配、易部署。

首先,在基礎模型開發(fā)方面,華為推出大模型開發(fā)套件,通過算法開發(fā)、并行計算、存儲優(yōu)化、斷點續(xù)訓重磅特性支撐大模型的高效開發(fā)。這其中,作為人工智能之“魂”,昇思 MindSpore自誕生起就有著鮮明的產業(yè)導向,可以在云、邊、端等不同環(huán)境下進行開發(fā)部署,是并行維度業(yè)界最多、模型切分支持結構最全、單機容納模型參數(shù)業(yè)界最強的的AI框架,這使其原生支持AI大模型訓練,具備實現(xiàn)開發(fā)并行代碼量降低80%、系統(tǒng)調整時間下降60%、僅用512卡就能完成十萬億模型參數(shù)訓練的超強能力。

其次,在行業(yè)應用適配方面,華為推出基于MindX的大模型微調組件,其預置典型行業(yè)任務微調模板,通過小樣本學習等手段,實現(xiàn)一鍵式微調和低參數(shù)調優(yōu),可以快速適配各種行業(yè)應用。目前紫東太初大模型就基于微調套件,提供了開放服務平臺,已有40多個企業(yè)在平臺上孵化了近60個產品解決方案,可以快捷的完成場景適配。

最后,在推理部署方面,推出基于MindStudio的大模型部署套件,其提供量化、剪枝、蒸餾等模型小型化能力,實現(xiàn)10倍級模型壓縮率,同時分布式推理服務化能力還大幅提高吞吐率,此外模型動態(tài)加密技術,可在保證模型性能的同時對部署的模型進行加密,保護開發(fā)者的模型資產。

3)從科研創(chuàng)新到行業(yè)落地,開創(chuàng)人工智能產業(yè)聚集新模式

技術維度端到端打通后,大模型下一個最為關鍵的問題是產業(yè)化落地。去年底,基于全球首個智能遙感框架及數(shù)據集武漢LuoJia和全球首個三模態(tài)大模型紫東太初,產業(yè)各界成立了智能遙感開源生態(tài)聯(lián)盟和多模態(tài)人工智能產業(yè)聯(lián)盟,如今60余家伙伴已陸續(xù)孵化出多個行業(yè)解決方案。

千博信息與中科院自動化所、華為三方聯(lián)手, 基于昇騰AI基礎軟硬件平臺以及紫東太初三模態(tài)大模型,打造出手語多模態(tài)模型并發(fā)布手語教考一體機,大幅改善了特殊人群的學習環(huán)境。此外,長安汽車、新華社技術局、浙江移動、愛奇藝等多模態(tài)人工智能產業(yè)聯(lián)盟成員也分別打造了自己的多模態(tài)+智能座艙、多模態(tài)+新媒體內容檢索平臺、多模態(tài)+南宋御街數(shù)字人、多模態(tài)+視頻摘要智能平臺等場景化大模型及行業(yè)應用。智能遙感開源生態(tài)聯(lián)盟下,基于武漢LuoJia的自然資源大腦、全場景類腦遙感矩陣、耕地保護自然監(jiān)測平臺、智能遙感解譯平臺等創(chuàng)新成果也不斷涌現(xiàn)。

大模型是AI產業(yè)加快發(fā)展的必然,也是科研創(chuàng)新走向產業(yè)應用的關鍵。華為聯(lián)合產業(yè)界基于昇騰AI開啟的“煉大模型”新范式,首次從大模型規(guī)劃、開發(fā)到產業(yè)化構建了大模型全流程使能體系,拉通了技術生態(tài)與商業(yè)生態(tài)之間的橋梁,將加速我國大模型產業(yè)化發(fā)展,進而推動AI產業(yè)化和產業(yè)AI化,加速智能世界到來。

2、打造原生支持科學智能的基礎軟硬件平臺,原生構建科學智能新生態(tài)

華為基于鯤鵬和昇騰AI,融合HPC和AI兩大技術優(yōu)勢,通過創(chuàng)新的計算架構,打造原生科學智能基礎軟硬件平臺,以全棧的創(chuàng)新實現(xiàn)科學智能基礎設施的極致性能、極簡開發(fā)。

在硬件方面,華為推出科學智能全場景液冷“天成”多樣性算力平臺,其支持多樣性算力靈活彈性部署,可實現(xiàn)液冷級能效,整系統(tǒng) TCO降低20%,性能提升20~30%;在基礎軟件方面,華為發(fā)布畢昇C++編程語言并全面升級畢昇編譯器,實現(xiàn)系統(tǒng)開發(fā)效率提升一倍,系統(tǒng)性能提升30~50%;在開發(fā)使能方面,華為升級全場景統(tǒng)一工具MindStudio,實現(xiàn)軟件融合編程、編譯和調優(yōu),可使科學智能全場景開發(fā)效率提升50%;在應用使能方面,昇思MindSpore 2.0升級為AI融合框架,原生支持科學智能以及多瑙融合調度器,其內嵌科學智能套件,讓科學智能應用的開發(fā)、部署和調度更 高效,應用性能提升10~20倍,系統(tǒng)資源利用率提升15%。

目前,科學智能基礎軟硬件平臺已在新材料研發(fā)、大飛機設計、蛋白質結構預測等領域中應用。科學智能要實現(xiàn)產業(yè)化落地,還需要突破科研理論,創(chuàng)新工程方法,并構建產業(yè)生態(tài),聚焦產業(yè)價值場景,打通科研創(chuàng)新、應用示范到產業(yè)推廣的通道。在華為全聯(lián)接大會2022中,華為倡議成立科學智能創(chuàng)新聯(lián)合體,呼吁產學研各方共同攜手,為大力發(fā)展科學智能生態(tài)奠定基礎。

UBUXajVh_wt3A.png?auth_key=1675612799-0-0-5970c666ee495855eafb9f7cfffc1812

科學智能基礎軟硬件平臺

綠色高效成為算力基礎設施建設的關鍵訴求

一、產業(yè)趨勢

1、在雙碳目標下,算力基礎設施的建設更加注重能耗

未來算力將爆炸式增長,而數(shù)據中心是算力的主要載體,是新型基礎設施節(jié)能降耗的關鍵環(huán)節(jié),也是促進全社會降碳增效的有力抓手。傳統(tǒng)數(shù)據中心能耗高、算力利用率低,在“3060 雙碳”目標牽引下,國家對數(shù)據中心能耗提出更嚴格的要求,各省也出臺了能耗指標及PUE要求,算力爆發(fā)式增長和降低碳排放的矛盾愈發(fā)突出,數(shù)據中心綠色化轉型升級勢在必行,算力基礎設施的建設更加注重綠色高效。

2、從單領域創(chuàng)新走向系統(tǒng)級創(chuàng)新,實現(xiàn)綠色高效

傳統(tǒng)數(shù)據中心能耗控制往往是單領域創(chuàng)新優(yōu)化,比如材料優(yōu)化、供配電優(yōu)化、空調制冷優(yōu)化等,但提升效果有限,因此需要通過系統(tǒng)工程的創(chuàng)新,包括提升集成度、多領域全棧協(xié)同優(yōu)化,比如通過AI技術對設備功率進行動態(tài)控制、IT設備與供配電及制冷設備全棧協(xié)同聯(lián)動等,解決大規(guī)模數(shù)據中心建設能耗的難題,降低能耗,提高能效比和系統(tǒng)性能,實現(xiàn)綠色高效。

二、建議

1、建設模式從傳統(tǒng)的部件堆疊逐步走向集群全棧一體化

傳統(tǒng)的數(shù)據中心都是分層建設、部件堆砌,導致建設周期長、能耗高、算力利用率低;集群計算中心為代表的新建數(shù)據中心,采用全棧一體化設計,從L0到L3整系統(tǒng)創(chuàng)新和協(xié)同優(yōu)化,集中化建設、集約化使用,達到多樣算力融合、模塊化快速部署、液冷綠色高效,實現(xiàn)DC as a Computer。

T7pAZX5G_n8gL.png?auth_key=1675612799-0-0-fdddaa84bf971c5c8974e2d980fad383

數(shù)據中心建設從部件堆疊走向全棧一體化

2、散熱方式逐步從傳統(tǒng)風冷走向風液混合或全液冷

數(shù)字經濟時代,對高性能、高密度的計算需求逐漸增多。芯片和單機柜功率密度不斷增大,傳統(tǒng)散熱方式難以為繼,房間級空調方案,受限于物理空間和空氣比熱容低,難以支持每柜12KW以上機柜;行級空調方案,單機柜超過12KW時,需冗余配置空調以增加換熱量,影響機房出柜率和TCO;超過15KW,風冷換熱效率不足,難以支撐高功率元器件散熱負荷,無法滿足散熱需求,液冷技術逐漸普及。液冷提供了高能效、高可靠、低碳環(huán)保的散熱技術,逐漸成為算力基礎設施的主流散熱方式。

3、算力評估逐步從面向硬件的裸算力,走向面向業(yè)務的有效算力

傳統(tǒng)算力度量采用裸算力或部件級算力評估,如規(guī)格算力(芯片標稱的算力規(guī)格)指標,單機或單服務器的性能評測,只關注IT計算設備的單臺設備理論性能,無法完全體現(xiàn)集群系統(tǒng)或者算力中心整體性能。算力中心的真實性能需要綜合考慮芯片、存儲、網絡以及平臺軟件各層協(xié)調所呈現(xiàn)的綜合業(yè)務性能,也就是“有效算力”。有效算力通過評測真實業(yè)務性能表現(xiàn),來衡量算力基礎設施對業(yè)務的支撐效果,也就是業(yè)務實際可獲得的算力水平。通過有效算力的模式來牽引算力基礎設施的建設,提升算力的利用率,推動算力建設綠色高效訴求的落地,更好地支撐當?shù)禺a業(yè)的發(fā)展。

三、解決方案

1、集群計算全棧協(xié)同優(yōu)化,實現(xiàn) DC as a computer

集群計算解決方案,通過系統(tǒng)級工程創(chuàng)新,采用軟硬件協(xié)同設計,包括應用軟件與平臺軟件的協(xié)同優(yōu)化,基礎硬件平臺及供電散熱系統(tǒng)與平臺軟件的協(xié)同優(yōu)化,實現(xiàn)從應用到平臺到基礎硬件平臺、供電散熱系統(tǒng)的縱向業(yè)務聯(lián)動,數(shù)據中心全棧優(yōu)化DC基礎架構;采用數(shù)據中心整體設計,包括計算、存儲、互聯(lián)等各子系統(tǒng)協(xié)同優(yōu)化,結合基礎架構及通信網絡優(yōu)化使能平臺及中間件持續(xù)提升,CPU/NPU/xPU多樣性算力平臺及融合調度,實現(xiàn)橫向資源整合,突破硬件基礎算力瓶頸。

通過上述措施,軟硬協(xié)同、縱向業(yè)務聯(lián)動;整體優(yōu)化、橫向資源整合,提升數(shù)據中心的有效算力,提高能效比,實現(xiàn)DC as a Computer。

n2rV8P5R_wpsz.png?auth_key=1675612799-0-0-fb2b564d84102b8dab20156aa766ff1e

集群計算解決方案整體架構

算力網絡將成為重要的算力供給方式

一、產業(yè)趨勢

1、算力建設從分散化走向集約化

在“東數(shù)西算”“網絡強國”等戰(zhàn)略的牽引下,在“3060雙碳”目標牽引下,原來傳統(tǒng)的分散化算力建設的弊端也越來越突出,建設周期長、能耗高、利用率低,不符合綠色高效的算力發(fā)展趨勢。以人工智能計算中心、超算中心、一體化大數(shù)據中心等為代表的算力基礎設施,成為國家新基建的重要組成,算力建設走向集約化,建設周期短、能耗低、算力利用率高。各地集中進行算力中心的建設,讓算力像水和電一樣,成為城市新型基礎設施和公共資源。就像過去每個核心城市標配有機場、有高鐵站,未來數(shù)字經濟發(fā)展、智能化發(fā)展,核心城市都將標配一個公共算力中心,來以算力賦 能科研創(chuàng)新和產業(yè)發(fā)展。

2 從算力中心,走向算力網絡

各地算力中心、算力基礎設施陸續(xù)建成后,結合網絡基礎設施,就可以連成一張算力網絡。像過去有電力網、通信網一樣,在數(shù)字世界也一定會有一張算力網。以人工智能算力為例,2021年,中國科學技術信息研究所、新一代人工智能產業(yè)技術創(chuàng)新戰(zhàn)略聯(lián)盟(AITISA)、鵬城實驗室共同發(fā)布《人工智能計算中心發(fā)展白皮書2.0》,指出了人工智能中心發(fā)展的新階段——從人工智能計算中心走向人工智能算力網絡。2021年底,在科技部的指導下,鵬城實驗室牽頭成立了人工智能算力網絡推進聯(lián)盟, 推進各地上線的人工智能計算中心連接成網上線運行。2022年6月,“中國算力網—智算網 絡”一期正式上線,這是中國算力網絡建設邁出的關鍵一步。各地的算力建設,開始從單獨的算力中心,走向全國范圍內的算力網絡。

二、行動建議

1、加速算力基礎設施的建設

集約化建設綠色高效的算力基礎設施,既是響應國家產業(yè)政策的需要,也是區(qū)域社會經濟發(fā)展的需要。算力基礎設施建設,需要結合當?shù)氐漠a業(yè)布局、科研實力及數(shù)字經濟發(fā)展情況,以應用為導向,以信息技術與制造等傳統(tǒng)技術深度融合為主線,推動人工智能計算、超級計算等先進技術的產業(yè)化與集成應用,發(fā)展高端智能產品,夯實核心基礎,提升智能制造水平。促進算力服務相關各基礎設施的建設,完善公共支撐體系,促進產業(yè)發(fā)展,推動制造強國和網絡強國建設,助力實體經濟轉型升級。

結合各地實際情況,聯(lián)合高校、科研院所、企業(yè)等行業(yè)技術力量,適度超前、加速建設算力基礎設施,可以服務于千行百業(yè),滿足高校、 科研院所、企業(yè)不斷增長的算力需求,以充沛算力,促進本地各行各業(yè)發(fā)展的訴求;同時,承擔國家和區(qū)域里涉及國際民生的關鍵行業(yè)科研訴求,帶來良好的經濟效益和社會效益。

2、積極加入中國算力網,實現(xiàn)算力匯聚共享

2022年6月,在科技部指導下,由鵬城實驗室牽頭的“中國算力網-智算網絡”正式上線,伴隨各地算力基礎設施的不斷建設。截止2022年11月,鵬城云腦、北京、成都、中原、合肥、 武漢、西安、濟南、青島、沈陽、廣州、重 慶、昆明、福州、長沙、河北(廊坊)等20多個節(jié)點已接入中國算力網。多個人工智能計算中心間的AI算力調度與協(xié)同訓練已完成初步驗證,全國AI算力一張網初具雛形。

未來,各地的人工智能計算中心、超算中心、一體化大數(shù)據中心、算力樞紐、以及社會泛在云算力中心都可以接入中國算力網,共同構建一個支撐中國數(shù)字經濟發(fā)展的強大算力底座,匯聚多種社會算力,實現(xiàn)綠色高效布局、泛在算力協(xié)同和全網交易流通,以東數(shù)西存、東數(shù)西算、東數(shù)西訓為牽引,將逐步形成綠色集約的算力布局;匯聚多種社會算力,形成更加泛在的算力協(xié)同,并通過全網的算力交易流通, 彈性滿足全網范圍內的算力需求。讓算力成為與水電一樣,可“一點接入、即取即用”的社會級服務。

三、解決方案

1、算力網絡架構創(chuàng)新,打造全網一臺計算機

算力網絡需要以終為始,站在最終用戶使用者的角度,打造全網一臺計算機的架構,實現(xiàn)全程全網的社會級算力服務。算力網絡的參考架構包括算網大腦及運營層、算網基礎設施及使能層。

1)單域自治

使能層通過算力使能、網絡使能和數(shù)據使能實現(xiàn)算力、網絡和數(shù)據的單域管理與調度,確保單域獨立交付與演進

2)跨域編排

實現(xiàn)跨域跨廠家的業(yè)務編排與調度,負責多云管理

3)北向接口

制定統(tǒng)一接口標準,各單域使能以服務化形式(云服務或Restful API)對外,供上層調用

4)以云調算

云納管算,通過云服務來調度各種算力,重用云在大規(guī)模、跨域和異構算力的統(tǒng) 一調度能力

非云化資源池由云管納管,不參與全局調度;通過單域自治、跨域編排、北向接口、以云調算,實現(xiàn)“全網一臺計算機”,為用戶提供無所不在的算力服務。

cs6ORc94_vymx.png?auth_key=1675612799-0-0-c4355840b3c22b642192562cccee3d71

算力網絡架構創(chuàng)新,打造全網一臺計算機

面向未來,華為將堅持圍繞鯤鵬和昇騰,攜手產業(yè)伙伴共建計算產業(yè)生態(tài);堅持“硬件開 放、軟件開源、使能伙伴和發(fā)展人才”,和產業(yè)伙伴共同構筑堅實的算力底座。 共建計算產業(yè),共贏數(shù)智時代。

審核編輯黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • ARM
    ARM
    +關注

    關注

    134

    文章

    9137

    瀏覽量

    368285
  • 服務器
    +關注

    關注

    12

    文章

    9262

    瀏覽量

    85766
  • AI
    AI
    +關注

    關注

    87

    文章

    31315

    瀏覽量

    269659
  • 數(shù)字經濟

    關注

    2

    文章

    1059

    瀏覽量

    18315
收藏 人收藏

    評論

    相關推薦

    鼎盛智能推出基于Ampere的Arm服務器

    隨著數(shù)字化、智能化轉型的加速推進,服務器市場將迎來更加廣闊的發(fā)展空間,以Arm架構為代表的非X86服務器憑借功耗優(yōu)勢、高性能、支持大規(guī)模部署等優(yōu)勢,廣泛適用于云游戲、云手機、云桌面等低
    的頭像 發(fā)表于 01-03 14:15 ?173次閱讀
    鼎盛智能推出基于Ampere的<b class='flag-5'>Arm</b><b class='flag-5'>服務器</b>

    華為云征文 云計算新紀元:Flexus 云服務器 X 實例引領柔性算力時代,部署 Zabbix 運維監(jiān)控

    Flexus 云服務器 X 實例引領柔性算力時代 引言 隨著云計算技術的飛速發(fā)展,企業(yè)對于算力的需求日益多樣化與精細化。傳統(tǒng)的粗顆粒度彈性算力已難以滿足復雜多變的業(yè)務場景需求。在此背
    的頭像 發(fā)表于 01-02 11:57 ?80次閱讀
    華為云征文 云計算新紀元:Flexus 云<b class='flag-5'>服務器</b> X 實例<b class='flag-5'>引領</b>柔性算力<b class='flag-5'>時代</b>,部署 Zabbix 運維監(jiān)控

    獨立服務器與云服務器的區(qū)別

    隨著互聯(lián)網技術的飛速發(fā)展,企業(yè)對于服務器的需求日益增加,而服務器市場也隨之出現(xiàn)了多種類型的產品,其中最常見的是獨立服務器和云服務器。這兩種
    的頭像 發(fā)表于 10-12 14:34 ?301次閱讀

    基于高通主板的ARM架構服務器

    架構主導服務器市場,現(xiàn)面臨挑戰(zhàn)。Arm 2008 年入服務器領域,雖因性能與生態(tài)問題未大突破,但近幾年重新沖刺。 (二)技術創(chuàng)新引領 Arm
    的頭像 發(fā)表于 09-11 10:53 ?570次閱讀

    服務器而言,ARM架構與X86架構有什么區(qū)別?各自的優(yōu)勢在哪里?

    一、服務器架構概述 在數(shù)字化時代,服務器架構至關重要。服務器是網絡核心節(jié)點,存儲、處理和提供數(shù)據與服務,是企業(yè)和組織信息化、數(shù)字化的關鍵基礎
    的頭像 發(fā)表于 09-09 14:05 ?1941次閱讀

    服務器引領未來計算的強大引擎

    一、云服務器的基本概念 云服務器是一種基于云計算技術的虛擬服務器。其工作原理是通過虛擬化技術將物理服務器的硬件資源(如 CPU、內存、存儲等)整合為資源池,再根據用戶需求進行動態(tài)分配。
    的頭像 發(fā)表于 08-14 14:16 ?829次閱讀

    探索新潮流 — AI服務器引領數(shù)據中心的發(fā)展

    電子發(fā)燒友網站提供《探索新潮流 — AI服務器引領數(shù)據中心的發(fā)展.pdf》資料免費下載
    發(fā)表于 07-26 13:35 ?363次下載

    AT+CIPSERVERMAXCONN查詢/設置服務器允許建立的最大連接數(shù)是幾個呢?

    AT+CIPSERVERMAXCONN查詢/設置服務器允許建立的最大連接數(shù)是幾個呢?
    發(fā)表于 06-27 08:07

    華為云函數(shù)工作流:引領未來無服務器計算時代

    在當今數(shù)字化飛速發(fā)展時代,企業(yè)和個人對于計算資源的需求越來越高,但傳統(tǒng)的服務器架構帶來的管理成本和資源浪費問題也愈發(fā)凸顯。為解決這一難題,華為云引領著無
    的頭像 發(fā)表于 05-27 10:50 ?382次閱讀
    華為云函數(shù)工作流:<b class='flag-5'>引領</b>未來無<b class='flag-5'>服務器</b>計算<b class='flag-5'>時代</b>

    引領柔性算力新風潮,加速企業(yè)數(shù)智轉型首選服務器就是它

    在當今云計算時代,企業(yè)對于云服務器的需求已經不僅僅停留在簡單的彈性算力上,更多的是希望能夠根據自身業(yè)務需求,獲得精準、靈活的計算資源,以實現(xiàn)成本最優(yōu)和業(yè)務最佳性能。 然而,傳統(tǒng)的云服務器產品往往固定
    的頭像 發(fā)表于 05-22 19:35 ?337次閱讀
    <b class='flag-5'>引領</b>柔性算力新風潮,加速企業(yè)<b class='flag-5'>數(shù)</b>智轉型首選<b class='flag-5'>服務器</b>就是它

    RISC-V在服務器方面應用與發(fā)展前景

    RISC-V在服務器方面的應用與發(fā)展前景十分廣闊。作為一種開源、開放、簡潔、靈活的指令集,RISC-V近年來在芯片產業(yè)中發(fā)展迅速,并逐漸引領新一輪處理
    發(fā)表于 04-28 09:04

    RISC-V在服務器方面的應用與發(fā)展前景如何?剛畢業(yè)的學生才開始學來的及嗎?

    RISC-V在服務器方面的應用與發(fā)展前景十分廣闊。作為一種開源、開放、簡潔、靈活的指令集,RISC-V近年來在芯片產業(yè)中發(fā)展迅速,并逐漸引領新一輪處理
    發(fā)表于 04-28 08:49

    解鎖未來,華為云耀云服務器 X 實例引領柔性算力新時代

    在數(shù)字化浪潮的推動下,云計算已經成為企業(yè)發(fā)展的必然選擇,但傳統(tǒng)云服務器常常束縛了企業(yè)的發(fā)展步伐。云耀云服務器 X 實例的問世,標志著云計算邁向了全新的柔性算力
    的頭像 發(fā)表于 04-11 22:23 ?1037次閱讀
    解鎖未來,華為云耀云<b class='flag-5'>服務器</b> X 實例<b class='flag-5'>引領</b>柔性算力新<b class='flag-5'>時代</b>

    服務器遠程不上服務器怎么辦?服務器無法遠程的原因是什么?

    。 解決辦法:一般剛開始拿到的服務器的端口服務器商會主動幫忙設置好的,在這之后更換了的端口記得要加進防火墻策略哦, 不會操作的話可以聯(lián)系服務器商幫忙操作。 3.已超出遠程計算機上的連接數(shù)
    發(fā)表于 02-27 16:21

    服務器數(shù)據恢復—服務器陣列磁盤進水損壞的數(shù)據恢復案例

    服務器數(shù)據恢復環(huán)境: 數(shù)服務器+數(shù)臺存儲陣列柜,共上百塊硬盤,劃分了數(shù)十組lun。 服務器故障&檢測: 外部因素導致
    的頭像 發(fā)表于 01-22 13:40 ?378次閱讀
    <b class='flag-5'>服務器</b>數(shù)據恢復—<b class='flag-5'>服務器</b>陣列磁盤進水損壞的數(shù)據恢復案例