對話天數(shù)智芯董事長兼CEO蓋魯江：國產(chǎn)通用GPU性能提升的四大抓手

電子發(fā)燒友網(wǎng)報道（文/吳子鵬）要問2023世界人工智能大會（WAIC）上什么應(yīng)用最火，想來答案就是生成式AI和AI大模型，無論是專業(yè)會議還是展品，基本都是圍繞這兩項展開。對于生成式AI和AI大模型而言，核心三要素是算法、數(shù)據(jù)和算力，其中算力是底座。

對于算力而言，目前行業(yè)基本的共識是基于通用GPU來構(gòu)建AI大模型的算力集群，上海天數(shù)智芯半導(dǎo)體有限公司（以下簡稱：天數(shù)智芯）是目前國內(nèi)第一家實(shí)現(xiàn)通用GPU量產(chǎn)并落地的公司。在WAIC上，天數(shù)智芯展示了通用GPU訓(xùn)練產(chǎn)品“天垓100”和推理產(chǎn)品“智鎧100”，以及基于兩款芯片落地的超過20+行業(yè)方案，其中當(dāng)然也包括AI大模型的訓(xùn)練和推理案例。

天數(shù)智芯董事長兼CEO蓋魯江在接受電子發(fā)燒友網(wǎng)等媒體采訪時表示：“目前，天數(shù)智芯的‘天垓100’產(chǎn)品已經(jīng)跑通近500個模型，包括清華大學(xué)的GLM模型、Meta的LLamA模型、北京智源人工智能研究院Aquila模型等。智源研究院當(dāng)前已經(jīng)跑通的大模型是70億參數(shù)規(guī)模，650億參數(shù)規(guī)模的大模型也正在基于天數(shù)智芯天垓‘100’進(jìn)行訓(xùn)練，預(yù)計將會于今年的10月份完成。”



蓋魯江指出：“這些案例充分地證明了，天數(shù)智芯的國產(chǎn)通用GPU能夠適配國內(nèi)公司推出的大模型產(chǎn)品，也能夠滿足垂直行業(yè)方案在推理方面的需求。我們也在更新迭代自己的產(chǎn)品，預(yù)計在今年第四季度或者明年初將會有新品推出，針對大模型算法做硬件級的優(yōu)化，實(shí)現(xiàn)算力通用性和芯片性能的全面提升?！?br />
從行業(yè)發(fā)展現(xiàn)狀來看，目前在國產(chǎn)通用GPU方面，天數(shù)智芯處于領(lǐng)先的位置。那么，要做好國產(chǎn)通用GPU需要具備哪些要素呢？而后續(xù)國產(chǎn)通用GPU優(yōu)化的方向是什么呢？

打造國產(chǎn)通用GPU，團(tuán)隊很重要

產(chǎn)業(yè)界真正提出通用GPU這個概念是在2003年，此后不斷強(qiáng)化其通用性，逐漸和圖形GPU有了明顯的差別。由于具有高并發(fā)性、高吞吐量以及可編程的能力，目前通用GPU成為產(chǎn)業(yè)界提供算力的主要手段。

蓋魯江在受訪時談到，要做好國產(chǎn)通用GPU，團(tuán)隊是非常重要的，且需要一支完整的有做過大芯片經(jīng)驗(yàn)的團(tuán)隊。

他對此說到：“通用GPU設(shè)計需要研發(fā)團(tuán)隊具備工程設(shè)計的經(jīng)驗(yàn)和能力，才能夠?qū)⑵湓O(shè)計出來。舉例來說，天數(shù)智芯通用GPU產(chǎn)品其中一個賣點(diǎn)是全自主IP，也就是說IP是由我們團(tuán)隊自己設(shè)計的，保證了產(chǎn)品的穩(wěn)定供應(yīng)，其中涉及了IP的設(shè)計和驗(yàn)證，一個有多年合作經(jīng)驗(yàn)的團(tuán)隊能夠在流片前杜絕IP帶來的風(fēng)險?！?br />
“其二是要傾聽客戶，通用GPU算力、精度和性能的提升都是基于經(jīng)驗(yàn)，而經(jīng)驗(yàn)的來源就是客戶應(yīng)用的反饋。只有客戶將產(chǎn)品用起來了，才能夠知道哪些方面做得好，可以在下一代產(chǎn)品中繼續(xù)沿用，哪些方面是需要在下一代產(chǎn)品中著重優(yōu)化?！鄙w魯江稱。

談到通用GPU產(chǎn)品的升級迭代，蓋魯江提到了四大方向：

·計算單元的優(yōu)化，這是通用GPU一切性能提升的核心。通用GPU多核并行計算的特性決定了，如果單核性能得到提升，系統(tǒng)性能將會有明顯的改進(jìn)。
·集群化管理能力的提升，未來的通用GPU一定是以千卡、萬卡集群的方式來提供算力，卡與卡之間的互聯(lián)技術(shù)需要重點(diǎn)優(yōu)化。
·借助先進(jìn)封裝的創(chuàng)新力量，包括Chiplet、3D封裝這樣的技術(shù)，未來的算力需求需要從系統(tǒng)層面去解決。
·針對具體應(yīng)用去做突破，通用GPU的“通用性”使其不能單純只講芯片，需要結(jié)合具體的應(yīng)用優(yōu)化芯片。

走兼容國際主流的生態(tài)路線

2022年8月30日，天數(shù)智芯正式發(fā)布國內(nèi)首個通用計算應(yīng)用開發(fā)及評測平臺——DeepSpark，通過分享與落地應(yīng)用深度耦合的百大算法，并針對行業(yè)需求構(gòu)建多維度測評體系，廣泛支持各類落地場景，讓算力選擇不再困難，更好賦能通用計算應(yīng)用開發(fā)。

DeepSpark平臺是天數(shù)智芯構(gòu)建國產(chǎn)通用GPU生態(tài)的重要一步。確實(shí)，如蓋魯江所言，通用GPU產(chǎn)品是不能脫離應(yīng)用談芯片的。他表示：“國際領(lǐng)先廠商多年來一直在構(gòu)建自己的軟件生態(tài)，并取得顯著的效果，在人工智能、元宇宙和大模型浪潮中，這家廠商的軟件生態(tài)都能對硬件應(yīng)用起到很好的帶動效果。”

“對于天數(shù)智芯而言，生態(tài)建設(shè)的第一步就是兼容國際主流生態(tài)?；谔鞌?shù)智芯的通用GPU做軟件棧的開發(fā)，然后在API接口層面兼容國際主流生態(tài)，讓客戶能夠很快地將天數(shù)智芯的通用GPU用起來，實(shí)現(xiàn)更低的遷移成本。”蓋魯江對此說。

據(jù)介紹，目前天數(shù)智芯的團(tuán)隊規(guī)模在500多人，其中硬件和軟件工程師的比例大概是1：2。

后記

在國產(chǎn)通用GPU這個領(lǐng)域，天數(shù)智芯起步較早，并且是目前國內(nèi)第一家實(shí)現(xiàn)產(chǎn)品量產(chǎn)落地的公司。憑借先發(fā)的優(yōu)勢，以及AI大模型帶來的指數(shù)級增長的算力需求，相信天數(shù)智芯在國產(chǎn)通用GPU上已經(jīng)滾起來的雪球?qū)綕L越大。