解鎖RISC-V技術(shù)力量丨曹英杰：RISC-V與大模型探索

4月12日，第二期“大家來談芯|解鎖RISC-V技術(shù)力量”在上海臨港新片區(qū)頂科永久會(huì)址舉辦，本期沙龍聚焦RISC-V技術(shù)，圍繞AI時(shí)代的RISC-V市場(chǎng)機(jī)會(huì)、RISC-V在汽車領(lǐng)域的應(yīng)用進(jìn)展與EDA助力RISC-V開發(fā)等話題，多位業(yè)內(nèi)嘉賓發(fā)表了主旨演講。

會(huì)上，時(shí)擎科技高級(jí)技術(shù)總監(jiān)曹英杰以“RISC-V與大模型探索”為題，將大模型作為切入點(diǎn)，探討了RISC-V在大模型應(yīng)用中的可能。

時(shí)擎科技高級(jí)技術(shù)總監(jiān) 曹英杰

時(shí)擎科技是國(guó)內(nèi)最早投入RISC-V處理器研發(fā)的團(tuán)隊(duì)之一，18年初就啟動(dòng)了RISC-V處理器內(nèi)核的自研，也一直積極參與RISC-V相關(guān)的生態(tài)建設(shè)，是RISC-V國(guó)際基金會(huì)成員，也是中國(guó)RISC-V產(chǎn)業(yè)聯(lián)盟的副理事長(zhǎng)單位。

曹英杰表示，大模型已經(jīng)跨過AIGC的“iPhone”時(shí)刻，其輕量化分支已經(jīng)出現(xiàn)，而端側(cè)部署將成為新的趨勢(shì)，這就給RISC-V帶來了機(jī)會(huì)。

四個(gè)原因驅(qū)使企業(yè)愿意在RISC-V在大模型硬件應(yīng)用上投入資源。從市場(chǎng)空間來看，AIGC的爆發(fā)不可阻擋，市場(chǎng)空間巨大，哪怕只“分一杯羹”，都足以支持重新開發(fā)基于RISC-V內(nèi)核的大模型硬件；

從技術(shù)走勢(shì)來看，大模型推理正在下沉到端側(cè)，Nvidia在端側(cè)的統(tǒng)治力并不強(qiáng)大，而RISC-V的特點(diǎn)也更適合端側(cè)；

從市場(chǎng)格局來看，Nvidia在大模型硬件上形成了實(shí)施壟斷，天下苦Nvidia久矣，各大廠和創(chuàng)業(yè)公司都在推出基于RISC-V技術(shù)的自研AI芯片；

從國(guó)家支持來看，在GPU被斷供的背景下，擁有大量社區(qū)資源、生態(tài)逐步成型的RISC-V是進(jìn)行替代的最優(yōu)解。

曹英杰舉了兩個(gè)例子，一個(gè)是前面提到過的Meta的MTIA，另一個(gè)是Tenstorrent的方案，由Tensix Core組成PE陣列，目標(biāo)是將數(shù)據(jù)中心變成一個(gè)全聯(lián)通的PE計(jì)算資源池，跨PE、跨芯片、跨板卡計(jì)算對(duì)用戶透明，提高大模型SIMD/MIMD場(chǎng)景下的資源利用。

時(shí)擎科技基于RISC-V的處理器系列有三類，即TM主控處理器、TD系列DSP/向量處理器，以及TimesFormer DSA智能處理器。針對(duì)大模型加速的方案，主要是其TimesFormer DSA智能處理器方案。

TimesFormer是時(shí)擎科技自主設(shè)計(jì)的可適應(yīng)未來3到5年端側(cè)智能計(jì)算需求的DSA計(jì)算架構(gòu)，具有高能效比、高性價(jià)比、可伸縮、可擴(kuò)展等特點(diǎn)，還容易上手。

目前，時(shí)擎科技可以提供AI算法、部署工具和處理器三位一體的方案，TimesFormer高度靈活可擴(kuò)展的架構(gòu)，能快速升級(jí)支持大模型。預(yù)計(jì)2024年三季度發(fā)布的TF3.0，將提供針對(duì)注意力機(jī)制優(yōu)化的新PE，針對(duì)大模型升級(jí)數(shù)據(jù)流控制器及配套工具鏈/軟件棧，增加Packet Engine, 可以作大模型AI芯片中的PE計(jì)算節(jié)點(diǎn)。