AIGC下的AI 2.0時(shí)代，稀疏計(jì)算與稠密計(jì)算之間的新一輪較量開啟

電子發(fā)燒友網(wǎng)（文/莫婷婷）生成式AI（AIGC）成為行業(yè)關(guān)注重點(diǎn)，例如Open AI推出的ChatGPT。就在近期Open AI將其升級(jí)為ChatGPT4，支持圖片的輸入和分析、更強(qiáng)的推理能力、更加復(fù)雜的指令，并更加具有創(chuàng)造性。ChatGPT的出現(xiàn)引發(fā)AI行業(yè)的新一輪技術(shù)升級(jí)，特別是針對(duì)算力需求相關(guān)的技術(shù)。

回顧算力的發(fā)展歷程，深度計(jì)算在十年的發(fā)展過程中已經(jīng)從AI1.0進(jìn)入AI2.0階段。AI正從解析式到生成式，并且應(yīng)用場(chǎng)景爆發(fā)，墨芯人工智能創(chuàng)始人兼CEO王維在公開演講時(shí)表示，“生成式給大家打開了應(yīng)用的想象空間和大門，商業(yè)化不再是唯一擔(dān)心重點(diǎn)，更需要擔(dān)心的是如何能夠趕上潮流的速度?！?br />

如果將AI時(shí)代劃分，AI 1. 0時(shí)代是小模型時(shí)代，那么AI2. 0時(shí)代就是以Transformer為基礎(chǔ)的大模型時(shí)代，此時(shí)算力出現(xiàn)了根本性的變化，而且是挑戰(zhàn)性的變化，王維指出這種挑戰(zhàn)性體現(xiàn)在算力增長(zhǎng)和推理速度上。

AI 1.0時(shí)代針對(duì)細(xì)分應(yīng)用場(chǎng)景訓(xùn)練小模型，研發(fā)和部署的周期較短，可能是以周、月為單位進(jìn)行部署，對(duì)算力的需求更多是通用性和易用性。成本、功耗在大部分的應(yīng)用場(chǎng)景不是“痛點(diǎn)”，只是“癢點(diǎn)”。

到了AI2.0時(shí)代，Transformer模型參數(shù)每?jī)赡暝鲩L(zhǎng)達(dá)到275倍，并且還會(huì)持續(xù)增長(zhǎng)，算力需求平均每3.5個(gè)月翻一倍，對(duì)算力的需求是拓展性，會(huì)更加關(guān)注算力能不能跟上需求的速度，從而實(shí)現(xiàn)更大規(guī)模的拓展模型，用更先進(jìn)、更聰明的方法訓(xùn)練出更厲害的預(yù)訓(xùn)練模型。

王維認(rèn)為，Transformer模型需要在訓(xùn)練方面上找到更聰明的方法，使得它在生成式上實(shí)現(xiàn)臨界點(diǎn)的突破。而強(qiáng)調(diào)軟硬件協(xié)同設(shè)計(jì)的AI芯片，稀疏計(jì)算被認(rèn)為最具有發(fā)展?jié)摿?，也是學(xué)術(shù)和行業(yè)巨頭都在研究方向。

資料顯示，稀疏性計(jì)算是指剔除計(jì)算中不必要、沒用的計(jì)算，通過降低不必要的存儲(chǔ)和計(jì)算，加快計(jì)算速度、提升部署性能。更聰明的計(jì)算，只計(jì)算真正有用的元素，正是稀疏化計(jì)算的本質(zhì)。

就在2022年，墨芯人工智能宣布發(fā)布第一代芯片英騰處理器ANTOUM，官方表示通過多的剪枝和壓縮計(jì)算，該產(chǎn)品以32倍稀疏率打破業(yè)界紀(jì)錄，將市場(chǎng)現(xiàn)有產(chǎn)品的稀疏倍率提升16倍。作為稀疏化計(jì)算領(lǐng)域的國(guó)內(nèi)廠商，墨芯人工智能的產(chǎn)品和稀疏化計(jì)算在AIGC的火爆下獲得更多關(guān)注。

圖源：墨芯人工智能

基于ANTOUM芯片，墨芯人工智能推出了S4、S10和S30計(jì)算卡，拉開了稀疏計(jì)算與稠密計(jì)算較量的序幕。在2022年9月，官方宣布12nm的S30計(jì)算卡以14000FPS的算力，打敗英偉達(dá)4nm的H100，成為ResNet-50模型算力全球第一。此外，墨芯S4、S30功耗僅為主流GPU的18%、53%。

在當(dāng)下的行業(yè)需求下，稀疏計(jì)算的技術(shù)優(yōu)勢(shì)被進(jìn)一步放大，也成為國(guó)產(chǎn)AI芯片廠商能夠在一個(gè)更高的維度上和國(guó)際霸主進(jìn)行競(jìng)爭(zhēng)和挑戰(zhàn)的機(jī)會(huì)。在國(guó)內(nèi)市場(chǎng)，隨著AIGC實(shí)現(xiàn)商業(yè)模式變革，墨芯人工智能等國(guó)產(chǎn)算力芯片廠商將有機(jī)會(huì)獲得更大的成長(zhǎng)空間。