資本市場依舊看好的存內(nèi)計(jì)算AI芯片

電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）經(jīng)過這幾年的發(fā)展，越來越多的AI計(jì)算芯片初創(chuàng)公司感受到了劇增的壓力，入場的玩家越來越多，而頭部的大廠在市占率上壓得他們喘不過氣。盡管如此，還是有的廠商找到了另外的路線來吸引更多的投資，比如存內(nèi)計(jì)算。

d-Matrix

近日，AI芯片初創(chuàng)公司d-Matrix宣布收獲了1.1億美元的B輪融資，由新加坡投資公司淡馬錫控股公司領(lǐng)頭，剩余的投資者包括微軟、三星等。其實(shí)早在該公司去年4月份的A輪融資中，微軟就已經(jīng)領(lǐng)投這家初創(chuàng)企業(yè)，一樣參與投資的還有SK海力士?？梢钥闯觯瑹o論是微軟，還是內(nèi)存廠商，都很看好其前景。

d-Matrix的技術(shù)路線是通過存內(nèi)計(jì)算來實(shí)現(xiàn)AI瓶頸的突破，比如在過去的標(biāo)準(zhǔn)SRAM結(jié)構(gòu)中，內(nèi)存墻的問題是始終存在的，而d-Matrix的數(shù)字化存內(nèi)計(jì)算則可以進(jìn)一步提升單位功耗的算力，從過去的10Tops/W提升至最高230Tops/W。

d-Matrix率先推出的是Nighthawk這一驗(yàn)證Chiplet產(chǎn)品，基于臺(tái)積電的6nm工藝打造，集成了4個(gè)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)加速器作為AI引擎，以及一個(gè)SiFive S76 CPU作為控制單元。每個(gè)神經(jīng)網(wǎng)絡(luò)加速器中包含了兩個(gè)自研Apollo核心，每個(gè)核心中又包括8個(gè)數(shù)字存內(nèi)計(jì)算單元。

不過Nighthawk僅僅是用于展示使用，并不會(huì)量產(chǎn)，隨后d-Matrix又推出了Jayhawk這一chiplet加入其展示平臺(tái)，加入了基于ODSA標(biāo)準(zhǔn)的D2D接口。而d-Matrix將要為客戶正式提供的產(chǎn)品是今年推出的Corsair chiplet，該設(shè)備將集成512個(gè)dMIC，是Nighthawk的8倍，這才將性能推至200Tops/W以上。

針對(duì)Corsair的架構(gòu)，d-Matrix還推出了Aviator這一軟件平臺(tái)，進(jìn)一步無縫化終端用戶的模型部署體驗(yàn)。據(jù)了解，微軟已經(jīng)在評(píng)估該芯片，并計(jì)算在明年投入使用。而d-Matrix預(yù)計(jì)營收將達(dá)到1000萬美元，主要來自客戶用于評(píng)估的訂單。由于這類存內(nèi)計(jì)算更適合AI計(jì)算中的推理，對(duì)于生成式AI來說可以提高吞吐量、降低延遲，同時(shí)相對(duì)GPU方案也擁有更低的TCO成本。

EnCharge AI

另外一家從事存內(nèi)計(jì)算AI芯片開發(fā)，并獲得了資本青睞的初創(chuàng)公司名為EnCharge AI。去年年底，該公司退出隱身模式，并獲得了來自Anzu Partnets、AlleyCorp等公司的2170萬美元A輪融資。其CEO Naveen Verma表示這筆資金將用于推進(jìn)硬件和軟件的開發(fā)，以及支持與新客戶之間的溝通。

相較于d-Matrix，EnCharge AI的大部分研究成果還在理論階段，并沒有量產(chǎn)，這也是他們繼續(xù)融資推進(jìn)產(chǎn)品落地的原因。EnCharge AI表示自己的軟件棧與標(biāo)準(zhǔn)的設(shè)計(jì)框架（PyTorch、TensorFlow、ONNX）兼容，并支持針對(duì)應(yīng)用的運(yùn)算、模型和分辨率自定義。其軟件棧保證了高精度、高性能的AI模型部署不再是一個(gè)冗長的過程，而是一個(gè)流暢自動(dòng)化的過程。

在硬件上，EnCharge AI還是保證了其設(shè)計(jì)與標(biāo)準(zhǔn)CMOS工藝兼容，最小化成本的同時(shí)依然可以提供最大化的性能表現(xiàn)。據(jù)其官網(wǎng)介紹，EnCharge AI在打造的存內(nèi)計(jì)算AI芯片可以達(dá)到150TOPS/W的計(jì)算效率。

雖然EnCharge AI的硬件平臺(tái)也強(qiáng)調(diào)了可擴(kuò)展性，但從其描述來看，似乎更愿意將其應(yīng)用于邊緣端，比如針對(duì)攝像頭的Resnet50圖像分類識(shí)別等。不過可以肯定的是，EnCharge AI目前還處于未量產(chǎn)無客戶的階段，在市場上還會(huì)與其他資金雄厚、產(chǎn)品進(jìn)度更快的競爭對(duì)手交鋒。

寫在最后

即便是鉆研存內(nèi)計(jì)算AI芯片的廠商，還是需要走軟硬件棧的同步開發(fā)，因?yàn)閷?duì)于AI模型，尤其是一些LLM來說，兼容性還只是重心之一。要想推進(jìn)AI計(jì)算的效率，就必須做好硬件和軟件的擴(kuò)展性，這也是多數(shù)AI芯片初創(chuàng)公司面臨的最大難題，甚至因?yàn)檐浻布f(xié)調(diào)問題遲遲沒能大規(guī)模商用。