3D DRAM內(nèi)嵌AI芯片，AI計(jì)算性能暴增

電子發(fā)燒友網(wǎng)報(bào)道（文/黃晶晶）盡管當(dāng)前AI訓(xùn)練主要采用GPU+HBM的方案，不過(guò)一些新的技術(shù)仍然希望進(jìn)一步打破存儲(chǔ)數(shù)據(jù)傳輸帶來(lái)的瓶頸問(wèn)題。最近，NEO半導(dǎo)體宣布開(kāi)發(fā)其3D X-AI芯片技術(shù)，旨在取代當(dāng)前高帶寬內(nèi)存(HBM)中的DRAM芯片，通過(guò)在3D DRAM中實(shí)現(xiàn)AI處理來(lái)解決數(shù)據(jù)總線問(wèn)題。

通常來(lái)說(shuō)，當(dāng)前的 AI芯片架構(gòu)將數(shù)據(jù)存儲(chǔ)在高帶寬內(nèi)存中，并通過(guò)數(shù)據(jù)總線將數(shù)據(jù)傳輸?shù)?GPU 以執(zhí)行 AI算法(數(shù)學(xué)計(jì)算)。這種架構(gòu)效率低下，數(shù)據(jù)總線會(huì)導(dǎo)致長(zhǎng)時(shí)間延遲和高功耗。

而3D X-AI使用存儲(chǔ)單元來(lái)模擬神經(jīng)網(wǎng)絡(luò)中的突觸。它支持在同一芯片中進(jìn)行數(shù)據(jù)存儲(chǔ)和人工智能操作。存儲(chǔ)在存儲(chǔ)單元中的數(shù)據(jù)直接用于生成神經(jīng)網(wǎng)絡(luò)的輸出，而不進(jìn)行任何數(shù)學(xué)計(jì)算，從而大大提高人工智能性能并顯著節(jié)省能源。

來(lái)源：NEO半導(dǎo)體官網(wǎng)

3D X-AI芯片是一種具有AI處理能力的3D DRAM在同一芯片中，它底部有一個(gè)神經(jīng)元電路層，頂部有300層存儲(chǔ)單元，容量為128 GB。這種創(chuàng)新的芯片可以將人工智能芯片的性能提高100倍，并將功耗降低99%。它具有8倍更高的密度，非常適合存儲(chǔ)大型語(yǔ)言模型(LLM)，用于生成式人工智能應(yīng)用程序，如Chat GPT，Gemini和CoPilot。

來(lái)源：NEO半導(dǎo)體官網(wǎng)

NEO半導(dǎo)體介紹，采用NEO的3D X-AI技術(shù)的人工智能芯片可實(shí)現(xiàn)，100X性能加速:包含8000個(gè)神經(jīng)元電路，可在3D內(nèi)存中執(zhí)行A1處理；99%功耗降低:將數(shù)據(jù)傳輸?shù)紾PU進(jìn)行計(jì)算的需求最小化，從而減少數(shù)據(jù)總線產(chǎn)生的功耗和熱量；8X內(nèi)存密度:包含300個(gè)內(nèi)存層，允許存儲(chǔ)更大的AI模型。據(jù)NEO估計(jì)，每個(gè)芯片可支持高達(dá)10 TB/s的AI處理吞吐量。使用12個(gè)3D X- AI 芯片堆疊HBM封裝可實(shí)現(xiàn)120 TB/s處理吞吐量，性能提高100X。

這里的3D DRAM也是NEO半導(dǎo)體的研發(fā)方向之一。與水平放置存儲(chǔ)單元的傳統(tǒng)DRAM不同，3D DRAM垂直堆疊存儲(chǔ)單元大大增加單位面積的存儲(chǔ)容量并提高效率，成為下一代DRAM關(guān)鍵發(fā)展方向。

NEO表示，動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)用于支持處理器，使DRAM在電子設(shè)備中的使用更加普遍。然而，處理器速度的增長(zhǎng)速度比多代內(nèi)存速度更快，由此產(chǎn)生的“性能差距”逐年擴(kuò)大。像云數(shù)據(jù)中心這樣的功耗敏感環(huán)境越來(lái)越依賴更高功率的處理器來(lái)滿足性能要求，但這會(huì)減少可用于內(nèi)存的功率。

采用X-DRAM架構(gòu)可以降低功耗，降低延遲，并增加吞吐量，以克服使用傳統(tǒng)DRAM時(shí)遇到的這些和其他挑戰(zhàn)。這為商業(yè)系統(tǒng)(例如服務(wù)器)提供了更高的性能，為移動(dòng)設(shè)備(例如智能手機(jī))提供了更長(zhǎng)的電池壽命，為邊緣計(jì)算設(shè)備(例如路由器)提供了更多的功能，并為物聯(lián)網(wǎng)對(duì)象(例如網(wǎng)關(guān))提供了新的部署選項(xiàng)。

3D X-DRAM的單元陣列結(jié)構(gòu)類似于3D NAND Flash，采用了FBC（無(wú)電容器浮體單元）技術(shù)，它可以通過(guò)添加層掩模形成垂直結(jié)構(gòu)，從而實(shí)現(xiàn)高良率、低成本和顯著的密度提升。NEO表示， 3D X-DRAM 技術(shù)可以生產(chǎn)230層的128Gbit DRAM 芯片，是當(dāng)前 DRAM 密度的八倍。近年來(lái)，SK海力士、三星電子、美光等存儲(chǔ)廠商都在進(jìn)行3D DRAM技術(shù)的研發(fā)，以期滿足于AI浪潮下對(duì)高性能、大容量?jī)?nèi)存的需求。