海力士展示AI專用計(jì)算內(nèi)存解決方案AiMX-xPU

在Hot Chips 2024上，海力士專注于AI加速器的標(biāo)準(zhǔn)DRAM之外的產(chǎn)品。該公司展示了其在內(nèi)存計(jì)算方面的最新進(jìn)展，這次是用其AiMX-xPU和LPDDR-AiM進(jìn)行LLM推理。其理念是，無需將數(shù)據(jù)從內(nèi)存移動(dòng)到計(jì)算以執(zhí)行與內(nèi)存相關(guān)的轉(zhuǎn)換，這些轉(zhuǎn)換可以直接在內(nèi)存中完成，而無需遍歷互連。這使得它更節(jié)能，而且可能更快。

海力士在Hot Chips 2024上展示AI專用計(jì)算內(nèi)存解決方案AiMX-xPU

海力士表示，由于LLM的存儲(chǔ)空間有限，因此對(duì)LLM非常有用。

該公司展示了采用Xilinx VirtexFPGA和特殊GDDR6 AiM封裝的GDDR6內(nèi)存加速器卡。

看下AiMX card：

下面是GDDR6芯片的外觀。

另外，海力士提到了OCP 2023的現(xiàn)場(chǎng)演示。

這是LLM的全連接層、Multi-Head Attention以及計(jì)算綁定部分。

下圖展示壓力如何根據(jù)批量大小變化。

海力士將Multi-Head Attention映射到了AiM。

該公司還將內(nèi)存容量增加了一倍，使用32個(gè)AIM軟件包，從16GB增加到32GB。32GB對(duì)于一款產(chǎn)品來說可能不夠，但對(duì)于一個(gè)原型機(jī)來說就足夠了。盡管如此，該公司還是展示了這項(xiàng)技術(shù)的性能。

下一代演示將展示像Llama-3這樣的東西，該公司也在考慮將每張卡的容量從32GB擴(kuò)展到256GB。

除了關(guān)注數(shù)據(jù)中心的AI，該公司還在關(guān)注設(shè)備上的AI。我們已經(jīng)看到蘋果、英特爾、AMD和高通等公司在為人工智能推出NPU。

設(shè)備上的AI通常會(huì)降低批處理大小，因?yàn)檫@些工作負(fù)載受到內(nèi)存限制。將計(jì)算移出SoC意味著它可以更節(jié)能，并且不會(huì)占用SoC上的計(jì)算芯片面積。

目標(biāo)是在未來針對(duì)LPDDR5-AiM的產(chǎn)品中優(yōu)化AiM。我們的目標(biāo)是不更改現(xiàn)有的LPDDR命令，也不產(chǎn)生負(fù)面的性能影響。下表上的規(guī)格是預(yù)估的。

通過LPDDR5，它可以集成到移動(dòng)設(shè)備的SoC上。

可能需要針對(duì)不同的應(yīng)用程序進(jìn)行不同的權(quán)衡。

其中一個(gè)挑戰(zhàn)是在LPDDR內(nèi)存的正常使用和計(jì)算需求之間進(jìn)行仲裁。此外，還有可能改變芯片的熱/功率要求。

另一個(gè)挑戰(zhàn)是如何對(duì)AiM進(jìn)行編程。

海力士似乎正在擴(kuò)大AiM/ AiMX的使用范圍和種類。

海力士表示，在GDDR6中，AiM占據(jù)了約20%的芯片面積。

總結(jié)

內(nèi)存計(jì)算在成為主流之前。仍然是一個(gè)主要的SoC/芯片供應(yīng)商必須選擇和集成的東西。在許多方面，內(nèi)存計(jì)算可能是有意義的。我們將拭目以待，看看這款產(chǎn)品能否從原型變成產(chǎn)品。

原文鏈接：

https://www.servethehome.com/sk-hynix-ai-specific-computing-memory-solution-aimx-xpu-at-hot-chips-2024/