Neuchips展示大模型推理ASIC芯片

領(lǐng)先的AI專用集成電路（ASIC）解決方案提供商Neuchips在CES 2024上展示了其革命性的Raptor Gen AI加速芯片（以前稱為N3000）和Evo PCIe加速卡LLM解決方案。新的芯片解決方案Raptor使企業(yè)能夠以現(xiàn)有解決方案的一小部分成本部署大型語言模型（LLM）推理。

NeuchipsCEO Ken Lau表示：“我們很高興在CES 2024上向業(yè)界展示我們的Raptor芯片和Evo卡。Neuchips的解決方案代表了自然語言處理在性價比上的巨大飛躍。有了Neuchips，任何組織都可以在廣泛的AI應(yīng)用中從LLM中獲得力量?！?/p>

LLM民主化

Raptor和Evo共同提供了一個優(yōu)化的堆棧，使企業(yè)可以輕松訪問市場領(lǐng)先的LLM。與現(xiàn)有解決方案相比，Neuchips的AI解決方案顯著降低了硬件成本。高能效也最大限度地減少了用電量，進一步降低了總擁有成本。

在CES 2024上，Neuchips展示了Raptor和Evo，在個人AI助理應(yīng)用程序上加速Whisper和LlamaAI聊天機器人。該解決方案突出了LLM推理對實際業(yè)務(wù)需求的強大功能。

其他技術(shù)會議將展示Raptor和Evo如何削減語音到文本應(yīng)用程序的部署成本。

Raptor GenAI加速器為突破LLM性能提供動力

Raptor每個芯片的運算速度高達(dá)每秒200TOPS。它在AI推理操作（如矩陣乘法、向量和嵌入表查找）方面的出色性能適用于Gen-AI和基于變壓器的AI模型。這一突破性的吞吐量是通過Neuchips為神經(jīng)網(wǎng)絡(luò)量身定制的專利壓縮和效率優(yōu)化來實現(xiàn)的。

Evo第5代PCIe卡為加速和低功耗設(shè)定新標(biāo)準(zhǔn)

與Raptor互補的是Neuchips的超低功耗Evo加速卡。Evo結(jié)合了8通道PCIe Gen 5和32GB LPDDR5，實現(xiàn)64 GB/s主機I/O帶寬和1.6 Tbps每秒的內(nèi)存帶寬，每卡僅55瓦。

正如DLRM所展示的那樣，Evo還具有100%的可擴展性，允許客戶通過添加更多芯片來線性提高性能。這種模塊化設(shè)計確保了對未來AI工作負(fù)載的投資保護。

該公司2024年下半年推出了HHHL(half-height half-length)外形產(chǎn)品Viper，提供更大的部署靈活性。新系列在緊湊的設(shè)計中帶來了數(shù)據(jù)中心級的AI加速。

原文鏈接：

https://www.techpowerup.com/317298/neuchips-to-showcase-industry-leading-gen-ai-inferencing-accelerators-at-ces-2024