端側(cè)AI浪潮已來(lái)！炬芯科技發(fā)布新一代端側(cè)AI音頻芯片，能效比和AI算力大幅度提升

（電子發(fā)燒友網(wǎng)報(bào)道 文/章鷹）11月5日，在深圳會(huì)展中心7號(hào)館內(nèi)，炬芯科技董事長(zhǎng)兼CEO周正宇博士帶來(lái)了《端側(cè)AI芯片的未來(lái)》演講，他對(duì)端側(cè)AI趨勢(shì)進(jìn)行精彩的分析，并且宣布炬芯科技推出第一代MMSCIM端側(cè)AI音頻芯片。

2028年中小型模型端側(cè)AI市場(chǎng)迅速增長(zhǎng)，技術(shù)上有三大挑戰(zhàn)

“近年來(lái)，端側(cè)AI在技術(shù)和應(yīng)用方面取得顯著進(jìn)步。相比較云端AI，端側(cè)AI具備低延遲、低功耗、不占網(wǎng)絡(luò)帶寬、隱私保護(hù)和個(gè)性化五大優(yōu)勢(shì)。” 炬芯科技董事長(zhǎng)兼CEO周正宇表示。

在AI時(shí)代，我們特別關(guān)注中小型模型在側(cè)ML機(jī)器學(xué)習(xí)的應(yīng)用。根據(jù)市場(chǎng)調(diào)研公司ABI Research預(yù)測(cè)，2028年，全球中小型模型端側(cè)ML設(shè)備銷量將達(dá)到40億臺(tái)，年復(fù)合增長(zhǎng)率達(dá)到32%。2030年，全球75%的中小模型端側(cè)機(jī)器學(xué)習(xí)基于專用硬件。今天，更大的挑戰(zhàn)是在每毫瓦的功耗下打造算力。

中小型模型端側(cè)機(jī)器學(xué)習(xí)的應(yīng)用，主要集中在音頻、語(yǔ)音、視覺和運(yùn)動(dòng)健康監(jiān)測(cè)和預(yù)測(cè)性維護(hù)。這種電池驅(qū)動(dòng)的AI裝置，好像是AI系統(tǒng)的耳朵和眼睛，云計(jì)算是AI的大腦。我們主要關(guān)注的1瓦功耗以下的AI裝置，或者100毫瓦以下的AI裝置。中小型模型端側(cè)機(jī)器學(xué)習(xí)的覆蓋范圍，包括存儲(chǔ)空間小于10MB Flash/ROM/RAM，功耗小于10mW為目標(biāo)，模型大小覆蓋0.01MB到10MB模型參數(shù)，算力在0.01到3TOPS之間。

電池供電中小型模型端側(cè)機(jī)器學(xué)習(xí)的應(yīng)用挑戰(zhàn)有哪些？周正宇分享說三大挑戰(zhàn)：一是電池驅(qū)動(dòng)IoT裝置的超低功耗需求；二、低成本預(yù)期，需要使用盡量小存儲(chǔ)空間；三、端側(cè)AI裝置多樣化，快速變化的技術(shù)、新算法，新模型的不斷涌現(xiàn)。當(dāng)下很多廠商在端側(cè)采用CPU+GPU方案，優(yōu)點(diǎn)是具備很好的彈性，問題是它來(lái)自軟件驅(qū)動(dòng)，無(wú)論在功耗、能效比以及算力上都無(wú)法達(dá)到現(xiàn)在端側(cè)算力的需求。

他以TWS耳機(jī)和手表為例，一個(gè)TWS耳機(jī)產(chǎn)品需要在4.3V鋰電池下，需要功耗平均為10mW左右，0.1TOPS到10TOPS之間需要能效比是10TOPS/W到100TOPS/W。大多數(shù)CPU、DSP在22nm制程芯片都在0.1TOPS/W左右。周正宇表示，如何在每個(gè)毫瓦上打造TOPS算力是最大的挑戰(zhàn)。

為了尋求大算力，英偉達(dá)采用了HBM和3D封裝的AI芯片—近存計(jì)算，成本極高，英偉達(dá)芯片達(dá)到百美元，端側(cè)AI芯片適合在幾美元或1美元以下。端側(cè)AI芯片采用存內(nèi)計(jì)算的架構(gòu)，采用高性價(jià)比的路徑，適合采用單芯片的方式來(lái)實(shí)現(xiàn)。

炬芯科技推出新一代MMSCIM端側(cè)AI音頻芯片，能效比和算力大幅度提升

周正宇博士指出，端側(cè)AI不需要超大算力，只需要0.1TOPS到3TOPS之間的算力，所以短期SRAM成為低功耗端側(cè)AI的最佳技術(shù)路徑。長(zhǎng)期來(lái)講SRAM和RRAM混合技術(shù)架構(gòu)可能為最佳端側(cè)AI技術(shù)路徑和架構(gòu)。

在低功耗下打造音頻產(chǎn)品算力的應(yīng)用里，基于SRAM的CIM具有非常顯著的技術(shù)優(yōu)勢(shì)包括：1、能效比高；2、讀寫次數(shù)沒有限制；3、工藝成熟，可以大規(guī)模量產(chǎn)。

周正宇宣布，炬芯科技推出新一代MMSCIM端側(cè)AI音頻芯片，基于CPU+DSP+NPU三核異構(gòu)的核心架構(gòu)，包括ATS323X、ATS286X和ATS362X。AI算力達(dá)到0.1TOPS，同時(shí)有6.4TOPS/W的能效比。

基于該架構(gòu)，高端藍(lán)牙音箱SoC芯片ATS286X和低延遲高音質(zhì)無(wú)線音頻SoC芯片ATS323X已流片，向客戶送樣。周正宇總結(jié)說，通過導(dǎo)入存內(nèi)計(jì)算以及NPU和DSP、CPU三核異構(gòu)的架構(gòu)，讓端側(cè)音頻AI芯片提供了幾十倍的能效比提升和十幾倍的算力提升。

本文由電子發(fā)燒友原創(chuàng)，轉(zhuǎn)載請(qǐng)注明以上來(lái)源。微信號(hào)zy1052625525。需入群交流，請(qǐng)?zhí)砑游⑿舉lecfans999，投稿爆料采訪需求，請(qǐng)發(fā)郵箱zhangying@huaqiu.com。