高通NPU和異構(gòu)計(jì)算提升生成式AI性能?

生成式AI的變革已悄然降臨。面對(duì)生成式AI的多元化用例需求和復(fù)雜的計(jì)算需求，我們亟待擁有專為AI打造的新型計(jì)算架構(gòu)。為此，需要具備新型神經(jīng)網(wǎng)絡(luò)處理器（NPU）和中央處理器 （CPU）/圖形處理器（GPU）等多核處理器的整合能力。通過(guò)配備專用的NPU并合理運(yùn)用各類處理器資源，異構(gòu)計(jì)算可以帶來(lái)更出色的性能、更高的能效及持續(xù)耐久的電池壽命。

處理器的選擇就像工具箱里尋找恰當(dāng)工具，它會(huì)極大程度地提升生成式AI體驗(yàn)。

異構(gòu)計(jì)算的重要性不可忽視。根據(jù)生成式AI的獨(dú)特需求和計(jì)算負(fù)擔(dān)，需要配備不同的處理器，如專注于AI工作負(fù)載的定制設(shè)計(jì)的NPU、CPU和GPU。每種處理器都有其獨(dú)特的優(yōu)點(diǎn)：CPU擅長(zhǎng)有序操作和實(shí)時(shí)響應(yīng)；GPU擅長(zhǎng)并行數(shù)據(jù)流處理；NPU則專長(zhǎng)于標(biāo)量、向量和張量數(shù)學(xué)運(yùn)算，成為核心AI工作負(fù)載的首選。這種異構(gòu)計(jì)算策略有助于實(shí)現(xiàn)最佳的應(yīng)用性能、能效和電池壽命，從而締造出精美的生成式AI用戶體驗(yàn)。

截至目前，專為NPU精心研制的NPU技術(shù)正隨著AI應(yīng)用場(chǎng)景和模型的演變而不斷升級(jí)。

到底什么才是神經(jīng)網(wǎng)絡(luò)處理器NPU呢？NPU的使命便是以低功耗的方式加速AI推論，因此其架構(gòu)亦需隨著新的AI算法、模型和應(yīng)用選擇而有所升級(jí)調(diào)整。其主要任務(wù)是處理包含了標(biāo)量、向量和張量數(shù)學(xué)在內(nèi)的神經(jīng)網(wǎng)絡(luò)層計(jì)算以及非線性激活函數(shù)。一款優(yōu)質(zhì)的NPU需能精確處理相關(guān)AI工作負(fù)載，以便在目前的AI產(chǎn)業(yè)趨勢(shì)下保持競(jìng)爭(zhēng)力。

高通公司的第三代人工智能引擎（AI Engine）包含了先進(jìn)的麻省理工學(xué)院授權(quán)的Kumu深度學(xué)習(xí)軟件、Hexagon NPU，以及Vulcan向量處理引擎。

在AI行業(yè)，高通對(duì)異構(gòu)計(jì)算的研究與投入堪稱翹楚。其領(lǐng)先的驍龍850移動(dòng)計(jì)算平臺(tái)采用了全新的高通Hexagon 690 NPU，匯聚 AI Engine和Adreno 640/630 GPU的強(qiáng)大處理能力，實(shí)現(xiàn)了AI性能的大幅躍升。此外，這套AI Engine還囊括了先進(jìn)的Vulkan向量處理引擎以及更為全面的高通傳感器中樞和內(nèi)存子系統(tǒng)等芯端部件。這些部件在終端側(cè)共同協(xié)作，為用戶提供極速有效的AI應(yīng)用執(zhí)行環(huán)境。

實(shí)踐證明，采用驍龍850移動(dòng)計(jì)算平臺(tái)的設(shè)備在AI基準(zhǔn)測(cè)評(píng)和實(shí)際生成式AI應(yīng)用方面均表現(xiàn)出色，碩果累累。

為了更好地賦能開發(fā)者，高通推出了自家的AI軟件棧（ Qualcomm AI Stack）。利用這個(gè)工具包，開發(fā)者只需要編寫一次代碼，就能任意地點(diǎn)進(jìn)行應(yīng)用開發(fā)和適應(yīng)性擴(kuò)容。

通過(guò)將技術(shù)領(lǐng)導(dǎo)力、定制芯片設(shè)計(jì)、全棧AI優(yōu)化和生態(tài)系統(tǒng)賦能充分結(jié)合，高通技術(shù)公司在推動(dòng)終端側(cè)生成式AI開發(fā)和應(yīng)用方面獨(dú)樹一幟。高通技術(shù)公司正在賦能終端側(cè)生成式AI的規(guī)?；瘮U(kuò)展。