多項(xiàng)第一!Imagination神經(jīng)網(wǎng)絡(luò)加速器通過AIIA DNN benchmark評(píng)估

在6月28日南京國(guó)際博覽會(huì)議中心召開的中國(guó)人工智能峰會(huì)，中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟（AIIA）總體組組長(zhǎng)孫明俊主持發(fā)布了“AIIA DNN Benchmark”測(cè)評(píng)結(jié)果，Imagination的神經(jīng)網(wǎng)絡(luò)加速器通過了《AIIA DNN benchmark——人工智能端側(cè)芯片基準(zhǔn)測(cè)試評(píng)估方案 V0.5 版本》！在測(cè)試中，Imagination的神經(jīng)網(wǎng)絡(luò)加速器在多項(xiàng)測(cè)試中名列第一！

據(jù)發(fā)布的報(bào)告，在基于端側(cè)推斷任務(wù)深度神經(jīng)網(wǎng)絡(luò)處理器基準(zhǔn)測(cè)試結(jié)果中，Imagination的神經(jīng)網(wǎng)絡(luò)加速器在多個(gè)框架測(cè)試中成績(jī)名列第一！

孫明俊表示AIIA DNN Benchmark已經(jīng)制定兩套評(píng)估規(guī)范、完成兩輪端側(cè)評(píng)估評(píng)測(cè)工作，增加支持安卓和Linux操作系統(tǒng)，是唯一一家區(qū)別整形和浮點(diǎn)的評(píng)測(cè)標(biāo)準(zhǔn)，目前該發(fā)布結(jié)果已經(jīng)公布，

網(wǎng)址是：http://aiiaorg.cn/uploadfile/2019/0702/20190702065314379.pdf

AI 進(jìn)入爆發(fā)期后，芯片對(duì)技術(shù)進(jìn)步的影響愈發(fā)凸顯。AI 芯片益復(fù)雜化、多樣化，一方面，芯片廠商紛紛給出不同的衡量標(biāo)準(zhǔn)，聲稱其產(chǎn)品在計(jì)算性能、單位能耗算力等方面處于行業(yè)領(lǐng)先水平；另一方面，需求方卻關(guān)心如何能從廠商給出的信息中判斷出芯片是否能實(shí)際滿足其真實(shí)場(chǎng)景的計(jì)算需求。針對(duì)這一現(xiàn)狀，一個(gè)與真實(shí)場(chǎng)景緊密相連的、同時(shí)跨產(chǎn)品可比的測(cè)試評(píng)估方案的出現(xiàn)，迫在眉睫。

如何構(gòu)建與真實(shí)場(chǎng)景緊密相連的、面向不同產(chǎn)品形態(tài)、設(shè)備級(jí)別的 AI 加速器測(cè)試評(píng)估方案？在2018 年的AIIA 人工智能開發(fā)者大會(huì)上，《AIIA DNN benchmark——人工智能端側(cè)芯片基準(zhǔn)測(cè)試評(píng)估方案 V0.5 版本》就由孫明俊代表中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟發(fā)布。

據(jù)孫明俊介紹，AIIA DNN benchmark 的工作目標(biāo)為客觀反映當(dāng)前以提升深度學(xué)習(xí)處理能力的 AI 加速器現(xiàn)狀，所有指標(biāo)均旨在提供客觀比對(duì)維度。AIIA 希望，該方案能夠?yàn)樾酒髽I(yè)提供第三方評(píng)測(cè)結(jié)果，幫助產(chǎn)品市場(chǎng)宣傳；同時(shí)為應(yīng)用企業(yè)提供選型參考，幫助產(chǎn)品找到合適其應(yīng)用場(chǎng)景的芯片。V0.5 版本首先給出了端側(cè)評(píng)估方案。

據(jù)孫明俊介紹，AI 基準(zhǔn)測(cè)試方案的制定面臨諸多挑戰(zhàn)。即便拋開優(yōu)化程度、硬件架構(gòu)等若干問題不談，延遲、帶寬、能耗都要納入考慮范圍。同時(shí)，各種神經(jīng)網(wǎng)絡(luò)模型都有不同參數(shù)，不同設(shè)備在不同參數(shù)下有不同的輸出曲線。如何讓指標(biāo)在不同級(jí)別的設(shè)備中橫向可比？而云端和終端的應(yīng)用是否需要不同的基準(zhǔn)測(cè)試？如何為不同測(cè)試項(xiàng)目分配權(quán)重，以獲得一個(gè)相對(duì)公正客觀、有代表性的評(píng)分？這些都是應(yīng)用領(lǐng)域的差異性和實(shí)現(xiàn)選擇的多樣性導(dǎo)致的測(cè)評(píng)難題。

針對(duì)以上特點(diǎn)，AIIA 聯(lián)合 Arm 中國(guó)、阿里巴巴集團(tuán)、百度、寒武紀(jì)科技、ChipIntelli、地平線、華為、華大半導(dǎo)體、Imagination、Synopsys，騰訊、云之聲等 12 家企業(yè)，推出了 AIIA DNN benchmark——人工智能端側(cè)芯片基準(zhǔn)測(cè)試評(píng)估方案。

AIIA DNN benchmark 以“版本迭代、不斷豐富、不斷完善”的工作方式，為更多評(píng)測(cè)應(yīng)用場(chǎng)景、評(píng)測(cè)指標(biāo)等提供評(píng)估方案，首輪測(cè)試對(duì)象主要為端側(cè)設(shè)備。AIIA DNN benchmark 的發(fā)布，能夠促進(jìn)芯片供給側(cè)與需求側(cè)的交流，讓需求方的意見能夠更快傳達(dá)到芯片企業(yè)，讓企業(yè)進(jìn)行有針對(duì)性的改良，加快行業(yè)迭代速度，推動(dòng) AI 產(chǎn)業(yè)的快速進(jìn)步。

2017年9月，Imagination Technologies發(fā)布第一代神經(jīng)網(wǎng)絡(luò)加速器PowerVR NNA，此款NNA具有完整且獨(dú)立式的IP，在面積效率、性能運(yùn)算以及功耗等方面都具有“秒殺”競(jìng)爭(zhēng)對(duì)手的優(yōu)勢(shì)。

2018年12月，Imagination Technologies發(fā)布了其面向人工智能(AI)應(yīng)用的最新神經(jīng)網(wǎng)絡(luò)加速器(NNA)架構(gòu)PowerVR Series3NX。單個(gè)Series3NX內(nèi)核的性能可從0.6到10萬億次操作/秒(TOPS)，同時(shí)其多核實(shí)現(xiàn)可擴(kuò)展到160TOPS以上。得益于包括無損權(quán)重壓縮等架構(gòu)性增強(qiáng)，Series3NX架構(gòu)的性能可在相同的芯片面積上較上一代產(chǎn)品提升40%，使SoC制造商可在性能效率方面提高近60%，且?guī)捫枨蠼档土?5%。

Imagination在PowerVR Series3NX中增加了無損的權(quán)重壓縮特性，這種壓縮減少了需要存儲(chǔ)和通過系統(tǒng)內(nèi)存來傳遞數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)模型的大小，這意味著與PowerVR Series2NX相比，Series3NX提供了更加高效的總體帶寬，相比Series2NX降低了35%，同時(shí)降低了SoC的功耗。

作為Series3NX架構(gòu)的一部分，2018年年底，Imagination 還發(fā)布了PowerVR Series3NX-F（Flexible）IP配置，以提供前所未有的功能性和靈活性平衡，同時(shí)還結(jié)合了行業(yè)領(lǐng)先的性能。采用Series3NX-F的客戶可以通過OpenCL框架來實(shí)現(xiàn)差異化并為其產(chǎn)品增加價(jià)值。

PowerVR Series3NX能夠滿足自動(dòng)駕駛等應(yīng)用的高計(jì)算需求，實(shí)現(xiàn)了下一代真正的人工智能。通過使用Imagination的專用深度神經(jīng)網(wǎng)絡(luò)(DNN)API，開發(fā)人員可以輕松地針對(duì)Series3NX架構(gòu)以及現(xiàn)有PowerVR GPU編寫人工智能應(yīng)用程序。該API可以在多種SoC配置上工作，以便在現(xiàn)有設(shè)備上輕松地完成原型設(shè)計(jì)，目前Imagination的神經(jīng)網(wǎng)絡(luò)加速器產(chǎn)品已經(jīng)廣泛應(yīng)用在手機(jī)、安防、智慧家居領(lǐng)域。