當(dāng)AI遇到FPGA，低功耗智能探測(cè)系統(tǒng)不再是難題

從家庭控制中智能門鈴和安全攝像頭的存在檢測(cè)，到零售應(yīng)用中用于庫(kù)存的對(duì)象計(jì)數(shù)，再到工業(yè)應(yīng)用中物體和存在檢測(cè)，越來(lái)越多的網(wǎng)絡(luò)邊緣應(yīng)用正在不斷推動(dòng)新型AI解決方案面市。根據(jù)IHS Markit（現(xiàn)Omida）的預(yù)測(cè)，2018-2025年物聯(lián)網(wǎng)設(shè)備數(shù)量將達(dá)到400億，截至2022年，所有企業(yè)產(chǎn)生的數(shù)據(jù)中近50%會(huì)在傳統(tǒng)數(shù)據(jù)中心或云端以外的地方進(jìn)行處理。

但與此同時(shí)，市場(chǎng)一方面要求設(shè)計(jì)人員開(kāi)發(fā)出性能比以往更高的解決方案；另一方面，延遲、帶寬、隱私、功耗和成本問(wèn)題又限制了他們依賴云的計(jì)算資源來(lái)執(zhí)行分析。如何解決系統(tǒng)對(duì)于日益嚴(yán)格的功耗（毫瓦級(jí)）和小尺寸（5mm2到100mm2）要求？如何能夠快速獲得相應(yīng)的硬件和軟件工具、參考設(shè)計(jì)、演示示例和設(shè)計(jì)服務(wù)？萊迪思公司為此做出了有益的嘗試。

Lattice sensAI再獲重大更新

作為萊迪思推出的業(yè)界第一款用于網(wǎng)絡(luò)邊緣設(shè)備端AI處理的完整解決方案集合，sensAITM提供了供開(kāi)發(fā)人員評(píng)估、開(kāi)發(fā)和部署基于FPGA的機(jī)器學(xué)習(xí)/人工智能解決方案所需的全部資源，包括模塊化硬件平臺(tái)、演示示例、參考設(shè)計(jì)、神經(jīng)網(wǎng)絡(luò)IP核、軟件開(kāi)發(fā)工具和定制化設(shè)計(jì)服務(wù)。

圖1：sensAI架構(gòu)框圖

2019年上半年，sensAI通過(guò)更新迎來(lái)10倍性能提升，這是由多個(gè)優(yōu)化促成的，包括通過(guò)更新CNN IP和神經(jīng)網(wǎng)絡(luò)編譯器、新增8位激活量化、智能層合并以及雙DSP引擎等特性。而最令人感到興奮的是它新增并優(yōu)化了用于快速實(shí)現(xiàn)網(wǎng)絡(luò)邊緣常見(jiàn)AI應(yīng)用的參考設(shè)計(jì)，為關(guān)鍵詞檢測(cè)、人臉識(shí)別、人員偵測(cè)、人員計(jì)數(shù)等賦予了更強(qiáng)大的特性。

圖2：在訓(xùn)練過(guò)程中支持8位量化可在神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過(guò)程中實(shí)現(xiàn)更高的精度

為了演示關(guān)鍵詞檢測(cè)系統(tǒng)的功能，工程師使用了搭載iCE40 UltraPlus FPGA的HiMax HM01B0 UPduino shield開(kāi)發(fā)板。該開(kāi)發(fā)板有兩個(gè)直連到FPGA的I2S麥克風(fēng)、用于FPGA設(shè)計(jì)的外部閃存、權(quán)重激活存儲(chǔ)器、以及LED指示燈用以指示是否檢測(cè)到關(guān)鍵詞。用戶可以直接對(duì)麥克風(fēng)說(shuō)話，一旦檢測(cè)到關(guān)鍵詞，LED就會(huì)亮起。

圖3：關(guān)鍵詞檢測(cè)演示系統(tǒng)

圖4左側(cè)是針對(duì)低功耗運(yùn)行進(jìn)行優(yōu)化、采用CMOS圖像傳感器的人員偵測(cè)演示，通過(guò)VGG8網(wǎng)絡(luò)提供64 x 64 x 3的分辨率，該系統(tǒng)以每秒5幀的速率運(yùn)行，使用iCE40 UltraPlus FPGA功耗僅為7mW；右側(cè)是性能經(jīng)優(yōu)化的人員計(jì)數(shù)應(yīng)用演示，同樣也使用CMOS圖像傳感器，通過(guò)VGG8網(wǎng)絡(luò)提供128 x 128 x 3的分辨率。該演示以每秒30幀的速率運(yùn)行，使用ECP5-85K FPGA功耗為850mW。

圖4：這些參考設(shè)計(jì)展示了sensAI提供的功耗與性能可選方案

Lattice人員識(shí)別參考設(shè)計(jì)方案也應(yīng)用于售賣機(jī)上檢測(cè)人員的出現(xiàn)，喚醒售賣機(jī)的內(nèi)核。通過(guò)減少非人員靠近造成的誤觸發(fā)，或人員路過(guò)造成的誤觸發(fā)，達(dá)到減小功耗的目的。

2020年5月，sensAI又成功升級(jí)至3.0版本。

在此前支持ECP5/ECP5-5G和iCE40 UltraPlus 模塊化硬件平臺(tái)的基礎(chǔ)上，新推出的sensAI 3.0版本支持CrossLink-NX?系列FPGA，運(yùn)行sensAI軟件的CrossLink-NX FPGA比之前版本降低了一半的功耗，同時(shí)實(shí)現(xiàn)性能翻倍，從而為監(jiān)控/安防、機(jī)器人、汽車和計(jì)算領(lǐng)域的智能視覺(jué)應(yīng)用帶來(lái)功耗和性能上的再次突破。同時(shí)，它還擁有定制化卷積神經(jīng)網(wǎng)絡(luò)CNN IP并新增支持MobileNet v2、SSD和ResNet模型，這些靈活的加速器IP可簡(jiǎn)化常見(jiàn)CNN網(wǎng)絡(luò)的實(shí)現(xiàn)，經(jīng)優(yōu)化后可更加充分利用FPGA的并行處理能力，開(kāi)發(fā)人員可輕松編譯經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型并將其下載到CrossLink-NX FPGA中。

圖6：sensAI支持多種AI算法模型

CrossLink-NX FPGA采用28nm FD-SOI工藝制造，與同類FPGA競(jìng)品相比，功耗可降低75%。在CrossLink-NX FPGA上運(yùn)行解決方案時(shí)，sensAI可提供多達(dá)2.5Mb的分布式內(nèi)存、RAM塊以及額外的DSP資源，MIPI I/O提供瞬時(shí)啟動(dòng)的性能可在不到3ms的時(shí)間內(nèi)完成自我配置，而整個(gè)器件的配置也只需8ms。在基于CrossLink-NX的對(duì)象計(jì)數(shù)演示中，——基于VGG的對(duì)象計(jì)數(shù)演示擁有10幀/秒的性能，功耗僅為200mW。

當(dāng)AI遇見(jiàn)超低功耗FPGA

擁有5K LUT的iCE40 UltraPlus FPGA可實(shí)現(xiàn)網(wǎng)絡(luò)邊緣實(shí)時(shí)在線的智能應(yīng)用所需的神經(jīng)網(wǎng)絡(luò)模式匹配。其擁有5280個(gè)4輸入LUT、自定義I/O、多達(dá)80Kb和1Mb的嵌入式存儲(chǔ)器，睡眠電流低至75uA，工作電流僅為1-10mA，功耗低至1mW，硬件平臺(tái)尺寸小至5.5mm2。為了滿足各類應(yīng)用的需求，還采用了包括從專為電子消費(fèi)品和IoT設(shè)備優(yōu)化的超小尺寸2.15 mm x 2.50 mm x 0.45 mm WLCSP封裝，到低成本應(yīng)用的0.5mm間距7x7mm QFN封裝在內(nèi)的多種封裝選項(xiàng)。

功耗優(yōu)化遙遙領(lǐng)先的原因，得益于其采用的分布式異構(gòu)處理（Distributed Heterogenous Processing， DHP）架構(gòu)。由于不使用云端執(zhí)行算法，而是使用內(nèi)置的數(shù)字信號(hào)處理器（DSP）執(zhí)行重復(fù)的數(shù)字處理任務(wù)，因此大幅減少了功耗極大的應(yīng)用處理器（AP）的計(jì)算負(fù)載，從而實(shí)現(xiàn)更長(zhǎng)時(shí)間的睡眠模式以延長(zhǎng)電池使用時(shí)間。另一方面，內(nèi)置的神經(jīng)網(wǎng)絡(luò)軟IP和編譯器實(shí)現(xiàn)了靈活的機(jī)器學(xué)習(xí)/人工智能應(yīng)用，消除了云端智能應(yīng)用帶來(lái)的延遲，降低了整個(gè)系統(tǒng)解決方案的成本。

圖7：iCE40 UltraPlus采用的分布式異構(gòu)處理（DHP）架構(gòu)

圖8和圖9描述了不同F(xiàn)PGA之間存在的資源差異如何影響到人臉檢測(cè)和人員檢測(cè)應(yīng)用的性能和功耗。圖8左側(cè)的32x32輸入示例中，橙色部分代表卷積層上運(yùn)行的周期。在四個(gè)示例中，UltraPlus的乘法器數(shù)量最少，其他三片ECP5 FPGA的乘法器數(shù)量依次遞增。隨著乘法器數(shù)量的增加，卷積層所需的周期數(shù)減少；右側(cè)的90x90輸入示例中，在每個(gè)柱形圖的底部有大面積的藍(lán)色區(qū)域。這是由于設(shè)計(jì)更為復(fù)雜，需要占用外部DRAM，性能就有所折中。

圖8：在UltraPlus和ECP5 FPGA上實(shí)現(xiàn)入門級(jí)和提高級(jí)人臉檢測(cè)時(shí)的性能、功耗和占用面積

人員偵測(cè)應(yīng)用的情況類似，兩組分別采用了64x64輸入和128x128輸入的情況。同樣，較多的乘法器會(huì)減少卷積層的負(fù)擔(dān)，而依賴DRAM則會(huì)影響性能。

圖9：在UltraPlus和ECP5 FPGA上實(shí)現(xiàn)簡(jiǎn)單和復(fù)雜人員檢測(cè)時(shí)的性能、功耗和占用面積

其實(shí)，設(shè)計(jì)AI模型的最常見(jiàn)做法就是使用處理器，可能是GPU或者DSP，也有可能是微控制器（MCU）。不過(guò)，低端MCU可能連簡(jiǎn)單的AI模型也無(wú)法處理，高性能處理器又可能會(huì)違反設(shè)備的功耗和成本要求，但這正是低功耗FPGA發(fā)揮作用的地方。與增強(qiáng)處理器來(lái)處理算法的方式不同，萊迪思iCE40 UltraPlus FPGA可以作為MCU的協(xié)處理器，處理MCU無(wú)法解決的復(fù)雜任務(wù)之余，將功耗保持在要求范圍內(nèi)。

另一種思路是將低功耗FPGA作為單獨(dú)運(yùn)行的、完整的AI引擎，此時(shí)FPGA中的DSP就起到了關(guān)鍵作用。即便網(wǎng)絡(luò)邊緣設(shè)備沒(méi)有其他的計(jì)算資源，也可以在不超出功耗、成本或電路板尺寸預(yù)算的情況下添加AI功能，更何況它們還擁有支持快速演進(jìn)算法所需的靈活性和可擴(kuò)展性。

無(wú)論采取哪種方法，都意味著設(shè)計(jì)人員可以采用萊迪思sensAI以及一片低功耗的iCE40 UltraPlus FPGA對(duì)傳感器數(shù)據(jù)進(jìn)行預(yù)處理，從而最大程度地降低了向SoC或云端傳輸數(shù)據(jù)進(jìn)行分析的成本。例如，如果是用在智能門鈴上，sensAI會(huì)初步讀取來(lái)自圖像傳感器的數(shù)據(jù)。如果判斷為不是人，比如說(shuō)是一只貓，那么系統(tǒng)就不會(huì)喚醒SoC或連接到云端作進(jìn)一步處理。因此，這種方法可以最大程度降低數(shù)據(jù)傳輸成本和功耗。如果預(yù)處理系統(tǒng)判斷門口的對(duì)象是人，則喚醒SoC作進(jìn)一步處理。這能極大減少系統(tǒng)需要處理的數(shù)據(jù)量，同時(shí)降低功耗要求，這對(duì)于實(shí)時(shí)在線的網(wǎng)絡(luò)邊緣應(yīng)用來(lái)說(shuō)至關(guān)重要。

圖10：基于iCE40 UltraPlus FPGA的sensAI會(huì)預(yù)處理傳感器數(shù)據(jù)以判斷該數(shù)據(jù)是否需要發(fā)送到SoC作進(jìn)一步處理

結(jié)語(yǔ)：

萊迪思的FPGA具有獨(dú)特的優(yōu)勢(shì)，可以滿足網(wǎng)絡(luò)邊緣設(shè)備快速變化的市場(chǎng)需求。設(shè)計(jì)人員可以在不依賴云端的情況下，快速為網(wǎng)絡(luò)邊緣設(shè)備提供更多計(jì)算資源的其中一個(gè)方法是使用FPGA中本身的并行處理能力來(lái)加速神經(jīng)網(wǎng)絡(luò)性能。此外，通過(guò)使用針對(duì)低功耗運(yùn)行而優(yōu)化的低密度、小尺寸封裝FPGA，設(shè)計(jì)人員可以滿足新的消費(fèi)和工業(yè)應(yīng)用對(duì)功耗和尺寸的嚴(yán)格限制。