邊緣AI推理將覆蓋60%設(shè)備，萊迪思FPGA+sensAI 4.1組合拳如何打？

ABI的研究調(diào)查表明，預(yù)計(jì)到2024年設(shè)備端的AI推理功能將覆蓋近60%的設(shè)備。FPGA作為實(shí)現(xiàn)邊緣AI的技術(shù)方式之一受到了青睞。要知道AI的算法靈活多變，F(xiàn)PGA硬件可編程可以適應(yīng)快速變化的機(jī)器學(xué)習(xí)算法，它可以做靈活的計(jì)算資源，包括預(yù)處理、后處理、圖像處理和濾波等數(shù)據(jù)。還能進(jìn)行性能擴(kuò)展，可實(shí)現(xiàn)高速并行處理。因此，我們看到不少FPGA廠商正在大力推動(dòng)FPGA在邊緣計(jì)算的應(yīng)用。

去年萊迪思發(fā)布了sensAI 4.1解決方案，當(dāng)時(shí)介紹的一個(gè)典型案例是用于PC智能和感知體驗(yàn)。如今，這一方案已經(jīng)落地于品牌筆記本電腦。憑借其優(yōu)異特性和不斷增強(qiáng)的性能，萊迪思sensAI 4.1解決方案還可廣泛應(yīng)用于工業(yè)、安防等眾多領(lǐng)域，可挖掘的邊緣智能應(yīng)用非常之多。

萊迪思sensAI 4.1解決方案提升品牌筆記本電腦交互體驗(yàn)

Lattice Nexus FPGA和sensAI解決方案集合可用于開發(fā)計(jì)算機(jī)視覺和傳感器融合應(yīng)用，可以提升用戶的參與和協(xié)作，保護(hù)用戶隱私，同時(shí)可以幫助開發(fā)人員實(shí)現(xiàn)新穎的AI功能，提高設(shè)備的電池壽命。

據(jù)測試，與使用CPU來驅(qū)動(dòng) AI 應(yīng)用的設(shè)備相比，采用 sensAI 開發(fā)，并在萊迪思FPGA上運(yùn)行的 AI 計(jì)算設(shè)備的電池使用時(shí)間延長了28%。sensAI 還支持現(xiàn)場軟件更新，從而保持AI算法的演進(jìn)，還能讓OEM廠商靈活選擇不同的傳感器和SoC技術(shù)來適配他們的設(shè)備。

比如在用戶檢測應(yīng)用上，用戶接近或離開設(shè)備時(shí)會(huì)自動(dòng)啟動(dòng)或關(guān)閉客戶端設(shè)備；注意力追蹤：當(dāng)用戶的注意力不在屏幕上時(shí)，降低設(shè)備的屏幕亮度，節(jié)約電量，延長使用時(shí)間；面部取景：在視頻會(huì)議應(yīng)用中提升視頻體驗(yàn)；旁邊者檢測：檢測站在設(shè)備后面潛在的窺視者，模糊屏幕以保障數(shù)據(jù)隱私。

當(dāng)然，這也需要Lattice和OEM、其他芯片廠商、操作系統(tǒng)和軟件支持商，以及傳感器廠商合作，共同推動(dòng)方案落地。據(jù)了解，目前萊迪思已與聯(lián)想合作，ThinkPad X1系列筆記本電腦采用了專為AI優(yōu)化的軟件方案，能夠在不損失性能或電池使用時(shí)間的情況下提供優(yōu)化的用戶體驗(yàn)，包括沉浸式交互、更好的隱私保護(hù)和更高效的協(xié)作。LG也在其最新的GRAM系列產(chǎn)品用采用萊迪思AI和計(jì)算機(jī)視覺解決方案，提升安全和便捷特性。

sensAI 4.1的增強(qiáng)特性

萊迪思最新發(fā)布的sensAI解決方案集合4.1版本提供了即用的AI/ML工具、IP核、硬件平臺(tái)、參考設(shè)計(jì)和演示以及定制化設(shè)計(jì)服務(wù)，有助于設(shè)計(jì)團(tuán)隊(duì)開發(fā)新的網(wǎng)絡(luò)邊緣設(shè)備，并將其快速推向市場。

最新版本的sensAI支持CertusPro-NX FPGA。這個(gè)器件的容量會(huì)提升，同時(shí)計(jì)算的能力和功效也會(huì)提高，在這款器件基礎(chǔ)上，推出了相對應(yīng)的開發(fā)板，稱之為聲音和視覺機(jī)器學(xué)習(xí)板。還提供支持這塊新芯片的CNN Plus加速器，以及相對應(yīng)的sensAI Studio。

隨著sensAI 4.1支持萊迪思CertusPro-NX FPGA系列產(chǎn)品，sensAI的性能也有了較大提升，除了已有的對象檢測和追蹤應(yīng)用之外，還新增了對多個(gè)對象實(shí)時(shí)分類等應(yīng)用。包括自動(dòng)化工業(yè)系統(tǒng)中使用的高精度目標(biāo)檢測和瑕疵檢測等應(yīng)用。該解決方案集合擁有全新硬件平臺(tái)，包括板載圖像傳感器、兩個(gè)I2S麥克風(fēng)和用于添加更多傳感器的擴(kuò)展連接器，助力基于語音和視覺的機(jī)器學(xué)習(xí)應(yīng)用的開發(fā)。

sensAI還更新了神經(jīng)網(wǎng)絡(luò)編譯器，支持Lattice sensAI Studio，這是一款基于GUI的工具，擁有AI模型庫，經(jīng)過配置和訓(xùn)練可適用于各類主流應(yīng)用場景。sensAI Studio現(xiàn)支持AutoML功能，能根據(jù)應(yīng)用和數(shù)據(jù)集目標(biāo)來創(chuàng)建機(jī)器學(xué)習(xí)模塊。一些基于Mobilenet機(jī)器學(xué)習(xí)推理訓(xùn)練平臺(tái)的模型專為最新的Nexus系列產(chǎn)品——Lattice CertusPro-NX進(jìn)行了優(yōu)化。sensAI還兼容其他廣泛使用的機(jī)器學(xué)習(xí)平臺(tái)，包括最新版本的Caffe、Keras、TensorFlow和TensorFlow Lite。通過標(biāo)準(zhǔn)的Caffe、TensorFlow、TensorFlowLite、Keras等常用培訓(xùn)網(wǎng)絡(luò)培訓(xùn)完之后，再通過Lattice提供的神經(jīng)網(wǎng)絡(luò)編譯器，編譯成相對應(yīng)的可執(zhí)行指令，這些指令最終會(huì)由Lattice的芯片所調(diào)取使用。

Lattice 提供一個(gè)硬件優(yōu)化的設(shè)計(jì)方案，通過Lattice Radiant和DIAMOND設(shè)計(jì)AI解決方案，產(chǎn)生FPGA比特流，然后再把訓(xùn)練后的模型錄進(jìn)來，這樣產(chǎn)生一個(gè)類似于中央處理器的功能，而這里產(chǎn)生的量化的權(quán)重和指令更多指向于執(zhí)行的代碼，這兩個(gè)結(jié)合之后，可以產(chǎn)生一個(gè)AI的體驗(yàn)項(xiàng)目。

另外，從軟件優(yōu)化的設(shè)計(jì)方案中可以看到，Lattice專門提供了一個(gè)PROPEL的軟件，這個(gè)是C代碼開發(fā)環(huán)境，便于大家使用更常用的C代碼實(shí)現(xiàn)開發(fā)而不是使用比較難以上手的FPGA硬件開發(fā)語言，這樣的代碼是便于初學(xué)者能夠調(diào)用一些基本的指令進(jìn)行一些控制。左側(cè)更多指的是Lattice的開發(fā)AI引擎的一些架構(gòu)，包括機(jī)器學(xué)習(xí)引擎，以此能夠做視覺的收取，同時(shí)做軟核的控制。



不斷滿足邊緣計(jì)算的需求

網(wǎng)絡(luò)邊緣處理使得計(jì)算和數(shù)據(jù)存儲(chǔ)越來越靠近收集數(shù)據(jù)的設(shè)備端，而不是在數(shù)千里之外的數(shù)據(jù)中心進(jìn)行分析和決策。網(wǎng)絡(luò)邊緣的實(shí)時(shí)應(yīng)用通常不容許高延遲，因此處理、分析和決策必須轉(zhuǎn)移到設(shè)備本身。網(wǎng)絡(luò)邊緣設(shè)備包括自動(dòng)駕駛汽車、物聯(lián)網(wǎng)傳感器、安全攝像頭、智能手機(jī)、筆記本電腦和個(gè)人電腦等生成大量數(shù)據(jù)，而開發(fā)人員越來越多地采用人工智能和機(jī)器學(xué)習(xí)（AI/ML）算法來匹配和識別復(fù)雜的模式，以幫助分析數(shù)據(jù)并據(jù)此做出決策。

AI/ML算法可以識別出傳統(tǒng)的算法程序難以解析和識別的復(fù)雜、多維度的數(shù)據(jù)模式。一些特定的AI/ML應(yīng)用包括檢測、識別、辨認(rèn)和計(jì)數(shù)人員或物體；資產(chǎn)和存貨追蹤、環(huán)境感知、聲音和語音檢測和識別、系統(tǒng)健康監(jiān)測以及系統(tǒng)維護(hù)調(diào)度等。

萊迪思sensAI 4.1 工具和IP將低功耗FPGA變?yōu)榫W(wǎng)絡(luò)邊緣智能AI/ML計(jì)算引擎。Lattice的網(wǎng)絡(luò)邊緣AI可以實(shí)現(xiàn)從一毫瓦到低于一瓦這樣的功耗范圍。同時(shí)，Lattice有靈活的計(jì)算資源，硬件可編程最大的特點(diǎn)就是實(shí)現(xiàn)加速和機(jī)器算法。此外，還內(nèi)嵌了很多安全功能，具有更高的安全性。

目前Lattice Nexus平臺(tái)已推出四款FPGA產(chǎn)品，包括CrossLink-NX、Certus-NX、Mach-NX、CertusPro-NX，未來還將有兩款新品。同樣，sensAI 也將不斷推陳出新?？傊R迪思FPGA和sensAI解決方案以其性能、功耗以及靈活的優(yōu)勢推動(dòng)邊緣AI的廣泛應(yīng)用。