2024年設(shè)備端AI推理功能將覆蓋近60%的設(shè)備

ABI的研究調(diào)查表明，預計到2024年設(shè)備端的AI推理功能將覆蓋近60%的設(shè)備。FPGA作為實現(xiàn)邊緣AI的技術(shù)方式之一受到了青睞。要知道AI的算法靈活多變，F(xiàn)PGA硬件可編程可以適應快速變化的機器學習算法，它可以做靈活的計算資源，包括預處理、后處理、圖像處理和濾波等數(shù)據(jù)。還能進行性能擴展，可實現(xiàn)高速并行處理。因此，我們看到不少FPGA廠商正在大力推動FPGA在邊緣計算的應用。

去年萊迪思發(fā)布了sensAI 4.1解決方案，當時介紹的一個典型案例是用于PC智能和感知體驗。如今，這一方案已經(jīng)落地于品牌筆記本電腦。憑借其優(yōu)異特性和不斷增強的性能，萊迪思sensAI 4.1解決方案還可廣泛應用于工業(yè)、安防等眾多領(lǐng)域，可挖掘的邊緣智能應用非常之多。

萊迪思sensAI 4.1解決方案提升品牌筆記本電腦交互體驗

Lattice Nexus FPGA和sensAI解決方案集合可用于開發(fā)計算機視覺和傳感器融合應用，可以提升用戶的參與和協(xié)作，保護用戶隱私，同時可以幫助開發(fā)人員實現(xiàn)新穎的AI功能，提高設(shè)備的電池壽命。

據(jù)測試，與使用CPU來驅(qū)動 AI 應用的設(shè)備相比，采用 sensAI 開發(fā)，并在萊迪思FPGA上運行的 AI 計算設(shè)備的電池使用時間延長了28%。sensAI 還支持現(xiàn)場軟件更新，從而保持AI算法的演進，還能讓OEM廠商靈活選擇不同的傳感器和SoC技術(shù)來適配他們的設(shè)備。

比如在用戶檢測應用上，用戶接近或離開設(shè)備時會自動啟動或關(guān)閉客戶端設(shè)備；注意力追蹤：當用戶的注意力不在屏幕上時，降低設(shè)備的屏幕亮度，節(jié)約電量，延長使用時間；面部取景：在視頻會議應用中提升視頻體驗；旁邊者檢測：檢測站在設(shè)備后面潛在的窺視者，模糊屏幕以保障數(shù)據(jù)隱私。

當然，這也需要Lattice和OEM、其他芯片廠商、操作系統(tǒng)和軟件支持商，以及傳感器廠商合作，共同推動方案落地。據(jù)了解，目前萊迪思已與聯(lián)想合作，ThinkPad X1系列筆記本電腦采用了專為AI優(yōu)化的軟件方案，能夠在不損失性能或電池使用時間的情況下提供優(yōu)化的用戶體驗，包括沉浸式交互、更好的隱私保護和更高效的協(xié)作。LG也在其最新的GRAM系列產(chǎn)品用采用萊迪思AI和計算機視覺解決方案，提升安全和便捷特性。

sensAI 4.1的增強特性

萊迪思最新發(fā)布的sensAI解決方案集合4.1版本提供了即用的AI/ML工具、IP核、硬件平臺、參考設(shè)計和演示以及定制化設(shè)計服務，有助于設(shè)計團隊開發(fā)新的網(wǎng)絡邊緣設(shè)備，并將其快速推向市場。

最新版本的sensAI支持CertusPro-NX FPGA。這個器件的容量會提升，同時計算的能力和功效也會提高，在這款器件基礎(chǔ)上，推出了相對應的開發(fā)板，稱之為聲音和視覺機器學習板。還提供支持這塊新芯片的CNN Plus加速器，以及相對應的sensAI Studio。

隨著sensAI 4.1支持萊迪思CertusPro-NX FPGA系列產(chǎn)品，sensAI的性能也有了較大提升，除了已有的對象檢測和追蹤應用之外，還新增了對多個對象實時分類等應用。包括自動化工業(yè)系統(tǒng)中使用的高精度目標檢測和瑕疵檢測等應用。該解決方案集合擁有全新硬件平臺，包括板載圖像傳感器、兩個I2S麥克風和用于添加更多傳感器的擴展連接器，助力基于語音和視覺的機器學習應用的開發(fā)。

sensAI還更新了神經(jīng)網(wǎng)絡編譯器，支持Lattice sensAI Studio，這是一款基于GUI的工具，擁有AI模型庫，經(jīng)過配置和訓練可適用于各類主流應用場景。sensAI Studio現(xiàn)支持AutoML功能，能根據(jù)應用和數(shù)據(jù)集目標來創(chuàng)建機器學習模塊。一些基于Mobilenet機器學習推理訓練平臺的模型專為最新的Nexus系列產(chǎn)品——Lattice CertusPro-NX進行了優(yōu)化。sensAI還兼容其他廣泛使用的機器學習平臺，包括最新版本的Caffe、Keras、TensorFlow和TensorFlow Lite。通過標準的Caffe、TensorFlow、TensorFlowLite、Keras等常用培訓網(wǎng)絡培訓完之后，再通過Lattice提供的神經(jīng)網(wǎng)絡編譯器，編譯成相對應的可執(zhí)行指令，這些指令最終會由Lattice的芯片所調(diào)取使用。

Lattice 提供一個硬件優(yōu)化的設(shè)計方案，通過Lattice Radiant和DIAMOND設(shè)計AI解決方案，產(chǎn)生FPGA比特流，然后再把訓練后的模型錄進來，這樣產(chǎn)生一個類似于中央處理器的功能，而這里產(chǎn)生的量化的權(quán)重和指令更多指向于執(zhí)行的代碼，這兩個結(jié)合之后，可以產(chǎn)生一個AI的體驗項目。

另外，從軟件優(yōu)化的設(shè)計方案中可以看到，Lattice專門提供了一個PROPEL的軟件，這個是C代碼開發(fā)環(huán)境，便于大家使用更常用的C代碼實現(xiàn)開發(fā)而不是使用比較難以上手的FPGA硬件開發(fā)語言，這樣的代碼是便于初學者能夠調(diào)用一些基本的指令進行一些控制。左側(cè)更多指的是Lattice的開發(fā)AI引擎的一些架構(gòu)，包括機器學習引擎，以此能夠做視覺的收取，同時做軟核的控制。

不斷滿足邊緣計算的需求

網(wǎng)絡邊緣處理使得計算和數(shù)據(jù)存儲越來越靠近收集數(shù)據(jù)的設(shè)備端，而不是在數(shù)千里之外的數(shù)據(jù)中心進行分析和決策。網(wǎng)絡邊緣的實時應用通常不容許高延遲，因此處理、分析和決策必須轉(zhuǎn)移到設(shè)備本身。網(wǎng)絡邊緣設(shè)備包括自動駕駛汽車、物聯(lián)網(wǎng)傳感器、安全攝像頭、智能手機、筆記本電腦和個人電腦等生成大量數(shù)據(jù)，而開發(fā)人員越來越多地采用人工智能和機器學習（AI/ML）算法來匹配和識別復雜的模式，以幫助分析數(shù)據(jù)并據(jù)此做出決策。

AI/ML算法可以識別出傳統(tǒng)的算法程序難以解析和識別的復雜、多維度的數(shù)據(jù)模式。一些特定的AI/ML應用包括檢測、識別、辨認和計數(shù)人員或物體；資產(chǎn)和存貨追蹤、環(huán)境感知、聲音和語音檢測和識別、系統(tǒng)健康監(jiān)測以及系統(tǒng)維護調(diào)度等。

萊迪思sensAI 4.1 工具和IP將低功耗FPGA變?yōu)榫W(wǎng)絡邊緣智能AI/ML計算引擎。Lattice的網(wǎng)絡邊緣AI可以實現(xiàn)從一毫瓦到低于一瓦這樣的功耗范圍。同時，Lattice有靈活的計算資源，硬件可編程最大的特點就是實現(xiàn)加速和機器算法。此外，還內(nèi)嵌了很多安全功能，具有更高的安全性。

目前Lattice Nexus平臺已推出四款FPGA產(chǎn)品，包括CrossLink-NX、Certus-NX、Mach-NX、CertusPro-NX，未來還將有兩款新品。同樣，sensAI 也將不斷推陳出新?？傊R迪思FPGA和sensAI解決方案以其性能、功耗以及靈活的優(yōu)勢推動邊緣AI的廣泛應用。