Kneron KL630 基于耐能智慧神經(jīng)網(wǎng)路架構(gòu)的超高彈性配置之AI 相機(jī)應(yīng)用方案

Kneron KL630系列芯片采用TSMC 28nm先進(jìn)技術(shù)節(jié)點(diǎn)，是專(zhuān)為各種專(zhuān)業(yè)和消費(fèi)IP攝像機(jī)設(shè)計(jì)的新一代SoC，包括安全攝像機(jī)、家庭攝像機(jī)、視頻門(mén)鈴攝像機(jī)、防抖攝像機(jī)、180°和360°全景攝像機(jī)，以及作為家用電器和機(jī)器人相機(jī)。KL630系列芯片支持快速開(kāi)發(fā)高質(zhì)量和多鏡頭相機(jī)應(yīng)用程序，提供多達(dá) 4 通道視頻輸入、獨(dú)立的高級(jí)多 ISP 管道（包括多曝光高動(dòng)態(tài)范圍融合）以及專(zhuān)門(mén)的視頻質(zhì)量增強(qiáng)功能，適用于多個(gè)寬-角度鏡頭和傳感器，加上片上去扭曲、拼接和混合，所有這些都用于高質(zhì)量的實(shí)時(shí)全景攝像機(jī)視頻處理。其中內(nèi)鉗Kneron 第三代神經(jīng)網(wǎng)路架構(gòu)內(nèi)核，因此即時(shí)反應(yīng)并分辨特定物件，減低誤判率。整體方案特點(diǎn):

• 可重構(gòu)NPU

耐能是可重構(gòu)NPU領(lǐng)域的領(lǐng)導(dǎo)者，在行業(yè)創(chuàng)新提出動(dòng)態(tài)存儲(chǔ)DMA提升記憶體訪問(wèn)效率，以及動(dòng)態(tài)支持同一個(gè)神經(jīng)網(wǎng)路的不同數(shù)據(jù)精度需求，使得NPU芯片有ASIC高性能而又不犧牲數(shù)據(jù)密集型算法的可編程性。憑借獨(dú)特創(chuàng)新的架構(gòu)和優(yōu)異的性能，耐能團(tuán)隊(duì)獲得IEEE CAS 2021年Darlington最佳論文獎(jiǎng)。耐能第4代可重構(gòu)NPU可以支持同時(shí)運(yùn)行CNN和Transformer網(wǎng)路，既可做機(jī)器視覺(jué)，也可運(yùn)行語(yǔ)義分析，且運(yùn)算能效優(yōu)異，為終端用戶(hù)提供更高性能、低功耗以及低成本的解決方案，可適用于各種終端設(shè)備的AI應(yīng)用。

與僅面向特定應(yīng)用的普通AI模型不同，耐能的可重構(gòu)人工神經(jīng)網(wǎng)路（RANN）技術(shù)更加靈活，可滿(mǎn)足不同應(yīng)用需求并適應(yīng)各種計(jì)算體系架構(gòu)。

影像辨識(shí)軟體同硬件產(chǎn)品具有的特點(diǎn)一致，耐能的AI模型與算法除了具有低延遲、高算力和強(qiáng)性能等特點(diǎn)外，還可平衡性能、模型大小和復(fù)雜性。

耐能輕量級(jí)圖像識(shí)別算法主要包括人臉識(shí)別、身體與手勢(shì)識(shí)別、物體與場(chǎng)景識(shí)別等。在開(kāi)發(fā)的標(biāo)準(zhǔn)SDK的釋放，就包括了這些模型。

第五代 ISP可以記錄具有可感知細(xì)節(jié)、真實(shí)色調(diào)層次和更低噪聲的圖像和視頻。其特點(diǎn)如下:

• “Color Consistent”技術(shù)動(dòng)態(tài)補(bǔ)償，減少顏色不連續(xù)和強(qiáng)度
• “HDR”技術(shù)在高對(duì)比度場(chǎng)景中提供更清晰的細(xì)節(jié)，呈現(xiàn)更豐富準(zhǔn)確的色彩呈現(xiàn)，讓真實(shí)世界的視覺(jué)體驗(yàn)更加逼真。
• “Smart Edge Enhancement”技術(shù)改善了由于鏡頭和傳感器的輕微錯(cuò)位而導(dǎo)致的局部圖像模糊（失焦）
• “多鏡頭和傳感器 ISP”技術(shù)可補(bǔ)償由于生產(chǎn)差異而從多個(gè)鏡頭和傳感器源拼接和/或融合的視頻的顏色和亮度偏差

智能 HEVC 編碼器盡可能顯著減少無(wú)用或不重要的數(shù)據(jù)，并在不中斷網(wǎng)絡(luò)帶寬的情況下保持高質(zhì)量的視頻。

• 具有動(dòng)態(tài) ROI、GOP、FPS 和降噪的最新發(fā)展，可智能檢測(cè)感興趣區(qū)域，尤其是動(dòng)態(tài)場(chǎng)景中的運(yùn)動(dòng)量；以不同的強(qiáng)度應(yīng)用降噪；并相應(yīng)地調(diào)整圖片組和幀率，以在不丟失每個(gè)重要細(xì)節(jié)的情況下實(shí)現(xiàn)出色的比特率節(jié)省
• 與視頻監(jiān)控應(yīng)用中的 H.264 編碼器相比，智能 HEVC 編碼器可實(shí)現(xiàn)極低的比特率，從而節(jié)省高達(dá) 60% 的網(wǎng)絡(luò)帶寬和本地存儲(chǔ)成本
• 魚(yú)眼引擎去扭曲、拼接、混合

支持180°/360°多通道魚(yú)眼去扭曲引擎引入了一種創(chuàng)新方式，結(jié)合了高性能硬件加速魚(yú)眼去扭曲器，允許實(shí)時(shí)去扭曲過(guò)程以顯著節(jié)省 CPU 負(fù)載，并靈活支持各種魚(yú)眼的幾何校正/廣角鏡頭提供業(yè)界領(lǐng)先的全景視頻形成質(zhì)量。

去扭曲

• 支持多達(dá) 4 路視頻輸入
• 基于像素/塊的轉(zhuǎn)換的算法優(yōu)化

拼接和混合

• 基于特征的匹配
• 幾何模型拼接
• 補(bǔ)償不同傳感器的顏色偏差

示意圖如下

智能視頻分析

AI On-Device”是基于神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)，實(shí)時(shí)分析實(shí)時(shí)視頻的視覺(jué)特征，根據(jù)經(jīng)過(guò)訓(xùn)練的人（尤其是人臉）、寵物、汽車(chē)和任何感興趣的對(duì)象進(jìn)行分類(lèi)，以進(jìn)行目標(biāo)檢測(cè)以及認(rèn)出，以便允許最終客戶(hù)擁有更好的隱私保護(hù)、數(shù)據(jù)本地化和更低的數(shù)據(jù)訪問(wèn)延遲，以響應(yīng)在設(shè)備站點(diǎn)上運(yùn)行的任務(wù)。

• 無(wú)縫定制與內(nèi)部 ISP 和去扭曲引擎的集成，即使使用廣角/魚(yú)眼鏡頭也能實(shí)現(xiàn)高精度檢測(cè)和識(shí)別

音頻增強(qiáng)和智能

創(chuàng)造性地應(yīng)用機(jī)器學(xué)習(xí)方法來(lái)增強(qiáng)語(yǔ)音和音頻信號(hào)處理。VATICS 音頻技術(shù)激發(fā)了新穎而優(yōu)雅的解決方案，以解決該領(lǐng)域最具挑戰(zhàn)性和長(zhǎng)期存在的技術(shù)難題，例如噪聲抑制、聲學(xué)回聲消除、自動(dòng)增益控制、動(dòng)態(tài)范圍控制等。優(yōu)點(diǎn)包括，

• 具有競(jìng)爭(zhēng)力的性能，占地面積更小。與市場(chǎng)上的解決方案相比，最多減少 30% 的計(jì)算資源
• 較低的硬件設(shè)計(jì)限制
• 基于機(jī)器學(xué)習(xí)的內(nèi)部引擎減少了巨大的人工調(diào)整工作

高效能的應(yīng)用工具PQ Tool 跟 Fisheye Correction Tool

PQ Tool，提供快速完整的影像調(diào)整工具

EZ調(diào)諧

有10個(gè)設(shè)置與17個(gè)區(qū)塊一致，以適應(yīng)當(dāng)前架構(gòu)中的iso變化。我們可以通過(guò)鍵入或直接拉動(dòng)卷軸來(lái)改變數(shù)值。可以查看如下附圖

Fisheye Correction Tool

可以及時(shí)調(diào)整及時(shí)檢視

KL630系列芯片提供設(shè)計(jì)上的彈性，可以基于PCB版端的設(shè)計(jì)考量，有支援外掛記憶體與內(nèi)建記憶體的選型，包括了多個(gè)系列，如下表所列:

KL630系列之AI相機(jī) (安防、家用、其他應(yīng)用)的選型表如下表:

Kneron 同步提供方塊示意圖與主要的AP 函數(shù)，讓客戶(hù)可以快速上手。

KL630系列之AI相機(jī) (行車(chē)紀(jì)錄器)的選型表如下表:

Kneron 同步提供方塊示意圖與主要的AP 函數(shù)，讓客戶(hù)可以快速上手。

KL630系列之AI相機(jī) (工業(yè)相機(jī))的選型表如下表:

Kneron 同步提供方塊示意圖與主要的AP 函數(shù)，讓客戶(hù)可以快速上手。

KL630系列之AI相機(jī) (與防抖相機(jī))

在監(jiān)控系統(tǒng)中，攝像機(jī)被安裝在高高的電線桿或車(chē)輛或移動(dòng)設(shè)備上，可能會(huì)因風(fēng)、運(yùn)動(dòng)或手的作用而晃動(dòng)。

數(shù)位/電子圖像穩(wěn)定（DIS/EIS）是一種高效的視頻流校正方法，可以減少視頻晃動(dòng)和滾動(dòng)快門(mén)效應(yīng)。它依靠陀螺儀感測(cè)器產(chǎn)生用于EIS的角速度信號(hào)，而EIS校正導(dǎo)致圖像在當(dāng)前幀中被裁剪和重新縮放。MotionProcess庫(kù)為ImgSigProcess（ISPE）計(jì)算一個(gè)翹曲矩陣，以執(zhí)行視頻穩(wěn)定和滾動(dòng)快門(mén)校正，提高圖像品質(zhì)。

主要原理是利用三軸角速度和加速速度。在一段時(shí)間內(nèi)，陀螺儀感測(cè)器將總的角度加起來(lái)，并計(jì)算出它在一幀中應(yīng)該修正多少角度位移。如下圖所示:

請(qǐng)注意，水準(zhǔn)/垂直位移不會(huì)導(dǎo)致陀螺儀感測(cè)器被操作。陀螺儀應(yīng)該與鏡頭保持距離，越多越好。

Kneron 的方案還可以根據(jù)影像的位置進(jìn)行不同的配置調(diào)整。如下圖所示，考慮影像跟調(diào)整的位置，包括調(diào)整的RATIO、魚(yú)眼校正都可以一并被應(yīng)用:

資料來(lái)源: Kneron 原廠