基于CVITEK_CV1821+SOI_K302P的IPC方案

一.方案介紹

該方案基于主控平臺CVITEK_CV1821和sensor SOI_K302P，運用于智能監(jiān)控IPC攝像頭，可用于戶外或室內(nèi)。采用了2688x1520的分辨率,最高能支持60FPS,并且支持30FPS的HDR。搭載SOI_K302P近紅外感度NIR+技術(shù)，QE（量子效率）顯著提升，相較普通sensor，在850nm和940nm波段下感光大幅提升，即使在僅有微弱亮光的環(huán)境下，也能呈現(xiàn)清晰的如可見光般的高清影像。作為400萬2K的監(jiān)控攝像頭，通過ISP圖像調(diào)校技術(shù)，提升成像質(zhì)量與色彩真實度，通過專用CMOS傳感器和后期處理，實現(xiàn)更強的感光能力與更少噪點。

二.芯片介紹

1.主控芯片

產(chǎn)品概述：

晶視智能（CVITEK）是一家開放式人工智能芯片研發(fā)商，專注于視頻監(jiān)控及邊緣計算技術(shù)研發(fā)，擁有國內(nèi)性能*的AI TPU運算核心及soc芯片整合技術(shù)，目前研發(fā)領(lǐng)域涵蓋soc芯片設(shè)計， AI TPU處理器及工具鏈，圖像處理算法及設(shè)計等，致力于打造人工智能機器視覺一站式平臺解決方案，為客戶帶來豐富價值及技術(shù)創(chuàng)新的產(chǎn)品與服務(wù)。

CV1821是其面向邊緣智能監(jiān)控IP 攝像機、本地端人臉辨識考勤機、智能家居等產(chǎn)品領(lǐng)域而推出的高性能、低功耗芯片，集成了 H.264/H.265 視頻壓縮編解碼器和 ISP ；支持 HDR 寬動態(tài)、3D降噪、除霧、鏡頭畸變校正等多種圖像增強和矯正算法，為客戶提供專業(yè)級的視頻圖像質(zhì)量。

芯片更集成自研TPU在INT8運算下，可提供約0.5TOPS算力 。特殊設(shè)計的TPU調(diào)度引擎能有效地為張量處理器核心提供極高的帶寬數(shù)據(jù)流 ；并為用戶提供了強大的深度學(xué)習(xí)模型編譯器和Linux軟件SDK開發(fā)包。主流的深度學(xué)習(xí)框架，比如 Caffe Pytorch ONNX MXNet 和TensorFlow(Lite) 框架的主流網(wǎng)絡(luò)可以輕松的移植 到平臺上 。

主要特性：

硬件架構(gòu)圖：

2.Sensor

晶相光電（SOI）是一家專注于CMOS圖像傳感器（CIS）的開發(fā)和銷售的公司。該公司擁有優(yōu)秀的設(shè)計團隊，并與專業(yè)的晶圓廠合作，具備系統(tǒng)集成能力以及與測試和封裝廠商的合作關(guān)系。晶相光電推出了低成本、高性能和多樣化的產(chǎn)品，以滿足市場和客戶的需求，并提供快速的本地客戶服務(wù)，使客戶在生產(chǎn)效率和時間上具備競爭力。

JX-K302P是一款高性能的4.1MP BSI CMOS圖像傳感器，采用SOI的2.0um BSI像素技術(shù)設(shè)計和制造。它在近紅外（NIR）范圍內(nèi)具有出色的QE性能，可提高850nm和940nm波長下的夜視效果。該傳感器在全尺寸模式下可以以60fps的速度傳輸圖像，在HDR模式下為30fps。JX-K302P由一個2696 x 1528的有源像素傳感器（APS）陣列組成，具有片上10位ADC、可編程增益控制（PGA）和相關(guān)雙采樣（CDS）功能，可顯著降低固定模式噪聲（FPN）。該傳感器還具有許多標準的可編程和自動功能。它采用符合行業(yè)標準的MIPI CSI2四數(shù)據(jù)通道串行接口。外部主機控制器可以通過標準串行接口訪問該設(shè)備。該傳感器以晶圓級封裝的CSP形式提供。

主要特性

三.場景應(yīng)用圖

以下是在不同的環(huán)境下拍攝的效果圖：

1.室內(nèi)5500K_100lux:

2.室內(nèi)5500K_50lux:

3.室內(nèi)5500K_30lux:

4.室內(nèi)5500K_10lux

5.室內(nèi)5500K_1lux

6.室內(nèi)5500K_0.1lux

7.紅外850nm

8.紅外940nm

?展示板照片

?方案方塊圖

?核心技術(shù)優(yōu)勢

1、CV1821是其面向邊緣智能監(jiān)控IP 攝像機、本地端人臉辨識考勤機、智能家居等產(chǎn)品領(lǐng)域而推出的高性能、低功耗芯片，集成了 H.264/H.265 視頻壓縮編解碼器和 ISP；

2、支持 HDR 寬動態(tài)、3D降噪、除霧、鏡頭畸變校正等多種圖像增強和矯正算法，為客戶提供專業(yè)級的視頻圖像質(zhì)量；

3、芯片更集成自研TPU在INT8運算下，可提供約0.5TOPS算力；

4、特殊設(shè)計的TPU調(diào)度引擎能有效地為張量處理器核心提供極高的帶寬數(shù)據(jù)流；

5、并為用戶提供了強大的深度學(xué)習(xí)模型編譯器和Linux軟件SDK開發(fā)包；

6、主流的深度學(xué)習(xí)框架，比如 Caffe Pytorch ONNX MXNet 和TensorFlow(Lite) 框架的主流網(wǎng)絡(luò)可以輕松的移植 到平臺上。

?方案規(guī)格

1. 主控cv1821規(guī)格:

1. ? 單核ARM CA53@1.2G；

? 圖像視頻90、180、270度旋轉(zhuǎn)、Mirror、Flip；

? MiPi接口；

? 9mm x 9mm QFN 封裝大??；

? 集成 POR 、 ADC 、 I2C 、 SPI 、 UART 、PWM 、 SDIO 3.0 、 USB 2.0 Host/Device；

? 內(nèi)置 DRAM；

2 .sensor_soi_K302P規(guī)格：

• ? 4.1MP CMOS圖像傳感器；

? 分辨率：2696*1528；

? 10-bit RGB Raw Data；

? Full: 2688x1520 @60fps

? HDR: 2688x1520 @ 30fps

? DVP并行和MIPI CSI2雙數(shù)據(jù)通道串行接口