北京革新創(chuàng)展科技有限公司-邊緣智能應(yīng)用競賽平臺方案

一、總體描述：
邊緣智能應(yīng)用競賽平臺是面向人工智能等相關(guān)專業(yè)的學(xué)科基礎(chǔ)知識和專業(yè)技術(shù)教學(xué)平臺產(chǎn)品。實(shí)驗(yàn)平臺通過人工智能技術(shù)教學(xué)分解與典型行業(yè)案例實(shí)戰(zhàn)，掌握人工智能計算機(jī)視覺、邊緣計算、終端感知控制等相關(guān)人工智能知識。
邊緣智能應(yīng)用競賽平臺圍繞人工智能實(shí)際教學(xué)場景進(jìn)行一體化設(shè)計，減少教師、學(xué)生課前實(shí)驗(yàn)準(zhǔn)備時間，降低課后收納規(guī)整管理難度。平臺由NLE-AI800嵌入式人工智能核心開發(fā)板、圖像采集模塊、語音采集模塊、指紋采集模塊、執(zhí)行器等硬件模塊組成。開發(fā)板基于邊緣計算芯片，具有高可擴(kuò)展性和強(qiáng)大的AI計算能力，支持多sensor輸入，集成豐富的硬件接口，內(nèi)置各類深度學(xué)習(xí)算法，支持模型重訓(xùn)、模型評估，支持構(gòu)建算法應(yīng)用，NLE-AI800開發(fā)板的功能強(qiáng)勁表現(xiàn)為算法識別延遲低、可滿足端末同時處理多個算法需求、實(shí)現(xiàn)人體骨骼檢測與可視化顯示的性能要求，支撐從教學(xué)、應(yīng)用到科研技術(shù)方案支撐。
邊緣智能應(yīng)用競賽平臺提供物品分類識別、物品目標(biāo)檢測、人臉識別、人臉多屬性分析、車牌識別、車位檢測、人體骨骼點(diǎn)檢測七個典型計算機(jī)視覺算法的技術(shù)認(rèn)知和教學(xué)分解，同時基于七個典型計算機(jī)視覺算法結(jié)合智能語音、采集控制設(shè)備，提供了疫情防控、智能停車場、智能垃圾分類、趣味明星臉、智能家居五個典型人工智能實(shí)戰(zhàn)案例。
平臺以終端互動體驗(yàn)、關(guān)鍵技術(shù)分解和實(shí)戰(zhàn)案例為導(dǎo)向，進(jìn)行人工智能能力遞進(jìn)教學(xué)，支持JupyterNotebook方式進(jìn)行分段式代碼片段教學(xué)，支持聯(lián)動控制實(shí)驗(yàn)設(shè)備遠(yuǎn)程運(yùn)行，內(nèi)容便捷分享，通過教學(xué)實(shí)訓(xùn)系統(tǒng)代碼編程學(xué)習(xí)進(jìn)行基本編程技能教學(xué)，通過豐富的應(yīng)用項(xiàng)目實(shí)踐學(xué)習(xí)進(jìn)行綜合編程技能教學(xué)，由淺入深對學(xué)生能力結(jié)構(gòu)進(jìn)行培養(yǎng)。

二、系統(tǒng)組成：
邊緣智能應(yīng)用競賽平臺由硬件、軟件、教學(xué)資源3大部分組成。
（1）硬件部分為一體式實(shí)驗(yàn)平臺設(shè)計，使用防撞箱進(jìn)行收納，形態(tài)小巧、擺放收納靈活，便于與PC機(jī)搭配在學(xué)校實(shí)訓(xùn)室進(jìn)行實(shí)驗(yàn)教學(xué)。主要部分由NLE-AI800開發(fā)板與圖像采集模塊、語音采集模塊、指紋采集模塊、執(zhí)行器模塊組成。
（2）軟件部分包含有平臺配套的實(shí)訓(xùn)系統(tǒng)、數(shù)據(jù)標(biāo)注工具、Jupyter開發(fā)與深度學(xué)習(xí)訓(xùn)練環(huán)境等。實(shí)訓(xùn)系統(tǒng)對實(shí)驗(yàn)平臺的核心功能進(jìn)行可視化呈現(xiàn)和實(shí)戰(zhàn)案例展示，主體分為AI算法模塊基礎(chǔ)能力和AI應(yīng)用案例展示。AI算法模塊基礎(chǔ)能力對多個算法進(jìn)行技術(shù)關(guān)鍵步驟分解教學(xué)，包含物品分類識別、物體目標(biāo)檢測、人臉識別、車牌識別和人臉屬性識別。AI應(yīng)用案例展示使用多算法技術(shù)與環(huán)境感知采集技術(shù)、執(zhí)行器控制技術(shù)進(jìn)行集成應(yīng)用到典型行業(yè)場景中，通過項(xiàng)目案例將AI基礎(chǔ)技術(shù)與應(yīng)用進(jìn)行融合賦能行業(yè)，掌握行業(yè)應(yīng)用開發(fā)相關(guān)技能。
數(shù)據(jù)標(biāo)注工具軟件支持圖像標(biāo)注、語音標(biāo)注、文本標(biāo)注、視頻標(biāo)注等，標(biāo)記的基本形式有標(biāo)注畫框、3D畫框、文本轉(zhuǎn)錄、圖像打點(diǎn)、目標(biāo)物體輪廓線等。數(shù)據(jù)標(biāo)注是數(shù)據(jù)標(biāo)注人員借助標(biāo)注工具，對人工智能學(xué)習(xí)數(shù)據(jù)進(jìn)行加工處理，轉(zhuǎn)換為機(jī)器可識別信息的過程。
Jupyter開發(fā)與深度學(xué)習(xí)訓(xùn)練環(huán)境是通過工具化的方式簡化學(xué)生在數(shù)據(jù)處理、模型訓(xùn)練、模型預(yù)測與部署過程中對復(fù)雜環(huán)境與參數(shù)設(shè)置的要求。
（3）教學(xué)資源包含項(xiàng)目化實(shí)驗(yàn)指導(dǎo)書，指導(dǎo)書包含5個項(xiàng)目化章節(jié)，以“使用OpenCV人臉檢測、計算機(jī)視覺算法實(shí)現(xiàn)圖像識別、邊緣硬件控制、基于人臉檢測算法實(shí)現(xiàn)家用設(shè)備控制、基于計算機(jī)視覺技術(shù)實(shí)現(xiàn)稻麥監(jiān)測系統(tǒng)”，對應(yīng)講述“OpenCV圖像處理、圖像識別算法應(yīng)用、邊緣硬件控制、計算機(jī)視覺模型應(yīng)用、TensorFlow深度學(xué)習(xí)實(shí)踐技術(shù)”等人工智能嵌入式技術(shù)應(yīng)用關(guān)鍵任務(wù)。

2.1 硬件組成
AI核心開發(fā)板
（1）CPU：多核ARM64位處理器；
（2）GPU：雙核ARM Mali處理器，支持OpenCL 1.1/1.2/2.0，支持OpenGL ES 3.0/3.1/3.2；
（3）AI加速單元：支持8bit/16bit運(yùn)算，支持TensorFlow、Caffe模型，運(yùn)算性能可達(dá)3.0TOPs；
（4）內(nèi)存：LPDDR4 4G；
（5）存儲器：Emmc5.1,32GB；
（6）編碼能力：最高支持到H264/H.265 7680x4320@30fps,最高支持到7680x4320@15fpsJPEG解碼；
（7）輸出能力：支持HDMI2.0、最大4K@60fps輸出，支持MIPI CSI，DSI輸出，支持6/8/16/24bitRGB數(shù)字LCD輸出，最高分辨率支持1920x1080@60fps輸出；
（8）有線通訊：1路千兆以太網(wǎng)口，支持POE受電;
（9）無線通訊：WiFi、藍(lán)牙4.0、4G，支持5G擴(kuò)展；
（10）串行接口：RS232、RS485，支持Micro USB的U轉(zhuǎn)調(diào)試串口；
板載接口/GPIO：帶PCIE,可接1*I2S、2*I2C、ADC1_CHO、ADC1_C H1、1*PWM、2*SPI，支持中斷編程，3路電源（12V\5V\3.3V）。

高清攝像頭
（1）800萬像素;
（2）對接方式：USB2.0免驅(qū)動;
（3）模塊支持自動曝光控制AEC;
（4）支持自動增益控制AGC;
（6）支持自動白平衡。
（7）支持自動對焦功能。
（8）功耗5V供電，低于2.5W
（9）圖像色彩：彩色

觸摸屏
（1）搭載10寸1920*1080 IPS屏10點(diǎn)觸控電容屏；
（2）提供178°水平可視角度；
（3）提供350cd/㎡顯示亮度；
（4）提供800：1（動態(tài)）的對比度；
（5）內(nèi)置音箱HDR；
（6）工業(yè)級鋁合金屏外殼。

麥克風(fēng)陣列
（1）直徑85mm；
（2）輸入電壓：DC 5V
（3）支持360度拾音
（4）音頻輸出：1*USB，兼容燒寫和通信口
（5）工作電壓：3.3V
（6）工作電流：20-50mA
（7）支持串口通信

指紋采集模塊
（1）指紋存容量 300枚
（2）工作電壓 3.0-3.6V
（3）工作電流 3.-60mA
（4）USB通訊 2.0FS
（5）傳感器圖像大小 256*288pixel

人體測溫模塊
（1）通訊方式：Uart
（2）波特率：9600
（3）半徑：13mm

執(zhí)行器模塊
（1）24V繼電器組（4路）*2；
（2）三色燈：紅、藍(lán)、綠各1個
（3）迷你小風(fēng)扇；

視覺實(shí)驗(yàn)?zāi)K
包含人偶模型、動物模型、水果模型、交通工具模型。

2.2 軟件組成
實(shí)訓(xùn)系統(tǒng)基礎(chǔ)能力教學(xué)系統(tǒng)
提供物品分類、物品目標(biāo)檢測、人臉識別、人臉多屬性分析、車牌識別等端上模型推理應(yīng)用，以知識拆解的方式進(jìn)行展開；提供項(xiàng)目教學(xué)案例，包含智能家居、疫情防控站等多算法復(fù)合應(yīng)用。

疫情防控案例
案例基于疫情環(huán)境下，對進(jìn)入小區(qū)人員進(jìn)行體溫與是否戴口罩檢測，同時將檢測數(shù)據(jù)上報到云平臺，云平臺提供數(shù)據(jù)接口，可供類似疾控中心或疫情防控中心進(jìn)行接入獲取數(shù)據(jù)與數(shù)據(jù)分析。項(xiàng)目使用人工智能開發(fā)板、攝像頭、紅外熱像儀等，項(xiàng)目以人臉口罩識別、體溫檢測為主，主要采用計算機(jī)視覺、深度學(xué)習(xí)算法、物聯(lián)網(wǎng)等技術(shù)。

智能停車場案例
智能停車場案例基于停車場應(yīng)用場景，基于人工智能計算機(jī)視覺技術(shù)，通過對車輛進(jìn)行車牌識別，構(gòu)建的智能停車場管理系統(tǒng)，主要功能包含車輛注冊、車牌識別、車輛權(quán)限控制、門鎖控制、LED燈控制、語音播放，并實(shí)現(xiàn)了對車庫出入記錄管理。

智能垃圾分類案例
智能垃圾分類案例基于人工智能物體分類檢測技術(shù)，通過對可回收垃圾（如礦泉水瓶）、廚余垃圾（如菜葉、雞蛋殼）、干垃圾（如衛(wèi)生紙巾、煙盒）、有害垃圾（如：電池、燈泡），主要功能包含了通過攝像頭識別檢測物體，顯示垃圾對應(yīng)的名稱，截取出對應(yīng)的垃圾物體圖片，通過動畫形式分別放置到對應(yīng)的垃圾桶。

趣味明星臉案例
趣味明星臉案例基于人工智能人臉識別技術(shù)，案例通過人臉識別，與明星人臉特征庫進(jìn)行匹配，得到相似度最高的明星人物，達(dá)到娛樂趣味性。

智能家居案例
智能家居案例基于人工智能計算機(jī)視覺、深度學(xué)習(xí)算法，開發(fā)的一款具備智能開鎖、遠(yuǎn)程開關(guān)門、遠(yuǎn)程開關(guān)燈、安防警報等功能。案例使用人工智能開發(fā)板、攝像頭、人體紅外傳感器、風(fēng)扇、報警燈等設(shè)備；項(xiàng)目以智能家居安防為主，同時提供浴室魔鏡趣味功能。

Jupyter教學(xué)實(shí)驗(yàn)平臺
Web應(yīng)用程序的交互式筆記本，便于創(chuàng)建和共享文學(xué)化程序文檔，支持實(shí)時代碼，數(shù)學(xué)方程，可視化和markdown。

數(shù)據(jù)標(biāo)注工具
支持圖像、文本和視頻等多種標(biāo)注形式，包含圖像分類，矩形
框，多邊形，曲線定位，3D定位文本分類，文本實(shí)體標(biāo)注，視頻跟蹤等；支持導(dǎo)出支持主流數(shù)據(jù)集格式，支持PascalVoc（與ImageNet采用的格式相同）和CoreNLP等標(biāo)準(zhǔn)。

深度學(xué)習(xí)訓(xùn)練環(huán)境與AI應(yīng)用開發(fā)環(huán)境
提供TensorFlow深度學(xué)習(xí)訓(xùn)練環(huán)境、集成開發(fā)環(huán)境Pycharm系統(tǒng)安裝鏡像。深度學(xué)習(xí)訓(xùn)練環(huán)境用于模型訓(xùn)練、模型編譯、模型轉(zhuǎn)換、模型部署。集成開發(fā)環(huán)境Pycharm用于使用已完成訓(xùn)練的模型進(jìn)行應(yīng)用開發(fā)。

2.3 教學(xué)資源
產(chǎn)品配套項(xiàng)目化實(shí)驗(yàn)指導(dǎo)書，教材以行業(yè)應(yīng)用知識需求為導(dǎo)向，強(qiáng)化培養(yǎng)學(xué)生硬件編程與計算機(jī)視覺等人工智能技術(shù)相結(jié)合的實(shí)踐技能，將理論教學(xué)與實(shí)踐教學(xué)進(jìn)行結(jié)合，以嵌入式技術(shù)平臺為核心，展開豐富的實(shí)驗(yàn)教學(xué)。
嵌入式人工智能技術(shù)應(yīng)用課程提供豐富的算法案例，包括分類識別、目標(biāo)檢測、車牌識別、人臉識別、人臉多屬性分析等算法應(yīng)用?；谇度胧郊夹g(shù)平臺的高性能配置，可以展開多算法同時處理的深度應(yīng)用，也可展開較為復(fù)雜的算法模型應(yīng)用，如趣味明星臉、疫情防疫站等。同時配套開發(fā)環(huán)境和深度學(xué)習(xí)環(huán)境鏡像，以及數(shù)據(jù)標(biāo)注工具和模型訓(xùn)練工具，靈活選擇PC端學(xué)習(xí)或者平臺端學(xué)習(xí)路徑。配套了《嵌入式人工智能技術(shù)應(yīng)用》、《邊緣智能計算應(yīng)用》兩套教學(xué)資源
1、《嵌入式人工智能技術(shù)應(yīng)用》大綱：
1）課程提供圖像處理相關(guān)開發(fā)教學(xué)資源，包括圖像讀取與保存，使用OpenCV調(diào)用視頻流，視頻錄制與讀取，使用OpenCV人臉識別算法檢測等。
2）課程提供人工智能計算機(jī)視覺相關(guān)算法應(yīng)用開發(fā)教學(xué)資源，包括人臉檢測實(shí)驗(yàn)、圖像識別、AI邊緣硬件控制、計算機(jī)視覺技術(shù)實(shí)現(xiàn)稻麥監(jiān)測系統(tǒng)等。
2、《邊緣智能計算應(yīng)用》大綱：
1）課程提供主流深度學(xué)習(xí)框架Tensorflow、Pytorch進(jìn)行模型搭建、模型訓(xùn)練、模型轉(zhuǎn)換、模型部署、模型推理等。
2）課程提供邊緣計算開發(fā)板基礎(chǔ)應(yīng)用、邊緣計算算法SDK應(yīng)用、基于TensorFlow的圖像上色模型部署、基于Pytorch目標(biāo)檢測模型部署、基于TFLite的手掌檢測模型部署等課程內(nèi)容。