OpenCV中支持的非分類與檢測(cè)視覺(jué)模型

引言 ·

前面給大家分別匯總了OpenCV中支持的圖像分類與對(duì)象檢測(cè)模型，視覺(jué)視覺(jué)任務(wù)除了分類與檢測(cè)還有很多其他任務(wù)，這里我們就來(lái)OpenCV中支持的非分類與檢測(cè)的視覺(jué)模型匯總一下。注意一點(diǎn)，匯總支持的模型都是OpenCV4.4 Github上已經(jīng)提供的，事實(shí)上除了官方的提供的模型，讀者還可以自己探索更多非官方模型支持。這里的匯總模型主要來(lái)自O(shè)penCV社區(qū)官方測(cè)試過(guò)的。

語(yǔ)義分割網(wǎng)絡(luò)

OpenCV4 DNN支持的語(yǔ)義分割網(wǎng)絡(luò)FCN與ENet、ResNet101_DUC_HDC等三個(gè)語(yǔ)義分割模型。

FCN

其中FCN主要是基于VGG16~VGG19作為基礎(chǔ)網(wǎng)絡(luò)，速度很慢，該網(wǎng)絡(luò)是在2015年時(shí)候提出，是早期很典型的圖像語(yǔ)義分割網(wǎng)絡(luò)，不是一個(gè)對(duì)稱的卷積反卷積分割網(wǎng)絡(luò)，在編碼階段網(wǎng)絡(luò)過(guò)長(zhǎng)，解碼網(wǎng)絡(luò)很少，結(jié)果堪憂！網(wǎng)絡(luò)結(jié)構(gòu)如下：

分別支持不同分辨率的上采樣。

ENet

ENet是一種實(shí)時(shí)語(yǔ)義分割網(wǎng)絡(luò)，在2016年提出的，關(guān)于ENet語(yǔ)義分割網(wǎng)絡(luò)，我其實(shí)之前寫過(guò)一篇文章，詳細(xì)介紹過(guò)，這里就不再啰嗦了，直接看這個(gè)鏈接即可：

詳解ENet | CPU可以實(shí)時(shí)的道路分割網(wǎng)絡(luò)

論文下載地址：

https://arxiv.org/pdf/1606.02147.pdf

ResNet101_DUC_HDC

該模型在編碼網(wǎng)絡(luò)中基于殘差網(wǎng)絡(luò)與混合空洞卷積（HDC-Hybrid Dilated Convolution），在解碼階段采用密集上采樣卷積（DUC-Dense Upsampling Convolution），最終實(shí)現(xiàn)了像素級(jí)別的圖像語(yǔ)義分割網(wǎng)絡(luò)。網(wǎng)絡(luò)模型結(jié)構(gòu)如下：

該論文在2017發(fā)表，論文地址如下：

https://arxiv.org/pdf/1702.08502.pdf

姿態(tài)評(píng)估

OpenCV DNN支持的姿態(tài)評(píng)估是基于OpenPose網(wǎng)絡(luò)實(shí)現(xiàn)的身體與手部姿態(tài)評(píng)估，OpenPose是一個(gè)開源的姿態(tài)評(píng)估項(xiàng)目支持2D與3D模型的姿態(tài)評(píng)估，提供了C++/Python的API調(diào)用接口。模型可以從它github地址獲得

https://github.com/CMU-Perceptual-Computing-Lab/openpose

相關(guān)的模型主要來(lái)自它們的系列論文， 姿態(tài)評(píng)估的基本原理與流程如下：

完整的姿態(tài)評(píng)估流程入上圖，首先預(yù)測(cè)熱圖與PAF，然后進(jìn)行匹配與解析，最終得到輸出的姿態(tài)評(píng)估結(jié)果。相關(guān)的論文地址如下

https://arxiv.org/pdf/1812.08008v2.pdfhttps://arxiv.org/pdf/1611.08050.pdf

圖像處理

OpenCV中圖像處理網(wǎng)絡(luò)支持圖像色彩遷移、圖像風(fēng)格遷移、邊緣檢測(cè)。

色彩遷移：

其中灰度圖像轉(zhuǎn)換彩色圖像的模型結(jié)構(gòu)如下：

其中有個(gè)重要的輸入特征點(diǎn)是要把RGB彩色圖像轉(zhuǎn)換為L(zhǎng)AB通道圖像，然后對(duì)AB輸入，最后結(jié)果重新加上L分量。代碼在這里

http://richzhang.github.io/colorization/

風(fēng)格遷移

風(fēng)格遷移網(wǎng)絡(luò)主要是來(lái)自于2016李飛飛等提出感知損失的圖像風(fēng)格遷移與超分辨率論文實(shí)現(xiàn)的，網(wǎng)絡(luò)結(jié)構(gòu)如下：

github地址如下：

https://github.com/jcjohnson/fast-neural-style

邊緣檢測(cè)

OpenCV中傳統(tǒng)的圖像邊緣檢測(cè)算法是Canny，現(xiàn)在OpenCV支持基于深度學(xué)習(xí)的邊緣檢測(cè)算法HED，它與Canny算法的邊緣提取效果對(duì)比如下：

該論文是在2015年提出的，模型結(jié)構(gòu)如下：

作者選擇了VGGNet作為特征提取與基礎(chǔ)網(wǎng)絡(luò)。

論文地址：

https://arxiv.org/pdf/1504.06375.pdf

人臉識(shí)別

人臉識(shí)別來(lái)自O(shè)penFace，OpenFace是一種典型的移動(dòng)端實(shí)時(shí)的人臉識(shí)別模型，跟它相似的還有LightCNN模型。OpenFace是基于facenet的Inception網(wǎng)絡(luò)作為backbone網(wǎng)絡(luò)訓(xùn)練生存的torch網(wǎng)絡(luò)模型，然后基于SVM實(shí)現(xiàn)了分類推理，完整的OpenFace項(xiàng)目結(jié)構(gòu)如下：

其中預(yù)處理階段的人臉對(duì)齊示意圖如下：

關(guān)于FaceNet的人臉識(shí)別論文

https://arxiv.org/pdf/1503.03832.pdf

OpenCV DNN支持的8位的量化之后的人臉識(shí)別模型，最終輸出的向量是128維的，模型下載可以從Github地址：

https://github.com/cmusatyalab/openface

場(chǎng)景文字檢測(cè)

場(chǎng)景文字檢測(cè)來(lái)自2017年曠視科技提出的EAST場(chǎng)景文字檢測(cè)模型，相關(guān)的模型結(jié)構(gòu)如下：

最終輸出的文本區(qū)域解析后處理如下：

最常見的是解析位RBOX，即帶角度的旋轉(zhuǎn)矩形（最小外接矩形）。

最后總結(jié)一下，上述網(wǎng)絡(luò)均支持在OpenCV4.4版本上直接推理運(yùn)行，或者自定義數(shù)據(jù)學(xué)習(xí)之后的在OpenCV4 DNN部署，推理調(diào)用。