NVIDIA初創(chuàng)加速計(jì)劃”初顯成效 人工智能大放異彩

NVIDIA致力于通過深度學(xué)習(xí)推動(dòng)人工智能的發(fā)展。各行業(yè)的初創(chuàng)企業(yè)可借助 NVIDIA強(qiáng)大的AI計(jì)算平臺(tái)，探索人工智能帶來的無限可能。

“NVIDIA初創(chuàng)企業(yè)GPU應(yīng)用大賽” 第一季自今年5月正式啟動(dòng)以來，得到了“NVIDIA初創(chuàng)加速計(jì)劃”各成員企業(yè)的踴躍參與。經(jīng)過NVIDIA專家評(píng)審，我們從中遴選出了幾家代表性的GPU應(yīng)用作為優(yōu)勝獎(jiǎng)的獲得者，并將陸續(xù)分享他們的GPU創(chuàng)新應(yīng)用故事。

高清圖像在交通錄像取證，競(jìng)技場(chǎng)景細(xì)節(jié)還原等環(huán)境下，為專業(yè)人士提供著至關(guān)重要的細(xì)節(jié)信息，但在實(shí)際應(yīng)用中，由于制作工藝和成本的考慮，很多場(chǎng)合都不會(huì)采用高分辨率、超分辨率的相機(jī)來進(jìn)行圖像信號(hào)的采集，因此，將低分辨率的圖片還原成高分辨率圖片就非常重要。

圖像超分辨率（SuperResolution,SR）就是將低分辨率（LowResolution,LR）的圖像通過一定的算法轉(zhuǎn)提升到高分辨率(HighResolution,HR)的技術(shù)。以往傳統(tǒng)的圖像超分辨率技術(shù)在圖像還原方面差強(qiáng)人意，而且需要大量人力進(jìn)行比對(duì)，效率很低。GPU和深度學(xué)習(xí)的大規(guī)模應(yīng)用為整個(gè)行業(yè)帶來了突破性的發(fā)展。目前，使用GPU來加速圖片超分辨率重建已經(jīng)成為業(yè)界內(nèi)逐漸成熟的技術(shù)方案。

作為NVIDIA初創(chuàng)加速計(jì)劃成員，北京飛搜科技有限公司（以下簡(jiǎn)稱“飛搜科技”）在計(jì)算機(jī)視覺領(lǐng)域擁有多項(xiàng)世界領(lǐng)先的研究成果，尤其是在人臉識(shí)別、目標(biāo)追蹤、目標(biāo)檢測(cè)等領(lǐng)域。該公司通過采用NVIDIA Tesla P100對(duì)圖像進(jìn)行大規(guī)模的深度學(xué)習(xí)訓(xùn)練，實(shí)現(xiàn)了對(duì)視頻監(jiān)控圖像中對(duì)低質(zhì)量圖片快速重建，且重建出的高清圖像的人眼感官效果也頗佳，遠(yuǎn)超傳統(tǒng)超分辨率方法。

傳統(tǒng)圖像超分變率重建效果差強(qiáng)人意

GPU帶來行業(yè)革新

圖像超分辨率領(lǐng)域在早期用傳統(tǒng)方法，僅僅能從圖像表層特征進(jìn)行推測(cè)，從而擴(kuò)大圖片尺寸和分辨率，在學(xué)術(shù)界和評(píng)測(cè)上一般用PSNR（Peak Singnal-to-Noise Ratil峰值信噪比，此值越大越好）。傳統(tǒng)方法在提高PSNR值上效果顯著，但真正重建之后的圖片，跟人眼日常所見及預(yù)期恢復(fù)的圖像還有很大差別，會(huì)讓人從感官上覺得“不像”。

在上述基礎(chǔ)上，相關(guān)領(lǐng)域研究人員嘗試使用神經(jīng)網(wǎng)絡(luò)來進(jìn)行圖像超分辨率重建，此舉再次提升了 PSNR 的結(jié)果，但是其重建 速度慢，而且對(duì)復(fù)雜場(chǎng)景，或者存在多層隱藏特征的圖片，重建之后仍然會(huì)有跟原本物體不一樣的感覺。

與此同時(shí)，通過監(jiān)控來發(fā)現(xiàn)異樣是一個(gè)非常耗費(fèi)人力的工作，而且在發(fā)現(xiàn)異常之后，想要通過放大圖片，對(duì)異常部分想要進(jìn)行更多的了解和分析也會(huì)耗費(fèi)更多精力，利用過去的方法不僅不會(huì)提高工作效率，反倒會(huì)由于重建結(jié)果不好而耽誤時(shí)間。

現(xiàn)在，隨著深度學(xué)習(xí)以及GPU的大規(guī)模應(yīng)用，在超分辨率這個(gè)問題上能進(jìn)行更大規(guī)模的訓(xùn)練，得到的深度學(xué)習(xí)模型不僅僅有一個(gè)更高的PSNR結(jié)果，同時(shí)在重建之后的人眼感官效果上也有不錯(cuò)的表現(xiàn)，能夠貼近現(xiàn)實(shí)生活的物體。

目前，使用GPU來加速圖片超分辨率重建已經(jīng)成為業(yè)界內(nèi)逐漸成熟的技術(shù)方案。

GPU深度學(xué)習(xí)凸顯圖像重建優(yōu)勢(shì)

在針對(duì)監(jiān)控視頻中不清楚的圖像進(jìn)行超分辨率重建流程中，首先由監(jiān)控人員發(fā)現(xiàn)視頻中的問題，然后針對(duì)視頻序列截幀得到的圖片，選擇出需要高清圖片的這一幀，之后將此圖片傳入深度學(xué)習(xí)模型，由深度學(xué)習(xí)模型在GPU上進(jìn)行特征提取，根據(jù)提取的特征再進(jìn)行大尺寸高分辨率圖像重建，得到高分辨率圖片后，再由人工觀察高清圖片獲取所需要的信息。

由于深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)CNN具有良好的特征提取特性，所以飛搜科技的研究團(tuán)隊(duì)在圖像超分辨率中應(yīng)用CNN來進(jìn)行特征提取，然后利用轉(zhuǎn)置卷積和隨機(jī)通道等方法放大圖像尺寸。

具體而言，首先將待進(jìn)行放大的圖片尺寸統(tǒng)一，然后將此圖片輸入CNN模型，使用隨機(jī)通道排序方法將圖片尺寸擴(kuò)大。正是由于CNN良好的特征提取能力，使得圖片重建后具有良好的視覺感官效果和PSNR值。

CNN進(jìn)行超分示意圖，輸入一個(gè)尺寸為fxf大小的低質(zhì)量圖片，然后進(jìn)行n層輸出大小仍然為fxf的卷積運(yùn)算，同時(shí)固定卷積核大小，最后一個(gè)卷積層將輸出即將進(jìn)行隨機(jī)通道排序的特征圖。

進(jìn)行隨機(jī)通道重排之后放大圖片的示意圖，每一個(gè)特征圖對(duì)應(yīng)一個(gè)通道，按照通道的前后順序以及卷積核的大小來對(duì)每個(gè)特征值在輸出圖片上的位置進(jìn)行重新排列（上圖中卷積核大小為2x2）

全新圖片超分辨率重建技術(shù)獲得認(rèn)可

憑借在超分辨率領(lǐng)域的出色表現(xiàn)，飛搜科技研究團(tuán)隊(duì)在2018年計(jì)算機(jī)視覺頂級(jí)會(huì)議CVPR（Computer Vision and Pattern Recognition）workshop NTIRE（New Trends in Image Restoration and Enhancement）競(jìng)賽中獲得優(yōu)異成績(jī)。

飛搜科技的解決方案也在諸多領(lǐng)域應(yīng)用中效果顯著，在對(duì)博彩業(yè)視頻圖片進(jìn)行超分辨率重建的實(shí)例中，圖a和圖b（下圖所示）就是進(jìn)行重建前后的圖片對(duì)比?？梢钥吹?，該算法模型在圖片放大后能保留很多細(xì)節(jié)信息，比如撲克牌上和籌碼上的數(shù)字，在放大后仍然有較好的視覺感官。

圖a（左）為小尺寸低分辨率圖片，圖b（右）為大尺寸高分辨率圖片

可以說，在NVIDIA Tesla P100系列GPU的大力支持下，隨著深度學(xué)習(xí)的快速發(fā)展以及其在超分辨率領(lǐng)域的應(yīng)用，用更多的數(shù)據(jù)訓(xùn)練更大的模型以實(shí)現(xiàn)圖片超分辨率重建成為了現(xiàn)實(shí)。不僅訓(xùn)練速度快，而且訓(xùn)練完成之后的模型在運(yùn)行速度上也會(huì)比CPU快幾倍到幾十倍，在PSNR指標(biāo)上也得到了很大的提高，同時(shí)更貼近正常生活中的物體線條。

飛搜科技借助Tesla P100實(shí)現(xiàn)超分辨率圖像重建只是這一領(lǐng)域應(yīng)用的冰山一角，未來將會(huì)有規(guī)模更大，更具有代表性的數(shù)據(jù)和更好的硬件來進(jìn)一步提高圖片超分辨率在實(shí)際應(yīng)用中的能力和表現(xiàn)。