如何通過AI的CPU、GPU來實現(xiàn)圖像的精準抓拍

“在人工智能（AI）時代，我們做的很多決策、處理，都通過機器來實現(xiàn)。這些CPU、GPU是怎么看待世界的？該如何讓它們感覺到關鍵的信息？實際上，這是圖像傳感器應該做的事情。”在ASPENCORE3月18日舉辦的2021年中國IC領袖峰會上，思特威（上海）電子科技股份有限公司副總經理歐陽堅針對圖像傳感器在機器視覺領域的應用做了精彩分享。

圖像傳感器在機器視覺領域的應用

在AI+IoT時代中，越來越多的機器視覺應用需要智能終端對信息做出精準且快速的采集與處理。而圖像傳感器就像是機器的“眼睛”，賦予了機器感知時間的能力。

CPU和GPU的處理能力遠超人腦和人眼，現(xiàn)在很多圖像的處理通過AI的CPU、GPU來實現(xiàn)，能夠精準抓拍到物體在高速運動時不變形的圖像非常關鍵。比如，機器在運轉過程中可達到每秒500至1000幀的幀速率，在人眼無法快速辨別每一幀圖像時，機器卻能迅速識別物體并找到物體，從而進行快速、自動化操作。又如，家用掃地機器人在打掃房間時能智能地避開障礙物，它利用了機器視覺技術，對房間的布局做出精準判斷。

另外，在復雜的環(huán)境下，大家可以通過攝像頭來實現(xiàn)人臉支付。這個應用要求保持高度的安全，需要圖像處理做得非常精細。還有，在智能車載領域，無論是ADAS、巡車記錄，還是高速智能交通監(jiān)管，它們都對車輛的監(jiān)控和抓拍提出了很大的訴求。

針對以上多種應用，都對圖片處理技術提出了要求。歐陽堅表示，基于這種市場需求，思特威推出了Globalshutter傳感器以及SmartGS?系列Globalshutter圖像傳感器。

適用高速運動場景的Globalshutter系列傳感器

根據(jù)歐陽堅的介紹，最初Globalshutter傳感器的應用場景并不多?！拔覀冇幸粋€簡單的邏輯，就是要抓拍高速運動的物體。因此，當時的應用場景主要落在智能避障上。但隨著我們的合作伙伴及生態(tài)鏈的應用案例越來越多，Globalshutter系列傳感器拓展出了更多的新應用，其中包括了智能教育應用，類似于智能翻譯筆?！?/p>

當然，現(xiàn)在Globalshutter系列傳感器最大的應用場景無人機。無人機在高速運轉過程中，若操作不當可能會撞到障礙物或者“炸機”。從去年開始，一家頭部無人機企業(yè)的全系列無人機都配備了智能避障功能，其無人機上使用的智能避障傳感器，大多數(shù)是來自思特威。

除了智能避障應用以外，Globalshutter傳感器還應用在公共安全領域，比如作為駕駛員的智能管理系統(tǒng)DMS來應用，監(jiān)測駕駛員是否疲勞駕駛、有無分心。歐陽堅還補充說：“現(xiàn)在常用的無人機一般會用雙目解決方案，但是無人機運行時會有前后左右上下八個方向，這八個方向至少需要用到八個傳感器。一臺高端無人機甚至會標配12個帶智能全局曝光傳感器，因此該產品的應用領域非常寬泛?！?/p>

Globalshutter的全局曝光成像技術具備非常多的優(yōu)勢。歐陽堅稱，普通CIS在高速運動場景中，采用Rollingshutter的曝光方式，逐行進行掃描，最后拼接一幅圖。在這個過程中存在一個時延，會出現(xiàn)果凍效應，最終出來的成圖效果是變形的。機器視覺AI芯片無法正確識別這樣的圖片，也無法識別圖片里面的文字。

Globalshutter全局曝光產品最大的特點是——第一，能高速抓拍運動的物體，無形變、無拖尾；第二，Globalshutter是基于BSI（背照式）工藝?！案泄庑Ч玫?a target="_blank">智能手機所用的圖像傳感器一般基于BSI工藝。不過，全局曝光跟BIS工藝的融合有很大的難度。截至目前為止，我們是全球率先實現(xiàn)了基于BSI工藝的全局曝光技術的公司之一，友商主要是基于FSI（前照式）工藝實現(xiàn)的。”歐陽堅自豪地表示。

適用于交通領域的SmartGS?高速攝像頭

歐陽堅還展示了SmartGS?高速攝像頭汽車山路場景中的圖片。他解釋說，在80-90米遠就可清楚看到車牌細節(jié)，能幫助人臉識別抓取到所有的信息?？於茸ヅ臅r如果不采用全局曝光，最終呈現(xiàn)的效果會有打折扣。采用SmartGS?高速攝像頭拍出來的視頻，在16倍慢放時汽車的車輪都沒有形變。視頻中任何一張圖抓取出來，交給機器視覺和AI識別，都不會造成誤判。

值得注意的是，夜間拍照經常會遇到明、暗兩種不同的環(huán)境，這要求拍照時做到噪聲讀取控制得足夠好且感光度足夠高。不需要的噪聲全部濾掉，還能感受到足夠多的光線，讓亮的場景不要過曝，暗的場景保持細節(jié)。

在交通領域，紅綠燈是高頻閃爍的LED燈，如果不對高頻閃爍的頻率做處理，抓拍到的信息會殘缺不全。歐陽堅介紹稱，思特威的產品可針對不同區(qū)域，做不同程度的曝光和中央處理，從而實現(xiàn)分區(qū)處理的效果。

SmartGS?高速攝像頭還支持多個車道抓拍，能顯著降低系統(tǒng)成本?！坝焉痰耐悢z像機可能只支持單車道抓拍，會造成整個系統(tǒng)成本非常高。”歐陽堅還透露，昨天（3月17日）該產品剛正式發(fā)布，緊接著馬上會進入量產階段。

除此之外，思特威還可提供多種HDR解決方案。歐陽堅透露說：“這些方案可避免紅綠燈的過曝，能幫助機器快速識別物體。這些產品是我們過去半年推出的一個最新的技術，未來我們還會研發(fā)新一代的產品，以提供更高分辨率、更高像素的解決方案?！?/p>

編輯：hfy