智能駕駛需要怎樣的ISP？

電子發(fā)燒友網(wǎng)報(bào)道（文/梁浩斌）在智能手機(jī)上，圖像傳感器的像素、色深越來(lái)越高，支持拍攝的視頻分辨率、幀數(shù)越來(lái)越大，都需要更強(qiáng)大的ISP進(jìn)行支撐。比如相機(jī)取景框的延遲、拍攝照片后的等待時(shí)間，都關(guān)系到ISP的性能。

不止于手機(jī)，實(shí)際上幾乎任何需要用到圖像傳感器的場(chǎng)景都需要ISP對(duì)傳感器獲取到的信息進(jìn)行處理。在智能駕駛領(lǐng)域，攝像頭作為核心的傳感器之一，也需要ISP對(duì)數(shù)據(jù)進(jìn)行處理，再將攝像頭數(shù)據(jù)提供給智駕的AI算力芯片等進(jìn)行計(jì)算。智能駕駛技術(shù)快速發(fā)展的過(guò)程中，也對(duì)ISP性能有了新的需求。

智能駕駛的ISP需求

在智能駕駛應(yīng)用中，相比消費(fèi)或安防等應(yīng)用最大的區(qū)別就是低延時(shí)的硬性要求。在一些低端智能手機(jī)上，或是一些家庭安防攝像頭，我們往往可以看到畫(huà)面與實(shí)際環(huán)境是有肉眼可見(jiàn)的延遲。

但如果在智能駕駛上，攝像頭數(shù)據(jù)有1秒的延遲，那么從攝像頭再到智駕芯片作出決策，車(chē)輛可能已經(jīng)行駛超過(guò)30米，而智駕系統(tǒng)作出的決策實(shí)際是應(yīng)對(duì)30米前的狀況，這對(duì)行駛安全來(lái)說(shuō)會(huì)是重大的隱患。

所以，為了保障智駕系統(tǒng)對(duì)路面環(huán)境的快速響應(yīng)和及時(shí)反饋，ISP處理圖像數(shù)據(jù)的延遲需要盡可能小，給后端感知算法和算力芯片留有足夠的處理時(shí)間冗余。

除了延遲之外，ISP還負(fù)責(zé)對(duì)圖像傳感器的數(shù)據(jù)進(jìn)行各種優(yōu)化處理，汽車(chē)行駛環(huán)境復(fù)雜多變，與手機(jī)、安防等領(lǐng)域相比，汽車(chē)領(lǐng)域?qū)D像質(zhì)量低照度、動(dòng)態(tài)范圍和功能安全等多種要求都要更高。比如在進(jìn)出隧道、地庫(kù)等場(chǎng)景，明暗變化極大，需要圖像傳感器具備極高的動(dòng)態(tài)范圍以及ISP具備24bit甚至更高位寬的RAW數(shù)據(jù)處理能力。

智駕系統(tǒng)還對(duì)色彩還原和細(xì)節(jié)渲染有較高要求，比如識(shí)別紅綠燈、識(shí)別道路標(biāo)志、地面畫(huà)線等，這些路面信息的顏色，在特殊的光照條件下，色彩的變化會(huì)給感知算法識(shí)別帶來(lái)困難，需要ISP準(zhǔn)確還原顏色，避免算法誤判。

不過(guò)智能駕駛用到的ISP首要目標(biāo)不是滿(mǎn)足人眼的視覺(jué)感受，而是注重機(jī)器視覺(jué)的需求。輝羲智能曾表示，目前在智能駕駛用到的AI網(wǎng)絡(luò)本身具備一定的魯棒性，對(duì)于ISP的處理能力改進(jìn)可能沒(méi)有迫切需求。所以對(duì)于智能駕駛來(lái)說(shuō)，會(huì)更加看重ISP的低延遲和信號(hào)保真兩個(gè)方面。

信號(hào)保真的目的是保證感知算法能夠獲得與現(xiàn)實(shí)情況盡可能接近的信息，就像前面提到的色彩還原、高動(dòng)態(tài)范圍等。

黑芝麻還提到智能駕駛ISP會(huì)面臨的一個(gè)問(wèn)題，就是不同傳感器的噪聲差異。在實(shí)際智駕應(yīng)用中，前視、側(cè)視、后視等攝像頭中，會(huì)采用不同的圖像傳感器，比如像素不同、型號(hào)不同等差異。而不同的圖像傳感器，在感光靈敏度等存在一定差異，在輸出信息的噪聲形態(tài)和強(qiáng)度都各不相同。

感知算法在處理圖像信息時(shí)會(huì)對(duì)輸入圖像的信噪比有一定要求，所以ISP需要對(duì)不同傳感器和不同類(lèi)型噪聲都具備相應(yīng)的處理能力，使得不同的傳感器輸出的圖像信息在信噪比上能夠符合感知算法的要求。

智駕系統(tǒng)有可能去掉ISP？

ISP出現(xiàn)的目的是對(duì)圖像信號(hào)進(jìn)行處理，以讓圖像變得更加還原現(xiàn)實(shí)或是讓人覺(jué)得更加“好看”，但對(duì)于機(jī)器視覺(jué)來(lái)說(shuō)，是否真的需要經(jīng)過(guò)處理后的圖像，在業(yè)界也有一些討論。尤其是ISP的處理需要時(shí)間，去掉ISP后甚至還能降低一點(diǎn)延遲。

這里的邏輯是，為了給人眼看到更好的畫(huà)面，在ISP處理的過(guò)程中很多對(duì)機(jī)器視覺(jué)有用的數(shù)據(jù)也被處理掉了，如果省略了ISP的處理過(guò)程，那么所獲得的信息量會(huì)增加。

馬斯克曾表示，在自動(dòng)駕駛系統(tǒng)中，圖像信號(hào)不經(jīng)ISP處理可以降低13毫秒的延遲，這是因?yàn)?a href="http://wenjunhu.com/tags/特斯拉/" target="_blank">特斯拉整車(chē)有8個(gè)自動(dòng)駕駛攝像頭，每個(gè)攝像頭經(jīng)過(guò)ISP處理會(huì)產(chǎn)生1.5到1.6毫秒的延遲。

但目前來(lái)看，在智駕系統(tǒng)中ISP依然是必須的，包括特斯拉也并沒(méi)有完全去掉ISP。有學(xué)者認(rèn)為，現(xiàn)有的圖像傳感器去掉ISP后，會(huì)令算法識(shí)別造成很多困難，比如沒(méi)有了色彩還原等。

至于延遲問(wèn)題，輝羲智能認(rèn)為可以借鑒智能手機(jī)領(lǐng)域的ISP，比如將圖像切分成tile進(jìn)行處理，將一幀圖像切成4個(gè)tile，最高可以將延遲縮短至二分之一幀。

小結(jié)

在智能手機(jī)領(lǐng)域，為了讓人眼看到更好看的圖像，ISP經(jīng)歷了快速的發(fā)展。對(duì)于智能駕駛而言，ISP雖然也有很大程度的提升空間，但對(duì)于應(yīng)用以及實(shí)際算法的需求，還需要行業(yè)繼續(xù)探索。