面向未來智能駕駛的嵌入式視覺的探索與思考

感知系統(tǒng)包括視覺系統(tǒng)在內(nèi)，未來隨著從ADAS到自動駕駛的逐步過渡，對感知系統(tǒng)會有一個巨大的變化。一方面，之前ADAS更多關(guān)注點(diǎn)在解決誤報率方面，而未來自動駕駛行業(yè)會更加關(guān)注漏檢率。

近日，在上海舉辦的2018高工智能汽車開發(fā)者大會上海站上，來自國內(nèi)雙目嵌入式視覺初創(chuàng)公司元橡科技CTO任杰表示，未來自動駕駛對安全性要求更高，不能漏報，一旦漏報就是一個非常嚴(yán)重的交通事故。比如除了車、人等常見的一些障礙物，未來車輛感知系統(tǒng)必須檢測到全類型的障礙物。

傳統(tǒng)的單目視覺，首先依賴于大量的樣本，對于中國這樣的復(fù)雜道路場景，就要采集更多有特色的樣本，誰采集的數(shù)據(jù)更多就優(yōu)勢越大。同時，需要對圖像有一個精準(zhǔn)的識別，只有識別了以后才能判斷這個物體大概離車有多遠(yuǎn)。

因此，單目視覺系統(tǒng)如果不知道這是一個什么障礙物，就無法知道它離車有多遠(yuǎn)。所以，傳統(tǒng)的單目視覺取決于識別圖像的精準(zhǔn)度。而對于雙目視覺系統(tǒng)來說，不管認(rèn)不認(rèn)識這個物體，它的點(diǎn)云就在三維空間里，首先可以保證車輛安全，這是雙目的最大優(yōu)勢之一。

雙目做ADAS不依賴樣本庫，測距直接通過簡單的規(guī)則——將路面以上凸起的物體都可視為障礙物，整個算法是全白盒化的，不會存在識別不到的問題。而且一旦出現(xiàn)問題，就可以直接找到原因，不會像單目深度學(xué)習(xí)算法是黑盒的邏輯。

此外，傳統(tǒng)的單目視覺最大瓶頸在于天氣變化，尤其是雨霧及夜晚環(huán)境。而雙目識別是一個全類型環(huán)境識別，以目前的主流自適應(yīng)巡航ACC為例，雙目視覺可以減少光照變化帶來的影響。

比如，車輛在過隧道的時候它的顏色、紋理發(fā)生了非常大的變化，可能從一輛白車變成黑車，對于攝像頭跟蹤來講是一個很大的難度。雙目視覺可以很大的程度上做彌補(bǔ)，因為在三維空間上這個點(diǎn)云始終存在的。甚至是一些相對環(huán)境惡劣的天氣，由于雙目可以獲取深度信息，在很大程度上可以克服此類情況。

但此前，國內(nèi)做雙目立體視覺的公司并不多，之所以沒有被大范圍應(yīng)用于自動駕駛，主要是受制于硬件條件的不成熟。

在任杰看來，做立體相機(jī)的量產(chǎn)落地，幾個關(guān)鍵的指標(biāo)要達(dá)到，包括尺寸、功耗、成本、性能等。以元橡科技的產(chǎn)品為例，尺寸可以做到目前世界最小的車載立體視覺相機(jī)。性能方面，100米測距范圍保持誤差5%以內(nèi)，完全可以達(dá)到883要求，同時做到功耗低于5W，延時小于3ms。

雙目的攝像頭是一個天然融合的傳感器，它將深度學(xué)習(xí)和圖像學(xué)習(xí)糅合，使得后續(xù)的處理速度會非常快。目前，元橡科技使用FPGA的方式，將傳感器深度圖像生成的時間壓縮到了毫秒級別，這意味著處理解析圖像數(shù)據(jù)，得出結(jié)果幾乎是實時的，給控制決策部分留下了非常充裕的時間。

立體視覺的另外一個難點(diǎn)就是兩個相機(jī)的一致性問題，就像天下沒有兩片相同的葉子，哪怕是工業(yè)流水線上生產(chǎn)出來的相機(jī)，也存在一定的差異性。

因此，為了使得立體相機(jī)達(dá)到同步拍攝，系統(tǒng)的軟件結(jié)構(gòu)、運(yùn)行機(jī)制都需要進(jìn)行軟硬件調(diào)整，才能達(dá)到統(tǒng)一性。雙目跟單目最大的區(qū)別是，前者需要軟硬件的聯(lián)合優(yōu)化，這也是為什么元橡科技選擇要做軟硬件一體的解決方案商。

雙目攝像頭的方案，CMOS融合圖像數(shù)據(jù)需要相匹配的ISP處理，現(xiàn)有的ISP方案都是針對單目的，不太適合做雙目的處理，所以元橡科技從ISP這個硬骨頭開始啃，爭取在相機(jī)的每個處理單元做到最優(yōu)。

任杰透露，公司從去年已經(jīng)在研發(fā)芯片，預(yù)計在今年第四季度可以對外發(fā)布自主研發(fā)的雙目圖像處理芯片。

而在國際上，斯巴魯1989年開始對立體攝像頭（即雙目攝像頭）技術(shù)進(jìn)行研究，并于1999年把該技術(shù)應(yīng)用（命名為EyeSight）到量產(chǎn)車的ADAS系統(tǒng)之上。在新的第三代ADAS系統(tǒng)中，加入制動控制車速的功能成為了一個重要設(shè)計目標(biāo)，以提升主動巡航控制的舒適性。

后來隨著毫米波雷達(dá)技術(shù)逐漸成熟，斯巴魯通過融合立體攝像頭數(shù)據(jù)和毫米波雷達(dá)數(shù)據(jù)提升了ADAS系統(tǒng)的工作穩(wěn)定性及對極端天氣的適應(yīng)能力。

目前EyeSight已經(jīng)發(fā)展到3.5代，但僅限于日本市場(其他市場為第三代)。第三代EyeSight功能包含PCB預(yù)防碰撞剎車系統(tǒng)、ACC主動車距定速控制系統(tǒng)、PCTM預(yù)防碰撞油門控制系統(tǒng)、LDW車道偏移警示系統(tǒng)、LSW車道偏擺警示系統(tǒng)、LVSA前車駛離警示系統(tǒng)這六大功能。

2017年3月，歐洲Euro-NCAP（安全評鑒協(xié)會）發(fā)布了新一系列包擴(kuò)奧迪、豐田、路虎等在內(nèi)的車型的碰撞測試結(jié)果，其中路虎的發(fā)現(xiàn)車型獲得了五星。獲得五星的路虎車型，搭載的主動安全系統(tǒng)中，前向采用了雙目攝像頭的方案，而這個方案也成為了它能脫穎而出的關(guān)鍵。

談及大規(guī)模量產(chǎn)，元橡科技希望將來把產(chǎn)品做成一個標(biāo)準(zhǔn)件，然后批量給主機(jī)廠、自動駕駛公司使用，而不是忙不迭的做一個又一個的定制項目。同時，未來希望做全球頂級的雙目視覺軟硬件方案提供商。