激光雷達(dá)+攝像頭融合傳感器，有沒有搞頭？

電子發(fā)燒友網(wǎng)報道（文/梁浩斌）對于自動駕駛而言，除了自動駕駛算法之外，傳感器標(biāo)定一直都是一個難題，一般會在車輛出廠前駛?cè)氲綄ｉT的場地使用特定設(shè)備來對各種傳感器進(jìn)行校準(zhǔn)。尤其是多傳感器硬件下，激光雷達(dá)、攝像頭、毫米波雷達(dá)等，由于各個傳感器的位置不同，提供的數(shù)據(jù)也不同，所以包括數(shù)據(jù)融合，時間同步等問題。

最近在CES上，京瓷展示了一套獨特的方案，似乎可以解決這些問題。

世界上第一個實現(xiàn)光軸對齊的攝像頭+激光雷達(dá)融合傳感器

自動駕駛應(yīng)用中，激光雷達(dá)和攝像頭同時使用十分普遍，激光雷達(dá)能夠提供長距離、高精度的3D環(huán)境感知信息，從而在復(fù)雜環(huán)境以高精度檢測障礙物。但過去在自動駕駛應(yīng)用中，激光雷達(dá)和攝像頭都來自獨立的模塊，而獨立模塊的數(shù)據(jù)中由于部署位置不同，傳感器的視察會導(dǎo)致傳感器之間校準(zhǔn)出現(xiàn)延遲。

來源：京瓷

而京瓷推出的攝像頭-激光雷達(dá)融合傳感器，將攝像頭和高分辨率激光雷達(dá)集成在一個單元中，用于無視差、實時數(shù)據(jù)融合，確保高效和準(zhǔn)確的輸出結(jié)果。

京瓷表示，這是世界上第一款將攝像頭和激光雷達(dá)集成到一個光軸對齊的單元上的產(chǎn)品，這使得攝像頭圖像數(shù)據(jù)和激光雷達(dá)距離數(shù)據(jù)的實時融合，可以實現(xiàn)迄今為止最先進(jìn)的物體識別能力。

光軸即光學(xué)系統(tǒng)中光線傳播的中心線，通常是透鏡或反射鏡的對稱軸。光軸對齊一個常見應(yīng)用就是手機(jī)攝像頭中，鏡頭的多個鏡片和CMOS圖像傳感器中心對齊，避免像差、失真或光損失。

但對于一個多傳感器融合的系統(tǒng)而言，就會給光軸對準(zhǔn)帶來了極高的難度。首先激光雷達(dá)通過發(fā)射激光束并接收反射回來的信號來測量距離，生成點云數(shù)據(jù)；而攝像頭則捕捉環(huán)境的二維圖像。這兩種傳感器的數(shù)據(jù)格式不同，坐標(biāo)系也不同，使得直接對齊它們的光軸變得極為復(fù)雜。

京瓷的這款產(chǎn)品結(jié)構(gòu)，是將前置激光雷達(dá)獲得圖像的光軸，與放置在激光雷達(dá)前方的攝像頭的半反射鏡進(jìn)行對齊，也就是說通過半反射鏡，實現(xiàn)兩個傳感器的光軸對齊。即使用這個攝像頭-激光雷達(dá)融合傳感器模塊后，無需再在兩個傳感器之間進(jìn)行校準(zhǔn)工作，將原本后端處理的傳感器信息融合，轉(zhuǎn)移到了傳感器端，將無視差的數(shù)據(jù)在傳感器硬件端就實現(xiàn)了融合疊加。

一般激光雷達(dá)會使用MEMS振鏡或是電機(jī)進(jìn)行掃描，但采用MEMS振鏡的激光雷達(dá)分辨率較低，而電機(jī)又容易出現(xiàn)磨損。基于京瓷在陶瓷封裝和半導(dǎo)體制造技術(shù)上的優(yōu)勢，該激光雷達(dá)可以提供更高分辨率的同時，也能夠?qū)崿F(xiàn)更強(qiáng)的耐用性。

京瓷攝像頭-激光雷達(dá)融合傳感器最終可以實現(xiàn)高達(dá)0.045°的角分辨率，可以在100米距離遠(yuǎn)處掉落的30cm大小物體。

不過，由于采用半反射鏡會對進(jìn)入傳感器的光線造成難以避免的衰減，所以這款融合傳感器在京瓷的規(guī)劃中分為兩個規(guī)格，分別是測距60m-100m，視場角100°×24°；測距120m-200m，視場角縮小至50°×15°。

“二合一傳感器”會成為自動駕駛趨勢嗎？

將數(shù)據(jù)融合，從后端的算力芯片轉(zhuǎn)移到光學(xué)層面和傳感器端，對于自動駕駛而言無疑具有重要意義。

在感知的準(zhǔn)確性上，當(dāng)不同類型的傳感器能夠精確對齊時，它們提供的數(shù)據(jù)可以在同一坐標(biāo)系下進(jìn)行融合。這意味著可以更準(zhǔn)確地識別和定位環(huán)境中的物體，從而提高車輛對周圍環(huán)境的理解能力。

過去在一些支持純視覺自動駕駛方案的觀點中能夠看到，多傳感器會導(dǎo)致系統(tǒng)決策出現(xiàn)困難，比如當(dāng)兩個傳感器獲取到的信息不一致，應(yīng)該相信哪一個？那么將激光雷達(dá)和攝像頭進(jìn)行光軸對齊后的融合傳感器中，輸出到后端算力系統(tǒng)中的數(shù)據(jù)就變成了深度和視覺圖像的融合數(shù)據(jù)，對于自動駕駛系統(tǒng)決策也能夠提供更可靠的信息?；诟鼫?zhǔn)確、更全面的環(huán)境信息，自動駕駛系統(tǒng)的決策模塊可以做出更加合理和安全的駕駛決策。

同時，有業(yè)內(nèi)人士表示，激光雷達(dá)和攝像頭實現(xiàn)光軸對齊后，對自動駕駛標(biāo)定會產(chǎn)生很大幫助。由于目前圖像-點云融合在大多數(shù)情況下只能夠做到語義級別的后端融合，沒有發(fā)揮兩種傳感器互補(bǔ)的優(yōu)勢。如果能夠以低成本實現(xiàn)光軸對齊，兩種傳感器數(shù)據(jù)實現(xiàn)像素級融合，那么前端融合算法可能會迎來新一輪發(fā)展。

小結(jié)：

根據(jù)京瓷官方的說法，攝像頭-激光雷達(dá)融合傳感器計劃在2027年實現(xiàn)商業(yè)化，目前市面上確實還未看到有其他廠商推出這類產(chǎn)品，印象中，幾年前小編在與一些激光雷達(dá)廠商交流時，也有人提到過相似的概念，但當(dāng)時也只是對激光雷達(dá)未來發(fā)展路線的一種設(shè)想。到底這類產(chǎn)品在實際應(yīng)用中能夠給自動駕駛帶來多大的收益，或許要看接下來會不會有其他廠商嘗試跟進(jìn)了。