0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

車載攝像頭:自動駕駛之眼

新機器視覺 ? 來源:AIOT大數據 ? 作者:AIOT大數據 ? 2022-04-06 16:03 ? 次閱讀

車載攝像頭:自動駕駛之眼

車載攝像頭被譽為“自動駕駛之眼”,是ADAS系統(tǒng)、汽車自動駕駛領域的核心傳感設備。主要通過鏡頭和圖像傳感器實現(xiàn)圖像信息的采集功能,可實現(xiàn)360°視覺感知,并彌補雷達在物體識別上的缺陷,是最接近人類視覺的傳感器。

車載攝像頭在汽車領域應用廣泛,從早期用于行車記錄、倒車影像、泊車環(huán)視逐步延伸到智能座艙內行為識別和ADAS輔助駕駛,應用場景日漸豐富。

當前全球車載攝像頭行業(yè)CR3為41%,全球前十企業(yè)則占據了96%的市場份額,全球車載攝像頭行業(yè)集中度處于較高水平。

美國高速公路損失數據研究所(HLDI)預測,到2030年接近50%的汽車將配備ADAS技術。

根據ICVTank,到2025年中國車載攝像頭行業(yè)規(guī)模有望達到230億,5年CAGR為30%;全球車載攝像頭市場規(guī)模將有望從2019年的112億美元增長至2025年的至270億美元,5年CAGR 達15.8%。

自動駕駛包括感知、判斷和執(zhí)行,而感知是整個過程的源頭,是自動駕駛系統(tǒng)的重要模塊。在車輛行車過程中,感知系統(tǒng)會通過傳感器實時采集周邊環(huán)境的信息,相當于自動駕駛汽車的「眼睛」,可以幫助汽車實現(xiàn)類似于人類駕駛員一樣效果的觀察能力。

在自動駕駛車輛中,感知系統(tǒng)主要由攝像頭、毫米波雷達、激光雷達(可選,這里主要是怕被特斯拉的粉絲杠)等傳感器構成。攝像頭作為主要的環(huán)境感知傳感器起著非常重要的作用, 可以實現(xiàn) 360° 全面視覺感知,彌補雷達在物體識別上的缺陷,是最接近人類視覺的傳感器。因此是車載攝像頭是自動駕駛領域的關鍵設備之一。

什么是車載攝像頭?

車載攝像頭主要的硬件結構包括光學鏡頭(其中包含光學鏡片、濾光片、保護膜等)、圖像傳感器、圖像信號處理器 ISP、串行器、連接器等器件。其結構示意圖如圖所示:

7d2f39c2-ac4e-11ec-aa7f-dac502259ad0.png

車載攝像頭的結構構成(圖片來源:安森美半導體公司

7d455c2a-ac4e-11ec-aa7f-dac502259ad0.png

車載攝像頭的結構如上圖所示,放置車身外面的,就需要組成完整的攝像頭,如果是在車內DVR,不用考慮防水,就可以組裝成上面的那種攝像頭模組。

7d5d6e1e-ac4e-11ec-aa7f-dac502259ad0.png

上圖是我們比較常見的汽車上使用的相機模組的解剖。除了最外側的鋁殼以及密封圈和鏡頭之外,其實中間就是比較簡單的幾層板的設計,通常包括傳感器的sensor板,圖像處理器的小板,還包括一個串行器的板。為什么需要串行器,是因為通常相機傳感器或ISP的圖像數據輸出總線是MIPI CSI標準,其特點是高速穿行,但是傳輸總線距離較短,否則無法保證信號的完整性。

所以在車輛上,我們需要將其轉換成例如GMSL等適合在車上長距離傳輸的高速總線標準進行傳輸,所以相機模組內部通常會通過串行板進行總線的轉換。另外同軸電纜既可以用來為模組提供電源,也可以傳輸圖像數據。

光學鏡頭:負責聚焦光線,將視野中的物體投射到成像介質表面,根據成像效果的要求不同,可能要求多層光學鏡片。濾光片可以將人眼看不到的光波段進行濾除,只留下人眼視野范圍內的實際景物的可見光波段。

圖像傳感器:圖像傳感器可以利用光電器件光電轉換功能將感光面上的光像轉換為與光像成相應比例關系的電信號。主要分為 CCD 和 CMOS 兩種。

ISP 圖像信號處理器:主要使用硬件結構完成圖像圖傳感器輸入的圖像視頻源 RAW 格式數據的前處理,可轉換為 YCbCr 等格式。還可以完成圖像縮放、自動曝光、自動白平衡、自動聚焦等多種工作。

串行器:將處理后的圖像數據進行傳輸,可用于傳輸RGB、YUV等多種圖像數據種類。

連接器:用于連接固定攝像頭。

車載攝像頭在制造工藝及可靠性要求方面也要高于工業(yè)攝像頭和商用攝像頭,由于汽車需長期工作在惡劣環(huán)境中,車載攝像頭需要在高低溫環(huán)境、強振動、高濕熱等復雜工況環(huán)境下穩(wěn)定工作,對于工藝制造方面的要求主要如下:

7d6c7ec2-ac4e-11ec-aa7f-dac502259ad0.png

車載攝像頭的工藝需求

耐高溫 :車載攝像頭需在-40℃~85℃范圍內都能正常工作,且能適應溫度的劇烈變化;

抗震:車輛在不太平坦的路面行駛會產生較強的震動,因此車載攝像頭必須能抗各種強度的震動;

防磁 :車輛啟動時會產生極高的電磁脈沖,需要極高的防磁性能;

防水 :載攝像頭密封要非常嚴實,滿足在雨水中浸泡數日仍可正常使用;

使用壽命 :使用壽命至少為8~10年才能滿足要求;

超廣角:側視環(huán)視攝像頭必須是超廣角的,水平視角達 135°;

高動態(tài):車輛行駛速度快,攝像頭面對的光線環(huán)境變化劇烈且頻繁,要求攝像頭的CMOS 具有高動態(tài)特性;

低噪點:在光線較暗時能有效抑制噪點,特別是要求側視和后視攝像頭即使在晚上也能清楚的捕捉影像。

車載智能前視像頭關鍵參數

探測距離

水平視場角

垂直視場角

分辨率 -當攝像機攝取等間隔排列的黑白相間條紋時,在監(jiān)視器(比攝像機的分辨率要高)上能夠看到的最多線數,當超過這一線數時,屏幕上就只能看到灰蒙蒙的一片,而不再能分辨出黑白相間的線條。

最低照度 -即圖像傳感器對環(huán)境光線的敏感程度,或者說是圖像傳感器正常成像時所需要的最暗光線。它是當被攝物體的光照逐漸降低時,攝像機的視頻信號電平低于標準信號最大幅值一半時的景物光照度值。

信噪比 -輸出信號電壓與同時輸出的噪聲電壓的比值;

動態(tài)范圍 -攝像機拍攝的同一個畫面內,能正常顯示細節(jié)的最亮和最暗物體的亮度值所包含的那個區(qū)間。動態(tài)范圍越大,過亮或過暗的物體在同一個畫面中都能正常顯示的程度也就越大。

雷達技術對比有哪些優(yōu)勢

1)相比于毫米波雷達,目前攝像頭的主要優(yōu)勢在于:

目標識別與分類 - 目前普通的3D毫米波雷達僅可以檢測到前方是否有障礙物,而無法精準識別障礙物的大小和類別;例如:各類車道線識別、紅綠燈識別以及交通標志識別等;

可通行空間檢測(FreeSpace) - 對車輛行駛的安全邊界(可行駛區(qū)域)進行劃分,主要對車輛、普通路邊沿、側石邊沿、沒有障礙物可見的邊界、未知邊界進行劃分;

對橫向移動目標的探測能力 ,比如對十字路口橫穿的行人以及車輛的探測和追蹤;

定位與地圖創(chuàng)建 - 即視覺SLAM技術,雖然目前也有用毫米波雷達做SLAM的,不過視覺SLAM技術更加成熟,也更有應用前景;

2)在自動駕駛系統(tǒng)中,激光雷達與攝像頭感知作用比較類似,但相比激光雷達,其優(yōu)勢為:

紅綠燈識別及交通標示識別

成本優(yōu)勢,且算法及技術成熟度比較高

物體識別率高

車載攝像頭分布情況:

7d82b390-ac4e-11ec-aa7f-dac502259ad0.png

資料來源:CIOE中國光博會

目前車上搭載的車載攝像頭根據安裝位置主要分為車載攝像頭主要分為前視攝像頭、環(huán)視攝像頭、后視攝像頭、側視攝像頭以及內置攝像頭五種類別。

前視攝像頭:主要安裝在前擋風玻璃上,用于實現(xiàn)行車的視覺感知及識別功能,根據功能又可以分為前視主攝像頭、前視窄角攝像頭和前視廣角攝像頭。

前視主攝像頭:該攝像頭在 L2 的ADAS 系統(tǒng)中作為主攝像頭使用。其視場角的一般為 30°、50°、60°、100°、120°,檢測距離一般為 150- 170 m,攝像頭輸出的格式為 RCCB 或 RCCC。

前視廣角攝像頭:該攝像頭的作用主要是識別距離較近的物體,主要用于城市道路工況、低速行駛等場景,其視場角在 120° - 150°,檢測距離在 50 m 左右。在后續(xù) 8MP 鏡頭大規(guī)模裝車后,無需該攝像頭。

前視窄角攝像頭:該攝像頭的主要作用是進行紅綠燈、行人等目標的識別,一般選用窄角鏡頭,可選擇 30 - 40° 左右的鏡頭。并且該鏡頭的像素一般和前視主攝像頭的鏡頭像素一致,該攝像頭采用窄角度,具有更高的像素密度和更遠的檢測距離,一般可達 250 m 甚至可探測更遠的距離。

在上了 8MP 攝像頭后,前視主攝像頭的 FOV 可達 120°,該攝像頭可能就不需要了。檢測距離在 60 m 左右。

環(huán)視攝像頭:主要安裝在車身四周,一般使用 4 - 8 個攝像頭,可分為前向魚眼攝像頭/左側魚眼攝像頭/右側魚眼攝像頭/后向魚眼攝像頭。用于全景環(huán)視功能的顯示,以及融合泊車功能的視覺感知及目標檢測;常用色彩矩陣為 RGGB,因為有色彩還原的需求。

后視攝像頭:一般安裝在后備箱上,主要是實現(xiàn)泊車輔助。視場角在 120- 140° 之間,探測距離大概 50 m。

側前視攝像頭:安裝在 B 柱或者車輛后視鏡處,該攝像頭的視場角一般為 90°- 100°,探測距離大概在 80 m 左右,這個攝像頭的主要作用是檢測側向車輛及自行車。

側后視攝像頭:一般安裝在車輛前翼子板處,該攝像頭的視場角一般為 90°左右,探測距離也在 80 m 左右,主要用于車輛變道、匯入其它道路等場景應用。

內置攝像頭:主要用于監(jiān)測司機狀態(tài),實現(xiàn)疲勞提醒等功能。

其中,前視攝像頭價格相對較高,目前市場價格處在 300 - 500元水平;其余攝像頭價格在 150 - 200元左右。

主流廠商車載攝像頭搭載方案

7d98c1a8-ac4e-11ec-aa7f-dac502259ad0.png

從方案中我們可以看到,特斯拉的 8 個攝像頭均與行車系統(tǒng)有關聯(lián),這與其一直宣傳的不依靠激光雷達純視覺的自動駕駛方案是有較大關聯(lián)的,特斯拉的這一套方案的最大優(yōu)勢就是:高性價比。特斯拉用了成本非常低的自研 1.2MP 攝像機就實現(xiàn)了 L2+ 級別的自動駕駛。

小鵬 P7 使用了多個攝像頭,這一套方案的最大優(yōu)勢就是:可拓展性較強。前期方案在設計時需要提高硬件成本,但是在后期 OTA 升級后,其自動駕駛功能具有非常好的兼容性和可拓展性。

通過這套傳感器模型,小鵬實現(xiàn)了具有較好體驗的 L2+級別的自動駕駛功能,包括小鵬極具特色的高速自主導航駕駛(NGP)和停車場記憶泊車功能。

奔馳 S 級是傳統(tǒng)主機廠方案的代表,雙目立體攝像頭方案是奔馳 S 級最大的優(yōu)勢。相比于單目攝像頭,雙目攝像頭可以計算當前檢測目標在 X、Y、Z 坐標下的運動情況,判斷檢測目標的姿態(tài)及目標類型,奔馳在 L2 級別的 ADAS 功能的體驗效果也比另外兩家好一些。

對已經量產車型的攝像頭方案分析中,我們發(fā)現(xiàn)其都是使用中低像素攝像頭來實現(xiàn)自動駕駛功能。

車載攝像頭產業(yè)鏈

車載攝像頭產業(yè)鏈主要涉及上游材料、中游元件和下游產品三個主要環(huán)節(jié)。

上游材料中光學鏡片、濾光片和保護膜等用于制造鏡頭組,晶圓用于制造CMOS芯片DSP信號處理器;在中游鏡頭組、CMOS芯片和膠合材料等組裝成模組,并和DSP信號處理器封裝成攝像頭產品。

在產業(yè)鏈的這一層,上游供應商已經可以向下游整車或一級供應商客戶供應完整的攝像頭產品。在車載攝像頭產業(yè)鏈中,攝像頭和軟件算法一起,構成車載攝像頭解決方案,應用于自動駕駛汽車中。

目前車載攝像頭市場份額較大的公司均是全球領先的一級零部件供應商,下游客戶基本覆蓋了全球主要的整車公司。

7da916ca-ac4e-11ec-aa7f-dac502259ad0.png

CMOS在車載攝像頭價值量成本占比最高,達到52%;模組封裝占比20%、光學鏡頭占比19%。

7dba147a-ac4e-11ec-aa7f-dac502259ad0.png

CMOS芯片

CMOS(CIS傳感器)是主流的車載車載攝像頭感光元件方案。相比于CCD感光元件,CMOS的成像質量略遜一籌,但成本低、更省電,因此在像素要求不高的車載攝像頭領域廣受青睞。

CMOS制造產業(yè)鏈主要細分為設計、代工和封裝測試三個環(huán)節(jié),最后由模組廠采購組裝,整合入攝像頭模組再出售給下游應用廠商。

CMOS傳感器的構成與關鍵參數 圖像傳感器的功能是光電轉換。關鍵的參數有像素、單像素尺寸、芯片尺寸、功耗。技術工藝上有前照式(FSI)、背照式(BSI)、堆棧式(Stack)等。

7dd70f62-ac4e-11ec-aa7f-dac502259ad0.png

圖像傳感器從外觀看分感光區(qū)域(Pixel Array),綁線Pad,內層電路和基板。感光區(qū)域是單像素陣列,由多個單像素點組成。每個像素獲取的光信號匯集在一起時組成完整的畫面。

7df809c4-ac4e-11ec-aa7f-dac502259ad0.png

CMOS芯片由微透鏡層、濾色片層、線路層、感光元件層、基板層組成。

7e09aa26-ac4e-11ec-aa7f-dac502259ad0.png

CMOS芯片剖面圖 由于光線進入各個單像素的角度不一樣,因此在每個單像素上表面增加了一個微透鏡修正光線角度,使光線垂直進入感光元件表面。這就是芯片CRA的概念,需要與鏡頭的CRA保持在一點的偏差范圍內。

7e1d6502-ac4e-11ec-aa7f-dac502259ad0.png

電路架構上,我們加入圖像傳感器是一個把光信號轉為電信號的暗盒,那么暗盒外部通常包含有電源、數據、時鐘、通訊、控制和同步等幾部分電路??梢院唵卫斫鉃楦泄鈪^(qū)域(Pixel Array)將光信號轉換為電信號后,由暗盒中的邏輯電路將電信號進行處理和一定的編碼后通過數據接口將電信號輸出。

7e3334d6-ac4e-11ec-aa7f-dac502259ad0.png

由于CMOS芯片的像素層的設計工藝類似于模擬芯片,對制造工藝的要求較高,所以索尼、三星等龍頭企業(yè)均采用IDM模式,而豪威、格科微等中國企業(yè)多采用Fabless模式。

代工方面,臺積電、華力微、中芯國際、力晶、海力士等代工廠為全球CIS晶圓主要供應商。

封測方面,目前全球CIS封測產能集中在中國臺灣,精材、勝麗、同欣電等廠商是主要CIS封測廠商,國內晶方科技、華天科技等也具備CIS封測能力。

根據Yole數據,2019年CIS下游市場增速中,汽車市場同比增長41%,遠遠超過手機、計算機、安防、工控等其余主要領域。

CMOS的生產制造技術含量高,從全球市場來看,目前主要被外資企業(yè)所占據。

從競爭格局來看,安森美以36%的市場份額占據第一,國內企業(yè)豪威科技以22%位居第二,索尼、松下、三星緊隨其后,全球CIS Top3廠商供應超過65%,行業(yè)集中度較高。國內企業(yè)韋爾股份通過收購豪威科技切入CIS領域,一舉成為CIS領域領先企業(yè)。

攝像頭圖像處理ISP初步介紹

7e586292-ac4e-11ec-aa7f-dac502259ad0.png

我們看一看車載攝像頭模組的關鍵參數,是不是還有幾個沒有闡述,比如白平衡、自動增益控制、色彩還原等等,上述攝像頭描述就是主機控制,這里就有一個關鍵器件需要講解一下,圖像信號處理器ISP,這些活都是圖像處理器ISP需要干的活。

下圖展示了車載系統(tǒng)的基本組成:黃色的箭頭代表數據的傳輸,藍色的箭頭代表控制信號的傳輸。

7e6c07c0-ac4e-11ec-aa7f-dac502259ad0.png

相機的圖像處理流程大致是這樣的:

從相機感受到電荷之后,轉化成每個像素的數字信號,它的輸出我們可以叫做一個bayer pattern,當bayer pattern進入到ISP之后,經過一系列的圖像處理才會變成可以正常預覽或者拍照形成的圖像。

圖像處理中有一些比較關鍵的步驟,比如我們會做白平衡,因為人眼的視覺會對所看見的顏色做一定的糾正,比如看在黃光照射的范圍里,我們看到的黃光打亮白紙不再是白紙。所以很重要的是白平衡的矯正,白平衡的矯正之后會做demosaic,將每個像素的全部顏色通道全部還原回來。

然后每個Sensor的特性或者因為一些原因導致的偏色,需要通過顏色校正的矩陣乘法來做更正。再之后需要轉到y(tǒng)cbcr域去做例如針對亮度通道或顏色通道的降噪或者補償。總體來說,這是一個非常簡單的流程,實際上在車載應用中的流程非常復雜,涉及到更多的如HDR多幀曝光,合成,tone mapping等算法。

ISP 放置的位置非常關鍵:

這里有的是會放置ISP圖像處理芯片在攝像頭這邊,把處理后的信號傳輸給到主機,有的是不放置ISP芯片,由主機那邊的內置ISP芯片進行圖像處理,這樣攝像頭端的散熱會好很多,輻射也小。

比如倒車后視攝像頭,攝像頭距離主機距離都是5-8米,根據車身長度決定,這部分一般是把ISP放置在攝像頭模組那端,這樣傳輸過來的信號都是ISP那邊進行降噪處理后的信號,抗干擾能力也更強,缺點就是體積會變大,散熱要求非常高。

譬如有的行車記錄儀DVR攝像頭,這部分攝像頭距離控制主機CPU非常近,而且對于造型要求也比較高,就會把ISP放置在CPU這邊(很多DVR的CPU都內置了ISP芯片),無論是成本還是設計都是最優(yōu)方案。

前面有提到了,攝像頭出來的信號一定要經過ISP處理,那ISP要怎么處理這些信號,有哪些處理,這些其實都是涉及到色彩相關的內容,首先我們進行色彩相關內容的科普,然后再講解ISP怎么處理這些信號。

camera sensor效果的調整,涉及到眾多的參數,如果對基本的光學原理及sensor軟/硬件對圖像處理的原理能有深入的理解和把握的話,對我們的工作將會起到事半功倍的效果。否則,缺乏了理論的指導,只能是憑感覺和經驗去碰,往往無法準確的把握問題的關鍵,不能掌握sensor調試的核心技術,無法根本的解決問題。

光學部件

鏡頭組中的光學器件(主要包括鏡片、濾光片、保護膜)對攝像頭所生成的圖像質量方面起到了關鍵作用。

以一款車載DVR的隱藏式寬FOV角度的鏡頭為例子。

7e86f864-ac4e-11ec-aa7f-dac502259ad0.png

7e9c17f8-ac4e-11ec-aa7f-dac502259ad0.png

鏡筒的材質一般都是金屬,但是也有塑膠的,金屬的鏡筒從質量,耐高低溫等各項指標都會更好,但是也有缺點,金屬的套筒在螺絲扭的時候會產生金屬機械粉末,會有掉入到COMS感光區(qū)域的風險,而且金屬的套筒硬度比較硬,底板打螺絲的時候容易導致底板有COMS芯片的PCBA變形,從而導致成像后的解析度發(fā)生變化。

鏡頭的材質主要是兩種,一種是玻璃,一種是塑膠。

玻璃鏡片:以G為縮寫,面型多為球面,玻璃研磨加工;

塑膠鏡片:以P為縮寫,面型多為非球面,注塑加工。

鏡頭的材質車載里面一般都是使用的是玻璃,玻璃的耐高溫,耐擦掛性能都非常好,表面硬度玻璃會好于塑膠,當然玻璃也有缺點,價格貴,而且攝像頭整體的厚度變厚了,但是在車載里面這些相對于性能要求而言,都必須要使用到玻璃鏡頭,所以這里可以看到6G,就是使用6個玻璃片。

鏡頭的光學參數講解

焦距(Focal Length或EFFL)

是指一個光學系統(tǒng)從起像方主面到焦點間的距離, 它反映了一個光學系統(tǒng)對物體聚焦的能力。

7eb9d644-ac4e-11ec-aa7f-dac502259ad0.png

BFL 后焦

鏡頭最后一鏡片面到成像面的距離

這里的如上圖所示是 5.85mm;

Mechanical BFL法蘭距

鏡筒端(前/后)到成像面的距離

這里如上圖所示是 5.08mm±0.2mm

鏡頭總長和光學總長(TTL):

光學總長是指從系統(tǒng)第一個鏡片表面到像面的距離; 而鏡頭總長是指最前端表面(一般指Barrel表面)到像面(例如Sensor表面)的距離.一般來說, 鏡頭太長或太短其設計都會變得困難, 制造時對工藝要求較高,這個鏡頭的總長度是22.7mm±0.3mm。

相對孔徑(FNo.)

一個光學系統(tǒng)成像亮度指標, 一般簡稱F數(如傳統(tǒng)相機上所標識), 在同樣的光強度照射下, 其數值越小, 則像面越亮, 其數值越大, 則像面越暗. 對于一般的成像光學系統(tǒng)來說, F2.0-3.2就比較合適, 如果要求F數越小, 則設計越難, 結構越復雜, 制造成本就越高。這里的FNo為F2.1。

視場角(FOV):

一個光學系統(tǒng)所能成像的角度范圍. 角度越大, 則這個光學系統(tǒng)所能成像的范圍越寬, 反之則越窄. 在實際產品當中, 又有光學FOV和機械FOV之分, 光學FOV是指SENSOR或膠片所能真正成像的有效FOV范圍, 機械FOV一般大于光學FOV, 這是有其他考慮和用途, 比如說需要用機械FOV來參考設計Module或者手機蓋的通光孔直徑大小。

7ec56342-ac4e-11ec-aa7f-dac502259ad0.png

這里的FOV角度理論上是越大越好,比如做隱藏式行車記錄儀DVR的攝像頭,這個時候就需要記錄到的兩邊的圖像越寬越好,越方便信息的完整性。當然這個FOV的角度直接影響到最終攝像頭測距的距離,所以這個FOV角度也是最好根據攝像頭的實際應用來選擇。

7ed760a6-ac4e-11ec-aa7f-dac502259ad0.png

光學畸變(Opt distortion)和TV畸變(TV distortion):

畸變是指光學系統(tǒng)對物體所成的像相對于物體本身而言的失真程度.光學畸變是指光學理論上計算所得到的變形度。

TV畸變則是指實際拍攝圖像時的變形程度, DC相機的標準是測量芯片(Sensor)短邊處的變形.一般來說光學畸變不等于TV畸變, 特別是對具有校正能力的芯片來說. 畸變通常分兩種: 桶形畸變和枕形畸變,比較形象的反映畸變的是哈哈鏡,使人變得又高又瘦的是枕型畸變,使人變得矮胖的是桶型畸變。

7ee6de64-ac4e-11ec-aa7f-dac502259ad0.png

這個一般都比較重視的是TV失真,越小越好,這樣對于后面芯片的處理也就越簡單,這里的鏡頭的TV失真是小于21%。

相對照度(Relative illumination又簡寫為RI):

它是指一個光學系統(tǒng)所成像在邊緣處的亮度相對于中心區(qū)域亮度的比值, 無單位. 在實際測量的結果中, 它不僅同光學系統(tǒng)本身有關, 也同所使用的感光片(SENSOR)有關. 同樣的鏡頭用于不同的芯片可能會有不同的測量結果.

這個車載鏡頭的RI指標是≥53%。

CRA 主光線出射角通過光闌中心光線的成像面入射角

不同的視場具有不同的CRA值,將所有視場的CRA做成一條曲線,即

所謂的CRA曲線。圖紙中所示的CRA值為Sensor有效像高處的數值。

7ef708e8-ac4e-11ec-aa7f-dac502259ad0.png

MTF:

它從一定程度上反映了一個光學系統(tǒng)對物體成像的分辨能力.一般來說, MTF越高, 其分辨力越強, MTF越低, 其分辨力越低.由于MTF也只是從一個角度來評價鏡頭的分辨率,也存在一些不足, 故在目前的生產中, 大多數還是以逆投影檢查分辨率為主。

7f0d4252-ac4e-11ec-aa7f-dac502259ad0.png

IR Filter(濾光片):

它主要用于調整整個系統(tǒng)的色彩還原性. 它往往隨著芯片的不同而使用不同的波長范圍, 因為芯片對不同波長范圍的光線其感應靈敏度不一樣.對于目前應用較廣的CMOS和CCD感光片它非常重要, 早期的CCD系統(tǒng)中, 采用簡單的IRF往往還不能達到較好的色彩還原性效果。

7f25d0e2-ac4e-11ec-aa7f-dac502259ad0.png

IR-Cut:透過率為50%時的紅外光線頻率,650±10nm @ T=50%

7f3fc380-ac4e-11ec-aa7f-dac502259ad0.png

所以這里可以看到車載攝像頭的鏡頭的紅外濾光片基本上都是650nm±10nm的濾光片。

IR鍍膜的規(guī)格對鏡頭的色彩還原性有較大的影響,另外結合sensor的特性,對鍍膜進行優(yōu)化,會改善鏡頭色彩還原能力,所以在有的攝像頭拍照出來的色彩還原效果比較差的時候,軟件優(yōu)化都無能為力的時候,可以考慮IR鍍膜來調整。

7f5bf438-ac4e-11ec-aa7f-dac502259ad0.png

鏡頭主要用于將圖像聚焦到傳感器上,作為核心元件,其壁壘在于焦距、視場角、光圈、畸變、相對照度、分辨率等。由于室外環(huán)境嚴苛,車載鏡頭在形狀上要有良好的熱穩(wěn)定性,所以鏡頭主要使用玻璃而非塑膠材質。

光學部件行業(yè)整體處于成熟期,行業(yè)集中度相對較高,大多是傳統(tǒng)的相機鏡頭生產商。根據Yole Development, 全球CR4約為40%~50%左右。

在全示車載攝像頭鏡頭組全球市場,舜宇光學占據第一的市場份額,2004年開始布局車載鏡頭市場,2012年開始做到了全球車載鏡頭出貨量的第一并保持,跟隨其后的主要產商包括日本世光、日本康達智、富士膠片等。

國內光學鏡頭領域主要廠商主要有聯(lián)創(chuàng)電子、歐菲光、福光股份、力鼎光電等。

水晶光電(濾光片、保護膜)、歐菲光(濾光片)、海泰(保護膜)等企業(yè)正在向海外龍頭發(fā)起挑戰(zhàn),在國內新勢力崛起的背景下,有望乘“車載”之東風,引領光學部件環(huán)節(jié)的國產替代。

攝像頭模組封裝

車載攝像頭模組的封裝工藝難度高于手機,首要需保障駕駛安全,對其在駕駛期間、不同工作環(huán)境下的使用穩(wěn)定性有較高的要求。因此,相比其他領域,車載攝像頭的產品安全標準更高,生產技術要求更高,工藝難度大。

從競爭格局來看,當前全球車載攝像頭行業(yè)市場份額前三為松下、法雷奧和富士通:其中松下所占市場份額最大,達到20%;法雷奧和富士通的市占率分別為11%和10%。

全球主要攝像頭供應商的客戶情況:

7f71932e-ac4e-11ec-aa7f-dac502259ad0.png

資料來源:東方證券

該領域主要玩家還包括:信利國際、海康威視、比亞迪、聯(lián)合光學、德賽西威等。

車載攝像頭的未來改善需求

攝像頭的像素大幅提升,帶來的不光光是對芯片算力等性能的要求,還帶來了對于功率、熱管理等層面的需求。為了實現(xiàn)更好的性能,攝像頭需要更大功率的電源,因此攝像頭熱管理也是一個需要考慮的大問題。傳統(tǒng)攝像頭基本都是使用內置 ISP,但一些行業(yè)也在使用無 ISP 的攝像頭模組,數據直接傳輸到域控制器,由外部 ISP 進行處理。

ISP 是攝像頭產生熱量和提升功耗的主要元器件,部分公司提出把 ISP 集成到控制器中進行熱管理。

例如安波福提出的解決方案是攝像頭保留光學鏡頭和圖像傳感器部分,將 ISP 移動到相應的控制器主板中,通過以太網來進行數據傳輸。很多圖像傳感器制造商在把 ISP 模塊從攝像頭模組中移除,來限制攝像頭的功耗和熱量產生。

與此同時,ISP 被集成到專用的視覺處理器(SoC)中,可以提高圖像的成像質量,并且可以同時處理多個攝像頭的數據,以此來降低成本。

相信未來單個高精度攝像頭的成本會出現(xiàn)大幅下降,后續(xù)當高精度攝像頭成為標配時,整體成本會有比較大的下降空間。

附:特斯拉圖像識別原理闡述

7f85d80c-ac4e-11ec-aa7f-dac502259ad0.png

特斯拉利用8個攝像頭來識別現(xiàn)實世界中的物體。攝像頭獲取的圖像包括行人、其他車輛、動物或障礙物,這不僅對特斯拉車輛駕駛員的安全很重要,對其他人也很重要。專利稱,重要的是,攝像頭能夠及時準確地識別這些物體。

7fa1a85c-ac4e-11ec-aa7f-dac502259ad0.png

特斯拉專利框

7fbcb264-ac4e-11ec-aa7f-dac502259ad0.png

特斯拉專利演示

從算法的代碼層面來說,特斯拉把它們的深度學習網絡稱為HydraNet。其中,基礎算法代碼是共享的,整個HydraNet包含48個不同的神經網絡,通過這48個神經網絡,就能輸出1000個不同的預測張量。理論上來說,特斯拉的這個超級網絡,能同時檢測1000種物體。完成這些運算并不簡單,特斯拉已經耗費了7萬個GPU小時進行深度學習模型訓練。

7fd8b982-ac4e-11ec-aa7f-dac502259ad0.png

雖然工作量很大,但由于大部分工作由機器承擔,特斯拉的人工智能團隊僅由幾十人組成,與其他自動駕駛公司數百人甚至數千人的規(guī)模相比,確實規(guī)模不大。

完成2D的圖像還不算牛掰的,畢竟云端有超級計算機可以去訓練,本地的芯片也是自己開發(fā)的,可以很好的匹配算法,特斯拉真正牛掰的地方,通過視覺完成3D的深度信息,并可以通過視覺建立高精度地圖,完成一些底下停車場的附件駕駛場景。

特斯拉全車共配備了8個攝像頭,一個毫米波雷達和12個超聲波雷達,監(jiān)測外部環(huán)境,向自動駕駛電腦實時傳送信息。

7fe69f02-ac4e-11ec-aa7f-dac502259ad0.png

特斯拉車外傳感器

簡單來看,特斯拉的攝像頭、毫米波雷達、超聲波雷達以及慣性測量單元記錄下當前車輛所處的環(huán)境數據,并將數據發(fā)送給特斯拉的自動駕駛電腦。自動駕駛電腦在進行算法的計算之后,將速度和方向信息傳遞給轉向舵以及加速、制動踏板,實現(xiàn)對車輛的控制。

不過,在日常行駛過程中,攝像頭作為傳感器捕捉的內容都是二維圖像,并沒有深度信息。

7ff8fdf0-ac4e-11ec-aa7f-dac502259ad0.png

也就是說,雖然二維圖像已經可以區(qū)分公路和路旁的人行道,但并不知道現(xiàn)在車輛距離“馬路牙子”還有多遠。由于缺失這樣一個重要信息,自動駕駛的運算可能并不準確,操作可能出錯。因此,捕捉或者建立一個三維的圖景很有必要。

特斯拉使用三目相機的,它可以通過比較兩個攝像頭圖像的差異判斷物體的遠近,獲得物體的深度信息。通過中央處理器對輸入圖像進行感知、分割、檢測、跟蹤等操作,輸出給導航網絡端進行語義建圖及匹配定位,同時通過目標識別形成相應的ADAS系統(tǒng)目標屬性。

特斯拉還有更厲害的地方,那就是算法可以預測流媒體視頻中每一個像素的深度信息。也就是說,只要算法足夠好,流媒體視頻更加清晰,特斯拉的視覺傳感器所捕捉的深度信息甚至可以超過激光雷達。

801524c6-ac4e-11ec-aa7f-dac502259ad0.png

在實際的自動駕駛應用中,泊車入位和智能召喚兩個使用場景下就能充分利用這套算法。在停車場行駛時,車輛之間的距離很小,即使是駕駛員駕駛,稍不留神也很容易出現(xiàn)刮蹭事故。對于機器來說,停車場場景的行駛更加困難。在預測到深度信息之后,車輛可以在超聲波雷達的輔助之下,快速完成對周圍環(huán)境的識別,車輛泊車就會更加順利。

在完成深度信息的預測之后,這部分信息會顯示在車機上,同時也會直接參與控制轉向、加速、制動等駕駛動作。不過,轉向、加速、制動這些駕駛策略沒有固定的規(guī)則,有一定靈活性。因此,自動駕駛的駕駛策略沒有最佳,只有更好。

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • adas
    +關注

    關注

    309

    文章

    2185

    瀏覽量

    208668
  • 車載攝像頭
    +關注

    關注

    5

    文章

    137

    瀏覽量

    28074
  • 自動駕駛
    +關注

    關注

    784

    文章

    13826

    瀏覽量

    166502

原文標題:一文了解車載攝像頭

文章出處:【微信號:vision263com,微信公眾號:新機器視覺】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    車載攝像頭的EMC問題案例

    一前言 如今,車載攝像頭已經不再僅僅是一個輔助設備,而是逐漸成為了智能駕駛系統(tǒng)中不可或缺的一部分。360度全景監(jiān)控、行車記錄儀以及自動駕駛輔助功能,
    的頭像 發(fā)表于 12-18 11:11 ?491次閱讀
    <b class='flag-5'>車載</b><b class='flag-5'>攝像頭</b>的EMC問題案例

    車載攝像頭的EMC案例分享

    如今,車載攝像頭已經不再僅僅是一個輔助設備,而是逐漸成為了智能駕駛系統(tǒng)中不可或缺的一部分。360度全景監(jiān)控、行車記錄儀以及自動駕駛輔助功能,車載
    的頭像 發(fā)表于 12-18 11:07 ?591次閱讀
    <b class='flag-5'>車載</b><b class='flag-5'>攝像頭</b>的EMC案例分享

    愛普生 SG-8201CJA可編程晶振車載攝像頭的精準視覺時鐘守護

    在現(xiàn)代汽車電子系統(tǒng)中,車載攝像頭作為高級駕駛輔助系統(tǒng)(ADAS)和自動駕駛技術的核心組件,其性能直接影響車輛的安全性和駕駛體驗。為了確保
    的頭像 發(fā)表于 11-22 11:16 ?154次閱讀
    愛普生 SG-8201CJA可編程晶振<b class='flag-5'>車載</b><b class='flag-5'>攝像頭</b>的精準視覺時鐘守護

    微測輻射熱計陣列的紅外攝像頭,用于提高自動駕駛的安全性

    FraunhoferIOF開發(fā)出經濟高效的紅外攝像頭,適用于自動駕駛汽車,能在低能見度下探測行人,提高道路安全,采用非制冷微測輻射熱計陣列,適用于駕駛輔助系統(tǒng)及多種監(jiān)測應用。
    的頭像 發(fā)表于 10-28 14:17 ?180次閱讀

    自動駕駛HiL測試方案——攝像頭仿真視頻注入#ADAS #自動駕駛 #VTHiL

    自動駕駛
    北匯信息POLELINK
    發(fā)布于 :2024年10月17日 15:18:41

    南芯科技發(fā)布單芯片車載攝像頭PMIC系列,為更高級別的智能駕駛提供支持

    車載攝像頭電源管理,助力客戶提升 ADAS 系統(tǒng)的集成度,為更高級別的智能駕駛提供支持。該系列均已通過 AEC-Q100 認證,其中,SC6201Q 已實現(xiàn)規(guī)模量產,SC6205Q 和 SC6208Q 等后續(xù)產品即將進入送樣階
    的頭像 發(fā)表于 09-30 13:53 ?288次閱讀
    南芯科技發(fā)布單芯片<b class='flag-5'>車載</b><b class='flag-5'>攝像頭</b>PMIC系列,為更高級別的智能<b class='flag-5'>駕駛</b>提供支持

    揭秘!機載無人機攝像頭的黑科技:從偵察到打擊的全能

    機載無人機攝像頭作為無人機技術的重要組成部分,其黑科技不僅推動了無人機在多個領域的廣泛應用,還實現(xiàn)了從偵察到打擊的全能功能。以下是對機載無人機攝像頭黑科技的詳細揭秘: 一、高清成像
    的頭像 發(fā)表于 09-19 15:21 ?640次閱讀
    揭秘!機載無人機<b class='flag-5'>攝像頭</b>的黑科技:從偵察到打擊的全能<b class='flag-5'>之</b><b class='flag-5'>眼</b>

    車載攝像頭PoC所需的電源IC類型和解決方案

    隨著車載攝像頭的分辨率不斷提高,小型化和降噪成為問題,簡化布線的 PoC (Power over Coax) 技術被越來越多地采用。很多工程師在設計車載攝像頭的 PoC 系統(tǒng)時都在思考
    的頭像 發(fā)表于 08-22 16:38 ?1176次閱讀
    <b class='flag-5'>車載</b><b class='flag-5'>攝像頭</b>PoC所需的電源IC類型和解決方案

    FPGA在自動駕駛領域有哪些優(yōu)勢?

    FPGA(Field-Programmable Gate Array,現(xiàn)場可編程門陣列)在自動駕駛領域具有顯著的優(yōu)勢,這些優(yōu)勢使得FPGA成為自動駕駛技術中不可或缺的一部分。以下是FPGA在自動駕駛
    發(fā)表于 07-29 17:11

    FPGA在自動駕駛領域有哪些應用?

    是FPGA在自動駕駛領域的主要應用: 一、感知算法加速 圖像處理:自動駕駛中需要通過攝像頭獲取并識別道路信息和行駛環(huán)境,這涉及到大量的圖像處理任務。FPGA在處理圖像上的運算速度快,可并行性強,且功耗
    發(fā)表于 07-29 17:09

    未來已來,多傳感器融合感知是自動駕駛破局的關鍵

    模態(tài)精準感知信息,使自動駕駛系統(tǒng)可以實時精準地感知道路上的各種狀況。 昱感微融合感知產品方案創(chuàng)新性地 將可見光攝像頭、紅外攝像頭以及4D毫米波雷達的探測數據在前端(數據獲取時)交互,將各傳感器的探測
    發(fā)表于 04-11 10:26

    自動駕駛汽車技術 | 車載雷達系統(tǒng)

    自動駕駛汽車技術 | 車載雷達系統(tǒng)
    的頭像 發(fā)表于 03-20 08:09 ?3123次閱讀
    <b class='flag-5'>自動駕駛</b>汽車技術 | <b class='flag-5'>車載</b>雷達系統(tǒng)

    探討車載攝像頭ESD問題的成因及解決策略

    車載攝像頭整體結構主要由前蓋(鏡頭)、后蓋(接口)和硬件(電路)三大部分組成。其中,內部電路是攝像頭的核心部分,不同協(xié)議的攝像頭電路略有區(qū)別。
    發(fā)表于 02-27 14:26 ?1738次閱讀

    LG Innotek開發(fā)高性能加熱攝像頭模塊,邁向自動駕駛市場領導者地位

    該加熱攝像頭模塊創(chuàng)新之處在于將專門的加熱片融入現(xiàn)有的高級駕駛輔助系統(tǒng)(ADAS)攝像頭之中,可有效防止積雪及結冰困擾攝像機鏡頭,減少物體識別出錯風險,避免潛在致命事故。
    的頭像 發(fā)表于 02-21 16:34 ?638次閱讀

    DYNA4車載攝像頭仿真#車輛動力學仿真

    仿真車載攝像頭
    北匯信息POLELINK
    發(fā)布于 :2024年01月04日 08:17:07