攝像頭在汽車上的輔助駕駛功能是如何實(shí)現(xiàn)的？

引言

相信很多小伙伴們通過之前攝像頭的基礎(chǔ)知識(shí)講解，已經(jīng)對(duì)車載攝像頭有一定的了解，攝像頭兩大主要功能是定位和感知，我們通過不同的軟硬件來(lái)實(shí)現(xiàn)前向碰撞預(yù)警、行人探測(cè)與防撞預(yù)警、車道保持與危險(xiǎn)預(yù)警、車道偏離預(yù)警、交通標(biāo)志識(shí)別等功能，那么攝像頭在我們現(xiàn)有汽車上這些輔助駕駛功能是如何實(shí)現(xiàn)的呢？本期小編整理了一些視覺傳感器相關(guān)技術(shù)方面的資料，讓我們一起來(lái)探究一下吧。

01視覺感知概述

目前自動(dòng)駕駛的視覺感知算法，業(yè)內(nèi)一般分成傳統(tǒng)視覺算法和深度學(xué)習(xí)算法，兩者既有著關(guān)聯(lián)，也有著不同點(diǎn)。本期小編通過傳統(tǒng)視覺感知的幾個(gè)關(guān)鍵步驟來(lái)為大家講解，我們下期再聊關(guān)于深度學(xué)習(xí)方面的視覺感知算法。

02標(biāo)定及特征提取

一、標(biāo)定

標(biāo)定，是為了幫助攝像頭最終成像時(shí)獲得清晰圖像或通過攝像頭獲得物體大小、測(cè)量距離結(jié)果準(zhǔn)確度所作的軟硬件校準(zhǔn)及相應(yīng)算法調(diào)試的過程。標(biāo)定的精度及算法的穩(wěn)定性將直接影響攝像頭的準(zhǔn)確性。

根據(jù)攝像頭自身產(chǎn)品因素和外部安裝因素，自身內(nèi)部標(biāo)定簡(jiǎn)稱內(nèi)參，外部安裝的標(biāo)定簡(jiǎn)稱外參。

1 內(nèi)參

攝像可以用來(lái)標(biāo)定的自身參數(shù)稱為內(nèi)參。內(nèi)參的參數(shù)一般包含鏡頭畸變，焦距，像素尺寸寬，像素尺寸高，中心點(diǎn)坐標(biāo)寬，中心點(diǎn)坐標(biāo)高，圖片尺寸。下面我們就來(lái)探究一下關(guān)鍵的內(nèi)參值：鏡頭畸變、光心以及焦距。

鏡頭畸變

我們所熟知的攝像頭鏡頭是由幾片透鏡組成的光學(xué)儀器，但是由于透鏡的固有特性（凸透鏡匯聚光線、凹透鏡發(fā)散光線）會(huì)導(dǎo)致相機(jī)成像存在著透視失真，透視失真也被統(tǒng)稱為鏡頭畸變。因?yàn)檫@種鏡頭畸變是物理層面無(wú)法消除的，只能改善，所以就需要對(duì)鏡頭畸變進(jìn)行校準(zhǔn)標(biāo)定。

鏡頭畸變根據(jù)成像效果又分為徑向畸變和切向畸變。

徑向畸變，被攝物體在經(jīng)過光學(xué)系統(tǒng)成像時(shí)，會(huì)造成圖像點(diǎn)從主點(diǎn)開始沿著徑向線發(fā)生位移，如下圖所示：

切向畸變，由于裝配方面的誤差，相機(jī)傳感器（CMOS或CCD）與光學(xué)鏡頭之間并非完全平行，因此成像存在切向畸變，但在成像方面通常沒有徑向畸變那么嚴(yán)重。

光心，是位于透鏡主軸上中央的一個(gè)特殊點(diǎn)，凡是通過該點(diǎn)的光，其傳播方向不變。通過標(biāo)定光心的真實(shí)位置，才能計(jì)算出攝像頭的焦點(diǎn)和焦距所在的準(zhǔn)確位置。

焦距，也稱為焦長(zhǎng)，以相機(jī)為例，焦距是從鏡片光心到底片、CCD或CMOS等成像平面的距離。當(dāng)對(duì)同一距離遠(yuǎn)的同一個(gè)被攝目標(biāo)拍攝時(shí)，鏡頭焦距長(zhǎng)的所成的像大，鏡頭焦距短的所成的像小。標(biāo)定焦距后的準(zhǔn)確度將決定相機(jī)最終成像的清晰度和成像大小。

2 外參

外參標(biāo)定，是攝像頭將自身的位置坐標(biāo)與被觀測(cè)物體的現(xiàn)實(shí)世界坐標(biāo)系之間建立相對(duì)位置關(guān)系。攝像頭不僅需要上述的內(nèi)部標(biāo)定，也需要在安裝到汽車內(nèi)后進(jìn)行外部軟硬件聯(lián)動(dòng)調(diào)試，以確保攝像頭的成像效果和物體位置測(cè)量距離的準(zhǔn)確度。

二、傳統(tǒng)圖像特征提取

眾所周知，計(jì)算機(jī)是不認(rèn)識(shí)圖像的，只認(rèn)識(shí)數(shù)字0和1。為了使計(jì)算機(jī)能夠“理解”圖像，從而具有真正意義上的“視覺”，于是我們通過從圖像中提取有用的數(shù)據(jù)或信息，得到圖像的“非圖像表示或描述”，如數(shù)值、向量和符號(hào)等，這一過程就是特征提取，而提取出來(lái)的這些“非圖像表示或描述”就是特征。

有了這些數(shù)值或向量形式的特征，再通過建立特征庫(kù)，我們就可以通過訓(xùn)練過程教會(huì)計(jì)算機(jī)如何懂得這些特征，從而使計(jì)算機(jī)具有識(shí)別圖像的本領(lǐng)。

上述的特征提取一般包括點(diǎn)、線，圖像分割，光流，機(jī)器學(xué)習(xí)特征，SVM行人車輛識(shí)別等要素提取。

看起來(lái)挺簡(jiǎn)單的原理，其實(shí)是個(gè)十分復(fù)雜的過程，小編曾在《攝像頭基礎(chǔ)介紹》里面舉過一個(gè)例子，比如說我們打開搜索網(wǎng)站搜索“桌子”，會(huì)發(fā)現(xiàn)有很多種的樣子。

雖然桌子樣式有很多，但是它也是由點(diǎn)、線、面組成的。計(jì)算機(jī)為了更好的識(shí)別出物體是什么，還會(huì)將圖片上相同顏色區(qū)域進(jìn)行圖像分割，再配合光流變化和機(jī)器學(xué)習(xí)得到的特征要素等，計(jì)算機(jī)就能識(shí)別出圖片上的物體是桌子而不是椅子。

目前圖像特征的提取主要有兩種方法：傳統(tǒng)圖像特征提取方法和深度學(xué)習(xí)方法。

傳統(tǒng)的特征提取方法：基于圖像本身的特征進(jìn)行提?。?/p>

深度學(xué)習(xí)方法：基于樣本自動(dòng)訓(xùn)練出區(qū)分圖像的特征分類器；

傳統(tǒng)的圖像特征提取一般分為三個(gè)步驟：預(yù)處理、特征提取、特征處理；然后在利用機(jī)器學(xué)習(xí)等方法對(duì)特征進(jìn)行分類等操作。

預(yù)處理：預(yù)處理的目的主要是排除干擾因素，突出特征信息；主要的方法有：

圖片標(biāo)準(zhǔn)化：調(diào)整圖片尺寸；

圖片歸一化：調(diào)整圖片重心為0；

特征提?。豪锰厥獾奶卣髯涌臻g，完成對(duì)圖像的特征提取。涉及算法主要有：Harris、SIFT、SURF、LBF、HOG、DPM；

特征處理：主要目的是為了排除信息量小的特征，減少計(jì)算量等。常見的特征處理方法是降維，常見的降維方法有：主成分分析、奇異值分解、線性判別分析；

實(shí)話說，小編看到這么多的傳統(tǒng)圖像特征提取算法真的是非常佩服工程師們的技術(shù)能力。那么下面小編抽取了一些常用的特征提取算法為大家簡(jiǎn)單講解個(gè)概要：

Harris算法是一種角點(diǎn)特征描述子；角點(diǎn)對(duì)應(yīng)于物體圖像關(guān)鍵的局部結(jié)構(gòu)特征，通過鄰近像素點(diǎn)灰度差值概念，從而判斷是否為角點(diǎn)、邊緣、平滑區(qū)域。例如：道路的十字路口等。

SIFT算法尺度不變特征變換（Scale invarialt feature transform）是基于物體上的一些局部外觀的興趣點(diǎn)，該算法與影像的旋轉(zhuǎn)、尺度大小縮放、亮度變化無(wú)關(guān)；對(duì)視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性；基于這些特性，SIFT算法在龐大的特征數(shù)據(jù)庫(kù)中，很容易辨識(shí)出物體而且鮮有誤認(rèn)。使用SIFT特征描述對(duì)于部分物體遮蔽的偵測(cè)率也相當(dāng)高，甚至只需要3個(gè)以上的SIFT物體特征就足以計(jì)算出位置與方位。

SURF算法（Speeded Up Robust Features）直譯為：加速版的具有魯棒特性的特征算法，該算法對(duì)經(jīng)典的尺度不變特征變換算法（SIFT算法）進(jìn)行了改進(jìn)，以更高效的方式改進(jìn)了特征提取和描述的方式。SURF算法采用了Haar特征以及積分圖像的概念，這大大的加速了程序的運(yùn)行時(shí)間，需要硬件或者專門的圖像處理器進(jìn)行加速。SURF算法一般應(yīng)用于計(jì)算機(jī)視覺中的物體識(shí)別、圖像拼接、圖像配準(zhǔn)以及3D重建中。

HOG算法（Histogram of Oriented Gradient） 方向梯度直方圖，是通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來(lái)構(gòu)成特征提取的算法。Hog特征結(jié)合SVM（Surpport Vector Machine）分類器特別適合于做圖像中的行人檢測(cè)。

DPM算法（Deformable Parts Model）是一個(gè)目標(biāo)檢測(cè)算法，已成為眾多分類器、分割、人體姿態(tài)和行為分類的重要部分。DPM可以看做是HOG算法的擴(kuò)展，大體思路與HOG一致。先計(jì)算梯度方向直方圖，然后用SVM訓(xùn)練得到物體的梯度模型（Model）。有了這樣的模板就可以直接用來(lái)分類了，簡(jiǎn)單理解就是模型和目標(biāo)匹配。DPM只是在模型上做了很多改進(jìn)工作。

03常見視覺算法

VSLAM定位，SLAM（SimultaneousLocalization andMapping）是同步定位與地圖構(gòu)建，是指根據(jù)傳感器的信息，一邊計(jì)算自身位置，一邊構(gòu)建環(huán)境地圖的過程，解決在未知環(huán)境下運(yùn)動(dòng)時(shí)的定位與地圖構(gòu)建問題。VSLAM（VisualSLAM算法）則更為高級(jí)，是基于camera圖像做SLAM的算法，即視覺的定位與建圖，中文也叫視覺SLAM，相當(dāng)于裝上眼睛，通過眼睛來(lái)完成定位和掃描，更加精準(zhǔn)和迅速。

Sfm（Structurefrom Motion）是一種從運(yùn)動(dòng)中實(shí)現(xiàn)3D重建。也就是從時(shí)間系列的2D圖像中推算3D信息。用于自動(dòng)駕駛環(huán)境稠密點(diǎn)云重建。

MVS（Multi-viewstereo，多視重建），立體視覺法將多個(gè)相機(jī)設(shè)置于視點(diǎn)，或用單目相機(jī)在多個(gè)不同的視點(diǎn)拍攝圖像以增加穩(wěn)健性，通常使用環(huán)視攝像頭來(lái)重建稠密點(diǎn)云。

VADAR（視覺點(diǎn)云，是SFM和MVS統(tǒng)稱），通過VADAR得到和Lidar同樣的點(diǎn)云，可以做更多的檢測(cè)和分割功能。目前特斯拉和mobileyeQ5均使用多個(gè)攝像頭拍攝的2D圖像進(jìn)行深度學(xué)習(xí)處理，生成3D模型，從而為自動(dòng)駕駛決策提供所需的環(huán)境信息。說得簡(jiǎn)單一點(diǎn)，就是依靠算法和芯片的強(qiáng)大計(jì)算量，將多個(gè)攝像頭輸出的2D畫面“升級(jí)”為3D畫面實(shí)現(xiàn)自動(dòng)駕駛。

結(jié)語(yǔ)：

相信通過上述傳統(tǒng)攝像頭算法的介紹，大家也深深的感受到了單目攝像頭視覺傳感器要幫助我們行車更加安全、便捷，不是一個(gè)容易的事情。需要通過工程師們對(duì)攝像頭硬件的標(biāo)定，各種特征點(diǎn)提取軟件算法，還有芯片、視覺方面的硬件匹配等。傳統(tǒng)單目攝像頭視覺算法已經(jīng)如此的繁瑣，那么深度學(xué)習(xí)算法又是怎樣實(shí)現(xiàn)的呢？帶著這些問題，下期小編繼續(xù)為大家整理深度學(xué)習(xí)視覺算法相關(guān)技術(shù)資料，敬請(qǐng)期待吧！

原文標(biāo)題：新·知丨自動(dòng)駕駛傳感器那點(diǎn)事之 攝像頭傳統(tǒng)視覺技術(shù)

文章出處：【微信公眾號(hào)：四維圖新NavInfo】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq