蘋果x人臉識別技術(shù)原理解讀

　　iPhoneX介紹

　　iPhone X屏幕上前方采用了 TrueDepth 攝像系統(tǒng)，雙攝像頭，其中一個為紅外攝像頭，還包含各種傳感器。如下圖所示。

　　Face ID與普通人臉識別其實就是3D人臉和2D人臉的區(qū)別。Face ID通過一個結(jié)構(gòu)光系統(tǒng)提取人臉的點云信息生成一個3d模型，而傳統(tǒng)的人臉識別是通過一系列的方法，可以是簡單的基于位置的信息，也可以是通過神經(jīng)網(wǎng)絡提取出相應的底層，在二維特征層面上進行比較。

　　Face ID之所以能生成準確的3D人臉模型，是因為用到了結(jié)構(gòu)光，右邊有一個小投影儀投射帶形狀信息的紅外光斑到人臉上，左邊的攝像頭采集光斑的信息，根據(jù)形變和大小等逐一確定各個位置的深度和方向信息，最后得到人臉的點云生成3D模型。而傳統(tǒng)的單攝像頭方案因為沒辦法準確有效地提取深度信息，人臉識別往往只能使用2維圖像。

　　其實，3D視覺作為一項激動人心的新技術(shù)，早已經(jīng)出現(xiàn)在微軟Kinect、英特爾RealSense等消費級產(chǎn)品中。近幾年，隨著硬件端技術(shù)的不斷進步，算法與軟件層面的不斷優(yōu)化，3D深度視覺的精度和實用性得到大幅提升，使得“3D深度相機+手勢/人臉識別”具備了大規(guī)模進入移動智能終端的基礎(chǔ)。

　　要了解FaceID的人臉識別技術(shù)，讓我們先來科普一下結(jié)構(gòu)光技術(shù)與原理。

　　結(jié)構(gòu)光硬件組成

　　1、結(jié)構(gòu)光成像一般需要發(fā)射源，發(fā)射源一般是紅外或者激光，發(fā)射出點陣或者柵格光源，投到物體表面。

　　2、結(jié)構(gòu)光成像還需要接受器，接受器一般與發(fā)射源對應，能夠獲取發(fā)射源投在物體表面的光信息。

　　3、結(jié)構(gòu)光成像，還需要一個硬件計算單元，把接收器接收到的信息處理成物體三維的點云信息。

　　結(jié)構(gòu)光原理

　　發(fā)射源發(fā)射的均勻點陣/柵格投射到待測物表面后，由于物體的表面深度不一樣，點陣/柵格會因為不同的深度形狀產(chǎn)生空間形變和飛行時間差，被改變的結(jié)構(gòu)光投影經(jīng)攝像系統(tǒng)采集，傳送至硬件計算單元分析計算后可得出被測物的三維面形數(shù)據(jù)。

　　空間相位形變和光脈沖飛行時間差是結(jié)構(gòu)光最常用的兩種方法：利用空間形變，獲取結(jié)構(gòu)光場的相位、光強等被待測物的高度調(diào)制后產(chǎn)生的變化，可以讀取并計算這些性質(zhì)的變化獲取待測物的面形信息；利用飛行時間差，可以記錄了光脈沖在空間的飛行時間，通過飛行時間計算待測物體的面形信息。

　　以下用知乎作者Lee Mr的一篇結(jié)構(gòu)光示例來跟大家簡單說明：

　　1）第一步，編程讓發(fā)射源產(chǎn)生正弦條紋圖，因為后續(xù)要利用變形條紋圖獲取相位，而獲取相位的算法也有多種，此處采用的是四步移相法，具體原理去查文獻，不再累述。因此這里產(chǎn)生四幅相位差pi/2的條紋。然后將該四幅條紋分時投影到被測物（面具）上，采集到如下圖左邊邊的圖（當然也是四幅），同時要采集四幅參考面的條紋（未被調(diào)制，同樣四幅）。

　　2）第二步，相位恢復。由采集到的四幅受調(diào)制條紋圖計算出被調(diào)制相位，這里得到的相位圖是截斷相位圖，因為四步移相算法得到的結(jié)果是由反正切函數(shù)計算所得，因而被限制在［-pi，pi］之間，也就是說每當其值超過該范圍，其又會重新開始。得到的相位主值如下圖所示：

　　3）上述二者相減得到相位差，該相位差則表征了被測物相對參考面的高度信息，再代入相位與高度轉(zhuǎn)化公式，得到如下三維模型。

　　FaceID技術(shù)原理

　　接下來，我們來了解IphoneX的FaceID技術(shù)是怎么實現(xiàn)的。

　　首先我們來了解一下IphoneX齊劉海的硬件設計，包含了一個三維采集系統(tǒng)：紅外相機、泛光照明燈、環(huán)境光傳感器和點陣投影器。

　　點陣投影器能在不同的光照條件下將 3萬 多個肉眼不可見的光點投影在人的臉部，繪制出獨一無二的面譜，由紅外相機得到面部3D深度信息模型。再結(jié)合前置攝像頭拍攝的可見光人臉，將人臉的紋理與人臉3D模型通過算法結(jié)合，得到真實的3D人臉圖。

　　得到3D人臉圖以后，自然是通過目前最實用的深度學習算法，學習三維人臉的特征，再進行人臉識別。精度自然比平面人臉的識別精度要高。

　　FaceID技術(shù)優(yōu)勢

　　1、三維人臉的深度信息，天然防止了平面的紙張、視頻等人臉攻擊手段； 2、由于其點陣投影器、泛光照明燈的特性，可以對其人臉膚色與其它材質(zhì)有較好的區(qū)分性，防止了面具等攻擊手段；

　　3、由于獲取人臉三維信息主要依靠紅外技術(shù)手段，對于室內(nèi)環(huán)境引起的人臉光照變化基本不敏感，可以在室內(nèi)任意光環(huán)境下使用；

　　4、結(jié)構(gòu)光精度可達到0.1毫米級精度，可以使人臉識別精度大大提高。 FaceID技術(shù)問題

　　1、由于紅外結(jié)構(gòu)光受傳輸距離的影響比較大，衰減厲害，目前IphoneX的有效人臉識別距離應該在20cm-60cm之間；超出距離精度會大大下降；

　　2、由于太陽光包含有紅外光，可以預料，在外界陽關(guān)充足的環(huán)境下，IphoneX的人臉識別會受較大影響；

　　3、由于結(jié)構(gòu)光捕獲三維信息時有一個短暫的多幀相位信息融合，對于持續(xù)移動和快速移動的人臉，識別精度會大大降低。

　　結(jié)構(gòu)光人臉識別國內(nèi)現(xiàn)狀

　　1、目前能夠把結(jié)構(gòu)光整個發(fā)射、接收模組做到如IphoneX這般小，能夠集成到手機上的基本還沒有。據(jù)了解，目前能夠做到最小的也得手機充電器般大??；

　　2、從結(jié)構(gòu)光的技術(shù)原理上分析，要形成一個精準的三維模型，至少需要4-5幀視頻圖像進行重建，需要保證光源發(fā)射器的頻率和攝像頭捕捉畫面頻率同步，這對于普通紅外攝像機的幀率25幀來講，至少需要200ms時間完成光源信息采集，再通過算法對其點云重建，時間較長。目前對于Iphone的技術(shù)細節(jié)無法獲取。

　　3、由于受硬件限制，目前3維人臉數(shù)據(jù)的采集難度較大，數(shù)據(jù)樣本太少，對人臉識別算法的學習和研究帶來一定難度。