人臉追蹤、雙目活體對(duì)齊……系統(tǒng)梳理人臉識(shí)別開(kāi)發(fā)的硬核技巧

隨著人臉識(shí)別終端設(shè)備的廣泛應(yīng)用，很多開(kāi)發(fā)者在實(shí)踐中會(huì)產(chǎn)生疑惑：為什么同一款主板，運(yùn)行性能相仿的算法時(shí)，系統(tǒng)資源占用會(huì)相差懸殊？為什么同樣配備了活體檢測(cè)，防攻擊能力卻可以差好幾個(gè)級(jí)別？

事實(shí)上，人臉識(shí)別算法在實(shí)際部署中存在一些編程開(kāi)發(fā)策略，能對(duì)識(shí)別效果和識(shí)別速度產(chǎn)生顯著影響。虹軟視覺(jué)開(kāi)放平臺(tái)推出的"從零學(xué)習(xí)人臉識(shí)別"技術(shù)公開(kāi)課第七期——《人臉識(shí)別應(yīng)用方案（PC和設(shè)備端）》對(duì)此做了詳細(xì)闡述（完整課程可搜索"從零學(xué)習(xí)人臉識(shí)別"），將主要從人臉追蹤、雙目活體對(duì)齊、圖像質(zhì)量檢測(cè)和特征值提取技巧等進(jìn)行系統(tǒng)性介紹。

一、有效降低系統(tǒng)資源占用的【人臉追蹤】

人臉追蹤是相當(dāng)重要的優(yōu)化策略之一，最大的用處是防止重復(fù)識(shí)別，降低資源占用，在需要同時(shí)檢測(cè)多張人臉等算力消耗較高的場(chǎng)景下，可以顯著提升識(shí)別速度。

從技術(shù)原理來(lái)說(shuō)，算法在運(yùn)行過(guò)程中，會(huì)檢測(cè)視頻系列幀前后的人臉移動(dòng)情況和特征，從而進(jìn)行追蹤和檢測(cè)。以虹軟視覺(jué)開(kāi)放平臺(tái)的ArcFace免費(fèi)人臉識(shí)別算法為例，當(dāng)人臉入框時(shí)，算法會(huì)根據(jù)檢測(cè)結(jié)果為該張人臉標(biāo)記一個(gè)FaceID。該人臉從進(jìn)入畫面到離開(kāi)畫面的整個(gè)過(guò)程中，F(xiàn)aceID不變，算法也不會(huì)重復(fù)提取特征值，避免重復(fù)識(shí)別導(dǎo)致資源無(wú)效占用。

二、提升活體檢測(cè)精確度的【雙目活體對(duì)齊】

作為甄別紙張照片、屏幕成像、人臉面具等偽造人臉攻擊的主要防守手段，活體檢測(cè)幾乎是人臉識(shí)別不可或缺的剛需功能。目前，虹軟免費(fèi)人臉識(shí)別SDK可以同時(shí)支持RGB和IR紅外雙目活體檢測(cè)，既能通過(guò)分析采集摩爾紋、成像畸形、反射率等人像破綻來(lái)識(shí)別活體，也能基于紅外圖像天然濾除特定波段光線的特征，來(lái)抵御基于屏幕成像的假臉攻擊，在成本與性能上達(dá)到了較好的平衡。

但是，由于RGB攝像頭和紅外攝像頭是不同的模組，不可避免會(huì)在成像參數(shù)和組裝精度上有所不同。因此需要進(jìn)行雙目對(duì)齊，以確保兩個(gè)鏡頭在活體檢測(cè)、人臉比對(duì)時(shí)，使用的是同一張人臉圖像。

一般來(lái)說(shuō)，我們的策略是將RGB鏡頭所檢測(cè)到人臉框坐標(biāo)，嵌套至紅外鏡頭采集的圖像中。如發(fā)現(xiàn)該人臉框與紅外圖像中的對(duì)應(yīng)人臉有所偏移，就需要對(duì)該人臉框坐標(biāo)進(jìn)行調(diào)整。

人臉框嵌套只是最簡(jiǎn)單的雙目對(duì)齊策略，在安卓系統(tǒng)上開(kāi)發(fā)時(shí)，還需要用到鏡像、縮放、旋轉(zhuǎn)等對(duì)齊策略，這些都可以在虹軟視覺(jué)開(kāi)放平臺(tái)所提供的官方Demo中得到參考。

三、提升識(shí)別效率的【圖像質(zhì)量檢測(cè)算法】

無(wú)感通行是人臉識(shí)別閘機(jī)、門禁等設(shè)備非常重要的賣點(diǎn)。要實(shí)現(xiàn)這一效果，除了與芯片算力、算法性能有關(guān)，也需要用于識(shí)別的人臉圖像質(zhì)量合格。圖像質(zhì)量檢測(cè)能對(duì)攝像頭拍攝的人臉圖像進(jìn)行評(píng)估，刨除低質(zhì)量圖片，只留下質(zhì)量較好的人臉圖像進(jìn)行檢測(cè)。

在實(shí)際使用中，模糊、遮擋、大角度、逆光暗光等復(fù)雜環(huán)境問(wèn)題，都會(huì)導(dǎo)致攝像頭拍攝的人臉圖像難以識(shí)別。未引入圖像質(zhì)量檢測(cè)的情況下，圖片質(zhì)量再差也會(huì)被系統(tǒng)送入人臉識(shí)別環(huán)節(jié)，直到識(shí)別失敗后再進(jìn)行下一次抓拍。人臉圖像檢測(cè)提供的篩選機(jī)制能避免系統(tǒng)做無(wú)用功，從而提升后續(xù)流程的效率。對(duì)比實(shí)驗(yàn)中，增加圖像質(zhì)量檢測(cè)的人臉識(shí)別系統(tǒng)，后續(xù)環(huán)節(jié)耗時(shí)平均減少約30%。

除影響識(shí)別效率外，圖像質(zhì)量檢測(cè)也能幫助用戶高效完成人臉識(shí)別底庫(kù)注冊(cè)，快速完成人工篩選難以完成的工作量的同時(shí)，也讓底庫(kù)注冊(cè)照的質(zhì)量更有保障。

四、加速系統(tǒng)運(yùn)行的【特征值保存技巧】

在人臉識(shí)別算法的運(yùn)行過(guò)程中，特征值的保存方式也對(duì)運(yùn)行速度有所影響。如果照片底庫(kù)只有幾十張或者上百?gòu)?，可以將特征值保存在緩存中，每次啟?dòng)程序都進(jìn)行一次完整特征值提取。但注冊(cè)底庫(kù)達(dá)到數(shù)千甚至上萬(wàn)張人臉照的規(guī)模時(shí)，提取完整特征值耗時(shí)就會(huì)較長(zhǎng)，此時(shí)如果將特征值保存在數(shù)據(jù)庫(kù)中再用于人臉比對(duì)，對(duì)人臉識(shí)別速度會(huì)有明顯提升。

人臉識(shí)別開(kāi)發(fā)是一個(gè)復(fù)雜工程，除核心算法的研發(fā)外，還涉及很多影響性能的技術(shù)細(xì)節(jié)，掌握與否對(duì)最終產(chǎn)品影響極大。"從零學(xué)習(xí)人臉識(shí)別"系列課程將持續(xù)幫助開(kāi)發(fā)者們查漏補(bǔ)缺，既夯實(shí)基礎(chǔ)，也釋疑難題，從而成長(zhǎng)技術(shù)全面的開(kāi)發(fā)人員。