0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

最新benchmark助力移動(dòng)端人臉檢測(cè)新突破 人臉追蹤成主要技術(shù)點(diǎn)

nlfO_thejiangme ? 來源:未知 ? 作者:steve ? 2018-06-09 09:56 ? 次閱讀

隨著智能手機(jī)的迅速發(fā)展,移動(dòng)端的人臉識(shí)別和分析越來越重要,而人臉追蹤是很多視覺應(yīng)用的主要出發(fā)點(diǎn)。在移動(dòng)場(chǎng)景下的移動(dòng)追蹤面臨著光照、尺度、角度的劇烈變化和環(huán)境背景、遮擋以及目標(biāo)的消失等挑戰(zhàn)。人臉追蹤十分重要但由于合適數(shù)據(jù)集的缺乏使得這一領(lǐng)域收到的關(guān)注較少。

為了幫助移動(dòng)端人臉追蹤算法的開發(fā)和評(píng)測(cè),帝國(guó)理工智能行為理解研究組(iBUG)提出了一個(gè)名為iBUG MobiFace benchmark的數(shù)據(jù)庫(kù)。最為第一個(gè)移動(dòng)端的人臉追蹤基準(zhǔn),包含了50段智能手機(jī)在不受限環(huán)境下拍攝的影像、其中包括46個(gè)個(gè)體和50736幀。除了邊框標(biāo)記之外,還提供了9個(gè)序列屬性標(biāo)注。

最新benchmark助力移動(dòng)端人臉檢測(cè)新突破 人臉追蹤成主要技術(shù)點(diǎn)

研究人員還針對(duì)相關(guān)濾波和深度學(xué)習(xí)兩大方法、23種前沿算法進(jìn)行了評(píng)測(cè)。作者表示數(shù)據(jù)集將在近日公布在iBUG的網(wǎng)站上。

最新benchmark助力移動(dòng)端人臉檢測(cè)新突破 人臉追蹤成主要技術(shù)點(diǎn)

(編者注:iBUG網(wǎng)站上還有其他豐富的人類行為數(shù)據(jù)庫(kù),包括3D人臉追蹤、人體姿態(tài)標(biāo)注等等數(shù)據(jù)庫(kù)感興趣的小伙伴可以參看:https://ibug.doc.ic.ac.uk/resources)

1. 移動(dòng)端人臉追蹤

人臉追蹤是指在視頻中定位隨時(shí)間變化的目標(biāo)人臉。智能手機(jī)和移動(dòng)設(shè)備的高速發(fā)展使得人臉追蹤算法扮演著越來越重要作用,從人臉解鎖到相機(jī)應(yīng)用,從人臉識(shí)別到美顏工具,移動(dòng)端的追蹤成為了手機(jī)應(yīng)用的核心功能之一。人臉追蹤的目標(biāo)是在給定目標(biāo)初始位置的情況下,估計(jì)出接下來目標(biāo)的位置和尺度。雖然目前的人臉追蹤算法取得了一系列進(jìn)步,但在移動(dòng)端還面臨著嚴(yán)峻的挑戰(zhàn)。業(yè)界提出了移動(dòng)端數(shù)據(jù)集和物體追蹤數(shù)據(jù)集,但對(duì)于移動(dòng)端的人臉追蹤還沒有細(xì)分的適合的數(shù)據(jù)集供研究人員開發(fā)和測(cè)評(píng)算法。

最新benchmark助力移動(dòng)端人臉檢測(cè)新突破 人臉追蹤成主要技術(shù)點(diǎn)

雖然與目標(biāo)追蹤很相似,但移動(dòng)端的目標(biāo)追蹤算法卻在以下方面有著獨(dú)特的不同:

由于設(shè)備的旋轉(zhuǎn)和移動(dòng)使得目標(biāo)的尺度變化劇烈;

相機(jī)和目標(biāo)都在同時(shí)運(yùn)動(dòng),相機(jī)運(yùn)動(dòng)較為快速;

嚴(yán)重遮擋的人臉在人臉分析中沒有貢獻(xiàn),不應(yīng)該被追蹤;

移動(dòng)端相機(jī)的視場(chǎng)較小、人臉很容易離開視場(chǎng);

移動(dòng)端算力有限;

照片受到卷簾快門的影響,造成不必要的扭曲和模糊。

一個(gè)優(yōu)秀的移動(dòng)人臉追蹤算法不僅僅需要克服諸如光照變化等傳統(tǒng)的挑戰(zhàn)、更需要高效地解決移動(dòng)端如視角、運(yùn)動(dòng)等特殊的問題。

本文通過提出iBUG移動(dòng)人臉追蹤數(shù)據(jù)庫(kù)作為測(cè)評(píng)基準(zhǔn),詳細(xì)分析OTB和VOT數(shù)據(jù)集上的23種前沿追蹤算法,并指出了深度學(xué)習(xí)和人臉相關(guān)算法結(jié)合具有潛在的提高空間。

2.人臉追蹤問題

人臉追蹤問題可以歸結(jié)為在初始位置給定后給出t幀中人臉的最優(yōu)位置,表達(dá)式如下:

最新benchmark助力移動(dòng)端人臉檢測(cè)新突破 人臉追蹤成主要技術(shù)點(diǎn)

如果人臉無法觀測(cè)則為0,如果可以觀測(cè)則找到分?jǐn)?shù)最大的區(qū)域r;其損失函數(shù)則可以定義為最小化幀序列中人臉位置的誤差:

最新benchmark助力移動(dòng)端人臉檢測(cè)新突破 人臉追蹤成主要技術(shù)點(diǎn)

目前針對(duì)視覺追蹤問題主要分為兩種思路,一種是利用相關(guān)濾波的方法實(shí)現(xiàn);另一種則是利用深度學(xué)習(xí)的方法來解決。

相關(guān)濾波器近年來在VOT和OTB數(shù)據(jù)集上取得了驚人的表現(xiàn),它可以被視為一種模板匹配的過程。在初始化過程中,相關(guān)濾波通過第一幀中的目標(biāo)區(qū)域進(jìn)行訓(xùn)練,隨后在后續(xù)幀的候選窗中應(yīng)用濾波器。最后在生成的空間執(zhí)行度圖中選出最高的區(qū)域作為這一幀的預(yù)測(cè)輸出,同時(shí)對(duì)CF進(jìn)行更新。相關(guān)濾波主要需要處理以下四個(gè)方面的問題,分別是如何從原始數(shù)據(jù)中抽取有效特征、處理不同尺度的目標(biāo)、邊界效應(yīng)帶來的信息損失和長(zhǎng)時(shí)間追蹤。

最新benchmark助力移動(dòng)端人臉檢測(cè)新突破 人臉追蹤成主要技術(shù)點(diǎn)

而基于深度學(xué)習(xí)的追蹤方法主要分為單個(gè)CNN追蹤、雙CNN追蹤法和基于RNN的追蹤方法,同時(shí)還有強(qiáng)化學(xué)習(xí)的方法也同樣用于移動(dòng)端的人臉追蹤。

最新benchmark助力移動(dòng)端人臉檢測(cè)新突破 人臉追蹤成主要技術(shù)點(diǎn)

研究人員們對(duì)于算法進(jìn)行了速度和準(zhǔn)確率和評(píng)價(jià),需要指出的是作者的電腦配置為Intel(R) Core(TM) i7-7700 3.60GHz CPU 、 GeForce GTX 1060 GPU 3GB memory。

最新benchmark助力移動(dòng)端人臉檢測(cè)新突破 人臉追蹤成主要技術(shù)點(diǎn)

從精度對(duì)比圖上可以發(fā)現(xiàn)幾乎所有的追蹤器在移動(dòng)端人臉追蹤任務(wù)中都出現(xiàn)了一定程度的性能下降。在成功率圖中發(fā)現(xiàn)排名前五的算法都使用了深度特征,這意味著好的特征對(duì)于移動(dòng)端人臉追蹤任務(wù)具有重要的意義。

最新benchmark助力移動(dòng)端人臉檢測(cè)新突破 人臉追蹤成主要技術(shù)點(diǎn)

同時(shí)文中還對(duì)針對(duì)數(shù)據(jù)集的不同屬性評(píng)價(jià)了23種算法,具體請(qǐng)參看文末鏈接的論文。結(jié)果顯示目前移動(dòng)端的人臉追蹤算法相較于其他任務(wù)還有很大的差距。但可以看出基于深度網(wǎng)絡(luò)的特征可能在未來扮演重要的作用,高效的在線學(xué)習(xí)策略可以幫助基于深度學(xué)習(xí)的追蹤器平衡速度和精度的要求。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 人臉識(shí)別
    +關(guān)注

    關(guān)注

    76

    文章

    4012

    瀏覽量

    81998
  • 移動(dòng)端
    +關(guān)注

    關(guān)注

    0

    文章

    41

    瀏覽量

    4421

原文標(biāo)題:讓我看到你的臉:最新benchmark助力移動(dòng)端人臉檢測(cè)新突破

文章出處:【微信號(hào):thejiangmen,微信公眾號(hào):將門創(chuàng)投】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    《DNK210使用指南 -CanMV版 V1.0》第四十五章 人臉識(shí)別實(shí)驗(yàn)

    第四十五章 人臉識(shí)別實(shí)驗(yàn) 在上一章節(jié)中,介紹了利用maix.KPU模塊實(shí)現(xiàn)了人臉68關(guān)鍵點(diǎn)檢測(cè),本章將繼續(xù)介紹利用maix.KPU模塊實(shí)現(xiàn)的人臉識(shí)別。通過本章的學(xué)習(xí),讀者將學(xué)習(xí)到
    發(fā)表于 11-18 14:30

    《DNK210使用指南 -CanMV版 V1.0》第四十四章 人臉68關(guān)鍵點(diǎn)檢測(cè)實(shí)驗(yàn)

    的KPU對(duì)象。然后便是在一個(gè)循環(huán)中不斷地獲取攝像頭輸出的圖像,首先將圖像進(jìn)行人臉檢測(cè),檢測(cè)圖像中存在的人臉,接著對(duì)人臉圖像進(jìn)行68關(guān)鍵點(diǎn)
    發(fā)表于 11-18 14:28

    如何用OpenCV的相機(jī)捕捉視頻進(jìn)行人臉檢測(cè)--基于米爾NXP i.MX93開發(fā)板

    功能,首先要進(jìn)行人臉檢測(cè),判斷出圖片中人臉的位置,才能進(jìn)行下一步的操作。 OpenCV人臉檢測(cè)方法 在OpenCV中
    發(fā)表于 11-15 17:58

    人臉識(shí)別技術(shù)的可行性在于矛盾具有什么性

    人臉識(shí)別技術(shù)的可行性在于矛盾具有普遍性。 一、引言 人臉識(shí)別技術(shù)作為人工智能領(lǐng)域的一項(xiàng)重要技術(shù),近年來得到了廣泛的關(guān)注和應(yīng)用。然而,隨著
    的頭像 發(fā)表于 07-04 09:28 ?527次閱讀

    人臉識(shí)別技術(shù)的優(yōu)缺點(diǎn)有哪些

    人臉識(shí)別技術(shù)是一種基于人臉特征信息進(jìn)行身份識(shí)別的生物識(shí)別技術(shù)。隨著計(jì)算機(jī)視覺、深度學(xué)習(xí)等技術(shù)的發(fā)展,人臉
    的頭像 發(fā)表于 07-04 09:25 ?2465次閱讀

    人臉識(shí)別技術(shù)的原理介紹

    的應(yīng)用。本文將詳細(xì)介紹人臉識(shí)別技術(shù)的原理,包括人臉檢測(cè)人臉特征提取、人臉匹配等關(guān)鍵步驟。 一、
    的頭像 發(fā)表于 07-04 09:22 ?1278次閱讀

    如何設(shè)計(jì)人臉識(shí)別的神經(jīng)網(wǎng)絡(luò)

    識(shí)別技術(shù)主要分為兩個(gè)步驟:人臉檢測(cè)人臉特征提取。人臉檢測(cè)
    的頭像 發(fā)表于 07-04 09:20 ?679次閱讀

    人臉識(shí)別模型訓(xùn)練是什么意思

    的各個(gè)方面。 人臉識(shí)別技術(shù)概述 人臉識(shí)別技術(shù)是一種生物特征識(shí)別技術(shù),通過分析人臉圖像的特征,實(shí)現(xiàn)
    的頭像 發(fā)表于 07-04 09:16 ?643次閱讀

    人臉檢測(cè)模型的精確度怎么算

    檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究方向,其目的是在圖像或視頻中快速準(zhǔn)確地定位人臉的位置。人臉檢測(cè)模型通常包括兩個(gè)主要步驟:
    的頭像 發(fā)表于 07-04 09:14 ?557次閱讀

    人臉檢測(cè)模型有哪些

    人臉檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究方向,它涉及到從圖像或視頻中檢測(cè)出人臉的位置和大小。隨著深度學(xué)習(xí)技術(shù)的發(fā)展,人臉
    的頭像 發(fā)表于 07-03 17:05 ?1070次閱讀

    人臉檢測(cè)人臉識(shí)別的區(qū)別是什么

    人臉檢測(cè)人臉識(shí)別是計(jì)算機(jī)視覺領(lǐng)域的兩個(gè)重要技術(shù),它們?cè)谠S多應(yīng)用場(chǎng)景中都有廣泛的應(yīng)用,如安全監(jiān)控、身份驗(yàn)證、社交媒體等。盡管它們?cè)谀承┓矫嬗邢嗨浦?,但它們之間存在一些關(guān)鍵的區(qū)別。本文
    的頭像 發(fā)表于 07-03 14:49 ?1282次閱讀

    人臉檢測(cè)的五種方法各有什么特征和優(yōu)缺點(diǎn)

    人臉檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究方向,主要用于識(shí)別和定位圖像中的人臉。以下是五種常見的人臉檢測(cè)
    的頭像 發(fā)表于 07-03 14:47 ?872次閱讀

    人臉檢測(cè)與識(shí)別的方法有哪些

    人臉檢測(cè)與識(shí)別是計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)重要研究方向,具有廣泛的應(yīng)用前景,如安全監(jiān)控、身份認(rèn)證、智能視頻分析等。本文將詳細(xì)介紹人臉檢測(cè)與識(shí)別的方法。 引言
    的頭像 發(fā)表于 07-03 14:45 ?743次閱讀

    ESP32-S3運(yùn)行人臉檢測(cè)功耗有多大呢?

    ESP32-S3運(yùn)行人臉檢測(cè),功耗有多大?
    發(fā)表于 06-26 06:32

    人臉識(shí)別技術(shù)的原理是什么 人臉識(shí)別技術(shù)的特點(diǎn)有哪些

    人臉識(shí)別技術(shù)的原理 人臉識(shí)別技術(shù)是一種通過計(jì)算機(jī)以圖像或視頻為輸入,識(shí)別、檢測(cè)、跟蹤和分析人臉
    的頭像 發(fā)表于 02-18 13:52 ?1986次閱讀