讓你戴著口罩也能追蹤面部表情的耳機(jī)

康奈爾大學(xué)的研究人員發(fā)明了一種耳機(jī)系統(tǒng)，可以跟蹤佩戴者的面部表情，即使他們戴著口罩。C-Face可以監(jiān)控臉頰輪廓，并將佩戴者的表情轉(zhuǎn)換為表情符號(hào)。例如，這可以讓人們?cè)谌航M通話無需打開網(wǎng)絡(luò)攝像頭就能表達(dá)自己的情緒。

康奈爾大學(xué)科幻實(shí)驗(yàn)室主任、一篇關(guān)于C-Face的論文的資深作者Cheng Zhang在一份聲明中說：“這種設(shè)備比任何現(xiàn)有的耳掛式可穿戴技術(shù)更簡(jiǎn)單，不那么突兀，功能更強(qiáng)大。在以往旨在識(shí)別面部表情的可穿戴技術(shù)中，大多數(shù)解決方案都需要在面部安裝傳感器，即使使用了如此多的儀器，也只能識(shí)別有限的面部表情?！?/p>

耳機(jī)使用了兩個(gè)RGB攝像頭，分別位于每個(gè)耳朵下方。當(dāng)佩戴者面部肌肉運(yùn)動(dòng)時(shí)，他們可以記錄面頰輪廓的變化。

一旦使用計(jì)算機(jī)視覺和深度學(xué)習(xí)模型重建圖像，卷積神經(jīng)網(wǎng)絡(luò)就會(huì)分析2D圖像。該技術(shù)可以將這些信息轉(zhuǎn)換為 42 個(gè)面部特征點(diǎn)，代表佩戴者的嘴巴、眼睛和眉毛的位置和形狀。

C-Face可以將這些表情轉(zhuǎn)換成八種表情符號(hào)，包括中性或憤怒的表情。該系統(tǒng)還可以使用面部提示來控制音樂應(yīng)用程序的播放選項(xiàng)。其他可能的用途還包括，在游戲中使用化身來表達(dá)人的真實(shí)情感。教師也可以追蹤學(xué)生在遠(yuǎn)程課堂上的參與度。

由于COVID-19的影響，研究人員只能對(duì)9名參與者進(jìn)行C-Face測(cè)試。不過，表情識(shí)別的準(zhǔn)確率超過了88%，面部表情的識(shí)別準(zhǔn)確率也超過了85%。研究人員發(fā)現(xiàn)耳機(jī)的電池容量限制了系統(tǒng)。他們計(jì)劃開發(fā)低強(qiáng)度的傳感技術(shù)。

原文標(biāo)題：戴著口罩也能追蹤面部表情嗎？這款耳機(jī)給你答案（視頻）

文章出處：【微信公眾號(hào)：IEEE電氣電子工程師學(xué)會(huì)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq