視聽(tīng)結(jié)合進(jìn)行持續(xù)的情感預(yù)測(cè)

阿斯隆理工學(xué)院計(jì)算機(jī)與軟件工程系的研究人員致力于尋找合適的特征，并展示基于頭部和眼睛的線索在情緒預(yù)測(cè)上的有效性。

這個(gè)項(xiàng)目研究了基于頭部和眼睛的特征與語(yǔ)音的結(jié)合，用來(lái)進(jìn)行持續(xù)的情感預(yù)測(cè)。從這些模式中手工自動(dòng)產(chǎn)生和卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的特征將用于持續(xù)的情感預(yù)測(cè)。該工作采用的方法包括從視頻中收集LLDs（low level descriptors），然后根據(jù)提出的特征和特征組合輸入創(chuàng)建和評(píng)估BLSTM-RNN模型。作為特征工程過(guò)程的一部分，一些LLDs可以從基于頭部姿態(tài)、眼睛或視覺(jué)特征中獲取，而另一些LLD則根據(jù)原始數(shù)據(jù)測(cè)量的差異計(jì)算。

最近人們對(duì)人類(lèi)情感的機(jī)器識(shí)別產(chǎn)生了濃厚的興趣。該方法采用開(kāi)源軟件對(duì)通信環(huán)境的視聽(tīng)效果進(jìn)行實(shí)時(shí)預(yù)測(cè)。結(jié)果表明，與單獨(dú)使用語(yǔ)音相比，語(yǔ)音和眼神的結(jié)合提高了3.5%的喚醒預(yù)測(cè)和19.5%的效價(jià)預(yù)測(cè)準(zhǔn)確率。