一套能夠進(jìn)行心理健康以及信用分析的系統(tǒng)

近日，由盧志武博士領(lǐng)導(dǎo)的中國人民大學(xué)信息學(xué)院機(jī)器學(xué)習(xí)研究組開發(fā)了一套 AI 讀心師系統(tǒng)，該系統(tǒng)可以通過分析一段短視頻，來進(jìn)行心理健康分析、個(gè)人信用評估、五重性格測試等，可應(yīng)用于銀行面簽、法庭庭審、公司面試等多個(gè)場景。

AI 讀心師系統(tǒng)

中國人民大學(xué)信息學(xué)院機(jī)器學(xué)習(xí)研究組由盧志武博士，以及 10 余名博士生與碩士生組成，屬于文繼榮教授的大數(shù)據(jù)分析團(tuán)隊(duì)。該研究組在 TPAMI、IJCV、NIPS、CVPR 等頂級(jí)期刊/會(huì)議上發(fā)表 40 余篇論文，主持了國家自然科學(xué)基金、軍委科技委等多個(gè)國家項(xiàng)目，還曾獲人工智能國際權(quán)威評測 ImageNet 2015 視頻檢測任務(wù)亞軍。

據(jù)盧志武博士的介紹，AI 讀心師系統(tǒng)作為一套能夠進(jìn)行心理健康以及信用分析的系統(tǒng)，主要基于該研究組在精神疾病診斷、視頻測謊兩個(gè)方向上的研究成果。下面我們進(jìn)行一一介紹：

可快速檢測 ASD 和 MDD 的深度學(xué)習(xí)模型 DeepInsight

將人工智能技術(shù)應(yīng)用到精神疾病診斷這一領(lǐng)域，是研究組的一個(gè)重要嘗試，其相關(guān)的研究成果也發(fā)表在了計(jì)算機(jī)視覺權(quán)威會(huì)議 BMVC 2018（全稱為 British Machine Vision Conference，為次于 CVPR、ICCV、ECCV 的第四大計(jì)算機(jī)視覺會(huì)議）。他們在論文（下載地址：http://bmvc2018.org/contents/papers/0406.pdf）中，提出了一種新的深度學(xué)習(xí)模型——DeepInsight，該模型可用于快速檢測自閉癥譜系障礙（ASD）和重度抑郁障礙（MDD）。

據(jù)之前的醫(yī)學(xué)研究表明，患有自閉癥的兒童與正常發(fā)育的兒童在面部特征上存在明顯差異?；谶@一發(fā)現(xiàn)，研究組初步考慮利用深度學(xué)習(xí)方法提取對自閉癥診斷有辨別力的面部特征。然而，由于現(xiàn)有的標(biāo)記數(shù)據(jù)（真實(shí)患者數(shù)據(jù)）遠(yuǎn)遠(yuǎn)不能滿足對自閉癥診斷深度模型的訓(xùn)練，因而他們嘗試通過同時(shí)考慮兩種典型的精神障礙（ASD 和 MDD）來完成相關(guān)的任務(wù)，并提出了一個(gè)多任務(wù)多尺度深度學(xué)習(xí)模型 DeepInsight，以便對每個(gè)診斷任務(wù)的標(biāo)記數(shù)據(jù)進(jìn)行擴(kuò)充，提升深度學(xué)習(xí)模型的性能。

圖 1 多任務(wù)多尺度深度學(xué)習(xí)模型 DeepInsight

本文通過從醫(yī)院收集真實(shí)患者數(shù)據(jù)以及從微博等社交媒體收集患者數(shù)據(jù)，首次創(chuàng)建了公開的自閉癥和抑郁癥人臉數(shù)據(jù)集。基于這一數(shù)據(jù)集，DeepInsight 模型最終取得非常出色的成績——自閉診與抑郁癥的診斷準(zhǔn)確率均接近 90%（如圖 2），驗(yàn)證了該診斷模型的有效性。

圖 2 自閉診與抑郁癥診斷模型的結(jié)果比較

視頻測謊深度學(xué)習(xí)模型 FFCSN

研究組還將人工智能技術(shù)應(yīng)用于視頻測謊 (deception detection from videos）[2]，其相關(guān)論文的網(wǎng)址為：http://arxiv.org/abs/1812.04429。目前，視頻測謊問題面臨兩大挑戰(zhàn)：(1) 如何有效地融合面部和動(dòng)作信息來判斷視頻中個(gè)體是否說謊；(2) 真實(shí)視頻數(shù)據(jù)集規(guī)模很小，如何將深度學(xué)習(xí)應(yīng)用在數(shù)量有限的訓(xùn)練數(shù)據(jù)上。為了解決這些問題，本文提出了 face-focused cross-stream network（FFCSN）模型（如圖 3）。

圖 3 視頻測謊深度學(xué)習(xí)模型 FFCSN

不同于常見的雙流網(wǎng)絡(luò)模型（two-stream network），F(xiàn)FCSN 模型考慮將人臉檢測用于空間流來捕捉面部特征，并在整個(gè)網(wǎng)絡(luò)中利用相關(guān)學(xué)習(xí)來融合時(shí)空特征進(jìn)行聯(lián)合訓(xùn)練。此外，F(xiàn)FCSN 模型還引入了元學(xué)習(xí)（meta learning）和對抗學(xué)習(xí)（adversarial learning）來解決訓(xùn)練數(shù)據(jù)量小的問題。

FFCSN 模型在公開的真實(shí)庭審視頻數(shù)據(jù)集上取得了當(dāng)前最好的結(jié)果，同時(shí)，該模型在考慮音頻與文本信息后實(shí)現(xiàn)了 97% 的識(shí)別準(zhǔn)確率（如圖 4），驗(yàn)證了該模型在視頻測謊中非常有效。

圖 4 視頻測謊模型的結(jié)果比較

AI 讀心師系統(tǒng)的具體實(shí)現(xiàn)方式

得益于上述研究成果，AI 讀心師系統(tǒng)應(yīng)運(yùn)而生?；谌四樧R(shí)別技術(shù)，該系統(tǒng)主要有三個(gè)功能模塊：1. 心理健康測評；2. 個(gè)人信用分析；3. 五重性格評估。具體實(shí)現(xiàn)方式上，輸入被測試者的面部表情短視頻后，系統(tǒng)會(huì)輸出心理健康分析、個(gè)人信用評估、五重性格測試三個(gè)維度的分析結(jié)果。

其分析流程及采用的主要算法和模型描述如下：

1. 人臉檢測：被試人面部表情視頻流輸入，經(jīng)過 opencv 和 ffmpeg 工具進(jìn)行視頻抽幀，由人臉檢測模型（多任務(wù)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò) MTCNN）對每幀中的人臉進(jìn)行檢測、裁剪、矯正后得到標(biāo)準(zhǔn)人臉圖像，并作為后續(xù)三個(gè)分析模塊的輸入數(shù)據(jù)；

2. 心理健康測評：人臉檢測部分得到的標(biāo)準(zhǔn)人臉圖像根據(jù)是否正臉 、是否清晰、裁剪尺寸適當(dāng)?shù)脑瓌t經(jīng)過篩后得到一張關(guān)鍵人臉圖像，將該關(guān)鍵人臉圖像輸入預(yù)訓(xùn)練好的心理健康測評模型（InceptionV3 使用心理健康人臉圖像數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練）中進(jìn)行特征提取，并將提取出的人臉特征輸入 SVM 分類器中進(jìn)行分類，最終得到該模塊輸出，即心理健康程度評分；

3. 個(gè)人信用分析：人臉檢測部分得到的標(biāo)準(zhǔn)人臉序列輸入到預(yù)訓(xùn)練好的個(gè)人信用分析模型中（ResNet34 使用個(gè)人信用人臉圖像序列數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練）進(jìn)行特征提取并分類，該模塊不提取關(guān)鍵幀，即對被試人員面部表情視頻流中出現(xiàn)的所有人臉圖像進(jìn)行分析，將每一幀人臉圖像分析結(jié)果進(jìn)行加權(quán)匯總后給出該模塊最終分析結(jié)果，即個(gè)人信用評分；

4. 五重性格評估：人臉檢測部分得到的標(biāo)準(zhǔn)人臉序列輸入到預(yù)訓(xùn)練好的五重性格評估模型（ResNet34 使用五重性格人臉圖像序列數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練）中進(jìn)行特征提取及分類，該模塊也不提取關(guān)鍵幀，即對被試人員面部表情視頻流中出現(xiàn)的所有人臉圖像進(jìn)行分析，將每一幀人臉圖像分析結(jié)果進(jìn)行加權(quán)匯總后給出該模塊最終分析結(jié)果，即被試人員五重性格各維度的評分。

目前，該系統(tǒng)已有實(shí)體店智慧零售、高中生心理健康測試等成功案例。例如在心理健康測試方面，AI 讀心師系統(tǒng)通過分析某高中一年級(jí) 1200 余名學(xué)生的信息，將 AI 得到的結(jié)果與調(diào)查問卷的結(jié)果相互驗(yàn)證，最終發(fā)現(xiàn) 17 疑似例抑郁癥樣本。