基于隱馬爾科夫模型和卷積神經(jīng)網(wǎng)絡(luò)的圖像標(biāo)注方法

　　開發(fā)大規(guī)模圖像庫的搜索和瀏覽算法，使得圖像自動(dòng)標(biāo)注的重要性日益增強(qiáng)?；陔[馬爾科夫模型（HMM）與卷積神經(jīng)網(wǎng)絡(luò)（CNN），我們提出了一種新的圖像標(biāo)注方法HMM + CNN。首先，訓(xùn)練一個(gè)多標(biāo)簽學(xué)習(xí)的CNN網(wǎng)絡(luò)作為概念分類器；其次，通過一階HMM模型把圖像內(nèi)容與語義相關(guān)性相結(jié)合以精煉該CNN的預(yù)測(cè)分?jǐn)?shù)；最后，為改善對(duì)稀疏概念的標(biāo)注性能，應(yīng)用梯度下降算法來補(bǔ)償在真實(shí)應(yīng)用中不平衡圖像集上標(biāo)注概念的頻率差。在IAPR TC-12標(biāo)準(zhǔn)圖像標(biāo)注數(shù)據(jù)集上對(duì)比了其他傳統(tǒng)方法，結(jié)果表明我們的標(biāo)注方法在查準(zhǔn)率和查全率上性能更優(yōu)。

　　隨著互聯(lián)網(wǎng)技術(shù)與多媒體共享社區(qū)的不斷發(fā)展，大量的多媒體內(nèi)容已進(jìn)入我們的日常生活，如何高效準(zhǔn)確地對(duì)海量的未標(biāo)注圖像等媒體內(nèi)容進(jìn)行搜索、瀏覽、管理變得尤為重要，這也使得圖像自動(dòng)標(biāo)注的重要性日益增強(qiáng)。近年來眾多學(xué)者對(duì)圖像自動(dòng)標(biāo)注方法做了大量的研究，取得了若干階段性成果，例如淺度學(xué)習(xí)方法：支持向量機(jī)SVM 、核典型相關(guān)分析KCCA-2PKNN 、稀疏核學(xué)習(xí)SKL-CRM 、快速標(biāo)注FastTag 、離散多重伯努利模型SVM-DMBRM 、圖像距離尺度學(xué)習(xí)NSIDML 、生成判別聯(lián)合模型GDM ；以及最近流行的深度學(xué)習(xí)方法：漸進(jìn)式深度自動(dòng)圖像標(biāo)注ADA、圖像標(biāo)簽對(duì)齊模型SEM ［9］和圖拉普拉斯正則化深度神經(jīng)網(wǎng)絡(luò)HQ-III 等。這些傳統(tǒng)的圖像標(biāo)注方法考慮了視覺特征與語義概念之間的關(guān)聯(lián)，而在標(biāo)注概念之間語義關(guān)聯(lián)方面還存在諸多未得到很好解決的問題。很多方法僅在平衡的小概念字典上完成，而在帶有大概念字典的數(shù)據(jù)集上，語義概念分布或者語義概念出現(xiàn)頻率呈現(xiàn)較大差異（即概念的不平衡性），這大大影響了標(biāo)注方法的效果。因此，研究在不平衡圖像庫上的自動(dòng)圖像標(biāo)注很有必要也很有意義。

　　在圖像標(biāo)注領(lǐng)域，深度學(xué)習(xí)方法（如卷積神經(jīng)網(wǎng)絡(luò)CNN）比傳統(tǒng)淺度學(xué)習(xí)方法在性能上大大提升，然而，其并未很好考慮語義概念之間的關(guān)聯(lián)，這影響了其性能的進(jìn)一步改善。本文針對(duì)該問題，提出了一種基于隱馬爾科夫模型（HMM）與卷積神經(jīng)網(wǎng)絡(luò)（CNN）的自動(dòng)圖像標(biāo)注方法HMM + CNN，該方法使用HMM 模型來校正語義標(biāo)簽：把圖像標(biāo)注過程視為檢索有相互關(guān)聯(lián)的隱藏語義概念序列過程，它提高了高度關(guān)聯(lián)的相關(guān)概念語義分?jǐn)?shù)而弱化了毫無關(guān)聯(lián)的概念語義分?jǐn)?shù)，提高了標(biāo)注精度。在HMM 模型里，所有的隱狀態(tài)可以構(gòu)成一條一階馬爾可夫鏈，而每個(gè)隱狀態(tài)代表一個(gè)隱藏語義概念，兩個(gè)隱狀態(tài)之間的邊權(quán)重表示它們的語義相關(guān)性，隱狀態(tài)到可觀測(cè)狀態(tài)之間的邊表示由CNN 分類器產(chǎn)生的視覺語義分?jǐn)?shù)。在學(xué)習(xí)過程中，考慮到真實(shí)圖像集上語義概念分布的不均衡性，引入了語義概念的權(quán)重學(xué)習(xí)，其在計(jì)算發(fā)射概率和轉(zhuǎn)移概率的過程中減弱了頻繁概念的權(quán)重，而提升稀疏概念的權(quán)重，于是大大提高了稀疏概念標(biāo)注的性能。最后，把我們的標(biāo)注方法HMM + CNN 應(yīng)用于標(biāo)準(zhǔn)標(biāo)注圖像集IAPR TC-12 ，結(jié)果表明我們提出的標(biāo)注方法HMM + CNN 標(biāo)注精度比較高，是自動(dòng)圖像標(biāo)注的一種有效方法。