基于隱馬爾科夫模型和卷積神經網絡的圖像標注方法

　　開發(fā)大規(guī)模圖像庫的搜索和瀏覽算法，使得圖像自動標注的重要性日益增強。基于隱馬爾科夫模型（HMM）與卷積神經網絡（CNN），我們提出了一種新的圖像標注方法HMM + CNN。首先，訓練一個多標簽學習的CNN網絡作為概念分類器；其次，通過一階HMM模型把圖像內容與語義相關性相結合以精煉該CNN的預測分數；最后，為改善對稀疏概念的標注性能，應用梯度下降算法來補償在真實應用中不平衡圖像集上標注概念的頻率差。在IAPR TC-12標準圖像標注數據集上對比了其他傳統(tǒng)方法，結果表明我們的標注方法在查準率和查全率上性能更優(yōu)。

　　隨著互聯網技術與多媒體共享社區(qū)的不斷發(fā)展，大量的多媒體內容已進入我們的日常生活，如何高效準確地對海量的未標注圖像等媒體內容進行搜索、瀏覽、管理變得尤為重要，這也使得圖像自動標注的重要性日益增強。近年來眾多學者對圖像自動標注方法做了大量的研究，取得了若干階段性成果，例如淺度學習方法：支持向量機SVM 、核典型相關分析KCCA-2PKNN 、稀疏核學習SKL-CRM 、快速標注FastTag 、離散多重伯努利模型SVM-DMBRM 、圖像距離尺度學習NSIDML 、生成判別聯合模型GDM ；以及最近流行的深度學習方法：漸進式深度自動圖像標注ADA、圖像標簽對齊模型SEM ［9］和圖拉普拉斯正則化深度神經網絡HQ-III 等。這些傳統(tǒng)的圖像標注方法考慮了視覺特征與語義概念之間的關聯，而在標注概念之間語義關聯方面還存在諸多未得到很好解決的問題。很多方法僅在平衡的小概念字典上完成，而在帶有大概念字典的數據集上，語義概念分布或者語義概念出現頻率呈現較大差異（即概念的不平衡性），這大大影響了標注方法的效果。因此，研究在不平衡圖像庫上的自動圖像標注很有必要也很有意義。

　　在圖像標注領域，深度學習方法（如卷積神經網絡CNN）比傳統(tǒng)淺度學習方法在性能上大大提升，然而，其并未很好考慮語義概念之間的關聯，這影響了其性能的進一步改善。本文針對該問題，提出了一種基于隱馬爾科夫模型（HMM）與卷積神經網絡（CNN）的自動圖像標注方法HMM + CNN，該方法使用HMM 模型來校正語義標簽：把圖像標注過程視為檢索有相互關聯的隱藏語義概念序列過程，它提高了高度關聯的相關概念語義分數而弱化了毫無關聯的概念語義分數，提高了標注精度。在HMM 模型里，所有的隱狀態(tài)可以構成一條一階馬爾可夫鏈，而每個隱狀態(tài)代表一個隱藏語義概念，兩個隱狀態(tài)之間的邊權重表示它們的語義相關性，隱狀態(tài)到可觀測狀態(tài)之間的邊表示由CNN 分類器產生的視覺語義分數。在學習過程中，考慮到真實圖像集上語義概念分布的不均衡性，引入了語義概念的權重學習，其在計算發(fā)射概率和轉移概率的過程中減弱了頻繁概念的權重，而提升稀疏概念的權重，于是大大提高了稀疏概念標注的性能。最后，把我們的標注方法HMM + CNN 應用于標準標注圖像集IAPR TC-12 ，結果表明我們提出的標注方法HMM + CNN 標注精度比較高，是自動圖像標注的一種有效方法。