開發(fā)大規(guī)模圖像庫的搜索和瀏覽算法，使得圖像自動標注的重要性日益增強。基于隱馬爾科夫模型（HMM）與卷積神經(jīng)網(wǎng)絡（CNN），我們提出了一種新的圖像標注方法HMM + CNN。首先，訓練一個多標簽學習的CNN網(wǎng)絡作為概念分類器；其次，通過一階HMM模型把圖像內(nèi)容與語義相關(guān)性相結(jié)合以精煉該CNN的預測分數(shù)；最后，為改善對稀疏概念的標注性能，應用梯度下降算法來補償在真實應用中不平衡圖像集上標注概念的頻率差。在IAPR TC-12標準圖像標注數(shù)據(jù)集上對比了其他傳統(tǒng)方法，結(jié)果表明我們的標注方法在查準率和查全率上性能更優(yōu)。

　　隨著互聯(lián)網(wǎng)技術(shù)與多媒體共享社區(qū)的不斷發(fā)展，大量的多媒體內(nèi)容已進入我們的日常生活，如何高效準確地對海量的未標注圖像等媒體內(nèi)容進行搜索、瀏覽、管理變得尤為重要，這也使得圖像自動標注的重要性日益增強。近年來眾多學者對圖像自動標注方法做了大量的研究，取得了若干階段性成果，例如淺度學習方法：支持向量機SVM 、核典型相關(guān)分析KCCA-2PKNN 、稀疏核學習SKL-CRM 、快速標注FastTag 、離散多重伯努利模型SVM-DMBRM 、圖像距離尺度學習NSIDML 、生成判別聯(lián)合模型GDM ；以及最近流行的深度學習方法：漸進式深度自動圖像標注ADA、圖像標簽對齊模型SEM ［9］和圖拉普拉斯正則化深度神經(jīng)網(wǎng)絡HQ-III 等。這些傳統(tǒng)的圖像標注方法考慮了視覺特征與語義概念之間的關(guān)聯(lián)，而在標注概念之間語義關(guān)聯(lián)方面還存在諸多未得到很好解決的問題。很多方法僅在平衡的小概念字典上完成，而在帶有大概念字典的數(shù)據(jù)集上，語義概念分布或者語義概念出現(xiàn)頻率呈現(xiàn)較大差異（即概念的不平衡性），這大大影響了標注方法的效果。因此，研究在不平衡圖像庫上的自動圖像標注很有必要也很有意義。

　　在圖像標注領(lǐng)域，深度學習方法（如卷積神經(jīng)網(wǎng)絡CNN）比傳統(tǒng)淺度學習方法在性能上大大提升，然而，其并未很好考慮語義概念之間的關(guān)聯(lián)，這影響了其性能的進一步改善。本文針對該問題，提出了一種基于隱馬爾科夫模型（HMM）與卷積神經(jīng)網(wǎng)絡（CNN）的自動圖像標注方法HMM + CNN，該方法使用HMM 模型來校正語義標簽：把圖像標注過程視為檢索有相互關(guān)聯(lián)的隱藏語義概念序列過程，它提高了高度關(guān)聯(lián)的相關(guān)概念語義分數(shù)而弱化了毫無關(guān)聯(lián)的概念語義分數(shù)，提高了標注精度。在HMM 模型里，所有的隱狀態(tài)可以構(gòu)成一條一階馬爾可夫鏈，而每個隱狀態(tài)代表一個隱藏語義概念，兩個隱狀態(tài)之間的邊權(quán)重表示它們的語義相關(guān)性，隱狀態(tài)到可觀測狀態(tài)之間的邊表示由CNN 分類器產(chǎn)生的視覺語義分數(shù)。在學習過程中，考慮到真實圖像集上語義概念分布的不均衡性，引入了語義概念的權(quán)重學習，其在計算發(fā)射概率和轉(zhuǎn)移概率的過程中減弱了頻繁概念的權(quán)重，而提升稀疏概念的權(quán)重，于是大大提高了稀疏概念標注的性能。最后，把我們的標注方法HMM + CNN 應用于標準標注圖像集IAPR TC-12 ，結(jié)果表明我們提出的標注方法HMM + CNN 標注精度比較高，是自動圖像標注的一種有效方法。