一種視覺(jué)顯著性與短語(yǔ)相結(jié)合的圖像檢索方法
【專利摘要】本發(fā)明涉及一種視覺(jué)顯著性與短語(yǔ)相結(jié)合的圖像檢索方法，包括：輸入一幅查詢圖像；計(jì)算查詢圖像的顯著圖；提取查詢圖像的顯著性區(qū)域；提取查詢圖像顯著性區(qū)域的視覺(jué)詞，構(gòu)造視覺(jué)短語(yǔ)；獲得每幅圖像的圖像描述子；計(jì)算查詢圖像與圖庫(kù)中每幅圖像的圖像相似度，根據(jù)相似度值對(duì)圖庫(kù)中的所有圖像進(jìn)行排序，并按要求返回相關(guān)圖像作為查詢結(jié)果。本發(fā)明在經(jīng)典的“詞袋”模型基礎(chǔ)上通過(guò)引入視覺(jué)顯著性對(duì)圖像區(qū)域進(jìn)行約束，降低了圖像表達(dá)的噪聲，使圖像在計(jì)算機(jī)中的表達(dá)更符合人類對(duì)圖像語(yǔ)義的理解，使本發(fā)明具有良好的檢索效果。本發(fā)明通過(guò)視覺(jué)詞間的區(qū)域約束來(lái)構(gòu)造視覺(jué)短語(yǔ)，與其它構(gòu)造視覺(jué)短語(yǔ)方法相比，具有較快的速度。
【專利說(shuō)明】一種視覺(jué)顯著性與短語(yǔ)相結(jié)合的圖像檢索方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理領(lǐng)域，涉及圖像檢索中的圖像表示與匹配方法，具體涉及一種視覺(jué)顯著性與短語(yǔ)相結(jié)合的圖像檢索方法。
【背景技術(shù)】
[0002]隨著計(jì)算機(jī)、網(wǎng)絡(luò)以及多媒體技術(shù)的迅速發(fā)展和應(yīng)用，數(shù)字圖像的數(shù)量正以驚人的速度增長(zhǎng)，如何快速高效地從海量數(shù)字圖像集合中找到人們需要的圖像成為一個(gè)亟待解決的問(wèn)題。為此，圖像檢索技術(shù)應(yīng)運(yùn)而生并取得了很大的發(fā)展，從最早基于圖像人工標(biāo)注的檢索，發(fā)展到現(xiàn)在基于圖像內(nèi)容的檢索，圖像檢索的精度和效率也都有顯著提高，但仍無(wú)法滿足人們的需求。其問(wèn)題的關(guān)鍵在于目前還沒(méi)有一種方法能夠使計(jì)算機(jī)完全像人一樣的理解圖像語(yǔ)義。如果能夠進(jìn)一步挖掘圖像的真實(shí)含義，并在計(jì)算機(jī)中準(zhǔn)確表達(dá)，勢(shì)必會(huì)提升圖像檢索的效果。
[0003]在有關(guān)圖像檢索的文獻(xiàn)中，目前普遍使用“詞袋”模型進(jìn)行檢索，該模型的核心思想是通過(guò)對(duì)圖像局部特征的提取與描述來(lái)描述整幅圖像。主要分為五步:第一，檢測(cè)圖像的特征點(diǎn)，或者圖像的角點(diǎn)，通常統(tǒng)稱為興趣點(diǎn)；第二，描述興趣點(diǎn)，通常是用一個(gè)向量來(lái)描述一個(gè)點(diǎn)，這個(gè)向量稱為該點(diǎn)的描述子；第三，對(duì)所有訓(xùn)練樣本圖像的興趣點(diǎn)描述子進(jìn)行聚類，得到包含若干詞的詞典；第四，把查詢圖像的所有興趣點(diǎn)描述子向詞典進(jìn)行映射，得到圖像描述子；第五，把查詢圖庫(kù)中的每幅圖像的所有興趣點(diǎn)描述子向詞典進(jìn)行映射，得到圖像描述子，并與查詢圖像的描述子進(jìn)行匹配，獲得檢索結(jié)果。該模型用于圖像檢索可以取得良好的效果，但在表示圖像時(shí)只是對(duì)映射得到的視覺(jué)詞進(jìn)行了統(tǒng)計(jì)，缺乏視覺(jué)詞間的空間關(guān)系。
[0004]另一方面，在基于“詞袋”模型的圖像檢索中，人們是對(duì)整幅圖像提取視覺(jué)詞，這樣容易引入許多噪聲。例如，在一些圖像中，圖像背景并不是人們真正關(guān)注的區(qū)域，不能表達(dá)圖像所包含的語(yǔ)義，提取圖像背景區(qū)域的視覺(jué)詞來(lái)表示圖像，不僅會(huì)增加冗余信息，也會(huì)使圖像的表達(dá)效果受到影響。

【發(fā)明內(nèi)容】

[0005]針對(duì)現(xiàn)有圖像檢索技術(shù)中存在的圖像語(yǔ)義表達(dá)不夠準(zhǔn)確的問(wèn)題，本發(fā)明提出一種視覺(jué)顯著性與短語(yǔ)相結(jié)合的圖像檢索方法。該方法通過(guò)引入視覺(jué)顯著性對(duì)圖像區(qū)域進(jìn)行約束，并在顯著性區(qū)域內(nèi)構(gòu)建視覺(jué)短語(yǔ)進(jìn)行檢索。此處的“短語(yǔ)”是相對(duì)于“詞袋”模型中視覺(jué)詞而言，是由視覺(jué)詞以某種規(guī)則組合而成，通過(guò)構(gòu)造視覺(jué)短語(yǔ)增強(qiáng)了視覺(jué)詞間的空間關(guān)系。
[0006]一種視覺(jué)顯著性與短語(yǔ)相結(jié)合的圖像檢索方法，其特征在于包括以下步驟:
[0007]步驟1，輸入一幅查詢圖像。
[0008]步驟2，計(jì)算查詢圖像的顯著圖。
[0009]步驟3，利用視點(diǎn)轉(zhuǎn)移模型在步驟2所得到的顯著圖上模擬人類觀察該圖像時(shí)的視點(diǎn)變化，定義視點(diǎn)周圍的區(qū)域?yàn)轱@著性區(qū)域。[0010]步驟4，在步驟3所得到的顯著性區(qū)域內(nèi)提取視覺(jué)單詞，根據(jù)視覺(jué)單詞間的共生關(guān)系構(gòu)造視覺(jué)短語(yǔ)，統(tǒng)計(jì)整個(gè)查詢圖像中每個(gè)視覺(jué)短語(yǔ)出現(xiàn)的次數(shù)，并將查詢圖像以視覺(jué)短語(yǔ)直方圖的形式表示。
[0011]步驟5，對(duì)查詢圖庫(kù)中的所有圖像進(jìn)行步驟2~4的操作，將查詢圖庫(kù)中的每幅圖像表示為視覺(jué)短語(yǔ)直方圖的形式。
[0012]步驟6，對(duì)查詢圖像和查詢圖庫(kù)中的每幅圖像進(jìn)行相似性度量計(jì)算，根據(jù)查詢圖庫(kù)中每幅圖像與查詢圖像的相似性得分返回檢索結(jié)果。
[0013]本發(fā)明的方法具有以下優(yōu)點(diǎn):
[0014]1.本發(fā)明在經(jīng)典的“詞袋”模型基礎(chǔ)上通過(guò)引入視覺(jué)顯著性對(duì)圖像區(qū)域進(jìn)行約束，降低了圖像表達(dá)的噪聲，使圖像在計(jì)算機(jī)中的表達(dá)更符合人類對(duì)圖像語(yǔ)義的理解，使本發(fā)明具有良好的檢索效果。
[0015]2.本發(fā)明僅通過(guò)視覺(jué)詞間的區(qū)域約束來(lái)構(gòu)造視覺(jué)短語(yǔ)，與其它構(gòu)造視覺(jué)短語(yǔ)方法相比，本發(fā)明具有較快的速度。
【專利附圖】

【附圖說(shuō)明】
[0016]圖1是本發(fā)明所涉及方法全過(guò)程的流程圖。
[0017]圖2是生成圖像描述子的流程圖。
【具體實(shí)施方式】
[0018]下面結(jié)合【具體實(shí)施方式】對(duì)本發(fā)明做進(jìn)一步的說(shuō)明。
[0019]本發(fā)明所述方法的流程圖如圖1所示，包括以下步驟:
[0020]步驟I，輸入一幅寬為W、高為H的查詢圖像I。
[0021]步驟2，計(jì)算該查詢圖像的顯著圖。
[0022]步驟2.1，將圖像I均勻切分成L個(gè)不重疊的圖像塊Pi，i = 1，2，...，L，使切分后每行包含N個(gè)圖像塊，每列包含J個(gè)圖像塊，每個(gè)圖像塊是一個(gè)方塊，將每個(gè)圖像塊Pi向量化為列向量fi，并對(duì)所有向量通過(guò)主成分分析進(jìn)行降維，降維后等到一個(gè)dXL的矩陣U，其第i列對(duì)應(yīng)圖像塊Pi降維后的向量。矩陣U構(gòu)成為:
[0023]U = [X1 X2 …XJt (I)
[0024]步驟2.2，計(jì)算每個(gè)圖像塊Pi的視覺(jué)顯著性程度。
[0025]視覺(jué)顯著性程度為:
【權(quán)利要求】
1.一種視覺(jué)顯著性與短語(yǔ)相結(jié)合的圖像檢索方法，其特征在于，引入視覺(jué)顯著性對(duì)圖像區(qū)域進(jìn)行約束，并在顯著性區(qū)域內(nèi)構(gòu)建視覺(jué)短語(yǔ)進(jìn)行檢索；所述方法包括以下步驟: 步驟I，輸入一幅寬為W、高為H的查詢圖像I ; 步驟2，計(jì)算查詢圖像I的顯著圖； 步驟2.1，將圖像I均勻切分成L個(gè)不重疊的圖像塊Pi，i = 1，2，...，L，使切分后每行包含N個(gè)圖像塊，每列包含J個(gè)圖像塊，每個(gè)圖像塊是一個(gè)方塊，將每個(gè)圖像塊Pi向量化為列向量fi，并對(duì)所有向量通過(guò)主成分分析進(jìn)行降維，降維后等到一個(gè)dXL的矩陣U，其第i列對(duì)應(yīng)圖像塊Pi降維后的向量；矩陣U構(gòu)成為: U= [X1 X2 …XJt 步驟2.2，計(jì)算每個(gè)圖像塊Pi的視覺(jué)顯著性程度； 視覺(jué)顯著性程度為:
2.根據(jù)權(quán)利要求1所述的一種視覺(jué)顯著性與短語(yǔ)相結(jié)合的圖像檢索方法，其特征在于，所述步驟4還包括以下步驟: 步驟4.1，構(gòu)造詞典； 利用SIFT算法從查詢圖庫(kù)中不同類別的圖像中提取SIFT特征點(diǎn)，將所有特征點(diǎn)向量集合到一塊，利用K-Means聚類算法合并相似的SIFT特征點(diǎn)，構(gòu)造一個(gè)包含若干個(gè)詞匯的詞典，假設(shè)字典的大小為m; 步驟4.2，提取圖像I顯著性區(qū)域的視覺(jué)詞，統(tǒng)計(jì)顯著性區(qū)域內(nèi)視覺(jué)詞的個(gè)數(shù)； 統(tǒng)計(jì)顯著性區(qū)域內(nèi)視覺(jué)詞的個(gè)數(shù)，第k個(gè)顯著性區(qū)域region,內(nèi)第j個(gè)單詞的個(gè)數(shù)為u丨 步驟4.3，構(gòu)造視覺(jué)短語(yǔ)； 在同一個(gè)顯著性區(qū)域出現(xiàn)的兩個(gè)不同的視覺(jué)詞麗df和，且j關(guān)j’，則worrff和wore/)?構(gòu)成視覺(jué)短語(yǔ)坤rasef ; 步驟4.4，統(tǒng)計(jì)視覺(jué)短語(yǔ)頻率； 首先，分別統(tǒng)計(jì)每個(gè)顯著性區(qū)域內(nèi)短語(yǔ)出現(xiàn)的次數(shù)，取兩個(gè)共生視覺(jué)詞的最小詞頻作為由這兩個(gè)詞構(gòu)成的短語(yǔ)的出現(xiàn)次數(shù)::
【文檔編號(hào)】G06F17/30GK103838864SQ201410105536
【公開(kāi)日】2014年6月4日 申請(qǐng)日期:2014年3月20日 優(yōu)先權(quán)日:2014年3月20日
【發(fā)明者】段立娟, 趙則明, 馬偉, 張璇, 苗軍, 喬元華 申請(qǐng)人:北京工業(yè)大學(xué)