一種基于聚類緊湊特征的海量圖像檢索系統(tǒng)的制作方法
【專利摘要】本發(fā)明屬于模式識別與信息處理【技術(shù)領(lǐng)域】，提供了基于聚類緊湊特征的海量圖像檢索系統(tǒng)，包括如下步驟：一、計(jì)算樣本圖像庫和測試圖像庫中圖像的局部特征；二、計(jì)算每幅圖像的聚類緊湊特征：對局部特征采用聚類方法獲取每類的聚類中心，再統(tǒng)計(jì)在每個聚類中的局部特征分布直方圖和空間統(tǒng)計(jì)信息，生成聚類緊湊特征；三、隨機(jī)采樣樣本圖像庫中的聚類緊湊特征，對采樣所得聚類緊湊特征中聚類中心的分量應(yīng)用聚類方法生成詞匯樹，將測試圖像庫中圖像的聚類緊湊特征都量化到詞匯樹上，生成相應(yīng)的倒排文件；四、采用改進(jìn)的基于詞匯樹的檢索算法進(jìn)行檢索：通過查詢詞匯樹的倒排文件，計(jì)算查詢圖像與圖像庫圖像聚類緊湊特征間的相似度權(quán)重進(jìn)行檢索。
【專利說明】一種基于聚類緊湊特征的海量圖像檢索系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于模式識別與信息處理【技術(shù)領(lǐng)域】，涉及計(jì)算機(jī)視覺方面的海量圖像處理，尤其涉及一種基于聚類緊湊特征的海量圖像檢索的研究和實(shí)現(xiàn)方案。本方案通過對視覺特征進(jìn)行基于聚類的緊湊描述并通過改進(jìn)的基于詞匯樹的檢索算法快速高效的在海量圖像中檢索出相似圖片。
【背景技術(shù)】
[0002]目前，隨著互聯(lián)網(wǎng)圖像數(shù)據(jù)的爆炸性增長，如何從圖像大數(shù)據(jù)中檢索出最相似的圖片變?yōu)橐豁?xiàng)非常有挑戰(zhàn)的主題并吸引了大量的研究工作。圖像檢索具有廣泛的應(yīng)用場景，在電子商務(wù)，社交網(wǎng)絡(luò)，商品或風(fēng)景推薦等方面應(yīng)用價(jià)值越來越高?？紤]一個最廣泛也最通用的場景，用戶在大規(guī)模的圖像庫中發(fā)現(xiàn)一張感興趣的圖片，可以是商品圖片也可以風(fēng)景，藝術(shù)等類型圖片，想要快速準(zhǔn)確的檢索到這個圖像庫中與之最相似的圖片。傳統(tǒng)的圖像檢索通過提取圖像的視覺特征包括像顏色、輪廓、紋理這樣的底層特征和高維特征，在根據(jù)視覺特征計(jì)算相似度距離進(jìn)行檢索。海量圖像檢索的關(guān)鍵是在保持檢索性能的情況下快速高效根據(jù)特征檢索相似圖像。
[0003]但由于包含相同的物品或場景的圖片存在極大的差異，特別是由于光照，旋轉(zhuǎn)，聚焦的影響，更別說相同類別不同物品之間的多樣性，使海量圖像檢索存在特定的挑戰(zhàn)。傳統(tǒng)的基于內(nèi)容的圖像檢索在檢索精度和檢索效率上都不能滿足海量圖像檢索的需求。與此同時(shí)，圖像多樣性和海量數(shù)據(jù)增加了緊湊并具有高辨識度的視覺特征，更加魯棒的索引結(jié)構(gòu)和檢索算法的需求。為了獲取高辨識度的視覺特征，研究者提出了多種有效的算法，包括綁定多種特征生成詞匯包[1]_[6]，探索局部特征間的幾何結(jié)構(gòu)[7]-[10]和空間分布信息
[4],[11]_[13]。然而當(dāng)圖像庫中圖像的數(shù)量增加到百萬級別，這些算法會產(chǎn)生巨大的計(jì)算和存儲開銷，不利于系統(tǒng)實(shí)現(xiàn)。為了改善海量圖像檢索存在的計(jì)算和存儲開銷大的問題，[7，14，15]采用詞匯樹的索引結(jié)構(gòu)成功地提高檢索速度。詞匯樹索引結(jié)構(gòu)是通過對樣本圖像的特征進(jìn)行分層聚類。每個聚類中心都是詞匯樹的一個節(jié)點(diǎn)，第一次聚類產(chǎn)生的結(jié)果就是詞匯樹的第一層節(jié)點(diǎn)，以此類推?；谠~匯樹的檢索通過查找樹的相同節(jié)點(diǎn)的倒排文件進(jìn)行檢索，避免了需要和圖像庫中所有特征進(jìn)行相似度計(jì)算，大大加快了檢索速度。然而基于詞匯樹的方法需要把圖像中數(shù)以千計(jì)的特征根據(jù)視覺詞匯編碼生成詞匯包，這仍然導(dǎo)致大量的計(jì)算開銷和存儲開銷。
[0004]參考文獻(xiàn):
[0005][1]X.Wang, X.Bai, ff.Liu, L.J.Lateck1.Feature Context for ImageClassification and Object Detection.1n CVPR，June20_25，2011.[0006][2]Z.Wuj Q.Kej M.1sardj J.Sun.Bundling Features for Large ScalePartial-Duplicate Web Image Search.1n CVPRj June20-25,2009.[0007][3]Z.Lin and J.Brandt.A Local Bag-of-Features Model for Large-scaleObject Retrieval.1n ECCVj Vol.6316, Sept.5-11, 2010.[0008][4] Y.Cao，C.Wang, Z.Li，e t al.Spatial-Bag-of-Features [C]，InCVPRj Sept.5-11, 2010.[0009][5] H.egou, M.Douzej and C.Schmid.1mproving Bag-of-Feature for LargeScale Image Search.1n International Journal of Computer Vision,2010.[0010][6] G.Csurkaj C.Dance, L.Fan, J.Will amowski , and C.Bray.VisualCategorization with Bags of Keypoints.1n Workshop on Statistical Learning inComputer Vision,ECCVjMayl1-14，2004.[0011][7] S.Zhang, Q.Huang, G.Huaj S.Ji ang, W.Gao，and Q.Ti an.BuildingContextual Visual Vocabulary for Large-scale Image Applications.1n ACMMultimedia, Oct.25-29，2010.[0012][8]H.Jegouj M.Douzej and C.Schmid.Hamming Embedding and Weak GeometricConsistency for Large Scale Image Search.1n ECCVj 0ctoberl2-18, 2008.[0013][9]Y.Jiang, J.Mengj J.Yuan.Randomized Visual Phrases for ObjectSearch, In CVPR，Junel6_21，2012.[0014][10]Y.Zhang, Z.Jiaj T.Chen.1mage Retrieval with Geometry-PreservingVisual Phrases.1n CVPR，June20_25，2011.[0015][11] J.Phi Ib in，0.Chum, M.1 sard，J.Sivicj and A.Zisserman.0bject Retrievalwith Large Vocabularies and Fast Spatial Matching.1n CVPR，Junel7_22，2007.[0016][12]W.Zhou, Y.Lu, H.Li, Y.Song, and Q.Tian.Spatial Coding for Large-scalePartial-Duplicate Web Image Search.1n ACM Multimedia，Oct.25-29，2010.[0017][13]G.ToliasjY.Avrithis.Speeded-up，Relaxed Spatial Matching[C]，InICCVj Nov.6-13, 2011.[0018][14]D.Nister and H.Stewenius.Scalable Recognition with a VocabularyTree.1n CVPRj vol.2，Junel7_22，2006.[0019][15] X.Wang, M.Yang, T.Courj S.Zhuj K.Yuj and Τ.X.Han.Contextual Weightingfor Vocabulary Tree Based Image Retrieval.1n ICCV，Nov.6-13，2011。

【發(fā)明內(nèi)容】

[0020]本發(fā)明的目的在于為了克服海量圖像檢索中計(jì)算和存儲開銷大的不足等問題，提供了一種能夠在保持視覺特征高辨識度的情況下緊湊地描述局部特征以及通過更多的信息例如空間信息來更有效的檢索的一種基于聚類緊湊特征的快速高效的海量圖像檢索方法，該方法能夠解決圖像的快速檢索問題，特別是包含百萬或百萬以上圖像的圖像庫，由此用戶可以在面臨海量圖像，快速檢索與所感興趣的圖像最相似的圖像。其是一種在不影響檢索效率的情況下，快速有效的大規(guī)模圖像檢索方法。
[0021]為了實(shí)現(xiàn)上述目的本發(fā)明釆用以下技術(shù)方案:
[0022]基于聚類緊湊特征的快速高效的海量圖像檢索方法，其特征在于包括如下步驟:
[0023]步驟一:計(jì)算樣本圖像庫和測試圖像庫中圖像的局部特征；
[0024]步驟二:計(jì)算每幅圖像的聚類緊湊特征:
[0025]對局部特征釆用聚類方法獲取每類的聚類中心，再統(tǒng)計(jì)在每個聚類中的局部特征分布直方圖和空間統(tǒng)計(jì)信息，生成聚類緊湊特征；
[0026]步驟三:隨機(jī)采樣樣本圖像庫中的聚類緊湊特征，對采樣所得聚類緊湊特征中聚類中心的分量應(yīng)用聚類方法生成詞匯樹，將測試圖像庫中圖像的聚類緊湊特征都量化到詞匯樹上，生成相應(yīng)的倒排文件；
[0027]步驟四:采用改進(jìn)的基于詞匯樹的檢索算法進(jìn)行檢索:通過查詢詞匯樹的倒排文件，計(jì)算查詢圖像與圖像庫圖像聚類緊湊特征間的相似度權(quán)重進(jìn)行檢索。
[0028]上述技術(shù)方案中，所述聚類采用Κ-means聚類或Affinity Propagation(AP)聚類等聚類算法。
[0029]上述技術(shù)方案中，所述步驟I中的局部特征為SIFT特征，根據(jù)所提取出的局部特征每幅圖像表示為I=Id1, d2,…，dM} e RDXM，其中d表示局部特征，D表示局部特征維度，M表示每幅圖像局部特征的數(shù)目，R表示實(shí)數(shù)空間。
[0030]上述技術(shù)方案中，步驟二中，聚類緊湊特征表示為:
[0031]I = {CFC” CFC2,…，CFCj
[0032]CFCi = { μ i, hi； vj ,
[0033]①N表示每幅圖像聚類的數(shù)表示第i個聚類Xi的聚類中心；
[0034]②上式中成空間統(tǒng)計(jì)向量'，，P i，&，a1； , 0., crf分別表示
第i聚類的特征密度，平均尺度，尺度方差，平均方向和方向方差，在下面的公式中& Θ j分別表示在第i個聚類中第j個局部特征的尺度和方向，P表示聚類緊湊特征密度，n(i)表示在聚類區(qū)域內(nèi)，局部特征的數(shù)目，4為在第i個聚類中第j個局部特征，Xi表示第i個聚類；
[0035]
【權(quán)利要求】
1.基于聚類緊湊特征的快速高效的海量圖像檢索方法，其特征在于包括如下步驟: 步驟一:計(jì)算樣本圖像庫和測試圖像庫中圖像的局部特征； 步驟二:計(jì)算每幅圖像的聚類緊湊特征: 對局部特征采用聚類方法獲取每類的聚類中心，再統(tǒng)計(jì)在每個聚類中的局部特征分布直方圖和空間統(tǒng)計(jì)信息，生成聚類緊湊特征； 步驟三:隨機(jī)采樣樣本圖像庫中的聚類緊湊特征，對采樣所得聚類緊湊特征中聚類中心的分量應(yīng)用聚類方法生成詞匯樹，將測試圖像庫中圖像的聚類緊湊特征都量化到詞匯樹上，生成相應(yīng)的倒排文件； 步驟四:采用改進(jìn)的基于詞匯樹的檢索算法進(jìn)行檢索:通過查詢詞匯樹的倒排文件，計(jì)算查詢 圖像與圖像庫圖像聚類緊湊特征間的相似度權(quán)重進(jìn)行檢索。
2.根據(jù)權(quán)利要求1所述的基于聚類緊湊特征的快速高效的海量圖像檢索方法，其特征在于:所述聚類采用Κ-means聚類或Affinity Propagation (AP)聚類等聚類算法。
3.根據(jù)權(quán)利要求1所述的基于聚類緊湊特征的快速高效的海量圖像檢索方法，其特征在于:所述步驟I中的局部特征為SIFT特征，根據(jù)所提取出的局部特征每幅圖像表示為I=Id1, d2,…，dM} e RDXM，其中d表示局部特征，D表示局部特征維度，M表示每幅圖像局部特征的數(shù)目，R表示實(shí)數(shù)空間。
4.根據(jù)權(quán)利要求1所述的基于聚類緊湊特征的快速高效的海量圖像檢索方法，其特征在于:步驟二中，聚類緊湊特征表示為:
I = (CFC1, CFC2, - ,CFCJ
CFCi = { μ i, hi； vj , ①N表示每幅圖像聚類的數(shù)目；μi表示第i個聚類Xi的聚類中心； ②上式中成空間統(tǒng)計(jì)向量V.,ν,.,?η?,σΙ, P P s丨，σ]，θ., σ分別表示第i聚類的特征密度，平均尺度，尺度方差，平均方向和方向方差，在下面的公式中& 0」分別表示在第i個聚類中第j個局部特征的尺度和方向，P表示聚類緊湊特征密度，n(i)表示在聚類區(qū)域內(nèi)，局部特征的數(shù)目，4為在第i個聚類中第j個局部特征，Xi表示第i個聚類；
5.根據(jù)權(quán)利要求1所述的基于聚類緊湊特征的快速高效的海量圖像檢索方法，其特征在于:圖像庫中查詢圖像和目標(biāo)圖像間的相似度定義為:
【文檔編號】G06F17/30GK103605765SQ201310611155
【公開日】2014年2月26日 申請日期:2013年11月26日 優(yōu)先權(quán)日:2013年11月26日
【發(fā)明者】董樂, 梁燕, 封寧, 謝山山 申請人:電子科技大學(xué)