圖像檢索方法與系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種圖像檢索方法與系統(tǒng)，針對給定的查詢文本和/或查詢圖片，分別根據(jù)文本相關性和圖片內(nèi)容相關性得出多個庫內(nèi)圖片的相似度排序列表，然后結合得出的多個排序列表，綜合考慮文本相似度和圖片內(nèi)容相似度，返回一個綜合的排序列表。這種多模態(tài)的混合檢索機制避免了以往單模態(tài)檢索機制的不足，發(fā)揮了文本檢索方法和圖像內(nèi)容檢索方法各自的優(yōu)勢，大大提高了圖片檢索的準確率。由于僅對各單項檢索模型的排序結果進行融合，因此可以方便地增減、替換單項檢索模型，實現(xiàn)了文本和圖像內(nèi)容特征檢索模型的靈活配置，提高了圖像檢索系統(tǒng)的性能。
【專利說明】圖像檢索方法與系統(tǒng)【技術領域】
[0001]本發(fā)明涉及信息檢索【技術領域】，特別是涉及一種圖像檢索方法與系統(tǒng)。
【背景技術】
[0002]近十年來，圖像檢索一直是多媒體領域的熱點研究主題。圖像檢索系統(tǒng)是根據(jù)圖像的描述性文本或者視覺特征(即圖像內(nèi)容)為用戶提供互聯(lián)網(wǎng)上相關圖形圖像資料檢索服務的一類專業(yè)搜索引擎系統(tǒng)。例 如，谷歌，百度等一系列搜索引擎都能夠提供圖片搜索服務。
[0003]傳統(tǒng)的圖像檢索依賴于圖片的描述性文本，一般是根據(jù)關鍵字對數(shù)據(jù)庫中的圖片進行搜索。但是，文本關鍵字很多情況下無法準確描述圖像的視覺特征(例如某種特定的花紋)，所以出現(xiàn)了基于圖像內(nèi)容的檢索技術。目前，描述圖像內(nèi)容的特征有很多，例如顏色特征，紋理特征，形狀特征等等。然而，圖像內(nèi)容特征雖然能捕捉圖片的視覺相似性，但是視覺相似并不一定代表語義相似，即存在“語義鴻溝”問題。因此，基于文本的圖像檢索和基于內(nèi)容的圖像檢索各有利弊，均不能很好地滿足用戶需求。

【發(fā)明內(nèi)容】

[0004]基于上述情況，本發(fā)明提出了一種圖像檢索方法與系統(tǒng)，以提高圖像檢索的準確性。
[0005]一種圖像檢索方法，包括步驟:
[0006]接收用戶提交的查詢圖片和/或查詢文本；
[0007]提取所述查詢圖片的各種內(nèi)容特征，并對所述查詢文本進行分詞；
[0008]將所述查詢圖片的各種內(nèi)容特征與數(shù)據(jù)庫中每張圖片的相應內(nèi)容特征比較，按照相似度對數(shù)據(jù)庫中的圖片進行排序，得到內(nèi)容相似度的各個列表；將分詞后的所述查詢文本與數(shù)據(jù)庫每張圖片對應的描述性文檔比較，按照相似度對數(shù)據(jù)庫中的圖片進行排序，得到文本相似度的列表；
[0009]根據(jù)在各個列表中的位置及所在列表的權重，為數(shù)據(jù)庫中的每個圖片賦分，并按照賦分重新排序，得到相似度綜合排序列表，將該列表返回用戶。
[0010]一種圖像檢索系統(tǒng)，包括:
[0011]查詢信息接收端，用于接收用戶提交的查詢圖片和/或查詢文本；
[0012]查詢信息處理模塊，用于提取所述查詢圖片的各種內(nèi)容特征，并對所述查詢文本進行分詞；
[0013]相似度單項排序模塊，用于將所述查詢圖片的各種內(nèi)容特征與數(shù)據(jù)庫中每張圖片的相應內(nèi)容特征比較，按照相似度對數(shù)據(jù)庫中的圖片進行排序，得到內(nèi)容相似度的各個列表；將分詞后的所述查詢文本與數(shù)據(jù)庫每張圖片對應的描述性文檔比較，按照相似度對數(shù)據(jù)庫中的圖片進行排序，得到文本相似度的列表；
[0014]相似度綜合排序模塊，用于根據(jù)在各個列表中的位置及所在列表的權重，為數(shù)據(jù)庫中的每個圖片賦分，并按照賦分重新排序，得到相似度綜合排序列表，將該列表返回用戶。
[0015]本發(fā)明圖像檢索方法與系統(tǒng)，針對給定的查詢文本和/或查詢圖片，分別根據(jù)文本相關性和圖片內(nèi)容相關性得出多個庫內(nèi)圖片的相似度排序列表，然后結合得出的多個排序列表，綜合考慮文本相似度和圖片內(nèi)容相似度，返回一個綜合的排序列表。這種多模態(tài)的混合檢索機制避免了以往單模態(tài)檢索機制的不足，發(fā)揮了文本檢索方法和圖像內(nèi)容檢索方法各自的優(yōu)勢，大大提高了圖片檢索的準確率。由于僅對各單項檢索模型的排序結果進行融合，因此可以方便地增減、替換單項檢索模型，實現(xiàn)了文本和圖像內(nèi)容特征檢索模型的靈活配置，提高了圖像檢索系統(tǒng)的性能。
【專利附圖】

【附圖說明】
[0016]圖1為本發(fā)明圖像檢索方法的流程示意圖；
[0017]圖2為本發(fā)明圖像檢索方法中圖像內(nèi)容和文本聯(lián)合檢索的流程圖；
[0018]圖3為應用本發(fā)明圖像檢索方法與傳統(tǒng)檢索方法的檢索結果對比；
[0019]圖4為本發(fā)明圖像檢索系統(tǒng)的結構示意圖。
【具體實施方式】
[0020]為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合附圖及實施例，對本發(fā)明進行進一步的詳細說明。應當理解，此處所描述的【具體實施方式】僅僅用以解釋本發(fā)明，并不限定本發(fā)明的保護范圍。
[0021]本發(fā)明的圖像檢索方法，如圖1所示，包括步驟:
[0022]步驟S101、接收用戶提交的查詢圖片和/或查詢文本；
[0023]步驟S102、提取所述查詢圖片的各種內(nèi)容特征，并對所述查詢文本進行分詞；
[0024]步驟S103、將所述查詢圖片的各種內(nèi)容特征與數(shù)據(jù)庫中每張圖片的相應內(nèi)容特征比較，按照相似度對數(shù)據(jù)庫中的圖片進行排序，得到內(nèi)容相似度的各個列表；將分詞后的所述查詢文本與數(shù)據(jù)庫每張圖片對應的描述性文檔比較，按照相似度對數(shù)據(jù)庫中的圖片進行排序，得到文本相似度的列表；
[0025]步驟S104、根據(jù)在各個列表中的位置及所在列表的權重，為數(shù)據(jù)庫中的每個圖片賦分，并按照賦分重新排序，得到相似度綜合排序列表，將該列表返回用戶。
[0026]傳統(tǒng)的檢索方法，根據(jù)用戶提交的文本描述信息進行檢索，或者從用戶提交的圖片中提取一種特征進行檢索，即單模態(tài)檢索。而采用本檢索方法，用戶既可以單純根據(jù)圖片或文本描述信息進行檢索，還可以同時根據(jù)圖片和文本描述信息進行聯(lián)合檢索。在用戶只提交圖片的情況下，如步驟S102所述，本檢索方法提取的不是只有一種內(nèi)容特征，而是提取多種內(nèi)容特征，并進行綜合排名?？傊啾葌鹘y(tǒng)檢索方法，本檢索方法是一種多模態(tài)的混合檢索方法。實驗證明，這種混合檢索機制較以往單模態(tài)的檢索機制在返回結果準確率方面有很大的提高。下面對上述幾個步驟進行詳述。
[0027]用戶提交查詢信息后，在步驟S102中，對提交的查詢圖片提取內(nèi)容特征，并對提交的文本進行分詞。在本發(fā)明實施例中，圖像內(nèi)容特征優(yōu)選地包括顏色特征，紋理特征和形狀特征，這三種特征是目前常用的比較典型的反應圖片內(nèi)容的特征。分詞采取的方法是隱式馬爾科夫模型(HMM)。設狀態(tài)集合為Q=(qi，q2，…(^)，即標注的詞性(例如詞首、詞中、詞尾)全集；觀測集合為V = (v1； V2,…qM)，即用戶輸入的待分詞字符的全集；觀測序列為O= (o1； O2,…οτ)，即輸入的待分字符序列；其狀態(tài)序列為I = (i1； i2,…^)，即待分字符序列可能的詞性標簽序列。首先確定使用的語料庫，然后通過統(tǒng)計的方法就會得到隱式馬爾科夫模型的三個參數(shù)，分別是狀態(tài)轉移概率矩陣A = [au]NXN，觀測概率矩陣B=[h(k)]NXM，初始狀態(tài)概率向量π = O i)。其中:
【權利要求】
1.一種圖像檢索方法，其特征在于，包括步驟: 接收用戶提交的查詢圖片和/或查詢文本； 提取所述查詢圖片的各種內(nèi)容特征，并對所述查詢文本進行分詞； 將所述查詢圖片的各種內(nèi)容特征與數(shù)據(jù)庫中每張圖片的相應內(nèi)容特征比較，按照相似度對數(shù)據(jù)庫中的圖片進行排序，得到內(nèi)容相似度的各個列表；將分詞后的所述查詢文本與數(shù)據(jù)庫每張圖片對應的描述性文檔比較，按照相似度對數(shù)據(jù)庫中的圖片進行排序，得到文本相似度的列表； 根據(jù)在各個列表中的位置及所在列表的權重，為數(shù)據(jù)庫中的每個圖片賦分，并按照賦分重新排序，得到相似度綜合排序列表，將該列表返回用戶。
2.根據(jù)權利要求1所述的圖像檢索方法，其特征在于， 圖片的內(nèi)容特征包括顏色特征、紋理特征和形狀特征。
3.根據(jù)權利要求1或2所述的圖像檢索方法，其特征在于， 采用隱式馬爾科夫模型對所述查詢文本進行分詞。
4.根據(jù)權利要求1或2所述的圖像檢索方法，其特征在于， 采用統(tǒng)計語言建模方法度量分詞后的所述查詢文本與數(shù)據(jù)庫中每張圖片對應的描述性文檔的相似度； 采用歐氏距離計算所述查詢圖片的各種內(nèi)容特征與數(shù)據(jù)庫中每張圖片的相應內(nèi)容特征的相似度。
5.根據(jù)權利要求1或2所述的圖像檢索方法，其特征在于， 采用遺傳算法或退火算法設置每個列表的權重。
6.一種圖像檢索系統(tǒng)，其特征在于，包括: 查詢信息接收端，用于接收用戶提交的查詢圖片和/或查詢文本； 查詢信息處理模塊，用于提取所述查詢圖片的各種內(nèi)容特征，并對所述查詢文本進行分詞； 相似度單項排序模塊，用于將所述查詢圖片的各種內(nèi)容特征與數(shù)據(jù)庫中每張圖片的相應內(nèi)容特征比較，按照相似度對數(shù)據(jù)庫中的圖片進行排序，得到內(nèi)容相似度的各個列表；將分詞后的所述查詢文本與數(shù)據(jù)庫每張圖片對應的描述性文檔比較，按照相似度對數(shù)據(jù)庫中的圖片進行排序，得到文本相似度的列表； 相似度綜合排序模塊，用于根據(jù)在各個列表中的位置及所在列表的權重，為數(shù)據(jù)庫中的每個圖片賦分，并按照賦分重新排序，得到相似度綜合排序列表，將該列表返回用戶。
7.根據(jù)權利要求6所述的圖像檢索系統(tǒng)，其特征在于， 圖片的內(nèi)容特征包括顏色特征、紋理特征和形狀特征。
8.根據(jù)權利要求6或7所述的圖像檢索系統(tǒng)，其特征在于， 所述查詢信息處理模塊采用隱式馬爾科夫模型對所述查詢文本進行分詞。
9.根據(jù)權利要求6或7所述的圖像檢索系統(tǒng)，其特征在于， 所述相似度單項排序模塊采用統(tǒng)計語言建模方法度量分詞后的所述查詢文本與數(shù)據(jù)庫中每張圖片對應的描述性文檔的相似度；采用歐氏距離計算所述查詢圖片的各種內(nèi)容特征與數(shù)據(jù)庫中每張圖片的相應內(nèi)容特征的相似度。
10.根據(jù)權利要求6或7所述的圖像檢索系統(tǒng)，其特征在于，所述相似度綜合排序模塊 采用遺傳算法或退火算法設置每個列表的權重。
【文檔編號】G06F17/30GK103473327SQ201310420287
【公開日】2013年12月25日 申請日期:2013年9月13日 優(yōu)先權日:2013年9月13日
【發(fā)明者】鐘海蘭 申請人:廣東圖圖搜網(wǎng)絡科技有限公司