一種基于分層結(jié)構(gòu)的圖像檢索方法
【專利摘要】本發(fā)明屬于圖像檢索【技術(shù)領(lǐng)域】，涉及一種分層結(jié)構(gòu)的圖像檢索方法，包括：獲取進(jìn)行訓(xùn)練的圖像，并對(duì)圖像中每個(gè)物體構(gòu)造樹(shù)狀結(jié)構(gòu)標(biāo)簽，形成訓(xùn)練集；提取訓(xùn)練集中圖像每個(gè)物體的低層特征，訓(xùn)練得到所有候選的類(lèi)，子類(lèi)以及屬性相對(duì)應(yīng)的分類(lèi)器，形成下一步建模所需要的中間數(shù)據(jù)；構(gòu)造條件隨機(jī)場(chǎng)模型，訓(xùn)練得到模型參數(shù)；對(duì)于待描述圖像，首先進(jìn)行圖像分割，分割出待描述圖像中包含的物體，再提取待描述圖像中每個(gè)物體的低層特征；之后利用所構(gòu)造的條件隨機(jī)場(chǎng)模型及訓(xùn)練得到模型參數(shù)，采用使用最大積信念傳播算法，對(duì)待描述圖像中每個(gè)物體的樹(shù)狀結(jié)構(gòu)標(biāo)簽進(jìn)行預(yù)測(cè)；建立相應(yīng)的圖像檢索系統(tǒng)。本發(fā)明可以提高圖像與圖像之間的區(qū)分度，產(chǎn)生更好的檢索結(jié)果。
【專利說(shuō)明】—種基于分層結(jié)構(gòu)的圖像檢索方法
所屬【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像檢索【技術(shù)領(lǐng)域】，涉及一種基于分層結(jié)構(gòu)的圖像檢索方法。
【背景技術(shù)】
[0002]使用更加豐富的語(yǔ)義信息來(lái)描述一幅圖像無(wú)論對(duì)理解該圖像還是從Web上面檢索該圖像都是及其重的。一方面，當(dāng)面對(duì)一幅新的圖像時(shí)，人們首先想知道的是圖像中的物體屬于哪個(gè)類(lèi)(比如是一種動(dòng)物還是一種交通工具)，當(dāng)獲取到它的類(lèi)信息后，更進(jìn)一步人們想知道它是屬于哪個(gè)子類(lèi)(屬于鳥(niǎo)類(lèi)，還是屬于貓科動(dòng)物)，此外，每種物體都具有自己特有的屬性信息，比如是否具有羽毛，是否會(huì)飛，是否食肉等等。通過(guò)這些信息，人們可以從多個(gè)角度更加精確的來(lái)理解一幅圖像，同時(shí)獲取到更多關(guān)于圖像中物體的知識(shí)。另一方面，在圖像檢索領(lǐng)域，由于計(jì)算機(jī)是使用低層特征來(lái)表示一幅圖像的，這樣由計(jì)算機(jī)給出的檢索結(jié)果并不能很好的匹配用戶的檢索意圖，為了克服圖像檢索領(lǐng)域存在的這種“語(yǔ)義鴻溝”，也需要使用更加豐富更加精確的語(yǔ)義信息來(lái)描述一幅圖像。
[0003]在過(guò)去的幾年中已經(jīng)涌現(xiàn)出了各種各樣的圖像描述方法，比如使用單個(gè)標(biāo)簽來(lái)描述圖像中的物體屬于動(dòng)物還是植物，這種描述方法雖然指定了圖像中物體的類(lèi)別，但是所蘊(yùn)含的信息非常有限，為了克服這個(gè)缺點(diǎn)，人們就創(chuàng)建一個(gè)標(biāo)簽庫(kù)，然后選取標(biāo)簽庫(kù)中與之相關(guān)的多個(gè)標(biāo)簽來(lái)描述圖像中的某個(gè)物體，但是標(biāo)簽庫(kù)畢竟有限，不可能覆蓋自然界中的所有物體，于是就產(chǎn)生了基于屬性的圖片描述方法，這類(lèi)方法使用物體的屬性信息，比如是否會(huì)飛，是否有羽毛等去描述一幅圖像，這樣做的好處是即使遇到了一幅沒(méi)有見(jiàn)過(guò)的圖像，人們依然可以使用一些基本的屬性信息去描述它，從而獲取對(duì)圖像的一些感性認(rèn)識(shí)。不管這些圖像描述方法是從什么角度，使用什么信息來(lái)描述圖像的，他們的目標(biāo)都是為了獲取圖像中更加豐富的語(yǔ)義信息。
[0004]為此，本發(fā)明提出了一種基于分層結(jié)構(gòu)的圖像檢索方法，即使用一個(gè)3層樹(shù)狀結(jié)構(gòu)標(biāo)簽來(lái)描述圖像中的物體，其中第一層指出了物體所屬的大類(lèi)，第二層指出了物體所屬的子類(lèi)，第三層指出了圖像具有的屬性信息。這種分層的樹(shù)狀結(jié)構(gòu)語(yǔ)義單元融合了現(xiàn)有方法的優(yōu)點(diǎn)，不僅可以給出物體在不同層次上的類(lèi)別信息和屬性信息，而且可以輸出一個(gè)體現(xiàn)這些信息結(jié)構(gòu)的語(yǔ)義單元，從而給出對(duì)圖像一個(gè)更加豐富和精確的描述。使用該3層樹(shù)狀結(jié)構(gòu)進(jìn)行圖像檢索，可以完整的保留出屬物體類(lèi)別信息和屬性信息的關(guān)系，進(jìn)而檢索到更加精確的圖像結(jié)果。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的是提供一種新基于分層結(jié)構(gòu)的圖像檢索方法，使得圖像對(duì)圖像的描述和檢索更為精確。本發(fā)明使用一個(gè)3層的樹(shù)狀結(jié)構(gòu)語(yǔ)義標(biāo)簽來(lái)描述一幅圖像，并進(jìn)而使用該結(jié)構(gòu)化的描述進(jìn)行圖像檢索。本發(fā)明提出的基于分層結(jié)構(gòu)的圖像檢索方法包括如下步驟:
[0006]第一步，獲取進(jìn)行訓(xùn)練的圖像，并對(duì)圖像中每個(gè)物體構(gòu)造3層樹(shù)狀結(jié)構(gòu)標(biāo)簽，形成訓(xùn)練集:
[0007](I)獲取進(jìn)行訓(xùn)練的圖像，構(gòu)建圖像集合IMG ；
[0008](2)使用圖像分割算法分割出集合IMG中每幅圖像中所包含的物體，構(gòu)成物體集合 OBJ ；
[0009](3)對(duì)集合OBJ中的每個(gè)物體進(jìn)行標(biāo)注，標(biāo)注的內(nèi)容包括物體所屬的類(lèi)，子類(lèi)以及具有的屬性，形成類(lèi)集合CLASS，子類(lèi)集合SUBCLASS以及屬性集合ATTRIBUTE ；
[0010](4)根據(jù)標(biāo)注信息對(duì)集合OBJ中的每個(gè)物體構(gòu)造包括類(lèi)-子類(lèi)-屬性3層樹(shù)狀結(jié)構(gòu)標(biāo)簽，形成與OBJ相對(duì)應(yīng)的標(biāo)簽集合Y，兩個(gè)集合的元素一一對(duì)應(yīng)；
[0011](5)類(lèi)集合CLASS中有很多相同的元素，順序掃描CLASS中的每個(gè)元素，相同的元素只保留一個(gè)，形成候選的類(lèi)集合Cla，對(duì)其子類(lèi)集合SUBCLASS和屬性集合ATTRIBUTE做相同的掃描，得到候選的子類(lèi)集合Subcl和候選的屬性集合Attri ；
[0012](6)構(gòu)造包括:物體集合0BJ，標(biāo)簽集合Y，候選的類(lèi)集合Cla，候選的子類(lèi)集合Subcl以及候選的屬性集合Attri的訓(xùn)練集Tr。
[0013]第二步，提取訓(xùn)練集中圖像每個(gè)物體的低層特征，訓(xùn)練得到所有候選的類(lèi)，子類(lèi)以及屬性相對(duì)應(yīng)的分類(lèi)器，形成下一步建模所需要的中間數(shù)據(jù)的步驟如下:
[0014](I)提取物體集合OBJ中每個(gè)物體的局部二值模式特征(LBP)特征，構(gòu)造特征集合X；
[0015](2)根據(jù)特征集合X和類(lèi)集合CLASS，訓(xùn)練得到集合Cla中每個(gè)元素Wi的SVM分類(lèi)器SVM_Wi，構(gòu)成與類(lèi)相對(duì)應(yīng)的分類(lèi)器集合Sw，同理，根據(jù)特征集合X和子類(lèi)集合SUBCLASS，訓(xùn)練得到子類(lèi)集合Subcl中每個(gè)元素\的SVM分類(lèi)器SVM_\，構(gòu)成與子類(lèi)相對(duì)應(yīng)的分類(lèi)器集合Sv,根據(jù)特征集合X和屬性集合ATTRIBUTE，訓(xùn)練得到集合Attri中每個(gè)元素Uk的SVM分類(lèi)器SVM_uk，構(gòu)成與屬性相對(duì)應(yīng)的分類(lèi)器集合Su ；
[0016](3)在訓(xùn)練集Tr上計(jì)算分類(lèi)器集合Su中每個(gè)分類(lèi)器SVM_uk的查準(zhǔn)率和查全率曲線(PR曲線)，根據(jù)該P(yáng)R曲線得到分類(lèi)器SVM_uk的閾值threk，構(gòu)成與Su對(duì)應(yīng)的閾值集合Threshold ；
[0017](4)在訓(xùn)練集Tr上統(tǒng)計(jì)候選的類(lèi)集合Cla中的每一個(gè)元素Wi和候選的子類(lèi)集合Subcl中每一個(gè)元素Vj的共現(xiàn)概率Pij,即標(biāo)簽集合Y中同時(shí)具有Wi和Vi的物體數(shù)量占OBJ中總物體數(shù)N111的比例；在訓(xùn)練集Tr上統(tǒng)計(jì)候選的子類(lèi)集合Subcl中每一個(gè)元素Vi和候選的屬性集合Attri中每一個(gè)元素Uk的共現(xiàn)概率gjk，即集合Y中同時(shí)具有Uk和Vi的物體數(shù)量占OBJ中總物體數(shù)Nm的比例，此外，在訓(xùn)練集Tr上統(tǒng)計(jì)含有候選的子類(lèi)集合Subcl中元素Vi但不含有候選的屬性集合中元素Uk的概率qA，即集合Y中具有Vi但沒(méi)有Uk的物體數(shù)量占OBJ中總物體數(shù)Nm的比例；
[0018](5)構(gòu)造包含:分類(lèi)器集合Sw, Sv, Su,閾值集合Threshold,概率統(tǒng)計(jì)數(shù)據(jù)Pij, gJk,Qjk的中間數(shù)據(jù)，以備下一步建模使用。
[0019]第三步，構(gòu)造條件隨機(jī)場(chǎng)模型(CRF)，訓(xùn)練得到模型參數(shù)；
[0020]第四步，對(duì)于待描述圖像，首先進(jìn)行圖像分割，分割出待描述圖像中包含的物體，再按照前述的第二步的方法，提取待描述圖像中每個(gè)物體的低層特征；之后，利用第三步構(gòu)造的條件隨機(jī)場(chǎng)模型(CRF)及訓(xùn)練得到模型參數(shù)，采用使用最大積信念傳播算法，對(duì)待描述圖像中每個(gè)物體的3層樹(shù)狀結(jié)構(gòu)標(biāo)簽進(jìn)行預(yù)測(cè)；[0021]第五步，使用資源描述框架(RDF)對(duì)圖像進(jìn)行描述，建立相應(yīng)的圖像檢索系統(tǒng)。
[0022]本發(fā)明提出基于分層結(jié)構(gòu)的圖像檢索方法。使用一個(gè)3層的樹(shù)狀結(jié)構(gòu)語(yǔ)義單元來(lái)描述圖像，從該語(yǔ)義單元中，用戶不光可以獲取到圖像中物體所屬的類(lèi)和具體的子類(lèi)信息，而且可以獲取到圖像中物體具有的屬性信息，從而產(chǎn)生對(duì)圖像內(nèi)容更加豐富和更加精確的描述，這樣可以提高圖像與圖像之間的區(qū)分度，方便在圖像檢索時(shí)消除語(yǔ)義鴻溝，產(chǎn)生更好的檢索結(jié)果，同時(shí)本發(fā)明亦提供給了用戶一種更加直觀的圖像內(nèi)容的展示方法，即以一個(gè)3層樹(shù)狀結(jié)構(gòu)來(lái)組織圖像的類(lèi)，子類(lèi)，屬性信息，方便用戶更加容易的理解圖像，并使用資源描述符進(jìn)行圖像檢索。
【專利附圖】

【附圖說(shuō)明】[0023]圖1CRF模型示意圖。
[0024]圖2本發(fā)明使用的訓(xùn)練集中的若干例子，其中第一行的圖像為從網(wǎng)絡(luò)上下載的自然圖像，其中的物體已經(jīng)使用矩形框標(biāo)出。第二行為每個(gè)物體相對(duì)應(yīng)的3層樹(shù)狀結(jié)構(gòu)標(biāo)簽。
[0025]圖3左圖為自然圖像，其中需要描述的物體已經(jīng)使用矩形框標(biāo)出。右圖為使用本發(fā)明提出的發(fā)明預(yù)測(cè)出的3層樹(shù)狀結(jié)構(gòu)語(yǔ)義標(biāo)簽。
[0026]圖4左圖為自然圖像，其中需要描述的物體已經(jīng)使用矩形框標(biāo)出。右圖為使用本發(fā)明提出的發(fā)明預(yù)測(cè)出的3層樹(shù)狀結(jié)構(gòu)語(yǔ)義標(biāo)簽。
[0027]圖5使用SPARQL檢索語(yǔ)言建議的結(jié)構(gòu)化圖像查詢系統(tǒng)。其中上面的框內(nèi)顯示的查詢語(yǔ)句，下面的框里顯示的是對(duì)數(shù)據(jù)庫(kù)的描述，使用SPARQL可以對(duì)本發(fā)明提出的分層結(jié)構(gòu)進(jìn)行編碼，之后用于圖像檢索。
[0028]圖6兩個(gè)基于分層結(jié)構(gòu)的圖像檢索結(jié)果，在每一行中，第一個(gè)框內(nèi)顯示的是查詢語(yǔ)句，查詢到的四張圖像顯示在后面。
【具體實(shí)施方式】
[0029]這里選取兩幅圖像作為待描述圖像，分別為圖3，圖4中左邊的圖像，使用本發(fā)明中描述的方法對(duì)其進(jìn)行預(yù)測(cè)輸出3層樹(shù)狀結(jié)構(gòu)語(yǔ)義單元。
[0030]首先需要訓(xùn)練得到條件隨機(jī)場(chǎng)(CRF)的模型參數(shù):具體步驟如下:
[0031]1，構(gòu)造訓(xùn)練集步驟如下:
[0032](I)編寫(xiě)爬蟲(chóng)程序下載Google圖片搜索的檢索結(jié)果中的圖像，構(gòu)成圖像集合
【權(quán)利要求】
1. 一種基于分層結(jié)構(gòu)的圖像檢索方法，包括下列步驟: 第一步，獲取進(jìn)行訓(xùn)練的圖像，并對(duì)圖像中每個(gè)物體構(gòu)造3層樹(shù)狀結(jié)構(gòu)標(biāo)簽，形成訓(xùn)練集: (1)獲取進(jìn)行訓(xùn)練的圖像，構(gòu)建圖像集合IMG； (2)使用圖像分割算法分割出集合IMG中每幅圖像中所包含的物體，構(gòu)成物體集合OBJ； (3)對(duì)集合OBJ中的每個(gè)物體進(jìn)行標(biāo)注，標(biāo)注的內(nèi)容包括物體所屬的類(lèi)，子類(lèi)以及具有的屬性，形成類(lèi)集合CLASS，子類(lèi)集合SUBCLASS以及屬性集合ATTRIBUTE ； (4)根據(jù)標(biāo)注信息對(duì)集合OBJ中的每個(gè)物體構(gòu)造包括類(lèi)-子類(lèi)-屬性3層樹(shù)狀結(jié)構(gòu)標(biāo)簽，形成與OBJ相對(duì)應(yīng)的標(biāo)簽集合Y，兩個(gè)集合的元素一一對(duì)應(yīng)； (5)類(lèi)集合CLASS中有很多相同的元素，順序掃描CLASS中的每個(gè)元素，相同的元素只保留一個(gè)，形成候選的類(lèi)集合Cl a，對(duì)其子類(lèi)集合SUBCLASS和屬性集合ATTRIBUTE做相同的掃描，得到候選的子類(lèi)集合Subcl和候選的屬性集合Attri ； (6)構(gòu)造包括:物體集合0BJ，標(biāo)簽集合Y，候選的類(lèi)集合Cla，候選的子類(lèi)集合Subcl以及候選的屬性集合Attri的訓(xùn)練集Tr。 第二步，提取訓(xùn)練集中圖像每個(gè)物體的低層特征，訓(xùn)練得到所有候選的類(lèi)，子類(lèi)以及屬性相對(duì)應(yīng)的分類(lèi)器，形成下一步建模所需要的中間數(shù)據(jù)的步驟如下: (1)提取物體集合OBJ中每個(gè)物體的局部二值模式特征(LBP)特征，構(gòu)造特征集合X； (2)根據(jù)特征集合X和類(lèi)集合CLASS，訓(xùn)練得到集合Cla中每個(gè)元素Wi的SVM分類(lèi)器SVM_wi；構(gòu)成與類(lèi)相對(duì)應(yīng)的分類(lèi)器集合Sw，同理，根據(jù)特征集合X和子類(lèi)集合SUBCLASS，訓(xùn)練得到子類(lèi)集合Subcl中每個(gè)元素\的SVM分類(lèi)器SVM_\，構(gòu)成與子類(lèi)相對(duì)應(yīng)的分類(lèi)器集合Sv,根據(jù)特征集合X和屬性集合ATTRIBUTE，訓(xùn)練得到集合Attri中每個(gè)元素Uk的SVM分類(lèi)器SVM_uk，構(gòu)成與屬性相對(duì)應(yīng)的分類(lèi)器集合Su ； (3)在訓(xùn)練集Tr上計(jì)算分類(lèi)器集合Su中每個(gè)分類(lèi)器SVM_uk的查準(zhǔn)率和查全率曲線(PR曲線)，根據(jù)該P(yáng)R曲線得到分類(lèi)器SVM_uk的閾值threk，構(gòu)成與Su對(duì)應(yīng)的閾值集合Threshold ； (4)在訓(xùn)練集Tr上統(tǒng)計(jì)候選的類(lèi)集合Cla中的每一個(gè)元素Wi和候選的子類(lèi)集合Subcl中每一個(gè)元素 ' 的共現(xiàn)概率Pu，即標(biāo)簽集合Y中同時(shí)具有Wi和Vi的物體數(shù)量占OBJ中總物體數(shù)Nm的比例；在訓(xùn)練集Tr上統(tǒng)計(jì)候選的子類(lèi)集合Subcl中每一個(gè)元素Vi和候選的屬性集合Attri中每一個(gè)元素Uk的共現(xiàn)概率gjk，即集合Y中同時(shí)具有Uk和Vi的物體數(shù)量占OBJ中總物體數(shù)Nm的比例，此外，在訓(xùn)練集Tr上統(tǒng)計(jì)含有候選的子類(lèi)集合Subcl中元素Vi但不含有候選的屬性集合中元素Uk的概率(?Λ，即集合Y中具有Vi但沒(méi)有％的物體數(shù)量占OBJ中總物體數(shù)Nni的比例； (5)構(gòu)造包含:分類(lèi)器集合Sw,Sv, Su,閾值集合Threshold,概率統(tǒng)計(jì)數(shù)據(jù)Pij, gJk, qJk的中間數(shù)據(jù)，以備下一步建模使用。 第三步，構(gòu)造條件隨機(jī)場(chǎng)模型(CRF)，訓(xùn)練得到模型參數(shù)； 第四步，對(duì)于待描述圖像，首先進(jìn)行圖像分割，分割出待描述圖像中包含的物體，再按照前述的第二步的方法，提取待描述圖像中每個(gè)物體的低層特征；之后，利用第三步構(gòu)造的條件隨機(jī)場(chǎng)模型(CRF)及訓(xùn)練得到模型參數(shù)，采用使用最大積信念傳播算法，對(duì)待描述圖像中每個(gè)物體的3層樹(shù)狀結(jié)構(gòu)標(biāo)簽進(jìn)行預(yù)測(cè)；第五步，使用資源描述框 架(RDF)對(duì)圖像進(jìn)行描述，建立相應(yīng)的圖像檢索系統(tǒng)。
【文檔編號(hào)】G06K9/62GK103530405SQ201310505213
【公開(kāi)日】2014年1月22日 申請(qǐng)日期:2013年10月23日 優(yōu)先權(quán)日:2013年10月23日
【發(fā)明者】韋星星, 韓亞洪, 操曉春 申請(qǐng)人:天津大學(xué)