專利名稱：一種基于多智能算法及圖像融合技術(shù)的圖像檢索方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于內(nèi)容的圖像檢索方法，尤其涉及一種基于智能算法的主動(dòng)學(xué)習(xí)圖像檢索方法。
背景技術(shù)：
近十多年來，隨著數(shù)字技術(shù)的迅速發(fā)展和普及，多媒體數(shù)據(jù)(圖像和視頻等)已經(jīng)成為文本數(shù)據(jù)之外最重要的數(shù)據(jù)組織形式。如何對(duì)大量多媒體數(shù)據(jù)進(jìn)行有效的組織、管理， 并從中檢索出用戶需要的信息已成為當(dāng)前最重要的研究課題。圖像數(shù)據(jù)是最基本、最常用的多媒體形式，同時(shí)對(duì)圖像檢索的研究也是對(duì)其它多媒體形式進(jìn)行研究的基礎(chǔ)，因此該方面的研究已成為目前信息檢索方面的熱點(diǎn)。
傳統(tǒng)的圖像檢索方式是利用人工對(duì)圖像進(jìn)行文字標(biāo)注，然后利用基于關(guān)鍵字的檢索技術(shù)對(duì)圖像進(jìn)行檢索。然而人工標(biāo)注最大缺點(diǎn)就是耗時(shí)，工作量大，同時(shí)對(duì)圖像的標(biāo)注很大程度上取決于標(biāo)注人的主觀判斷，不利于客觀描述?；趦?nèi)容的圖像檢索 (Content-Based-Image-Retrieval, CBIR)技術(shù)通過對(duì)圖像從底層到高層的自動(dòng)處理和分析來描述其內(nèi)容，并根據(jù)內(nèi)容進(jìn)行檢索。
基于內(nèi)容的圖像檢索系統(tǒng)給出的初始檢索結(jié)果往往不能很好地滿足用戶的信息需求，這主要?dú)w因于如下幾點(diǎn)首先，由于當(dāng)前圖像理解技術(shù)的局限，建立從圖像的低層特征到高層語義的映射還很困難；其次，由于用戶界面的限制以及對(duì)圖像庫的不熟悉，用戶很難給出能準(zhǔn)確反映其信息需求的查詢；另外，由于人類視覺感知的主觀性，對(duì)于同一幅圖像不同的人或同一個(gè)人在不同的時(shí)間可能有不同的認(rèn)知，因此借助于離線(off-line) 的學(xué)習(xí)不能適應(yīng)這些不同的要求。為了克服上述困難，20世紀(jì)90年代中期，在文本檢索領(lǐng)域提出的相關(guān)反饋(Relevance Feedback, RF)技術(shù)被引入到基于內(nèi)容的圖像檢索領(lǐng)域。相關(guān)反饋技術(shù)通過把人的參與引入到信息檢索過程中，從而把檢索模式從一次進(jìn)行 (one-shot-search)變成交互式的多次進(jìn)行，并成為提高檢索性能的有效方法。在相關(guān)反饋的交互過程中，只要求用戶根據(jù)他的信息需求對(duì)系統(tǒng)當(dāng)前的檢索結(jié)果給出是否相關(guān) (relevant)或者相關(guān)程度如何地判斷，然后系統(tǒng)根據(jù)用戶的反饋進(jìn)行學(xué)習(xí)來給出更好的檢索結(jié)果。然而，如何在最少的人為干預(yù)下，得到盡量好的檢索效果是當(dāng)前重點(diǎn)關(guān)注的問題。
為了全面的描述一幅圖像，往往從多個(gè)角度進(jìn)行描述，比如顏色、紋理、形狀等特征。在圖像檢索的過程，通常要綜合考慮其中兩種或者多種特征，以獲得較好的檢索效果。 那么，如何有效地組織這些特征，使得到的特征向量能夠更加符合用戶的需要，以得到比較好的檢索結(jié)果是圖像檢索領(lǐng)域需要解決的主要問題之一。特別在相關(guān)反饋過程中，根據(jù)用戶不同的需求，應(yīng)該對(duì)特征組合進(jìn)行修改，使得檢索模型更加符合用戶的需求，在較少的反饋操作后得到用戶滿意的結(jié)果。
目前存在的基于內(nèi)容的圖像檢索技術(shù)基本都是基于無信息保留，然而，對(duì)于固定的用戶來說，可以通過分析以往的查詢操作及查詢領(lǐng)域，對(duì)查詢信息進(jìn)行適當(dāng)保留，構(gòu)建一個(gè)主動(dòng)學(xué)習(xí)的智能框架，以達(dá)到智能檢索的目的。發(fā)明內(nèi)容
本發(fā)明的發(fā)明目的是提供一種基于多智能算法和圖像融合技術(shù)的圖像檢索方法， 以反饋技術(shù)為基礎(chǔ)，通過聚類、遺傳算法和強(qiáng)化學(xué)習(xí)來構(gòu)建一個(gè)主動(dòng)學(xué)習(xí)的智能框架。
為達(dá)到上述發(fā)明目的，本發(fā)明采用的技術(shù)方案是一種基于多智能算法及圖像融合技術(shù)的圖像檢索方法，提供一用于檢索的圖像數(shù)據(jù)庫和一聚類信息庫，所述聚類信息庫用于動(dòng)態(tài)存放具有相似特征的一類圖像的特征信息；檢索方法包括以下步驟
(1)輸入查詢圖像，并提取特征，獲得原始查詢向量Q= (D，F(xiàn)，R)，其中D表示一幅原始圖像；F = {fj表示一組特征集合，其中&表示第i個(gè)特征；R = IrijI表示特征&的 j個(gè)具體表示形式；
(2)在聚類信息庫中查找查詢圖像的特征信息，如果不存在轉(zhuǎn)入步驟(3)，如果存在轉(zhuǎn)入步驟⑷；
(3)根據(jù)遺傳算法，獲取特征組合參數(shù)，并利用強(qiáng)化學(xué)習(xí)算法，做信息采集存儲(chǔ)，轉(zhuǎn)入步驟(5)；
(4)利用強(qiáng)化學(xué)習(xí)機(jī)制得到的信息，獲取最優(yōu)搜索組合，轉(zhuǎn)入步驟(5)；
(5)在圖像數(shù)據(jù)庫中進(jìn)行檢索，返回檢索結(jié)果，如果用戶對(duì)結(jié)果滿意，則檢索結(jié)束； 如果用戶對(duì)結(jié)果不滿意則轉(zhuǎn)入步驟(6)；
(6)用戶選擇檢索結(jié)果中符合用戶需要的圖像，結(jié)合用戶的選擇，利用圖像融合技術(shù)，修正查詢向量，轉(zhuǎn)入步驟(3)。
上文中，所述步驟(3)中，利用的是遺傳算法的框架，與選擇哪種具體遺傳算法無關(guān)。主要利用基于查詢表的強(qiáng)化學(xué)習(xí)框架，利用查詢表去記錄每類圖像的特征權(quán)重組合， 因此，其中的信息采集存儲(chǔ)就是指對(duì)圖像的類別及權(quán)重進(jìn)行存儲(chǔ)。聚類信息庫描述的是每幅圖像所屬的類別，在利用強(qiáng)化學(xué)習(xí)所得到的查詢表中包含了類別及類別所對(duì)應(yīng)的權(quán)重組合，步驟中的“最優(yōu)搜索組合”就是指根據(jù)當(dāng)前圖像的所屬的類別，取得該類別所對(duì)應(yīng)的權(quán)重組合。
上述技術(shù)方案中，所述特征集合由圖像的顏色特征、紋理特征和形狀特征構(gòu)成，所述顏色特征由顏色矩表示，所述紋理特征由灰度共生矩陣表示，所述形狀特征由圖像矩陣信息熵表示。
當(dāng)采用圖像的上述三種特征構(gòu)成特征集合時(shí)，i = 3，i表示特征的數(shù)量；j = 3，j 為每個(gè)特征下具體用來表示特征的子特征的維數(shù)。如用顏色矩表示顏色特征，這里顏色矩由一階矩、二階矩和三階矩表示，因此這里的j也是等于3。
上述技術(shù)方案中，步驟(5)中，檢索的方法是，利用相似度模型計(jì)算，得出圖像之間的距離，按照檢索出的圖像與當(dāng)前被檢索圖像的距離從小到大排序，檢索結(jié)果是排序靠前的圖像。即，檢索出與當(dāng)前檢索圖形距離較小的圖像。
進(jìn)一步的技術(shù)方案，步驟(5)中，檢索結(jié)束時(shí)，利用ε-greedy算法選擇是否需要進(jìn)行歸并，如需要，則將圖像信息歸并或更新到聚類信息庫，聚類操作利用基于遺傳算法的 K-Means算法實(shí)現(xiàn)。
步驟(6)中，所述修正查詢向量的方法是，利用基于Haar小波變換的圖像融合算法修正查詢向量。
為降低整個(gè)操作的負(fù)荷，又能保證聚類信息庫數(shù)據(jù)的及時(shí)更新，可以設(shè)定更新頻率，對(duì)圖像數(shù)據(jù)庫進(jìn)行聚類操作，對(duì)聚類信息庫進(jìn)行更新。該操作可以由框架自動(dòng)調(diào)用，但通常不能與檢索操作并行執(zhí)行。
由于上述技術(shù)方案運(yùn)用，本發(fā)明與現(xiàn)有技術(shù)相比具有下列優(yōu)點(diǎn)
本發(fā)明所提出的一種基于多智能算法及圖像融合技術(shù)的圖像檢索方法主要涉及遺傳算法、聚類算法、強(qiáng)化學(xué)習(xí)、相關(guān)反饋技術(shù)以及圖像融合技術(shù)，由此具有下列優(yōu)點(diǎn)
1.遺傳算法主要用于調(diào)整特征權(quán)重，構(gòu)建一個(gè)更加符合用戶需求的相似度函數(shù)， 與現(xiàn)有的一些人工調(diào)整權(quán)重的圖像檢索方法相比，利用遺傳算法得到的權(quán)重組合更加符合用戶的實(shí)際需求，人工調(diào)整必然具有一定的主觀性和隨意性，在特征權(quán)重的基礎(chǔ)之上，構(gòu)建更加準(zhǔn)確的相似度函數(shù)；
2.聚類算法用于在檢索過程中動(dòng)態(tài)構(gòu)建一個(gè)聚類信息庫，動(dòng)態(tài)將具有相似特征的圖像聚合成一類，然后提取一類圖像的特征信息，結(jié)合強(qiáng)化學(xué)習(xí)算法，在后續(xù)的檢索過程中，極大提高了檢索的效率和精度；
3.圖像融合技術(shù)主要用于在檢索過程中，結(jié)合用戶的反饋信息，利用融合技術(shù)，優(yōu)化查詢向量，使得查詢向量更加符合用戶的檢索需要，結(jié)合遺傳算法，從查詢向量和相似度函數(shù)兩個(gè)角度進(jìn)行調(diào)整，提高檢索的精度和效率。
4.強(qiáng)化學(xué)習(xí)算法主要針對(duì)檢索過程，結(jié)合相關(guān)反饋技術(shù)，構(gòu)建一個(gè)基于強(qiáng)化學(xué)習(xí)的學(xué)習(xí)框架，在檢索過程中，利用強(qiáng)化學(xué)習(xí)技術(shù)，保留檢索過程中的相關(guān)檢索信息，在后續(xù)檢索中，結(jié)合圖像融合技術(shù)、遺傳算法和聚類算法，優(yōu)化檢索模型，提高檢索精度和效率，同時(shí)該方法對(duì)于旋轉(zhuǎn)、平移和尺度變化具有較強(qiáng)的魯棒性。


圖1是本發(fā)明實(shí)施例的系統(tǒng)工作流程圖。
具體實(shí)施方式
下面結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步描述
實(shí)施例參見圖1所示，一種基于多智能算法及圖像融合技術(shù)的圖像檢索方法，包括以下步驟
步驟(1)用戶給出原始查詢向量)Q = (D，F(xiàn)，R)，其中D表示一幅原始圖像，比如一幅jpeg格式的圖像；F = {fj表示一組特征集合，A表示第i個(gè)特征；R = IrijI表示特征&的具體表示形式，測試圖像向量Q' = (D，F(xiàn)，R)及一個(gè)測試集T，指定圖像庫I和其對(duì)應(yīng)的特征庫F;
步驟O)根據(jù)系統(tǒng)提供的聚類信息庫以及圖像的特征組合，判斷該圖像是否屬于聚類信息庫中的某一類，同時(shí)在強(qiáng)化學(xué)習(xí)的先驗(yàn)知識(shí)中查詢是否有記錄。如果屬于某一類，并存在記錄，則轉(zhuǎn)入步驟(3)；否則，轉(zhuǎn)入步驟；
步驟(3)根據(jù)測試集T及測試圖像Q’，利用遺傳算法，得出一組最佳的權(quán)值—— wl, w2, w3，分別對(duì)應(yīng)圖像三個(gè)特征——顏色，紋理和形狀，轉(zhuǎn)入步驟(5)。
步驟⑷利用強(qiáng)化學(xué)習(xí)所得到的先驗(yàn)知識(shí)，獲得一組最佳權(quán)重——wl, w2, w3，轉(zhuǎn)入步驟(5)；
步驟(5)利用圖像相似度模型，計(jì)算出圖像特征庫中每幅圖像Ii與查詢向量Q 的距離D(Q，Ii)，根據(jù)距離進(jìn)行排序，給出結(jié)果集0。圖像相似度模型如下所示
D(QJ)=YjWfidfi(QJ)fi^-F
dfi(Q J)= I^drv(QJ)V rU
其中Q是查詢向量(查詢圖像)；I是被查詢圖像；F = {fj是圖像特征集合；1^ 是特征&的權(quán)值(0，/)是兩幅圖像在特征&上的距離Au (0，7)是在特征&的第j個(gè)分量上的距離；
步驟(6)利用強(qiáng)化學(xué)習(xí)方法，更新一組強(qiáng)化學(xué)習(xí)記錄，記錄是以信息對(duì)的形式保存——〈X，W>，其中X對(duì)應(yīng)一組圖像類別，W對(duì)應(yīng)一組權(quán)重組合；
步驟(7)如果用戶對(duì)查詢結(jié)果滿意，則檢索結(jié)束，同時(shí)將圖像信息有選擇地歸并或者更新到聚類信息庫，轉(zhuǎn)入步驟(9)；如果用戶不滿意檢索結(jié)果，則轉(zhuǎn)入步驟(8)；
步驟⑶結(jié)合用戶的選擇的圖像，記做0’，利用圖像融合技術(shù)，修正查詢向量Q， 同時(shí)由0’及在圖像數(shù)據(jù)庫中隨機(jī)抽取的圖像更新測試集T，將測試圖像Q’更新為當(dāng)前的查詢向量Q，轉(zhuǎn)入步驟⑶；
步驟(9)以一定的概率決定是否對(duì)圖像數(shù)據(jù)庫進(jìn)行聚類，以更新聚類信息庫，或者用戶可以強(qiáng)制系統(tǒng)進(jìn)行聚類操作。
權(quán)利要求
1.一種基于多智能算法及圖像融合技術(shù)的圖像檢索方法，其特征在于，提供一用于檢索的圖像數(shù)據(jù)庫和一聚類信息庫，所述聚類信息庫用于動(dòng)態(tài)存放具有相似特征的一類圖像的特征信息；檢索方法包括以下步驟(1)輸入查詢圖像，并提取特征，獲得原始查詢向量Q=(D，F(xiàn)，R)，其中D表示一幅原始圖像；F = {fj表示一組特征集合，其中A表示第i個(gè)特征；R = IrijI表示特征&的j個(gè)具體表示形式；(2)在聚類信息庫中查找查詢圖像的特征信息，如果不存在轉(zhuǎn)入步驟(3)，如果存在轉(zhuǎn)入步驟⑷；(3)根據(jù)遺傳算法，獲取特征組合參數(shù)，并利用強(qiáng)化學(xué)習(xí)算法，做信息采集存儲(chǔ)，轉(zhuǎn)入步驟⑶；(4)利用強(qiáng)化學(xué)習(xí)機(jī)制得到的信息，獲取最優(yōu)搜索組合，轉(zhuǎn)入步驟(5)；(5)在圖像數(shù)據(jù)庫中進(jìn)行檢索，返回檢索結(jié)果，如果用戶對(duì)結(jié)果滿意，則檢索結(jié)束；如果用戶對(duì)結(jié)果不滿意則轉(zhuǎn)入步驟(6)；(6)用戶選擇檢索結(jié)果中符合用戶需要的圖像，結(jié)合用戶的選擇，利用圖像融合技術(shù)， 修正查詢向量，轉(zhuǎn)入步驟(3)。
2.根據(jù)權(quán)利要求1所述的基于多智能算法及圖像融合技術(shù)的圖像檢索方法，其特征在于所述特征集合由圖像的顏色特征、紋理特征和形狀特征構(gòu)成，所述顏色特征由顏色矩表示，所述紋理特征由灰度共生矩陣表示，所述形狀特征由圖像矩陣信息熵表示。
3.根據(jù)權(quán)利要求2所述的基于多智能算法及圖像融合技術(shù)的圖像檢索方法，其特征在于i = 3，i表示特征的數(shù)量；j = 3，j為每個(gè)特征下具體用來表示特征的子特征的維數(shù)。
4.根據(jù)權(quán)利要求1所述的基于多智能算法及圖像融合技術(shù)的圖像檢索方法，其特征在于步驟(5)中，檢索的方法是，利用相似度模型計(jì)算，得出圖像之間的距離，按照檢索出的圖像與當(dāng)前被檢索圖像的距離從小到大排序，檢索結(jié)果是排序靠前的圖像。
5.根據(jù)權(quán)利要求1所述的基于多智能算法及圖像融合技術(shù)的圖像檢索方法，其特征在于步驟(5)中，檢索結(jié)束時(shí)，利用ε-greedy算法選擇是否需要進(jìn)行歸并，如需要，則將圖像信息歸并或更新到聚類信息庫，聚類操作利用基于遺傳算法的K-Means算法實(shí)現(xiàn)。
6.根據(jù)權(quán)利要求1所述的基于多智能算法及圖像融合技術(shù)的圖像檢索方法，其特征在于步驟(6)中，所述修正查詢向量的方法是，利用基于Haar小波變換的圖像融合算法修正查詢向量。
7.根據(jù)權(quán)利要求1所述的基于多智能算法及圖像融合技術(shù)的圖像檢索方法，其特征在于設(shè)定更新頻率，對(duì)圖像數(shù)據(jù)庫進(jìn)行聚類操作，對(duì)聚類信息庫進(jìn)行更新。
全文摘要
本發(fā)明公開了一種基于多智能算法及圖像融合技術(shù)的圖像檢索方法，該方法以強(qiáng)化學(xué)習(xí)、遺傳算法和聚類算法為基礎(chǔ)，構(gòu)建一個(gè)主動(dòng)學(xué)習(xí)的智能學(xué)習(xí)框架，在相關(guān)反饋過程中利用圖像融合技術(shù)和遺傳算法，修正查詢向量和相似度匹配模型，提高了查詢精度和查詢效率。本發(fā)明的優(yōu)點(diǎn)是查詢精度和查詢效率較高，對(duì)于平移、旋轉(zhuǎn)和尺度變換具有較強(qiáng)的魯棒性，同時(shí)在一定次數(shù)的查詢學(xué)習(xí)之后，可以實(shí)現(xiàn)智能檢索，更進(jìn)一步提高查詢精度和查詢效率。
文檔編號(hào)G06K9/62GK102508909SQ20111035738
公開日2012年6月20日 申請日期2011年11月11日 優(yōu)先權(quán)日2011年11月11日
發(fā)明者傅啟明, 劉全, 閆其粹 申請人:蘇州大學(xué)