本發(fā)明涉及基于鄰域旋轉(zhuǎn)直角模式的圖像檢索方法。

背景技術(shù)：

基于內(nèi)容的圖像檢索(CBIR)這一概念于1992年由T.Kato提出。他在論文中構(gòu)建了一個(gè)基于顏色和形狀的圖像數(shù)據(jù)庫(kù)，并提供了一定的檢索功能進(jìn)行實(shí)驗(yàn)。從那時(shí)起，這個(gè)詞被用來(lái)描述檢索過(guò)程需要大量圖片基礎(chǔ)之上的圖像特征。CBIR技術(shù)的核心是利用圖像的可視化特征對(duì)圖像進(jìn)行檢索。本質(zhì)上就是一種相似性匹配技術(shù)。目前，有多種特征用來(lái)作為索引，大體上可分為低層視覺(jué)特征和高層語(yǔ)義特征這兩類。低層視覺(jué)特征主要包括顏色、紋理和形狀等；高層語(yǔ)義特征指圖像的含義，它包含著人類對(duì)圖像的識(shí)別和理解，往往借助人類的知識(shí)推理，由于當(dāng)今計(jì)算機(jī)視覺(jué)和圖像理解的發(fā)展水平限制，還無(wú)法真正依靠基于語(yǔ)義特征進(jìn)行圖像檢索。所以，目前圖像檢索算法研究成果較多為基于圖像顏色、紋理、形狀等低層視覺(jué)特征。

顏色特征是目前使用最廣泛的低層視覺(jué)特征。Swain和Ballard最先提出了顏色直方圖的方法，顏色直方圖是表現(xiàn)圖像內(nèi)容的一種直觀方式就是統(tǒng)計(jì)圖像中的各顏色像素點(diǎn)數(shù)的出現(xiàn)頻率，他反映圖像中顏色的組成部分。但是顏色直方圖法簡(jiǎn)單，而當(dāng)圖像中的特征并不能取遍所有可取值時(shí)，直方圖中會(huì)出現(xiàn)一些零值，這些出現(xiàn)的零值會(huì)對(duì)相似度度量的計(jì)算帶來(lái)影響，從而使得相似性度量并不能準(zhǔn)確的反映圖像之間的顏色差別。顏色直方圖法存在無(wú)法描述圖像顏色的空間分布特征、特征維數(shù)過(guò)高、對(duì)噪聲較為敏感等問(wèn)題，提取方法相對(duì)顏色直方圖較為簡(jiǎn)單的顏色矩也存在低階矩辨別能力較弱、適用范圍有其局限性等問(wèn)題，顏色分布熵存在統(tǒng)計(jì)直方圖的存儲(chǔ)量與計(jì)算量較大，導(dǎo)致檢索時(shí)間過(guò)慢等問(wèn)題，顏色聚合向量雖然考慮到圖像顏色空間分布特征，但忽略了各顏色集中最大區(qū)域的形狀及背景的關(guān)系?；谝陨蠁?wèn)題，顏色特征無(wú)法全面描述圖像信息，因此紋理特征作為另一個(gè)重要的圖像特征成為了近年來(lái)國(guó)內(nèi)外學(xué)者研究的熱點(diǎn)。由于紋理能夠捕捉到圖像全局的周期性、粗糙度和方向性等特點(diǎn)，許多學(xué)者據(jù)此進(jìn)行了一系列研究。

紋理是一種反映圖像中同質(zhì)現(xiàn)象的視覺(jué)特征，它體現(xiàn)了物體表面的具有緩慢變化或者周期性變化的表面結(jié)構(gòu)組織排列屬性。紋理具有三大標(biāo)志：某種局部序列性不斷重復(fù)、非隨機(jī)排列、紋理區(qū)域內(nèi)大致為均勻的統(tǒng)一體。紋理不同于顏色等圖像特征，它通過(guò)像素及其周圍空間鄰域像素分布來(lái)表現(xiàn)，即：局部紋理信息。局部紋理信息不同程度的重復(fù)性，即全局紋理信息。一幅圖像的紋理是在圖像計(jì)算中經(jīng)過(guò)量化的圖像特征。圖像紋理描述圖像或其中小塊區(qū)域的空間顏色分布和光強(qiáng)分布。隨著相關(guān)理論的發(fā)展以及各個(gè)應(yīng)用領(lǐng)域的需求牽引，經(jīng)過(guò)各國(guó)研究者幾十年的共同努力，紋理特征提取方法層出不窮。

近年來(lái)，Ojala等人提出的局部二值模式成為了紋理分類和檢索領(lǐng)域的另一道曙光。Ojala等人提出了用于紋理分類且具有旋轉(zhuǎn)不變性的LBPs算子，該方法分析紋理的吸引人的地方在于其計(jì)算復(fù)雜度小，具有多尺度特性和旋轉(zhuǎn)不變特性，在紋理檢索領(lǐng)域得到應(yīng)用。隨著研究人員對(duì)LBP旋轉(zhuǎn)不變性的廣泛研究，LBP也衍生出了各種形式，如LBP方差與全局匹配、主導(dǎo)LBP模式、LBP的完整模型和模擬高斯混合局部模式的聯(lián)合分布等等形式都已有效的應(yīng)用在紋理分類領(lǐng)域。X.Tan等人提出的局部三值模式做到了在光照條件不同下對(duì)人臉的描述與識(shí)別。S.Murala等人提出的局部網(wǎng)格模式通過(guò)對(duì)中心像素及其周邊像素之間的關(guān)系進(jìn)行編碼來(lái)實(shí)現(xiàn)特征提取。Zhao等人提出VLBP模式并在灰度空間進(jìn)行實(shí)驗(yàn)，利用時(shí)間與空間并行實(shí)現(xiàn)動(dòng)態(tài)紋理識(shí)別，在人臉識(shí)別方面效果顯著，但在自然圖像檢索上效果并不理想。S.Murala等人在此基礎(chǔ)上使用球形對(duì)稱的三維局部三值模式SS-3D-LTP，使用不同標(biāo)準(zhǔn)偏差值的高斯濾波器組的多分辨率圖像，根據(jù)五個(gè)不同方向建立三維立體模型來(lái)實(shí)現(xiàn)特征提取，但該方法在閾值的選擇上具有一定的局限性，選取固定閾值存在一定的主觀因素，而且選擇灰度圖像在一定程度上損失了圖像部分信息。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明是為了解決現(xiàn)有技術(shù)使用球形對(duì)稱的三維局部三值模式SS-3D-LTP方法，在閾值的選擇上具有局限性，選擇灰度圖像損失了圖像部分信息，導(dǎo)致查全率和查準(zhǔn)率低的問(wèn)題，而提出的一種基于鄰域旋轉(zhuǎn)直角模式的圖像檢索方法。

一種基于鄰域旋轉(zhuǎn)直角模式的圖像檢索方法按以下步驟實(shí)現(xiàn)：

步驟一：分離彩色圖像R、G、B三通道色，分別對(duì)三通道色進(jìn)行二維離散小波變換，取三通道色的低頻子帶，作為所選平面；所述R為紅色分量，G為綠色分量，B為藍(lán)色分量；

步驟二：基于VLBP模式根據(jù)步驟一所選的平面提取局部模式；

步驟三：對(duì)步驟二提取的局部模式使用鄰域旋轉(zhuǎn)直角模式計(jì)算局部模式的鄰域旋轉(zhuǎn)直角模式值；

步驟四：將步驟三得到的鄰域旋轉(zhuǎn)直角模式值形成的特征向量與圖像數(shù)據(jù)庫(kù)進(jìn)行特征相似度度量，使用查全率以及查準(zhǔn)率對(duì)圖像檢索結(jié)果進(jìn)行評(píng)價(jià)。

發(fā)明效果：

為了解決現(xiàn)有技術(shù)使用球形對(duì)稱的三維局部三值模式SS-3D-LTP方法，在閾值的選擇上具有局限性，選擇灰度圖像損失了圖像部分信息，導(dǎo)致查全率和查準(zhǔn)率低的問(wèn)題，本發(fā)明在基于圖像紋理特征提取的角度上引用圖像RGB顏色信息，增加了信息量，鄰域旋轉(zhuǎn)直角模式可更好地提取圖像邊緣特征信息，查全率及查準(zhǔn)率均高于SS-3D-LTP算法。

附圖說(shuō)明

圖1為本發(fā)明特征提取流程圖；

圖2為第一類待檢索圖像—黑人；

圖3為黑人圖像檢索結(jié)果圖；圖3a為匹配度最高的檢索結(jié)果圖，圖3a—圖3i匹配度依次遞減；

圖4為第二類待檢索圖像—海灘；

圖5為海灘圖像檢索結(jié)果圖；圖5a為匹配度最高的檢索結(jié)果圖，圖5a—圖5i匹配度依次遞減；

圖6為第三類待檢索圖像—建筑；

圖7為建筑圖像檢索結(jié)果圖；圖7a為匹配度最高的檢索結(jié)果圖，圖7a—圖7i匹配度依次遞減；

圖8為第四類待檢索圖像—汽車；

圖9為汽車圖像檢索結(jié)果圖；圖9a為匹配度最高的檢索結(jié)果圖，圖9a—圖9i匹配度依次遞減；

圖10為第五類待檢索圖像—恐龍；

圖11為恐龍圖像檢索結(jié)果圖；圖11a為匹配度最高的檢索結(jié)果圖，圖11a—圖11i匹配度依次遞減；

圖12為第六類待檢索圖像—大象；

圖13為大象圖像檢索結(jié)果圖；圖13a為匹配度最高的檢索結(jié)果圖，圖13a—圖13i匹配度依次遞減；

圖14為第七類待檢索圖像—鮮花；

圖15為鮮花圖像檢索結(jié)果圖；圖15a為匹配度最高的檢索結(jié)果圖，圖15a—圖15i匹配度依次遞減；

圖16為第8類待檢索圖像—馬；

圖17為馬圖像檢索結(jié)果圖；圖17a為匹配度最高的檢索結(jié)果圖，圖17a—圖17i匹配度依次遞減；

圖18為第9類待檢索圖像—雪山；

圖19為雪山圖像檢索結(jié)果圖；圖19a為匹配度最高的檢索結(jié)果圖，圖19a—圖19i匹配度依次遞減；

圖20為第10類待檢索圖像—食物；

圖21為食物檢索結(jié)果圖；圖21a為匹配度最高的檢索結(jié)果圖，圖21a—圖21i匹配度依次遞減。

具體實(shí)施方式

具體實(shí)施方式一：一種基于鄰域旋轉(zhuǎn)直角模式的圖像檢索方法包括以下步驟：

步驟一：分離彩色圖像R、G、B三通道色，選擇haar小波基，分別對(duì)三通道色進(jìn)行二維離散小波變換，取三通道色的LL低頻子帶，即cA_R、cA_G、cA_B三個(gè)低頻子帶作為實(shí)驗(yàn)所選平面；所述R為紅色分量，G為綠色分量，B為藍(lán)色分量，cA_R為紅色分量低頻子帶，cA_G為綠色分量低頻子帶，cA_B為藍(lán)色分量低頻子帶；

步驟二：基于VLBP模式(Volume Local Binary Patterns卷體局部二值模式)根據(jù)步驟一所選的平面提取局部模式；

步驟三：對(duì)步驟二提取的局部模式使用鄰域旋轉(zhuǎn)直角模式計(jì)算局部模式的鄰域旋轉(zhuǎn)直角模式值；

步驟四：將步驟三得到的鄰域旋轉(zhuǎn)直角模式值形成的特征向量與圖像數(shù)據(jù)庫(kù)進(jìn)行特征相似度度量，使用查全率以及查準(zhǔn)率對(duì)圖像檢索結(jié)果進(jìn)行評(píng)價(jià)。

具體實(shí)施方式二：本實(shí)施方式與具體實(shí)施方式一不同的是：所述步驟二中基于VLBP模式根據(jù)步驟一所選的平面提取局部模式的具體過(guò)程為：

將所選平面垂直排列，順序?yàn)榈谝粋€(gè)平面為紅色分量低頻子帶、第二個(gè)平面為藍(lán)色分量低頻子帶、第三個(gè)平面為綠色分量低頻子帶；在每個(gè)平面上選取以每個(gè)像素為中心形成的3×3像素矩陣，即像素中心與其周圍八個(gè)鄰域像素形成的矩陣；平面四周像素向外擴(kuò)展，其值等于自身像素值；

將三個(gè)平面等效為正方體，即三個(gè)平面上的3×3像素矩陣同樣等效為正方體，依次提取每個(gè)3×3像素矩陣正方體的局部模式，所提取的局部模式同樣為3×3像素矩陣，以3×3像素矩陣正方體中的第二個(gè)平面的像素矩陣為第一局部模式；以3×3像素矩陣正方體中的第二個(gè)平面的像素矩陣的中心像素為中心，過(guò)第一個(gè)平面和第三個(gè)平面像素矩陣的中心像素形成的像素矩陣為第二局部模式；以3×3像素矩陣正方體中過(guò)第一個(gè)平面和第三個(gè)平面像素矩陣的中心像素，并與第一局部模式和第二局部模式垂直的像素矩陣為第三局部模式；以3×3像素矩陣正方體中過(guò)第一個(gè)平面像素矩陣中心像素的兩個(gè)對(duì)角線形成兩個(gè)像素矩陣為第四局部模式和第五局部模式。

其它步驟及參數(shù)與具體實(shí)施方式一相同。

具體實(shí)施方式三：本實(shí)施方式與具體實(shí)施方式一或二不同的是：所述步驟三中對(duì)步驟二提取的局部模式使用鄰域旋轉(zhuǎn)直角模式計(jì)算局部模式的鄰域旋轉(zhuǎn)直角模式值具體過(guò)程為：

使用鄰域旋轉(zhuǎn)直角模式對(duì)所提取的局部模式進(jìn)行計(jì)算得出局部三值模式，將每個(gè)局部三值模式分解為兩個(gè)局部二值模式，共形成以0,1編碼的10個(gè)局部二值模式，對(duì)10個(gè)局部二值模式分別進(jìn)行加權(quán)運(yùn)算得到10個(gè)鄰域旋轉(zhuǎn)直角模式值。特征向量提取流程如圖1所示。

其它步驟及參數(shù)與具體實(shí)施方式一或二相同。

具體實(shí)施方式四：本實(shí)施方式與具體實(shí)施方式一至三之一不同的是：所述鄰域旋轉(zhuǎn)直角模式具體為：

本發(fā)明提出一種新的基于紋理特征的圖像檢索算法——鄰域旋轉(zhuǎn)直角模式。鄰域旋轉(zhuǎn)直角模式是一種局部紋理特征提取算法，該算法根據(jù)中心像素與以其半徑為2且呈90°直角方向上通過(guò)旋轉(zhuǎn)直角取得兩鄰域像素與中心像素比較結(jié)果確定該中心像素鄰域旋轉(zhuǎn)直角模式值。以R通道色LL低頻子帶為例。根據(jù)中心像素g_c，以鄰域半徑R＝1分別取α及α+90°方向上鄰域像素g_p，鄰域像素個(gè)數(shù)共8個(gè)。根據(jù)8個(gè)鄰域像素及中心像素值計(jì)算均方差從而得出閾值μ，通過(guò)比較α及α+90°方向鄰域像素均值與中心像素g_c±μ的關(guān)系確定二值模式下α方向上鄰域像素取值。

鄰域旋轉(zhuǎn)直角模式計(jì)算公式如下所示：

α＝0°,45°,90°,...,315°

其中所述為α方向上的鄰域像素值，g_c為中心像素值；μ為根據(jù)8個(gè)鄰域像素值以及中心像素值計(jì)算均方差得出的局部自適應(yīng)閾值；

局部自適應(yīng)閾值μ計(jì)算公式如下所示：

其中x_i為像素值，為局部模式像素(9個(gè))平均值，N為像素個(gè)數(shù)，取值為9。

σ₁、σ₂、σ₃分別表示平面cA_R、cA_B、cA_G，給定σ₂平面中心像素L_c(σ₂)，基于α方向上的鄰域像素取值定義如下：

確定鄰域像素分布情況后，通過(guò)計(jì)算鄰域旋轉(zhuǎn)直角模式內(nèi)中心像素L_c(σ₂)與其鄰域像素的關(guān)系如下：

其它步驟及參數(shù)與具體實(shí)施方式一至三之一相同。

具體實(shí)施方式五：本實(shí)施方式與具體實(shí)施方式一至四之一不同的是：所述步驟四中將步驟三得到的鄰域旋轉(zhuǎn)直角模式值形成的特征向量與圖像數(shù)據(jù)庫(kù)進(jìn)行特征相似度度量，使用查全率以及查準(zhǔn)率對(duì)圖像檢索結(jié)果進(jìn)行評(píng)價(jià)的具體過(guò)程為：

將鄰域旋轉(zhuǎn)直角模式值連接形成特征向量：

其中，N₁×N₂表示圖像大小，PTN表示鄰域旋轉(zhuǎn)直角模式，(i,j)表示處于圖像第i行第j列的像素，l表示均勻LBP模式值(均勻LBP模式值為共識(shí)點(diǎn)，是否需要另加說(shuō)明)類型，P表示鄰域像素個(gè)數(shù)；

通過(guò)計(jì)算待檢索圖像I_q的特征向量(直方圖)與圖像數(shù)據(jù)庫(kù)中圖像的特征向量的距離實(shí)現(xiàn)圖像檢索；

d1相似度度量計(jì)算公式如下所示：

其中，代表圖像數(shù)據(jù)庫(kù)|DB|中第j幅圖像的第i個(gè)特征，L_g表示圖像數(shù)量；

使用查準(zhǔn)率以及查全率對(duì)圖像檢索結(jié)果進(jìn)行客觀評(píng)價(jià)，對(duì)于待檢索圖像I_q，查準(zhǔn)率計(jì)算公式如下所示：

其中，n表示檢索結(jié)果中圖像的數(shù)量，φ(I_i)表示檢索結(jié)果中圖像的類別，φ(I_q)表示待檢索圖像的類別；

查全率計(jì)算公式如下所示：

其中，N_G表示圖像數(shù)據(jù)庫(kù)中與待檢索圖像I_q相關(guān)圖像總量，δ(φ(I_i),φ(I_q))函數(shù)關(guān)系如下所示：

實(shí)施例一：

實(shí)驗(yàn)選擇Corel-1K數(shù)據(jù)庫(kù)進(jìn)行圖像檢索。

在查準(zhǔn)率上，鄰域旋轉(zhuǎn)直角模式與SS-3D-LTP模式比較實(shí)驗(yàn)結(jié)果表明：在黑人圖像中，提升23.33％；在海灘圖像中，提升1.00％；在建筑圖像中，提升7.66％；在汽車圖像中，提升3.66％；在恐龍圖像中，降低0.66％；在大象圖像中，提升10.00％；在鮮花圖像中，降低23.00％；在馬圖像中，提升33.00％；在雪山圖像中，提升15.33％；在食物圖像中，提升27.67％。通過(guò)實(shí)驗(yàn)結(jié)果圖2—圖21分析可知，局部直角均值模式與SS-3D-LTP模式在查準(zhǔn)率上相比，8類圖像有所提升，2類圖像有所下降，查準(zhǔn)率平均提升9.80％。

在查全率上，鄰域旋轉(zhuǎn)直角模式與SS-3D-LTP模式比較實(shí)驗(yàn)結(jié)果表明：在黑人圖像中，提升18.10％；在海灘圖像中，提升3.90％；在建筑圖像中，提升2.60％；在汽車圖像中，提升7.90％；在恐龍圖像中，降低6.50％；在大象圖像中，提升5.70％；在鮮花圖像中，降低9.20％；在馬圖像中，提升20.90％；在雪山圖像中，提升13.60％；在食物圖像中，提升21.60％。通過(guò)實(shí)驗(yàn)結(jié)果圖2—圖21分析可知，局部直角均值模式與SS-3D-LTP模式在查全率上相比，8類圖像有所提升，2類圖像有所下降，查全率平均提升7.86％。