一種視覺詞匯的上下文描述子生成方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)圖像處理和機(jī)器視覺領(lǐng)域，涉及一種視覺詞匯的上下文描述子 生成方法。
【背景技術(shù)】
[0002] 基于圖像中的局部特征點(diǎn)進(jìn)行圖像的分析、識別和檢索是當(dāng)前圖像處理領(lǐng)域的一 種重要方式。將局部特征點(diǎn)描述子量化為視覺詞匯并用詞袋模型來表示圖像，是當(dāng)前圖像 識別與分類的一類重要方法。詞袋模型與倒排索引結(jié)構(gòu)相結(jié)合是當(dāng)前最有效的基于內(nèi)容的 圖像檢索方式;該圖像檢索方法可以應(yīng)對圖像的各種編輯和變換，有較好的魯棒性;另外， 基于視覺詞匯的倒排索引結(jié)構(gòu)可以在大規(guī)模圖像庫中實(shí)現(xiàn)實(shí)時(shí)的查詢要求。但是通過局部 特征的描述子量化得到的視覺詞匯相對于自然語言中的詞匯并沒有明確的意義，容易受到 噪聲的影響。為了能夠保證視覺詞匯的區(qū)分能力要求:詞典中視覺詞匯數(shù)量越多越好;但是 越多的視覺詞匯導(dǎo)致了其抗噪能力變?nèi)?，并且在局部特征量化為視覺詞匯時(shí)需要耗費(fèi)更多 的計(jì)算量。然而，為了消除噪聲影響而減少詞典中視覺詞匯的數(shù)量，導(dǎo)致了視覺詞匯中廣泛 存在著多義現(xiàn)象，多義現(xiàn)象是指同一個(gè)視覺詞匯指向了多個(gè)不同的局部圖像，使視覺詞匯 的區(qū)分能力降低，同時(shí)造成了視覺詞匯的高誤檢率，從而給后面的圖像相似度計(jì)算帶來了 困難。針對局部特征量化為視覺詞匯后導(dǎo)致的多義問題，有部分的研究者關(guān)注到了該問題， 并提出了部分的解決方法。
[0003] 有研究者希望通過建模視覺詞匯（局部特征）的空間依賴關(guān)系來提高視覺詞匯的 描述能力。Liu通過兩個(gè)視覺詞匯穩(wěn)定的空間共現(xiàn)選擇二階視覺詞匯特征。Yuan和Zhang提 出了視覺詞匯短語特征來描述視覺詞匯空間共現(xiàn)特性。Li采用文本中N-Gram方式來構(gòu)建可 能的視覺詞匯組，然后用chi方統(tǒng)計(jì)量來選擇代表性的視覺詞匯組。然而上述這些方法都是 依賴于訓(xùn)練數(shù)據(jù)來選擇共現(xiàn)視覺詞匯對，其主要以圖像分類和對象檢索為目的，并不完全 適合包括各種未知對象的圖像檢索應(yīng)用。
[0004] 近年來也有學(xué)者研究面向檢索領(lǐng)域的局部特征的上下文信息表示問題。Wu通過最 大穩(wěn)定極限區(qū)域?qū)⒁曈X詞匯組合成Bundle，然后基于Bundle對圖像進(jìn)行索引，并通過 Bundle中視覺詞匯的匹配實(shí)現(xiàn)相似性的度量。該方法依賴于最大穩(wěn)定極值區(qū)域檢測的魯棒 性。Zhou采用了緊致的空間編碼方法來描述視覺詞匯的相互位置關(guān)系。但該方法對圖像的 旋轉(zhuǎn)變換支持不是很理想，需要通過構(gòu)建多個(gè)方向的位置關(guān)系來提高對旋轉(zhuǎn)變換的魯棒 性。Zhang在大規(guī)模圖像下，通過量化視覺詞匯的空間關(guān)系以及學(xué)習(xí)語義距離來降低視覺詞 匯的誤檢率，但是該方法的效率低。Paradowski提出利用視覺詞匯之間的幾何關(guān)系和拓?fù)?關(guān)系來驗(yàn)證近似拷貝圖像，利用匹配"視覺詞匯對"來求解透視變換參數(shù)，再通過投影獲得 幾何相似性。拓?fù)潢P(guān)系通過上下文視覺詞匯的順序來表示。
[0005] 針對局部特征量化為視覺詞匯后導(dǎo)致的多義現(xiàn)象而造成的匹配準(zhǔn)確率較低的問 題，本發(fā)明方法提出利用視覺詞匯在圖像中的上下文構(gòu)建一個(gè)上下文描述子進(jìn)一步增強(qiáng)視 覺詞匯區(qū)分能力。該視覺詞匯上下文描述子滿足了緊致性和魯棒性兩方面要求，可以應(yīng)用 圖像的識別和檢索。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的是針對現(xiàn)有技術(shù)的不足，提供了一種視覺詞匯的上下文描述子生成 方法。
[0007] 本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案，包括如下三部分：（1)離線學(xué)習(xí)部分， (2)上下文描述子生成部分，（3)上下文描述子相似性計(jì)算部分。
[0008] 所述的離線學(xué)習(xí)部分包括視覺詞匯詞典的構(gòu)建和視覺詞匯反文檔頻率的獲??；
[0009] 所述的上下文描述子生成部分包括提取和量化局部特征點(diǎn)、選擇局部特征點(diǎn)的上 下文、提取上下文中局部特征點(diǎn)的特征并生成描述子；
[0010] 所述的上下文描述子相似性計(jì)算部分包括視覺詞匯的擴(kuò)展、基于反文檔頻率和視 覺詞匯擴(kuò)展的相似性計(jì)算和基于閾值的上下文一致性驗(yàn)證；
[0011] 上述的三個(gè)部分相互關(guān)聯(lián)，離線學(xué)習(xí)部分得到的視覺詞匯詞典用于上下文描述子 生成部分中的局部特征點(diǎn)描述子特征向量的量化和視覺詞匯的擴(kuò)展，視覺詞匯反文檔頻率 用于上下文描述子的相似性計(jì)算。上下文描述子相似性計(jì)算部分是上下文描述子在應(yīng)用中 的必要步驟。
[0012] (1)離線學(xué)習(xí)部分包括:視覺詞匯詞典的構(gòu)建和視覺詞匯反文檔頻率的獲取，具體 步驟如下：
[0013] 1-1.提取圖像庫中圖像的局部特征點(diǎn)及其特征描述子，將提取的特征描述子構(gòu)建 成樣本庫;樣本庫的數(shù)量越多越能反映真實(shí)的局部特征點(diǎn)描述子的分布情況。
[0014] 1-2.通過樣本庫獲得視覺詞匯詞典;具體的，對樣本庫中特征描述子的特征向量 進(jìn)行分組，在每個(gè)特征組上通過K均值聚類得到K個(gè)類中心，每個(gè)類中心為一個(gè)特征向量即 代表視覺詞匯中的一個(gè)詞根，K個(gè)類中心為該特征組的詞根集合;從每個(gè)特征組的詞根集合 中選擇一個(gè)詞根就生成了一個(gè)視覺詞匯。在每個(gè)特征組上構(gòu)建的詞根集合進(jìn)行組合得到視 覺詞匯詞典；
[0015] 1-3.對樣本庫中的局部特征描述子根據(jù)視覺詞匯詞典采用分組量化方法得到視 覺詞匯，再通過統(tǒng)計(jì)獲得視覺詞匯的反文檔頻率；
[0016] 視覺詞匯VWi的反文檔頻率IDF(VWi)是通過統(tǒng)計(jì)樣本庫中視覺詞匯的文檔頻率的 倒數(shù)得到，其作為視覺詞匯重要性的指標(biāo)；由于一些視覺詞匯在樣本庫中并不一定存在，對 不存在的視覺詞匯用樣本庫中視覺詞匯反文檔頻率的最大值進(jìn)行填充;該填充方法表達(dá)了 視覺詞匯的出現(xiàn)頻率越低帶有的信息量越大這一特性。
[0017] (2)上下文描述子生成部分的具體步驟如下：
[0018] 2-1.對輸入圖像提取局部特征點(diǎn)集合5={?14[[0,9]}，9為輸入圖像中局部特 征點(diǎn)的個(gè)數(shù)，Ρ:指代第i個(gè)局部特征點(diǎn);并依據(jù)視覺詞匯詞典通過分組量化方法將局部特征 點(diǎn)特征描述子量化為視覺詞匯vffi;具體步驟如下：
[0019] 2-H.從圖像中提取局部特征點(diǎn)Ρι的特征描述子Fi、位置 (Pxi，Pyi)、尺度〇1和主方 向信息，即局部特征點(diǎn)Pi表示為[Fi，0i， 0i，PXi，pyi];
[0020] 2-1-2.對每個(gè)局部特征點(diǎn)Pi的特征描述子巧依據(jù)視覺詞匯詞典采用分組量化方法 得到視覺詞匯；依據(jù)視覺詞匯詞典的分組量化是將特征描述子Fi分成Μ組，每組為D/Μ個(gè)特 征，其中D為特征描述子Fi特征向量的維數(shù);然后對每組的特征向量根據(jù)步驟1-2訓(xùn)練好的 視覺詞匯詞典單獨(dú)量化為L，則采用分組量化得到特征描述子h的視覺詞匯VWiS:
[0021]
[0022]其中，L為視覺詞匯詞典中對應(yīng)組的詞根數(shù);從而一個(gè)局部特征點(diǎn)？4皮表示為[VI， 每組特征向量的量化通過在該組的詞根集合中基于歐式距離查找最近的 類中心，并將該類中心的下標(biāo)作為其量化結(jié)果；
[0023] 2-2.對每個(gè)局部特征點(diǎn)輸入圖像的局部特征點(diǎn)集合S中選取N個(gè)局部特征點(diǎn) 作為上下文ContexMPO;根據(jù)局部特征APi與輸入圖像中其它局部特征點(diǎn)匕的距離和 尺度差的加權(quán)和D (Pi，Pj))來評價(jià)Pi與Pj關(guān)系的穩(wěn)定性，D (Pi，Pj)越小兩者的關(guān)系越穩(wěn)定，越 不容易受到圖像變換的影響;DWuh)的計(jì)算公式為：
[0024] i"'"vvv .....an
[0025] 其i=
:Pmax(〇)是歸一化因子，Imgw和ImgH分別指代圖像寬 度和高度;w和（1-w)分別為距離和尺度差的權(quán)重;選取D(Pi，Pj)最小的N個(gè)局部特征點(diǎn)&作 為卩:的上下文，即：
[0026] Context (pi) = {Ck,k^[l,N],Ck^S}；
[0027] DWbPj的計(jì)算公式表達(dá)了本方法選擇距離近且尺度大的局部特征點(diǎn)作為上下文 中特征點(diǎn)；選擇距離近特征點(diǎn)有助于消除圖像裁剪的影響;選擇尺度大的特征點(diǎn)有助于消 除圖像縮放帶來的小尺度特征點(diǎn)消失的影響；
[0028] 2-3.根據(jù)局部特征APi的主方向生成上下文中每個(gè)局部特征點(diǎn)&的特征并量化； 具體包括如下步驟：
[0029] 2-3-1 ·提取上下文中局部特征點(diǎn)Ck的方位特征：a(k) = I arctan2(Pyk-Pyi ,Pxk- PxO-θ」，然后量化為
，Α為量化因子;量化用于對該特征進(jìn)行壓縮，減少存 儲空間;arctan2 (Pyk-Pyi，Pxk-Pxi)表示特征點(diǎn)k相對特征點(diǎn)i的方位;方位特征中減去特征 點(diǎn)i的主方向可保證該特征對圖像的旋轉(zhuǎn)魯棒；
[0030] 2-3-2.提取上下文中局部特征