圖6所 示。圖6中上圖為原始圖像縮小一半的結(jié)果，其作為查詢圖像；（a)圖中的下圖為原圖裁剪 70%的結(jié)果；（b)圖中的下圖為原始圖像旋轉(zhuǎn)20%的結(jié)果。圖中黑線和白線表示兩幅圖像中 對(duì)應(yīng)局部特征點(diǎn)的視覺詞匯一樣，而紅線表示經(jīng)過上下文描述子驗(yàn)證的結(jié)果。在本測試的 上下文描述子的相似性計(jì)算過程中，查詢圖像(上圖）中的局部特征點(diǎn)的上下文描述子進(jìn)行 視覺詞匯的擴(kuò)展，而索引圖像(下圖）不進(jìn)行擴(kuò)展。從圖6中可以看到通過上下文描述子的驗(yàn) 證有效的過濾掉了一些錯(cuò)誤的視覺詞匯匹配，提高了匹配的準(zhǔn)確率，保留了正確的匹配。而 且本發(fā)明方法的上下文描述子能有效應(yīng)對(duì)圖像裁剪、尺度變換和旋轉(zhuǎn)變換等，具有較好的 魯棒性。
[0071]前面已經(jīng)具體描述了本發(fā)明的實(shí)施方案，應(yīng)當(dāng)理解，對(duì)于一個(gè)具有本技術(shù)領(lǐng)域的 普通技能的人，在不背離本發(fā)明的范圍的情況下，在上述的和在權(quán)利要求中特別提出的本 發(fā)明的范圍內(nèi)進(jìn)行變化和調(diào)整能同樣達(dá)到本發(fā)明的目的。
【主權(quán)項(xiàng)】
1. 一種視覺詞匯的上下文描述子生成方法，其特征在于包括如下三部分：離線學(xué)習(xí)部 分、上下文描述子生成部分和上下文描述子相似性計(jì)算部分； 所述的離線學(xué)習(xí)部分包括視覺詞匯詞典的構(gòu)建和視覺詞匯反文檔頻率的獲??； 所述的上下文描述子生成部分包括提取和量化局部特征點(diǎn)、選擇局部特征點(diǎn)的上下 文、提取上下文中局部特征點(diǎn)的特征并生成描述子； 所述的上下文描述子相似性計(jì)算部分包括視覺詞匯的擴(kuò)展、基于反文檔頻率和視覺詞 匯擴(kuò)展的相似性計(jì)算和基于閾值的上下文一致性驗(yàn)證； 上述的三個(gè)部分相互關(guān)聯(lián)，離線學(xué)習(xí)部分得到的視覺詞匯詞典用于上下文描述子生成 部分中的局部特征點(diǎn)描述子特征向量的量化和視覺詞匯的擴(kuò)展，視覺詞匯反文檔頻率用于 上下文描述子的相似性計(jì)算。上下文描述子相似性計(jì)算部分是上下文描述子在應(yīng)用中的必 要步驟。2. 如權(quán)利要求1所述的離線學(xué)習(xí)部分，其特征在于所述的視覺詞匯詞典的構(gòu)建和視覺 詞匯反文檔頻率的獲取，具體步驟如下： 2-1.提取圖像庫中圖像的局部特征點(diǎn)及其特征描述子，將提取的特征描述子構(gòu)建成樣 本庫； 2-2.通過樣本庫獲得視覺詞匯詞典；具體的，對(duì)樣本庫中特征描述子的特征向量進(jìn)行 分組，在每個(gè)特征組上通過K均值聚類得到K個(gè)類中心，每個(gè)類中心為一個(gè)特征向量即代表 視覺詞匯中的一個(gè)詞根，K個(gè)類中心為該特征組的詞根集合;從而在每個(gè)特征組上構(gòu)建的詞 根集合進(jìn)行組合得到視覺詞匯詞典； 2- 3.對(duì)樣本庫中的局部特征描述子根據(jù)視覺詞匯詞典采用分組量化方法得到視覺詞 匯，再通過統(tǒng)計(jì)獲得視覺詞匯的反文檔頻率； 視覺詞匯VWi的反文檔頻率IDFWWi)是通過統(tǒng)計(jì)樣本庫中視覺詞匯的文檔頻率的倒數(shù) 得到，其作為視覺詞匯重要性的指標(biāo)；由于一些視覺詞匯在樣本庫中并不一定存在，對(duì)不存 在的視覺詞匯用樣本庫中視覺詞匯反文檔頻率的最大值進(jìn)行填充;該填充方法表達(dá)了視覺 詞匯的出現(xiàn)頻率越低帶有的信息量越大這一特性。3. 如權(quán)利要求1所述的上下文描述子生成部分，其特征在于所述的上下文描述子生成 的具體步驟如下： 3_ 1.對(duì)輸入圖像提取局部特征點(diǎn)集合S = {Pi，ie[〇，Q]}，Q為輸入圖像中局部特征點(diǎn)的 個(gè)數(shù)，Ρ:指代第i個(gè)局部特征點(diǎn)；并依據(jù)視覺詞匯詞典通過分組量化方法將局部特征點(diǎn) 特征描述子量化為視覺詞匯VWi;具體步驟如下： 3- 1-1.從圖像中提取局部特征點(diǎn)Pi的特征描述子Fi、位置(PXl，Pyi)、尺度〇1和主方向0, 信息，即局部特征點(diǎn)Pi表示為[Fi，0i，〇i，Pxi，p yi]; 3-1-2.對(duì)每個(gè)局部特征點(diǎn)Pi的特征描述子Fi依據(jù)視覺詞匯詞典采用分組量化方法得到 視覺詞匯;依據(jù)視覺詞匯詞典的分組量化是將特征描述子h分成Μ組，每組為D/Μ個(gè)特征，其 中D為特征描述子h特征向量的維數(shù);然后對(duì)每組的特征向量根據(jù)步驟1-2訓(xùn)練好的視覺詞 匯詞典單獨(dú)量化為％，則采用分組量化得到特征描述子h的視覺詞匯VWiS:其中，L為視覺詞匯詞典中對(duì)應(yīng)組的詞根數(shù);從而一個(gè)局部特征點(diǎn)？4皮表示為[vw^e,， ?uPxuPyi];每組特征向量的量化通過在該組的詞根集合中基于歐式距離查找最近的類中 心，并將該類中心的下標(biāo)作為其量化結(jié)果； 3-2.對(duì)每個(gè)局部特征點(diǎn)Pi從輸入圖像的局部特征點(diǎn)集合S中選取N個(gè)局部特征點(diǎn)作為Pi 的上下文ContexMPO;根據(jù)局部特征APi與輸入圖像中其它局部特征點(diǎn)匕的距離和尺度差 的加權(quán)和D(Pi，Pj))來評(píng)價(jià)Pi與Pj關(guān)系的穩(wěn)定性，D(Pi，Pj)越小兩者的關(guān)系越穩(wěn)定，越不容易 受到圖像變換的影響;DWuh)的計(jì)算公式為：:和max(〇)是歸一化因子，Imgw和Img H分別指代圖像寬度和 高度;w和（1-w)分別為距離和尺度差的權(quán)重;選取D(Pi，Pj)最小的N個(gè)局部特征點(diǎn)Ck作為Pi 的上下文，即： Context (pi) = {Ck,ke[l,N],Ck^S}； 3-3.根據(jù)局部特征點(diǎn)Pi的主方向生成上下文中每個(gè)局部特征點(diǎn)Ck的特征并量化;具體 包括如下步驟： 3-3-1 ·提取上下文中局部特征點(diǎn)Ck的方位特征:a(k) = | arctan2(Pyk-Pyi，Pxk_Pxi)-9i ，然后量化為，Α為量化因子;量化用于對(duì)該特征進(jìn)行壓縮，減少存儲(chǔ)空間； ar ctan2 (Pyk-Py i，Pxk-Pxi)表示特征點(diǎn)k相對(duì)特征點(diǎn)i的方位;方位特征中減去特征點(diǎn)i的主 方向可保證該特征對(duì)圖像的旋轉(zhuǎn)魯棒； 3-3-2.提取上下文中局部特征點(diǎn)Ck的主方向特征：β(1〇= | 0k-0i |，量化為,Β為量化因子;量化用于對(duì)該特征進(jìn)行壓縮，減少存儲(chǔ)空間；主方向特征中 減去特征點(diǎn)i的主方向可保證該特征具有旋轉(zhuǎn)不變性； 3- 3-3.根據(jù)Ck的方位特征、主方向特征和視覺詞匯生成上下文描述子為：{qd(k)，qa (k)，VWk，ke [1，N]}，并序列化為上下文描述子用于構(gòu)建圖像索引；序列化就是將N個(gè)上下 文中特征點(diǎn)的特征按一定的規(guī)則排列，并用字節(jié)序列進(jìn)行表示和存儲(chǔ)。4.如權(quán)利要求1所述的上下文描述子相似性計(jì)算主要根據(jù)上下文描述子中局部特征點(diǎn) 的方位特征、主方向特征和視覺詞匯一致性來驗(yàn)證兩個(gè)上下文描述子中的局部特征點(diǎn)是否 匹配，并通過匹配的視覺詞匯的反文檔頻率IDF的和來評(píng)價(jià)兩個(gè)上下文描述子的相似性;視 覺詞匯的匹配通過視覺詞匯的擴(kuò)展來增加匹配的可能性，提高上下文描述子的魯棒性；具 體步驟如下： 4- 1.對(duì)上下文中局部特征點(diǎn)的特征描述子進(jìn)行視覺詞匯的擴(kuò)展，也就是將其量化為Μ 個(gè)視覺詞匯;該視覺詞匯擴(kuò)展通過獨(dú)立的在每個(gè)分組的詞典中選擇距離最近的Μ個(gè)量化結(jié) 果，然后通過排列組合，選擇排列組合中距離最小的Μ個(gè)量化結(jié)果的組合作為其擴(kuò)展的視覺 詞匯集合； 4-2.在給定兩個(gè)上下文描述子Context 1和Context2的情況下，基于視覺詞匯擴(kuò)展和視 覺詞匯的反文檔頻率計(jì)算上下文相似性:具體的，遍歷上下文描述子Context 1和Context2 中的局部特征點(diǎn)，然后進(jìn)行兩兩匹配，匹配過程中方位特征、主方向特征一致性通過閾值來 判斷；視覺詞匯的一致性通過視覺詞匯擴(kuò)展來實(shí)現(xiàn)；設(shè)上下文描述子的相似值為 MatchValue，存在一個(gè)局部特征點(diǎn)匹配就在MatchValue加上該特征點(diǎn)匹配視覺詞匯的反文 檔頻率。在進(jìn)行上下文中特征點(diǎn)的視覺詞匯擴(kuò)展時(shí)，可以選擇對(duì)兩個(gè)上下文描述子中視覺 詞匯都進(jìn)行擴(kuò)展，也可以僅僅對(duì)一個(gè)上下文描述子中視覺詞匯進(jìn)行擴(kuò)展； 4-3 ·驗(yàn)證MatchValue，若MatchValue大于閾值Th_MachedValue，則判定兩個(gè)上下文描 述子匹配，否則不匹配。
【專利摘要】本發(fā)明涉及一種視覺詞匯的上下文描述子生成方法。本發(fā)明包括離線學(xué)習(xí)、上下文描述子生成和上下文描述子相似性計(jì)算。離線學(xué)習(xí)用于視覺詞匯詞典的構(gòu)建和視覺詞匯的評(píng)價(jià)。上下文描述子生成步驟如下：1.局部特征點(diǎn)的提取和特征描述子的量化；2.上下文的選擇；3.上下文中局部特征點(diǎn)的特征提取和上下文描述子的生成。上下文描述子相似性計(jì)算依據(jù)上下文描述子中局部特征點(diǎn)的方位、主方向和視覺詞匯一致性來驗(yàn)證兩個(gè)上下文描述子中的局部特征點(diǎn)是否匹配，并通過匹配的視覺詞匯的反文檔頻率的和來評(píng)價(jià)兩個(gè)上下文描述子的相似性。本發(fā)明構(gòu)建的上下文描述子能夠適應(yīng)圖像裁剪、旋轉(zhuǎn)、尺度縮放等變換帶來的影響，可用于基于視覺詞匯的圖像檢索和分類等應(yīng)用中。
【IPC分類】G06K9/72
【公開號(hào)】CN105678349
【申請(qǐng)?zhí)枴緾N201610005159
【發(fā)明人】姚金良, 王小華, 黃孝喜, 楊冰, 諶志群, 王榮波, 陳浩, 楊醒龍
【申請(qǐng)人】杭州電子科技大學(xué)
【公開日】2016年6月15日
【申請(qǐng)日】2016年1月4日