【附圖說(shuō)明】
[0041] 圖1為特征點(diǎn)空間關(guān)系編碼示例；
[0042] 圖2為空間關(guān)系編碼的距離計(jì)算示例；
[0043] 圖3為本發(fā)明方法整體流程圖；
[0044] 圖4為步驟2的具體步驟流程圖；
[0045] 圖5為本發(fā)明系統(tǒng)結(jié)構(gòu)圖。
[0046] 其中附圖標(biāo)記為：
[0047] 步驟 1/2 ;
[0048] 步驟 201/202/203。
【具體實(shí)施方式】
[0049] 為解決以上技術(shù)問(wèn)題，本發(fā)明提出了一種適用于視頻/圖像局部特征的空間關(guān)系 匹配方法，包含以下實(shí)施步驟：
[0050] 步驟1，獲取所述視頻/圖像的所有視頻/圖像特征點(diǎn)與所述視頻/圖像特征點(diǎn) 的屬性信息，根據(jù)所述視頻/圖像特征點(diǎn)與所述屬性信息，獲取所有所述視頻/圖像特征點(diǎn) 的尺度信息，通過(guò)所述尺度信息，確定每個(gè)所述視頻/圖像特征點(diǎn)的局部鄰域空間，獲取所 述局部鄰域空間內(nèi)所有所述視頻/圖像特征點(diǎn)的視覺(jué)關(guān)鍵詞編碼，對(duì)所述視覺(jué)關(guān)鍵詞編碼 進(jìn)行量化處理，生成新視覺(jué)關(guān)鍵詞編碼，對(duì)所述新視覺(jué)關(guān)鍵詞編碼進(jìn)行排序，生成所述視頻 /圖像特征點(diǎn)的空間關(guān)系編碼；
[0051] 步驟2,比較待匹配視頻/圖像特征點(diǎn)與所述視頻/圖像特征點(diǎn)的空間關(guān)系編碼， 構(gòu)建關(guān)系矩陣，計(jì)算所述關(guān)系矩陣中所述待匹配視頻/圖像特征點(diǎn)與所述視頻/圖像特征 點(diǎn)空間關(guān)系編碼相似度，融合所述待匹配視頻/圖像特征點(diǎn)與所述視頻/圖像特征點(diǎn)的視 覺(jué)相似度及空間關(guān)系編碼相似度，以完成空間關(guān)系匹配。
[0052] 所述步驟1包括計(jì)算視頻圖像特征點(diǎn)之間的位置距離，公式為：
[0053] 其中ro(i，j)為位置距離，i、j為視頻/圖像特征點(diǎn)，x( ? )，y( ?)分別為視頻/ 圖像特征點(diǎn)在視頻/圖像中水平和垂直方向的位置坐標(biāo)；
[0054] 計(jì)算鄰域空間因子s，公式為：
[0056] 其中〇為所述尺度信息。
[0057] 還包括所述鄰域空間是以所述視頻/圖像特征點(diǎn)為中心，半徑為a*s的圓，其中 1彡a彡2,a為縮放系數(shù)。
[0058] 所述步驟2包括：
[0059] 步驟201，所述關(guān)系矩陣中，若待匹配視頻/圖像特征點(diǎn)與所述視頻/圖像特征點(diǎn) 的視覺(jué)關(guān)鍵詞相同，則矩陣元素設(shè)置為z，否則設(shè)置為h;
[0060] 步驟202,從左向右，從上而下，在符合距離順序關(guān)系前提下，掃描關(guān)系矩陣中的元 素，構(gòu)建由元素z構(gòu)成的階梯，階梯數(shù)稱(chēng)為同序長(zhǎng)度，所述同序長(zhǎng)度最大的階梯數(shù)為最長(zhǎng)同 序長(zhǎng)度；
[0061] 步驟203.計(jì)算最長(zhǎng)同序長(zhǎng)度與有效編碼長(zhǎng)度的比值作為所述待匹配視頻/圖像 特征點(diǎn)與所述視頻圖像特征點(diǎn)的空間關(guān)系編碼的相似度。
[0062] 通過(guò)如下公式融合特征點(diǎn)視覺(jué)相似度及空間關(guān)系編碼相似度：
[0063] Sim=(入?simv+sims) ?w
[0064] 其中Simv為所述待匹配視頻/圖像特征點(diǎn)基于特征描述子的視覺(jué)相似度，sim3為 所述待匹配視頻/圖像特征點(diǎn)基于特征描述子的空間關(guān)系編碼相似度，w為所述待匹配視 頻/圖像特征點(diǎn)在整個(gè)視頻圖像匹配中的權(quán)重，A為特征描述子距離相對(duì)于空間關(guān)系距離 的重要程度，V為視覺(jué)性英文單詞visual的首字母，s為空間關(guān)系spatial英文單詞的首字 母。
[0065] 本發(fā)明還提出一種適用于視頻/圖像局部特征的空間關(guān)系匹配系統(tǒng)，包括：
[0066] 生成空間關(guān)系編碼模塊，用于獲取所述視頻/圖像的所有視頻/圖像特征點(diǎn)與所 述視頻/圖像特征點(diǎn)的屬性信息，根據(jù)所述視頻/圖像特征點(diǎn)與所述屬性信息，獲取所有所 述視頻/圖像特征點(diǎn)的尺度信息，通過(guò)所述尺度信息，確定每個(gè)所述視頻/圖像特征點(diǎn)的局 部鄰域空間，獲取所述局部鄰域空間內(nèi)所有所述視頻/圖像特征點(diǎn)的視覺(jué)關(guān)鍵詞編碼，對(duì) 所述視覺(jué)關(guān)鍵詞編碼進(jìn)行量化處理，生成新視覺(jué)關(guān)鍵詞編碼，對(duì)所述新視覺(jué)關(guān)鍵詞編碼進(jìn) 行排序，生成所述視頻/圖像特征點(diǎn)的空間關(guān)系編碼；
[0067] 空間關(guān)系匹配模塊，用于比較待匹配視頻/圖像特征點(diǎn)與所述視頻/圖像特征點(diǎn) 的空間關(guān)系編碼，構(gòu)建關(guān)系矩陣，計(jì)算所述關(guān)系矩陣中所述待匹配視頻/圖像特征點(diǎn)與所 述視頻/圖像特征點(diǎn)空間關(guān)系編碼相似度，融合所述待匹配視頻/圖像特征點(diǎn)與所述視頻 /圖像特征點(diǎn)的視覺(jué)相似度及空間關(guān)系編碼相似度，以完成空間關(guān)系匹配。
[0068] 所述生成空間關(guān)系編碼模塊包括計(jì)算視頻圖像特征點(diǎn)之間的位置距離，公式為：
[0070] 其中ro(i，j)為位置距離，i、j為視頻/圖像特征點(diǎn)，x( ? )，y( ?)分別為視頻/ 圖像特征點(diǎn)在視頻/圖像中水平和垂直方向的位置坐標(biāo)；
[0071] 計(jì)算鄰域空間因子s，公式為：
[0073] 其中〇為所述尺度信息。
[0074] 還包括所述鄰域空間是以所述視頻/圖像特征點(diǎn)為中心，半徑為a*s的圓，其中 1彡a彡2,a為縮放系數(shù)。
[0075] 所述空間關(guān)系匹配模塊包括：
[0076] 所述關(guān)系矩陣中，若待匹配視頻/圖像特征點(diǎn)與所述視頻/圖像特征點(diǎn)的視覺(jué)關(guān) 鍵詞相同，則矩陣元素設(shè)置為z，否則設(shè)置為h;
[0077] 從左向右，從上而下，在符合距離順序關(guān)系前提下，掃描關(guān)系矩陣中的元素，構(gòu)建 由元素z構(gòu)成的階梯，階梯數(shù)稱(chēng)為同序長(zhǎng)度，所述同序長(zhǎng)度最大的階梯數(shù)為最長(zhǎng)同序長(zhǎng)度；
[0078] 計(jì)算最長(zhǎng)同序長(zhǎng)度與有效編碼長(zhǎng)度的比值作為所述待匹配視頻/圖像特征點(diǎn)與 所述視頻圖像特征點(diǎn)的空間關(guān)系編碼的相似度。
[0079] 通過(guò)如下公式融合特征點(diǎn)視覺(jué)相似度及空間關(guān)系編碼相似度：
[0080] Sim=(人?simv+sims) ?w
[0081] 其中Simv為所述待匹配視頻/圖像特征點(diǎn)基于特征描述子的視覺(jué)相似度，sim3為 所述待匹配視頻/圖像特征點(diǎn)基于特征描述子的空間關(guān)系編碼相似度，W為所述待匹配視 頻/圖像特征點(diǎn)在整個(gè)視頻圖像匹配中的權(quán)重，A為特征描述子距離相對(duì)于空間關(guān)系距離 的重要程度，V為視覺(jué)性英文單詞visual的首字母，s為空間關(guān)系spatial英文單詞的首字 母。
[0082] 以下為本發(fā)明實(shí)施例，如下所示：
[0083] 步驟10,對(duì)視頻圖像中所有局部特征點(diǎn)構(gòu)建空間關(guān)系編碼；
[0084] 步驟11，在視頻圖像檢索過(guò)程中，融入空間關(guān)系編碼的匹配。
[0085] 其中所述步驟101的具體步驟如下所示：
[0086] 所述步驟101中，對(duì)視頻圖像中所有局部特征點(diǎn)構(gòu)建空間關(guān)系編碼，需要確定兩 個(gè)參數(shù)。一是每個(gè)特征點(diǎn)的鄰域空間的范圍R;二是空間關(guān)系編碼的維度D。范圍R的設(shè)置 應(yīng)具有尺度不變性，其設(shè)置過(guò)大，不僅降低了空間編碼的魯棒性，還會(huì)導(dǎo)致空間編碼復(fù)雜度 過(guò)高，而設(shè)置過(guò)小，則不能很好地表現(xiàn)特征點(diǎn)的空間關(guān)系，類(lèi)似地，維度D的取值也需要結(jié) 合實(shí)際應(yīng)用予以考慮，且其取值與范圍R存在關(guān)聯(lián)關(guān)系，可選擇范圍為[8, 64]，具體地，按 照下述步驟建立視頻圖像中所有局部特征點(diǎn)的空間關(guān)系編碼：
[0087] 步驟101，計(jì)算鄰域內(nèi)所有特征點(diǎn)所在位置之間的相互距離。為了避免反復(fù)計(jì)算， 可按照如下方式預(yù)先計(jì)算所有特征點(diǎn)之間的距離，記為F1DQ,j) (0彡i〈N, 0彡j〈N,i辛j)， 其中，N為視頻圖像中特征點(diǎn)個(gè)數(shù)，PD(i，j)為點(diǎn)i和j之間的歐式距離，按下式計(jì)算，其中 x( ? )，y( ?)分別為點(diǎn)在圖像中水平和垂直方向的位置坐標(biāo)，可以發(fā)現(xiàn)ro為對(duì)稱(chēng)矩陣
[0089] 步驟102,對(duì)于每個(gè)特征點(diǎn)，以SIFT為例（其他具有尺度不變性特點(diǎn)的特征類(lèi) 似），從其屬性信息中獲取其尺度信息〇，按照標(biāo)準(zhǔn)SIFT特征提取過(guò)程，應(yīng)按下式計(jì)算鄰域 空間因子s
[0091] 依據(jù)s確定當(dāng)前特征點(diǎn)（記為c)的局部鄰域空間，該鄰域空間R是以當(dāng)前特征 點(diǎn)為中心，半徑為a?s的圓，其中a<2,為縮放系數(shù)，目的在于確保鄰域空間內(nèi) 總的特征點(diǎn)數(shù)盡可能超過(guò)空間關(guān)系編碼維度D。比較鄰域特征點(diǎn)與當(dāng)前特征點(diǎn)c之間的 距離H)(C，j) (0彡j〈N，j辛N)(或者ro(i，c) (0彡i〈N，i辛c)與a?s大小關(guān)系，如果 PDc,j彡a?s，記錄其與中心的距離F1Dc,j，鄰域空間內(nèi)特征點(diǎn)個(gè)數(shù)記為m，其中所述確定 鄰域空間范圍，a?s只是所列的一種，本發(fā)明包含所有基于s的鄰域定義方式；
[0092] 步驟103,獲取鄰域內(nèi)所有特征點(diǎn)的視覺(jué)關(guān)鍵詞編碼。為提高空間關(guān)系編碼對(duì)局部 變化的魯棒性，需要對(duì)該關(guān)鍵詞編碼進(jìn)行處理，以生成適合空間關(guān)系編碼的新關(guān)鍵詞編碼。 新關(guān)鍵詞編碼使用比特征點(diǎn)匹配中更小的視覺(jué)詞典，其簡(jiǎn)單的構(gòu)建方法是對(duì)原有關(guān)鍵詞直 接量化，量化參數(shù)可在[5, 100]之間選擇，典型地，可使用10作為量化參數(shù)，記錄新視覺(jué)關(guān) 鍵詞編碼bow(j) (0彡j〈N,j辛N)，這樣與步驟中獲得的距離ro(c,j) -起形成二元組信 息<PD(c,j),bow(j)>，記錄到表NH中，其中所述新編碼生成方式，直接對(duì)原編碼進(jìn)行量化 生成新的視覺(jué)關(guān)鍵詞編碼僅是所列一種，本發(fā)明還包括使用新的小詞典進(jìn)行編碼的生成方 式；
[0093] 步驟104,對(duì)表NH中記錄按照距離F1D(c, ?)從小到大排序，獲得對(duì)應(yīng)的bow( ?) 序列bs，若m多D，則取bs中的前D項(xiàng)，作為當(dāng)前點(diǎn)的空間關(guān)系；否則將所有m項(xiàng)bs序列 疊加一個(gè)D-m個(gè)"-1"組成的序列，作為當(dāng)前點(diǎn)的空間關(guān)系編碼。
[0094] 步驟105,對(duì)視頻圖像中所有特征點(diǎn)重復(fù)步驟102~104,建立所有點(diǎn)的空間關(guān)系 編碼。
[0095] 所述步驟11中，在視頻圖像檢索過(guò)程中，融入待匹配特征點(diǎn)與候選特征點(diǎn)的空間 關(guān)系的距離的步驟