一種適用于視頻/圖像局部特征的空間關(guān)系匹配方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及基于內(nèi)容的圖像視頻檢索技術(shù)，特別涉及一種適用于視頻/圖像局部 特征的空間關(guān)系匹配方法及系統(tǒng)。
【背景技術(shù)】
[0002] 互聯(lián)網(wǎng)圖像和視頻等視覺信息的迅速增長，給信息的組織與管理帶來了巨大挑 戰(zhàn)，相似圖像視頻檢測是實施視頻圖像內(nèi)容管理、檢索的重要技術(shù)手段。以尺度不變特征變 換（SIFT，Scale-InvariantFeatureTransform)為代表的局部特征為相似視頻圖像內(nèi)容 檢測提供了一種魯棒的特征表達方法，它可以提取出對亮度、模糊、視角、旋轉(zhuǎn)等具有不變 性的特征，已經(jīng)成為視頻圖像內(nèi)容檢索應(yīng)用中一項極其重要的技術(shù)。
[0003] 然而，為了確保局部特征對于各類變換的魯棒性，其區(qū)分能力降低較為嚴重，其 突出表現(xiàn)為：1)僅將一個小的鄰域空間內(nèi)方向梯度直方圖（HOG，HistogramofOriented Gradient)作為中心點的特征描述子（參考文獻Lowe,DavidG.Objectrecognitionfrom localscale-invariantfeatures.ProceedingsoftheInternationalConferenceon ComputerVision2.pp. 1150 - 1157, 1999)，對于視頻圖像中的文字、草地等具有局部相似 紋理分布的對象，其描述子無法區(qū)分；2)為應(yīng)對旋轉(zhuǎn)變換而加入的主方向提取，導(dǎo)致特征 不具有方向識別不能，比如不能區(qū)分"6"和"9"。而為了提高檢索速度，通過詞袋（B〇W，Bag ofWords)技術(shù)（參考文獻Sivic,Josef.Efficientvisualsearchofvideoscastas textretrieval.IEEETRANSACTIONSONPATTERNANALYSISANDMACHINEINTELLIGENCE, 31 (4)，pp. 591 - 605, 2009)，將SIFT描述子量化為多個視覺單詞，則進一步降低了SIFT的 區(qū)分能力。
[0004] 通常有兩類手段改進SIFT特征，一是對SIFT局部特征點的空間關(guān)系進行校驗，去 除空間關(guān)系不符合仿射變換的匹配點，典型方法如隨機采樣一致（RANSAC，RANdomSAmple Consensus)(具體參見文南犬M.A.FischlerandR.C.Bolles.Randomsampleconsensus:a paradigmformodelfittingwithapplicationstoimageanalysisandautomated cartography.CommunicationsoftheACM, 24 (6) : 381 - 395, 1981)，缺點是計算復(fù)雜度高； 二是將SIFT特征映射到低維空間中二次劃分，提高詞袋中視覺單詞的區(qū)分能力，典型方法 為海明嵌入（HE，HammingEmbedding)(具體參見文獻H.J'egou，M.Douze,andC.Schmid. Hammingembeddingandweakgeometricconsistencyforlargescaleimagesearch. ECCV. 2008)，缺點是數(shù)據(jù)依賴性較高。

【發(fā)明內(nèi)容】

[0005] 針對現(xiàn)有技術(shù)的不足，本發(fā)明提出一種適用于視頻/圖像局部特征的空間關(guān)系匹 配方法及系統(tǒng)。
[0006] 本發(fā)明提出一種適用于視頻/圖像局部特征的空間關(guān)系匹配方法，包括：
[0007] 步驟1，獲取所述視頻/圖像的所有視頻/圖像特征點與所述視頻/圖像特征點 的屬性信息，根據(jù)所述視頻/圖像特征點與所述屬性信息，獲取所有所述視頻/圖像特征點 的尺度信息，通過所述尺度信息，確定每個所述視頻/圖像特征點的局部鄰域空間，獲取所 述局部鄰域空間內(nèi)所有所述視頻/圖像特征點的視覺關(guān)鍵詞編碼，對所述視覺關(guān)鍵詞編碼 進行量化處理，生成新視覺關(guān)鍵詞編碼，對所述新視覺關(guān)鍵詞編碼進行排序，生成所述視頻 /圖像特征點的空間關(guān)系編碼；
[0008] 步驟2,比較待匹配視頻/圖像特征點與所述視頻/圖像特征點的空間關(guān)系編碼， 構(gòu)建關(guān)系矩陣，計算所述關(guān)系矩陣中所述待匹配視頻/圖像特征點與所述視頻/圖像特征 點空間關(guān)系編碼相似度，融合所述待匹配視頻/圖像特征點與所述視頻/圖像特征點的視 覺相似度及空間關(guān)系編碼相似度，以完成空間關(guān)系匹配。
[0009] 所述的適用于視頻/圖像局部特征的空間關(guān)系匹配方法，所述步驟1包括計算視 頻圖像特征點之間的位置距離，公式為：
[0011] 其中ro(i，j)為位置距離，i、j為視頻/圖像特征點，x( ? )，y( ?)分別為視頻/ 圖像特征點在視頻/圖像中水平和垂直方向的位置坐標；
[0012] 計算鄰域空間因子s，公式為：
[0014] 其中〇為所述尺度信息。
[0015] 所述的適用于視頻/圖像局部特征的空間關(guān)系匹配方法，還包括所述鄰域空間是 以所述視頻/圖像特征點為中心，半徑為a?s的圓，其中I<a< 2,a為縮放系數(shù)。
[0016] 所述的適用于視頻/圖像局部特征的空間關(guān)系匹配方法，所述步驟2包括：
[0017] 步驟201，所述關(guān)系矩陣中，若待匹配視頻/圖像特征點與所述視頻/圖像特征點 的視覺關(guān)鍵詞相同，則矩陣元素設(shè)置為z，否則設(shè)置為h;
[0018] 步驟202,從左向右，從上而下，在符合距離順序關(guān)系前提下，掃描關(guān)系矩陣中的元 素，構(gòu)建由元素z構(gòu)成的階梯，階梯數(shù)稱為同序長度，所述同序長度最大的階梯數(shù)為最長同 序長度；
[0019] 步驟203.計算最長同序長度與有效編碼長度的比值作為所述待匹配視頻/圖像 特征點與所述視頻圖像特征點的空間關(guān)系編碼的相似度。
[0020] 所述的適用于視頻/圖像局部特征的空間關(guān)系匹配方法，通過如下公式融合特征 點視覺相似度及空間關(guān)系編碼相似度：
[0021] Sim=(人?simv+sims) ?w
[0022] 其中Sim最終相似度，Simv為所述待匹配視頻/圖像特征點基于特征描述子的視 覺相似度，Sims為所述待匹配視頻/圖像特征點基于特征描述子的空間關(guān)系編碼相似度，w 為所述待匹配視頻/圖像特征點在整個視頻圖像匹配中的權(quán)重，A為特征描述子距離相對 于空間關(guān)系距離的重要程度。
[0023] 本發(fā)明還提出一種適用于視頻/圖像局部特征的空間關(guān)系匹配系統(tǒng)，包括：
[0024] 生成空間關(guān)系編碼模塊，用于獲取所述視頻/圖像的所有視頻/圖像特征點與所 述視頻/圖像特征點的屬性信息，根據(jù)所述視頻/圖像特征點與所述屬性信息，獲取所有所 述視頻/圖像特征點的尺度信息，通過所述尺度信息，確定每個所述視頻/圖像特征點的局 部鄰域空間，獲取所述局部鄰域空間內(nèi)所有所述視頻/圖像特征點的視覺關(guān)鍵詞編碼，對 所述視覺關(guān)鍵詞編碼進行量化處理，生成新視覺關(guān)鍵詞編碼，對所述新視覺關(guān)鍵詞編碼進 行排序，生成所述視頻/圖像特征點的空間關(guān)系編碼；
[0025] 空間關(guān)系匹配模塊，用于比較待匹配視頻/圖像特征點與所述視頻/圖像特征點 的空間關(guān)系編碼，構(gòu)建關(guān)系矩陣，計算所述關(guān)系矩陣中所述待匹配視頻/圖像特征點與所 述視頻/圖像特征點空間關(guān)系編碼相似度，融合所述待匹配視頻/圖像特征點與所述視頻 /圖像特征點的視覺相似度及空間關(guān)系編碼相似度，以完成空間關(guān)系匹配。
[0026] 所述的適用于視頻/圖像局部特征的空間關(guān)系匹配系統(tǒng)，所述生成空間關(guān)系編碼 模塊包括計算視頻圖像特征點之間的位置距離，公式為：
[0028] 其中ro(i，j)為位置距離，i、j為視頻/圖像特征點，x( ? )，y( ?)分別為視頻/ 圖像特征點在視頻/圖像中水平和垂直方向的位置坐標；
[0029] 計算鄰域空間因子s，公式為：
[0031] 其中〇為所述尺度信息。
[0032] 所述的適用于視頻/圖像局部特征的空間關(guān)系匹配系統(tǒng)，還包括所述鄰域空間是 以所述視頻/圖像特征點為中心，半徑為a?s的圓，其中I<a< 2,a為縮放系數(shù)。
[0033] 所述的適用于視頻/圖像局部特征的空間關(guān)系匹配系統(tǒng)，所述空間關(guān)系匹配模塊 包括：
[0034] 所述關(guān)系矩陣中，若待匹配視頻/圖像特征點與所述視頻/圖像特征點的視覺關(guān) 鍵詞相同，則矩陣元素設(shè)置為z，否則設(shè)置為h;
[0035] 從左向右，從上而下，在符合距離順序關(guān)系前提下，掃描關(guān)系矩陣中的元素，構(gòu)建 由元素z構(gòu)成的階梯，階梯數(shù)稱為同序長度，所述同序長度最大的階梯數(shù)為最長同序長度；
[0036] 計算最長同序長度與有效編碼長度的比值作為所述待匹配視頻/圖像特征點與 所述視頻圖像特征點的空間關(guān)系編碼的相似度。
[0037] 所述的適用于視頻/圖像局部特征的空間關(guān)系匹配系統(tǒng)，通過如下公式融合特征 點視覺相似度及空間關(guān)系編碼相似度：
[0038] Sim=(人?simv+sims) ?w
[0039] 其中Sim最終相似度，Simv為所述待匹配視頻/圖像特征點基于特征描述子的視 覺相似度，Sims為所述待匹配視頻/圖像特征點基于特征描述子的空間關(guān)系編碼相似度，w 為所述待匹配視頻/圖像特征點在整個視頻圖像匹配中的權(quán)重，A為特征描述子距離相對 于空間關(guān)系距離的重要程度。由以上方案可知，本發(fā)明的優(yōu)點在于：
[0040] 本發(fā)明具有旋轉(zhuǎn)不變性、尺度不變性，對于因噪聲、模糊、等導(dǎo)致的特征點丟失、亂 序所產(chǎn)生的空間關(guān)系編碼變換具有魯棒性，在holidays數(shù)據(jù)集上，圖像檢索精度mAP可以 提高5個百分點。