度量如公式（3):
[0039]
⑶
[0040] 其中，|kl|2= |Iv1! |2=i，d是子向量的個數(shù)，u和v分別為兩幅圖像經(jīng)步驟A 至F獲得的向量表示，u1和v1是它們的各自的子向量；這里假設(shè)它們分別由d個子向量組 成；子向量u1和v1進(jìn)行內(nèi)積運(yùn)算。
[0041] 在大規(guī)模圖像檢索的情況下，公式（3)定義的距離度量需要高效的最近鄰查找算 法做支撐。注意到，公式（2)的距離度量是d個距離之和。這里每個距離度量可以分別進(jìn) 行。本發(fā)明提出可以對每個子向量單獨(dú)進(jìn)行索引，d個最近鄰查找可以并行進(jìn)行。
[0042] 測試采用了國際通用的Hoiidays數(shù)據(jù)集合，外加100萬候選集測試方法的可伸縮 性。圖像檢索評價標(biāo)準(zhǔn)采用平均準(zhǔn)確率。本發(fā)明方法不同配置下的結(jié)果標(biāo)記為：本發(fā)明的 方法1和本發(fā)明的方法2。其中，本發(fā)明的方法1采用了黑森檢測子提取局部特征，并且在 檢索時采用了積量化作為最近鄰檢索結(jié)構(gòu)。本發(fā)明方法2采用了密集采樣提取局部特征， 并且在檢索時采用了積量化作為最近鄰檢索結(jié)構(gòu)。
[0043] 從圖1可以看到，對于本發(fā)明方法1和發(fā)明方法2,當(dāng)測試數(shù)據(jù)增加至10萬幅圖以 上，其平均準(zhǔn)確率超過現(xiàn)有所有主流方法。并且準(zhǔn)確率下降的趨勢很緩慢，從而顯示出很高 的可伸縮性。
[0044] 表1給出本發(fā)明所提出的方法在1百萬級圖庫上進(jìn)行圖像檢索的平均時間耗費(fèi)及 內(nèi)存耗費(fèi)。測試在一臺配置有2. 4G赫茲英特爾至強(qiáng)中央處理器和64G內(nèi)存的工作站上進(jìn) 行。測試過程采用單線程。
[0045] 表 1
[0046]
[0047] 從表1可以看出，本發(fā)明方法1和本發(fā)明方法2在準(zhǔn)確率上均高于目前主流方法。 并且在內(nèi)存耗費(fèi)和檢索時間的消耗上遠(yuǎn)低于方法3和方法4,而與方法1和方法2接近。因 此，本發(fā)明方法1和本發(fā)明方法2在檢索平均準(zhǔn)確率和時間、內(nèi)存耗費(fèi)之間獲得了一個更好 的折衷。
[0048] 方法1對應(yīng)的方法為FlorentPerronnin等人提出的方法（Florent Perronnin,Y.Liu,J.Sanchez,andH.Poirier:Large-scaleimageretrievalwith compressedFishervectors,CVPR,pp. 3384-3391,June2010.)
[0049] 方法2對應(yīng)的方法為HerveJegou等人提出的方法（HerveJegou，Matthijs Douze，CordeliaSchmidandPatrickPerez:Aggregatinglocaldescriptorsintoa compactimagerepresentation,CVPR,pp. 3304-3311,Jun. , 2010.)
[0050] 方法3對應(yīng)的方法為HerveJegou等人提出的方法（HerveJegou，Matthijs Douze，CordeliaSchmid:Hammingembeddingandweakgeometricconsistencyfor largescaleimagesearch,ECCV,pp. 304-317, 2008.)
[0051] 方法 4對應(yīng)的方法為J.Sivic和A.Zisserman提出的方法（VideoGoogle:AText RetrievalApproachtoObjectMatchinginVideos,ICCV,pp. 1470-1477,Oct. 2003.)
[0052] 本發(fā)明提供一種圖像特征表示方法及定義在該表示方法上的距離度量方式，包括 步驟:A.提取圖像局部特征，其中包括每個局部特征的描述子和每個局部特征的主方向；B.離線訓(xùn)練一個小的視覺詞匯集合（通常包含32至128個詞匯）；C.將每幅圖的局部特 征用簡化的費(fèi)舍爾核方法進(jìn)行聚集。聚集時，同時考慮每個局部特征的主方向信息（〇~ 2π)，將主方向分為8個量化區(qū)間，根據(jù)量化后的主方向值，聚集到不同的費(fèi)舍爾子向量， 8個子向量拼接為一個長向量，作為圖像的特征表示；D.將獲得的8個費(fèi)舍爾子向量重組， 獲得一系列8維的子向量。對每個子向量進(jìn)行一維離散余弦變換，變換到該特征的頻率域； E.再對頻率域的特征進(jìn)行重組，得到不同頻段的8個子向量，對每個子向量做主成分分析， 以降低整個特征的維度；F.再對降維之后的8個子向量進(jìn)行重組，得到一系列8維的子向 量；G.在子向量上定義相似度度量，以計算圖像兩兩之間的相似度；H.對于大規(guī)模圖像檢 索的情形，提出對每個子向量分別索引，整個圖像檢索可以并行進(jìn)行。
【主權(quán)項(xiàng)】
1. 協(xié)變局部特征聚集的圖像特征表示法，其特征在于包括以下步驟： 1) 提取圖像的局部特征，采用描述子進(jìn)行描述，一幅圖像被表示為一系列描述子的集 合X，同時獲得每個局部特征的主方向Θ ; 2) 用一個獨(dú)立的圖像集，提取并收集其局部特征，從而生成一個由描述子組成的矩陣； 采用K平均聚類算法，獲得K個聚類中心，K 一般設(shè)為32至64之間的一個整數(shù)值，K個聚類 中心作為視覺詞匯集C= {Cl...K}; 3) 采用如下公式（1)對一幅圖的每個局部特征進(jìn)行簡化的費(fèi)舍爾聚集：其中，q(x)在C中找到最近鄰q，b = Β( Θ ) ;Ci為視覺詞匯集C = {c n}中離局部特 征x(x e x )最近的視覺詞匯；函數(shù)Β( θ )對圖像局部特征χ的主方向Θ進(jìn)行量化，主方 向量化為8個量化區(qū)段，公式（1)將一個圖像的一系列描述子轉(zhuǎn)化為一個長的向量Υ表示， 根據(jù)主方向的量化值，長向量又分為多個子向量，由于使用8個量化區(qū)段，因此有8個子向 量，即 Υ = {Ρ1，Ρ2,…，Ρ8}; 4) 將獲得的8個費(fèi)舍爾子向量重組，獲得一系列8維的子向量； 5) 再對所述一系列8維的子向量組成的向量進(jìn)行重組，把所有8維的子向量對映維放 到一起，依次排列，獲得8個子向量；如果把離散余弦變換得到一系列8維的子向量看作一 個有8列的矩陣，這個重組操作相當(dāng)于對矩陣進(jìn)行轉(zhuǎn)置；然后，對重組后得到的每個子向量 做主成分分析，以降低整個特征的維度； 6) 再對降維之后的8個子向量進(jìn)行重組； 7) 在由一系列8維的子向量拼合成的向量上定義距離度量，以衡量圖像兩兩之間的相 似度；距離度量如以下公式（3):其中，d是子向量的個數(shù)，U和V分別為兩幅圖像經(jīng)步驟Α至F 獲得的向量表不，u1和v 1是它們的各自的子向量；這里假設(shè)它們分別由d個子向量組成；子 向量u1和v1進(jìn)行內(nèi)積運(yùn)算。2. 如權(quán)利要求1所述協(xié)變局部特征聚集的圖像特征表示法，其特征在于在步驟4)中， 所述將獲得的8個費(fèi)舍爾子向量重組，獲得一系列8維的子向量的具體做法為： 把8個子向量每個對映維度放到一起，按量化主方向值一次排列，獲得一系列8維的子 向量，如果把Y看作一個8行的矩陣，這個重組操作相當(dāng)于對Y進(jìn)行轉(zhuǎn)置操作； 對得到的每個8維的子向量逆排后進(jìn)行1維離散余弦變換即II型離散余弦變換，給定 重組后得到的一個子向量Q，逆序操作如下公式（2):3. 如權(quán)利要求1所述協(xié)變局部特征聚集的圖像特征表示法，其特征在于在步驟6)中， 所述對降維之后的8個子向量進(jìn)行重組的具體做法為：把8個子向量每個對映維度放到一 起，按量化主方向值一次排列，獲得一系列8維子向量； 在大規(guī)模圖像檢索的情況下，權(quán)利要求1所述公式（3)定義的距離度量需要高效的最 近鄰查找算法做支撐；權(quán)利要求2所述公式（2)的距離度量是d個距離之和，這里每個距離 度量可以分別進(jìn)行；可以對每個子向量單獨(dú)進(jìn)行索引，d個最近鄰查找可以并行進(jìn)行。
【專利摘要】協(xié)變局部特征聚集的圖像特征表示法，涉及計算機(jī)視覺與多媒體信息檢索。提取圖像局部特征；離線訓(xùn)練一個小的視覺詞匯集合；將每幅圖的局部特征用簡化的費(fèi)舍爾核方法進(jìn)行聚集；聚集時，同時考慮每個局部特征的主方向信息,將主方向分為8個量化區(qū)間，根據(jù)量化后的主方向值，聚集到不同的費(fèi)舍爾子向量，8個子向量拼接為一個長向量，作為圖像的特征表示；將8個費(fèi)舍爾子向量重組得一系列8維的子向量。對每個子向量進(jìn)行一維離散余弦變換，變換到該特征的頻率域；再對頻率域的特征重組，得不同頻段的8個子向量，對每個子向量做主成分分析，再對降維后的8個子向量重組得一系列8維的子向量；在子向量上定義相似度度量，以計算圖像兩兩間的相似度。
【IPC分類】G06F17/30
【公開號】CN105335500
【申請?zhí)枴緾N201510710221
【發(fā)明人】趙萬磊, 王菡子
【申請人】廈門大學(xué)
【公開日】2016年2月17日
【申請日】2015年10月28日