一種基于互信息的目標(biāo)匹配方法及其系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開(kāi)了一種基于互信息的目標(biāo)匹配方法及其系統(tǒng)，該方法包括：步驟1，將查詢圖像和參考圖像的特征拼接在一起；步驟2，將拼接后的特征對(duì)按照類別組成對(duì)應(yīng)至類別下的SET特征集合，每個(gè)類別對(duì)應(yīng)一個(gè)SET特征集合，SET特征集合中包含查詢圖像與每個(gè)類別的參考圖像組成的特征對(duì)；步驟3，使用互信息表征SET特征集合與其類別標(biāo)簽之間的關(guān)系，通過(guò)對(duì)互信息的計(jì)算，得到目標(biāo)匹配類別。該方法充分利用了gallery中的多張圖片信息提高匹配精度和性能。
【專利說(shuō)明】-種基于互信息的目標(biāo)匹配方法及其系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)字圖像處理領(lǐng)域中的圖像數(shù)據(jù)庫(kù)中多類別的目標(biāo)匹配技術(shù)，特別是 涉及一種基于互信息的目標(biāo)匹配方法及其系統(tǒng)。

【背景技術(shù)】
[0002] 現(xiàn)有關(guān)于目標(biāo)匹配的應(yīng)用較多，比如涉及到物體識(shí)別和分類，圖像檢索領(lǐng)域等。比 如，在多類別的圖像數(shù)據(jù)庫(kù)檢索中，對(duì)于給定的查詢圖像，通過(guò)距離度量與查詢圖像和數(shù)據(jù) 庫(kù)中每一類的參考圖像打分并排序，打分排名越高得到最終結(jié)果。目標(biāo)匹配一般應(yīng)用于物 體檢索與識(shí)別，也可以應(yīng)用于跟蹤。這里以Person Re-Identification (行人重檢）為例， 介紹目標(biāo)匹配在行人重檢中的應(yīng)用。
[0003] 盡管近幾年計(jì)算機(jī)視覺(jué)研究者致力于人體重檢的研究中，但是人體重檢問(wèn)題依舊 挑戰(zhàn)性很大。這主要是因?yàn)橛袔讉€(gè)原因：
[0004] 其一，在比較復(fù)雜難控制的攝像環(huán)境下，通過(guò)像人臉或者步態(tài)這種生物學(xué)信息難 以驗(yàn)證人體身份。
[0005] 其次，對(duì)于攝像機(jī)的多視角有多種不確定性，從而很難得到魯棒的時(shí)空信息，所以 人體重檢問(wèn)題很難通過(guò)特征來(lái)模型化。
[0006] 再者，視覺(jué)外形特征，比如從人體衣服或者輪廓上提取的特征，比較直接沒(méi)有一定 的可區(qū)分性；另外，一個(gè)人的穿著在多攝像機(jī)的條件下都有很大的變化，因?yàn)椴煌臄z像機(jī) 下成像會(huì)與光照，角度，背景遮擋有關(guān)，導(dǎo)致不同的人的外觀在不同的視角下呈現(xiàn)出不同的 效果。
[0007] 給定一張查詢圖像，為了找到與之匹配的其他視角的參考圖像，需要有以下兩
[K 少：
[0008] 第一，首先計(jì)算出查詢圖像與數(shù)據(jù)庫(kù)圖像的特征表示；
[0009] 第二，通過(guò)一定距離度量來(lái)計(jì)算兩者之間的距離，然后排序，得到的topi就是所 要求的結(jié)果，有時(shí)候要求的結(jié)果可能不是很嚴(yán)格，所以得到的前top k都可以列入返回候選 結(jié)果中。
[0010] 現(xiàn)如今，主要的研究方法可以被分為三類：基于特征描述的方法，基于度量學(xué)習(xí)的 機(jī)器學(xué)習(xí)的方法，以及基于分類的方法?；谔卣髅枋龅姆椒ㄖ饕菍?duì)應(yīng)于圖像特點(diǎn)以及 任務(wù)，從而尋求這些特征描述子對(duì)于不同視角下具有可區(qū)分性和穩(wěn)定性。比如，在文獻(xiàn)1"M. Farenzena, L. B. , A. Perina, V. Murino, M. Cristani (2010). Person Re-Identification by Symmetry-Driven Accumulation of Local Features. CVPR." 中，是將不用的特征用于描 述同一個(gè)人，首先適用對(duì)稱的方法將人的骨架提取，在這個(gè)基礎(chǔ)上挖掘圖像中人的外形的 顏色特征，這種方法很強(qiáng)的依賴于預(yù)處理即人體分割，所以所得的特征表示不會(huì)魯棒。在文 獻(xiàn) 2 "Bingpeng M，Y. S.，F(xiàn)rederic Jurie (2012). BiCov:a novel image representation for person re-identification and face verification. BMVC."中，將圖像的HSV三個(gè)顏 色通道分別做Gabor，然后對(duì)相鄰的尺度上特征融合，最后采用協(xié)方差描述子衡量特征之間 的距離。再如，文獻(xiàn) 3"Bingpeng Ma，Y.S. (2012) .Local Descriptors encoded by Fisher Vectors for Person Re-identification. Workshop in ECCV." 是將低層的特征的抽象到 中層表示所謂的Attribute，提取視覺(jué)或者語(yǔ)義上的特征，比如對(duì)于不同的人，將其在不同 的條帶分為不同的穿著，比如短袖，褲子等。
[0011] 相比之下，很多研究者都著手于度量學(xué)習(xí)，取代了一般在提取特征后直接使用 簡(jiǎn)單的歐氏距離，而是將該度量通過(guò)機(jī)器學(xué)習(xí)的方法學(xué)習(xí)求解得到，這里首先要引入馬 氏距離，從而將人體重檢形式化為一個(gè)匹配的問(wèn)題，度量學(xué)習(xí)學(xué)習(xí)上圖式中的M。文獻(xiàn) 4"Zheng，W.S. (2012). "Re-identification by Relative Distance Comparison. "ΡΑΜΙ." 中介紹了一種使用最小化相關(guān)距離比較的方法，作者將人體重檢采用LDA的思想形式化 了一種最優(yōu)化最優(yōu)化問(wèn)題，然后求解和證明，整個(gè)過(guò)程相對(duì)比較復(fù)雜。文獻(xiàn)5 "Martin Kostinger, Μ. Η. , Paul ffohlhart, Peter M. Roth, Horst Bischof(2012). Large Scale Metric Learning from Equivalence Constraints. CVPR." 中將 pair 之間的關(guān)系看出 likelihood ratio test進(jìn)行推導(dǎo)，從而直接解得M，該方法速度比價(jià)快捷。同樣的，文獻(xiàn) 6 "Martin Hirzer, PeterM. Roth, Martin Kostinger, and Horst Bischof(2012). Relaxed Pairwise Learned Metric for Person Re-identification. ECCV. " 中也使用了類似的方 法將度量寫成F范數(shù)從而得到使用矩陣的跡就可以得到最后推導(dǎo)，該方法的優(yōu)點(diǎn)也是計(jì)算 量較小，速度較快。另外，在文獻(xiàn) 7 "Prosser，B.(2010).Person Re-Identification by Support Vector Ranking. BMVC. "中也提到了一種將相似與不相似作為二分類問(wèn)題，以及 在文獻(xiàn) 8" [16] Tamar Avraham, I. G.，Michael Lindenbaum, and Shaul Markovitch (2012). Learning Implicit Transfer for Person Re-identification. ECCV Workshop.，'也提至lj 了將兩個(gè)特征向量直連到一起作為一個(gè)pair，然后使用SVM做二分類問(wèn)題。
[0012] 另外，關(guān)于行人重檢的任務(wù)，可用于實(shí)驗(yàn)訓(xùn)練與測(cè)試的數(shù)據(jù)主要有三個(gè)公共數(shù)據(jù) 集，VIPER，i-LIDS以及ΕΤΗΖ。ETHZ起初是為了給人體檢測(cè)與跟蹤設(shè)計(jì)的，使用多視角在移 動(dòng)攝像機(jī)拍攝于復(fù)雜的街道場(chǎng)景。這個(gè)數(shù)據(jù)集中共有146人以及8555張圖片，一般實(shí)驗(yàn)中 將圖片歸一化到64*128大小。在i-LIDS數(shù)據(jù)集采集與復(fù)雜機(jī)場(chǎng)，共有119個(gè)人和476張 圖片，平均每人有4張圖片左右。VIPER數(shù)據(jù)集中，共有632人，每個(gè)人只有兩張圖片。
[0013] 目標(biāo)匹配技術(shù)亦是如此，下面總結(jié)主流的目標(biāo)匹配方法存在的問(wèn)題：
[0014] 一種基于特征的匹配方法，這種方法比較常見(jiàn)，提取一些圖像特征，比如顏色特 征，以及局部特征比如SIFT、SURF，或H0G特征，然后通過(guò)歐氏距離度量相似性，即特征之間 的最近鄰匹配，通過(guò)固定閾值就可以得到匹配結(jié)果。另外，單獨(dú)使用特征匹配的方法程序運(yùn) 行速度較慢，所以后來(lái)將這種特征做成BOW (bag of word)的模型，即將特性相似的特征量 化到同一個(gè)聚類中心上，這樣加快了匹配的速度，不過(guò)這種方法是以犧牲精度換取時(shí)間?；?于表觀特征的方法局限性在于匹配結(jié)果很強(qiáng)依賴于特征表達(dá)，并且對(duì)于不同數(shù)據(jù)庫(kù)下特征 的選取不同，很大程度取決于該數(shù)據(jù)庫(kù)中圖像的特性。
[0015] 另一種主流的方法是基于距離度量學(xué)習(xí)的方法，這種方法從馬氏距離出發(fā)，通過(guò) 機(jī)器學(xué)習(xí)的方法作為理論依據(jù)，因?yàn)轳R氏距離矩陣實(shí)際上是對(duì)數(shù)據(jù)特征不同維度的加權(quán)， 抑或?qū)μ卣鞯囊环N線性變換操作，然后根據(jù)數(shù)據(jù)的特點(diǎn)，設(shè)計(jì)一些目標(biāo)函數(shù)以及和數(shù)據(jù)性 質(zhì)相關(guān)的約束，這種約束增強(qiáng)了具有可區(qū)分能力的特征維度，削弱了那些沒(méi)有判別能力的 特征，最終求解出該馬氏距離矩陣。這種機(jī)器學(xué)習(xí)的方法需要在數(shù)據(jù)預(yù)處理的時(shí)候必須有 訓(xùn)練過(guò)程。
[0016] 研究中潛在的問(wèn)題：基于低層特征匹配的方法遇到了性能瓶頸，因?yàn)橥皇挛锏?多視角造成的視覺(jué)差總是妨礙了局部特征表示；度量學(xué)習(xí)像LMNN、ITML、LDML這些度量學(xué) 習(xí)方法都是相當(dāng)復(fù)雜的最優(yōu)化模型，難解且計(jì)算復(fù)雜度較高。現(xiàn)階段，將合適的特征與比較 快捷的度量學(xué)習(xí)有效地相結(jié)合，不失為一種解決目標(biāo)匹配的辦法。


【發(fā)明內(nèi)容】

[0017] 本發(fā)明的目的在于提供一種基于互信息的目標(biāo)匹配方法及其系統(tǒng)，用于解決現(xiàn)有 目標(biāo)匹配技術(shù)存在的低精度問(wèn)題。
[0018] 為了實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于互信息的目標(biāo)匹配方法，其特征在于，包 括：
[0019] 步驟1，將查詢圖像和參考圖像的特征拼接在一起；
[0020] 步驟2,將拼接后的特征對(duì)按照類別組成對(duì)應(yīng)至類別下的SET特征集合，每個(gè)類別 對(duì)應(yīng)一個(gè)SET特征集合，SET特征集合中包含查詢圖像與每個(gè)類別的參考圖像組成的特征 對(duì)；
[0021] 步驟3,使用互信息表征SET特征集合與其類別標(biāo)簽之間的關(guān)系，通過(guò)對(duì)互信息的 處理，得到目標(biāo)匹配類別。
[0022] 所述的基于互信息的目標(biāo)匹配方法，其中，所述步驟1中，該圖像特征為顏色特征 或紋理的直方圖。
[0023] 所述的基于互信息的目標(biāo)匹配方法，其中，所述步驟3中，包括：以如下公式表征 SET特征集合與其類別標(biāo)簽之間的關(guān)系：
[0024]

【權(quán)利要求】
1. 一種基于互信息的目標(biāo)匹配方法，其特征在于，包括： 步驟1，將查詢圖像和參考圖像的特征拼接在一起； 步驟2,將拼接后的特征對(duì)按照類別組成對(duì)應(yīng)至類別下的SET特征集合，每個(gè)類別對(duì)應(yīng) 一個(gè)SET特征集合，SET特征集合中包含查詢圖像與每個(gè)類別的參考圖像組成的特征對(duì)； 步驟3,使用互信息表征SET特征集合與其類別標(biāo)簽之間的關(guān)系，通過(guò)對(duì)互信息的處 理，得到目標(biāo)匹配類別。
2. 根據(jù)權(quán)利要求1所述的基于互信息的目標(biāo)匹配方法，其特征在于，所述步驟1中，該 圖像特征為顏色特征或紋理的直方圖。
3. 根據(jù)權(quán)利要求1或2所述的基于互信息的目標(biāo)匹配方法，其特征在于，所述步驟3 中，包括：以如下公式表征SET特征集合與其類別標(biāo)簽之間的關(guān)系 ： c = arg max MI(C = c;Sc) cel,1,2.....-V} 其中，c表示類別標(biāo)簽的取值，N為類別標(biāo)簽的最大取值，S表示對(duì)應(yīng)于c類別標(biāo)簽的 SET特征集合，C代表類別標(biāo)簽，MI為SET特征集合與類別標(biāo)簽之間互信息的關(guān)系。
4. 根據(jù)權(quán)利要求1或2所述的基于互信息的目標(biāo)匹配方法，其特征在于，所述步驟3 中，包括：通過(guò)最近鄰的方式獲取目標(biāo)匹配類別。
5. 根據(jù)權(quán)利要求4所述的基于互信息的目標(biāo)匹配方法，其特征在于，所述步驟3中，包 括：通過(guò)對(duì)所有SET特征集合和類別標(biāo)簽之間的互信息的取值進(jìn)行排序，將互信息最大值 對(duì)應(yīng)的類別標(biāo)簽賦給查詢圖像，以得到目標(biāo)匹配類別。
6. -種基于互信息的目標(biāo)匹配系統(tǒng)，其特征在于，包括： 特征拼接模塊，用于將查詢圖像和參考圖像的特征拼接在一起； 類別對(duì)應(yīng)模塊，連接所述特征拼接模塊，用于將拼接后的特征對(duì)按照類別組成對(duì)應(yīng)至 類別下的SET特征集合，每個(gè)類別對(duì)應(yīng)一個(gè)SET特征集合，SET特征集合中包含查詢圖像與 每個(gè)類別的參考圖像組成的特征對(duì)； 目標(biāo)匹配模塊，連接所述類別對(duì)應(yīng)模塊，用于使用互信息表征SET特征集合與其類別 標(biāo)簽之間的關(guān)系，通過(guò)對(duì)互信息的處理，得到目標(biāo)匹配類別。
7. 根據(jù)權(quán)利要求6所述的基于互信息的目標(biāo)匹配系統(tǒng)，其特征在于，該圖像特征為顏 色特征或紋理的直方圖。
8. 根據(jù)權(quán)利要求6或7所述的基于互信息的目標(biāo)匹配系統(tǒng)，其特征在于，所述目標(biāo)匹配 模塊以如下公式表征SET特征集合與其類別標(biāo)簽之間的關(guān)系： c = arg max Μ/(Γ = c: Λ、.） 其中，c表示類別標(biāo)簽的取值，N為類別標(biāo)簽的最大取值，S表示對(duì)應(yīng)于c類別標(biāo)簽的 SET特征集合，C代表類別標(biāo)簽，MI為SET特征集合與類別標(biāo)簽之間互信息的關(guān)系。
9. 根據(jù)權(quán)利要求6或7所述的基于互信息的目標(biāo)匹配系統(tǒng)，其特征在于，所述目標(biāo)匹配 模塊通過(guò)最近鄰的方式獲取目標(biāo)匹配類別。
10. 根據(jù)權(quán)利要求9所述的基于互信息的目標(biāo)匹配系統(tǒng)，其特征在于，所述目標(biāo)匹配模 塊通過(guò)對(duì)所有SET特征集合和類別標(biāo)簽之間的互信息的取值進(jìn)行排序，將互信息最大值對(duì) 應(yīng)的類別標(biāo)簽賦給查詢圖像，以得到目標(biāo)匹配類別。
【文檔編號(hào)】G06F17/30GK104281572SQ201310271950
【公開(kāi)日】2015年1月14日 申請(qǐng)日期:2013年7月1日 優(yōu)先權(quán)日:2013年7月1日
【發(fā)明者】秦磊, 劉昊, 黃慶明, 成仲煒 申請(qǐng)人:中國(guó)科學(xué)院計(jì)算技術(shù)研究所