結(jié)合特征點(diǎn)匹配及深度神經(jīng)網(wǎng)絡(luò)檢測(cè)的目標(biāo)運(yùn)動(dòng)跟蹤方法
【專利摘要】本發(fā)明公開了一種結(jié)合特征點(diǎn)匹配及深度神經(jīng)網(wǎng)絡(luò)檢測(cè)的目標(biāo)運(yùn)動(dòng)跟蹤方法。首先利用深度神經(jīng)網(wǎng)絡(luò)通過樣本學(xué)習(xí)目標(biāo)的視覺先驗(yàn)，然后跟蹤在貝葉斯推理框架下進(jìn)行，在跟蹤過程中將目標(biāo)視覺先驗(yàn)用作目標(biāo)的外觀表示，跟蹤結(jié)果由粒子濾波順序得到。為了防止跟蹤漂移，通過特征點(diǎn)匹配建立系統(tǒng)的狀態(tài)模型，并且將目標(biāo)分解成子目標(biāo)進(jìn)行相似度量提高算法抗局部遮擋能力。本發(fā)明可以精確跟蹤視頻中的運(yùn)動(dòng)目標(biāo)，能夠廣泛應(yīng)用于人機(jī)交互、互動(dòng)娛樂、智能監(jiān)控、醫(yī)療診斷等領(lǐng)域。
【專利說明】結(jié)合特征點(diǎn)匹配及深度神經(jīng)網(wǎng)絡(luò)檢測(cè)的目標(biāo)運(yùn)動(dòng)跟蹤方法 【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺和視頻處理領(lǐng)域，特別涉及基于視頻的運(yùn)動(dòng)目標(biāo)跟蹤方 法。 【【背景技術(shù)】】
[0002] 基于視頻的運(yùn)動(dòng)目標(biāo)跟蹤能夠廣泛應(yīng)用于人機(jī)交互、互動(dòng)娛樂、智能監(jiān)控等多個(gè) 領(lǐng)域。目前，常用的運(yùn)動(dòng)目標(biāo)跟蹤方法主要采用判別式跟蹤算法或生成式跟蹤算法。此兩 類跟蹤算法各有其優(yōu)缺點(diǎn)，判別式跟蹤算法由于采用了有效的目標(biāo)視覺表示，在簡(jiǎn)單的跟 蹤環(huán)境下能夠取得較好的跟蹤效果，但在復(fù)雜的背景下跟蹤效果較差。生成式跟蹤算法在 遮擋等復(fù)雜環(huán)境下跟蹤效果較好，但是當(dāng)目標(biāo)外觀急劇變化時(shí)，則跟蹤效果較差。 【
【發(fā)明內(nèi)容】
】
[0003] 鑒于此，本發(fā)明的目的在于利用這兩類跟蹤算法的優(yōu)點(diǎn)，提出一種在復(fù)雜環(huán)境進(jìn) 行目標(biāo)運(yùn)動(dòng)精確跟蹤的方法。
[0004] 為達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案：
[0005] 1、在公開數(shù)據(jù)集上訓(xùn)練棧式稀疏自編碼神經(jīng)網(wǎng)絡(luò)得到目標(biāo)的先驗(yàn)視覺表示。
[0006] 2、在提取的SIFT匹配點(diǎn)對(duì)基礎(chǔ)上建立目標(biāo)函數(shù)，并優(yōu)化該目標(biāo)函數(shù)得運(yùn)動(dòng)目標(biāo) 上下兩幀間的運(yùn)動(dòng)模型。
[0007] 3、在以上兩步的基礎(chǔ)上，利用粒子濾波進(jìn)行運(yùn)動(dòng)目標(biāo)跟蹤。
[0008] 與現(xiàn)有技術(shù)相比，本發(fā)明具有以下顯著優(yōu)勢(shì)：
[0009] 1、該發(fā)明利用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)的先驗(yàn)視覺表示，可以提高跟蹤的精度。
[0010] 2、該發(fā)明利用特征點(diǎn)匹配及深度神經(jīng)網(wǎng)絡(luò)檢測(cè)可以防止跟蹤漂移及跟蹤丟失。 【【附圖說明】】
[0011] 圖1是目標(biāo)跟蹤流程圖；
[0012] 圖2是棧式稀疏自編碼神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖；
[0013] 圖3是特征層1稀疏自編碼結(jié)構(gòu)圖；
[0014] 圖4是本發(fā)明應(yīng)用于視頻跟蹤結(jié)果圖； 【【具體實(shí)施方式】】
[0015] 下面結(jié)合附圖及【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。
[0016] 本發(fā)明所提出的目標(biāo)運(yùn)動(dòng)跟蹤算法如圖1所示，現(xiàn)具體介紹每一步的實(shí)現(xiàn)細(xì)節(jié)：
[0017] 1、離線訓(xùn)練。利用V0C2010及CaltechlOl數(shù)據(jù)集進(jìn)行棧式自編碼神經(jīng)網(wǎng)絡(luò)訓(xùn)練 得到目標(biāo)的視覺先驗(yàn)。采用的棧式自編碼神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，共分5層，第1層為輸 入層，最后一層為softmax分類器，中間三層為稀疏自編碼器。訓(xùn)練采用逐層貪婪訓(xùn)練法分 兩步進(jìn)行，第一步依次訓(xùn)練網(wǎng)絡(luò)的每一層，第二步在第一步計(jì)算的每層初始權(quán)值的基礎(chǔ)上 利用反向傳播算法對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行微調(diào)。
[0018] 第一步訓(xùn)練：稀疏自編碼器嘗試逼近一個(gè)恒等函數(shù)，從而使得輸出i接近于輸入 X。以特征層1為例說明稀疏自編碼器的結(jié)構(gòu)（見圖3)及訓(xùn)練過程。
[0019] 設(shè)第i樣本為Xl，W，W'，b，b'分別為輸入層與隱含層及隱含層與輸出 層之間的權(quán)值矩陣及偏置向量。輸入層（ Xl=[Xl(1)，x2(1)，…， Xlffi4(1)，l]T)，隱含層 (h, ，<"為第i樣本下隱含層神經(jīng)元j的激勵(lì)輸出）及輸出層 (孓4('>y)具有以下關(guān)系
[0020] h;.=/(Wx;+b),x =/(W'h(+b') ⑴
[0021] 其中 f (?)為 logistic sigmoid 函數(shù)。
[0022] 建立稀疏自編碼器的目標(biāo)函數(shù)為
[0023] m 'rse (w，wb，b ') = J(W，W '，b，b') + /^[KL(p || A)] (2) 產(chǎn)1
[0024] 其中e控制稀疏性懲罰因子的權(quán)重，J(W，r，b，b')為代價(jià)函數(shù)，定義為 III
[0026] /?HkL(p|| P,)]為稀疏約束項(xiàng)，其中m為隱含層神經(jīng)元的數(shù)量，p是稀疏性參數(shù)， 通常是一個(gè)接近于〇的較小的值，0用來控制約束項(xiàng)的權(quán)重。之間的交叉 熵。
[0027] 稀疏自編碼器為求解使式（2)最小化的參數(shù)，即
[0028] W, Wb, b' = arg wmin b (Jsparsc (W, Wb, b')) (4)
[0029] 第二步微調(diào)：在第一步訓(xùn)練過程中，由于訓(xùn)練每一層參數(shù)時(shí)，會(huì)固定其它各層參數(shù) 保持不變，因而如果想得到更好的結(jié)果，在上述預(yù)訓(xùn)練過程完成之后，可以通過反向傳播算 法同時(shí)調(diào)整所有層的參數(shù)以改善結(jié)果。
[0030] 為了提高算法抵抗局部遮擋的能力，除了訓(xùn)練一個(gè)整體目標(biāo)自編碼深度神經(jīng)網(wǎng) 絡(luò)，同時(shí)將目標(biāo)分成四個(gè)不重疊的子目標(biāo)（上半部分，下半部分，左半部分及右半部分）分 別訓(xùn)練一個(gè)自編碼深度神經(jīng)網(wǎng)絡(luò)，由于尺寸減少一半，因而這四個(gè)子目標(biāo)對(duì)應(yīng)的自編碼深 度神經(jīng)網(wǎng)絡(luò)的輸入層的大小都為512。這樣做的好處在于在局部遮擋下，目標(biāo)部分區(qū)域可 見，利用部分可見區(qū)域進(jìn)行目標(biāo)相似性度量可以提高算法的可靠性。
[0031] 2、目標(biāo)跟蹤。本發(fā)明采用粒子濾波作為跟蹤的基本方法。粒子濾波跟蹤的精度依 賴于狀態(tài)模型及觀測(cè)模型的可靠性，下面說明這兩個(gè)模型的構(gòu)建。
[0032] 2. 1狀態(tài)模型構(gòu)建
[0033] 我們以向量\=(尤,'，兄|乂,;；,23,3，;；,3，<,)，； 1)/'表示目標(biāo)狀態(tài)，（'1,乃1)、（<,7, 2)、 O,3，X5 )、（<,/)分別為目標(biāo)在圖像中左上角、左下角、右上角、右下角的坐標(biāo)。采用的狀態(tài) 模型如下
[0034] /7(X,丨 X,-】）=g(X,_, ) + '_,，V,-, ~ 7V(0, Z) (5)
[0035] 其中N(0, E )為零向量均值多元高斯函數(shù)，E為對(duì)角矩陣。g(xt D為運(yùn)動(dòng)模型， 采用六參數(shù)仿射變換定義如下
[0036] |x, =a,xt_, +a2y^ + aa V，= a4x,-^ + + a3 (6)
[0037] 其中a。，ap a2, a3, a4, 85為運(yùn)動(dòng)模型參數(shù)，米用以下方法計(jì)算得到。
[0038] 由上式定義誤差函數(shù)為
[0039] E(p;x) = [m 從 _,叫 L少,-七義,-,--巧」 1J
[0040] 其中 P = (a。，ap a2, a3, a4, a5)T，x = (xt，yt，xt+1，yt+1)為兩匹配 SIFT 特征點(diǎn)在圖 像上的坐標(biāo)。最小化下式可以求得運(yùn)動(dòng)模型參數(shù)
[0041 ] p* = arg min jj] E(p; x)1 E(p; x)| ⑶
[0042] 采用Gauss-Newton迭代法來優(yōu)化上式。
[0043] 2. 2觀測(cè)模型構(gòu)建
[0044] 以深度神經(jīng)網(wǎng)絡(luò)的輸出作為粒子的相似度，由于共有5個(gè)深度神經(jīng)網(wǎng)絡(luò)，故粒子 的相似度結(jié)合目標(biāo)及子目標(biāo)的深度神經(jīng)網(wǎng)絡(luò)輸出，定義如下
[0045] p(z, Ixjoc^, -c{ +6>2-max(c；,cf,c；,c；) (9)
[0046] 其中0 p 0 2為相似度系數(shù)，滿足0彳0 2= 1，其值根據(jù)實(shí)驗(yàn)調(diào)整設(shè)置；為目標(biāo) 深度神經(jīng)網(wǎng)絡(luò)的輸出，< , <, < 分別為四個(gè)子目標(biāo)深度神經(jīng)網(wǎng)絡(luò)的輸出。
[0047] 2. 3在線目標(biāo)跟蹤
[0048] 待跟蹤的目標(biāo)由用戶在首幀中標(biāo)注得到，并且提取待跟蹤目標(biāo)圖像區(qū)域中的SIFT 特征。在首幀中提取目標(biāo)的正負(fù)樣本對(duì)離線訓(xùn)練得到的棧式稀疏自編碼深度神經(jīng)網(wǎng)絡(luò)進(jìn)行 再訓(xùn)練得到目標(biāo)的視覺專用表示模型。正樣本集由選定目標(biāo)區(qū)域根據(jù)以下變換方程得到，
[0049] ^x'^j f cos0 sin^V 1 sin 61 cos/9 1JU (1〇)
[0050] 其中（x，y)T為選定目標(biāo)區(qū)域中的像素點(diǎn)坐標(biāo)，（x'，y' ) T為變換后的區(qū)域像素 點(diǎn)坐標(biāo)，0，S為變換參數(shù)，0為變換角度，取值范圍為0 G [-31/4, Jl/4]，s為變換尺度， 取值范圍為S G [0. 8,1. 2]。隨機(jī)選擇一組（0，s)值根據(jù)式（10)將目標(biāo)模板進(jìn)行變換作 為一個(gè)訓(xùn)練正樣本，負(fù)樣本集則以選定目標(biāo)區(qū)域之外的圖像區(qū)域作為數(shù)據(jù)源，以不同的尺 度及位置從這些數(shù)據(jù)源中提取負(fù)樣本。
[0051] 目標(biāo)在線跟蹤算法流程如圖1所示。在本算法中還設(shè)定兩個(gè)閾值&1，a 2，且ai> a2，其中％用來判定當(dāng)前跟蹤結(jié)果是否可靠，如果可信度超過該閾值，則將跟蹤結(jié)果作為一 個(gè)新的正樣本，并從該區(qū)域以外的圖像區(qū)域選擇負(fù)樣本，重新訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。a 2用來判 定粒子濾波跟蹤是否發(fā)生漂移，如果所有粒子的相似度都低于該閾值，則表明跟蹤器失效， 需要由深度神經(jīng)網(wǎng)絡(luò)掃描整個(gè)圖像進(jìn)行目標(biāo)檢測(cè)，并根據(jù)檢測(cè)結(jié)果進(jìn)行粒子濾波器重新初 始化。
[0052] 將本方法應(yīng)用于視頻的目標(biāo)跟蹤結(jié)果見圖4。
【主權(quán)項(xiàng)】
1. 一種結(jié)合特征點(diǎn)匹配及深度神經(jīng)網(wǎng)絡(luò)檢測(cè)的目標(biāo)運(yùn)動(dòng)跟蹤方法。其特征在于包括以 下步驟： a) 在V0C2010及CaltechlOl數(shù)據(jù)集進(jìn)行棧式自編碼神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到目標(biāo)的視覺先 驗(yàn)。 b) 提取的SIFT匹配點(diǎn)對(duì)并上建立目標(biāo)函數(shù)，優(yōu)化該目標(biāo)函數(shù)得運(yùn)動(dòng)目標(biāo)上下兩幀間 的運(yùn)動(dòng)模型。 c) 在以上兩步的基礎(chǔ)上，利用粒子濾波進(jìn)行運(yùn)動(dòng)目標(biāo)跟蹤。2. 根據(jù)權(quán)利要求1所述的一種結(jié)合特征點(diǎn)匹配及深度神經(jīng)網(wǎng)絡(luò)檢測(cè)的目標(biāo)運(yùn)動(dòng)跟蹤 方法，其特征在于：所述步驟b)中建立以下誤差函數(shù)。
【文檔編號(hào)】G06K9/62GK105894008SQ201410767363
【公開日】2016年8月24日
【申請(qǐng)日】2015年1月16日
【發(fā)明人】陳姝
【申請(qǐng)人】廣西卡斯特動(dòng)漫有限公司, 陳姝