本發(fā)明屬于視覺(jué)目標(biāo)跟蹤領(lǐng)域，尤其是一種基于多特征和組稀疏的視覺(jué)目標(biāo)跟蹤方法。
背景技術(shù)：
：基于視頻的運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)作為計(jì)算機(jī)視覺(jué)領(lǐng)域的核心研究課題之一，主要目的是模仿生理視覺(jué)系統(tǒng)的運(yùn)動(dòng)感知功能，通過(guò)對(duì)攝像頭捕捉到的圖像序列進(jìn)行分析，計(jì)算出運(yùn)動(dòng)目標(biāo)在每一幀圖像中的二維坐標(biāo)位置；然后，根據(jù)運(yùn)動(dòng)目標(biāo)相關(guān)的特征值，將圖像序列中連續(xù)幀間的同一運(yùn)動(dòng)目標(biāo)關(guān)聯(lián)起來(lái)，得到每幀圖像中目標(biāo)的運(yùn)動(dòng)參數(shù)以及相鄰幀圖像間運(yùn)動(dòng)目標(biāo)的對(duì)應(yīng)關(guān)系，從而得到各個(gè)運(yùn)動(dòng)目標(biāo)完整的運(yùn)動(dòng)軌跡，即在連續(xù)的視頻序列中建立運(yùn)動(dòng)目標(biāo)的對(duì)應(yīng)關(guān)系?；谙∈璞硎竞妥值鋵W(xué)習(xí)的視覺(jué)目標(biāo)跟蹤方法核心是構(gòu)建目標(biāo)的稀疏表示模型。XueMei(XueMeiandHaibinLing,“Robustvisualtrackingusingl1minimization,”inComputerVision,2009IEEE12thInternationalConferenceon.IEEE,2009,pp.1436-1443.)等人提出了一種基于L1范數(shù)最優(yōu)化的稀疏表示模型。其核心是用第一幀和最近幾幀得到的圖像(特征)作為字典，在新的候選目標(biāo)中，利用L1最小二乘準(zhǔn)則投影到這一組字典上，找出實(shí)際目標(biāo)。TianzhuZhang等人(TianzhuZhang,BernardGhanem,SiLiu,andNarendraAhuja,“Robustvisualtrackingviamulti-tasksparselearning,”inComputerVisionandPatternRecognition(CVPR),2012IEEEConferenceon.IEEE,2012,pp.2042–2049.)在此基礎(chǔ)上通過(guò)引入多任務(wù)稀疏學(xué)習(xí)，進(jìn)一步優(yōu)化了候選粒子和稀疏求解結(jié)果。XiangyuanLan等人(XiangyuanLan,AndyJinhuaMa,andPongChiYuen,“Multi-cuevisualtrackingusingrobustfeature-levelfusionbasedonjointsparserepresentation,”inComputerVisionandPatternRecognition(CVPR),2014IEEE.Conferenceon.IEEE,2014,pp.1194–1201.)提出了一種多特征融合的目標(biāo)跟蹤方法，通過(guò)引入多特征以及特征融合，增加了目標(biāo)跟蹤的精度。雖然上述方法在一定程度上可以進(jìn)行目標(biāo)跟蹤，但是，也均存在精確度不高、穩(wěn)定性差等問(wèn)題。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種設(shè)計(jì)合理、精度高且穩(wěn)定性強(qiáng)的基于多特征和組稀疏的視覺(jué)目標(biāo)跟蹤方法。本發(fā)明解決其技術(shù)問(wèn)題是采取以下技術(shù)方案實(shí)現(xiàn)的：一種基于多特征和組稀疏的視覺(jué)目標(biāo)跟蹤方法，包括以下步驟：步驟1、在視頻當(dāng)前幀中對(duì)目標(biāo)進(jìn)行多特征提取，所提取特征包括灰度特征、顏色特征和LBP特征；步驟2、利用多特征信息構(gòu)造不同特征下的學(xué)習(xí)字典，利用二維仿射變換對(duì)目標(biāo)圖像進(jìn)行映射，轉(zhuǎn)換成一個(gè)固定大小的矩形區(qū)域；步驟3、在新視頻幀中進(jìn)行粒子采樣，采樣按照高斯分布：在上一幀的目標(biāo)附近放置更多的粒子，遠(yuǎn)離目標(biāo)的區(qū)域放置較少的粒子；步驟4、采用邊界粒子重采樣以去除不合格的粒子，然后對(duì)剩下的粒子求解稀疏優(yōu)化方程；步驟5、更新模板，考察本幀結(jié)果和最大系數(shù)模板的余弦相似度，如果相似度低于某一個(gè)值，則用當(dāng)前模板替換系數(shù)最小的模板；步驟6、若視頻未結(jié)束，則重采樣，生成下一幀跟蹤所需的n個(gè)粒子，返回步驟3。所述步驟2中構(gòu)造不同特征下的學(xué)習(xí)字典包含目標(biāo)模板和瑣碎模板，該學(xué)習(xí)字典的構(gòu)建方法包括以下步驟：⑴通過(guò)仿射變換將高維的原始目標(biāo)圖像特征轉(zhuǎn)換為低維的圖像特征，同時(shí)目標(biāo)區(qū)域發(fā)生形變時(shí)，不同形狀的區(qū)域目標(biāo)進(jìn)行統(tǒng)一性測(cè)量計(jì)算；仿射變換通過(guò)平移、縮放、翻轉(zhuǎn)、旋轉(zhuǎn)和錯(cuò)切方法實(shí)現(xiàn)，矩陣運(yùn)算表示為：x′y′1=a11a12a13a21a22a23001xy1]]>其中x，y為原始點(diǎn)的坐標(biāo)，x′，y′為變換后的點(diǎn)坐標(biāo)，a11，a12，a13，a21，a22，a23是仿射變換的六個(gè)系數(shù)；⑵對(duì)經(jīng)過(guò)仿射變換后的目標(biāo)圖像區(qū)域進(jìn)行特征提取，每一個(gè)特征的學(xué)習(xí)字典構(gòu)成為：D＝(TI)，其中目標(biāo)模板集T＝t1，t2，…，tl，I是瑣碎模板。所述步驟3的具體實(shí)現(xiàn)方法為：計(jì)算樣本狀態(tài)xt的觀測(cè)似然概率p(zt|xt)，對(duì)于樣本狀態(tài)集S＝x1，x2，…，xn，以及候選目標(biāo)集O＝y(tǒng)1，y2，…，yn，稀疏優(yōu)化表示為：yti=TtaTi+IaIj,∀yti∈Ot]]>其中i表示第i個(gè)粒子，a＝aTaI表示稀疏系數(shù)。所述步驟4邊界粒子重采樣采用t測(cè)試方法實(shí)現(xiàn)，包括以下步驟：(1)計(jì)算所有粒子觀測(cè)概率上界：p(z|x)=1Γexp-α||yi-TaTi||22=q(z|xi)]]>并對(duì)它們進(jìn)行排序：q1≥q2≥…≥qn，i＝1；(2)如果i≤n，根據(jù)每個(gè)樣本狀態(tài)的觀測(cè)似然概率：p(z|x)=1Γexp-α||yi-TaTi||22]]>利用計(jì)算出τi+1，如果i>n，則跳到步驟(4)；(3)如果qi≥τi，則i＝i+1，并且返回步驟(2)繼續(xù)求解；如果qi≤τi，則qi，qi+1，…，qn對(duì)應(yīng)的粒子都將被舍棄；(4)對(duì)剩下的粒子進(jìn)行重采樣。所述步驟4求解稀疏優(yōu)化方程的方法包括以下步驟：(1)構(gòu)造分組字典：D＝D1，D2，…Dg，在多特征下，加入瑣碎模板后的字典表示為：Xk＝Dk，I，K表示采用了k種描述特征；(2)建立組稀疏數(shù)學(xué)優(yōu)化模型：其中，分組系數(shù)優(yōu)化表示為：Ωak=||||a1k||2,||a2k||,...,||agk||||=Σi=1g||aik||2]]>將權(quán)重q分配到各組中，聯(lián)合表示為：minw12Σk=1K||yk-Xkak||22+λΩa,s.t.a=z||zk||θ,2,1:=Σi=1gθi||zik||2.]]>所述稀疏模型采用交替方向乘子法實(shí)現(xiàn)，其實(shí)現(xiàn)方法包括以下步驟：(1)初始化向量z，λ1，λ2以及大于零的系數(shù)β1，β2，γ1，γ2；(2)式子未收斂或循環(huán)次數(shù)未達(dá)到時(shí)，進(jìn)行如下計(jì)算：a←β1I+β2XTXβ1z-λ1+β2XTy+XTλ2Z←Shrink(a+1β1λ1,θβ1)]]>λ1←λ1-γ1β1z-aλ2←λ2-γ2β2Xa-y。所述步驟5中模板更新采用實(shí)時(shí)更新的策略，更新步驟如下：(1)y是在新的幀內(nèi)找到的目標(biāo)，ak表示在第k個(gè)特征下目標(biāo)模板的系數(shù)，特征選擇根據(jù)觀測(cè)概率方程決定：pyt|xt=1βΣk=1Kexp-α||ytk-Dtkatk||]]>選取能使該方程取值最大的特征作為當(dāng)前有效特征；(2)計(jì)算新目標(biāo)y與各個(gè)模板T＝t1，t2，…，tl的相似度，其相似度使用余弦相似度來(lái)度量：cosy,ti=y·ti|y||ti|,i=1,2,...l]]>計(jì)算平均相似度：1lΣi=1lcosy,ti]]>并設(shè)一個(gè)經(jīng)驗(yàn)閾值η，當(dāng)平均相似度低于η時(shí)把相似度最低的模板替換。所述步驟6中重采樣采用序貫重要性采樣算法，其方法如下：以狀態(tài)轉(zhuǎn)移變量的轉(zhuǎn)移概率密度函數(shù)pxk|xk-1作為重要性概率密度函數(shù)，粒子的權(quán)值為：wti=wt-1ipyt|xti]]>在重采樣時(shí)，忽略低權(quán)重的粒子，對(duì)高權(quán)重的粒子不斷復(fù)制。本發(fā)明的優(yōu)點(diǎn)和積極效果是：本發(fā)明融合了多特征、粒子濾波、組稀疏學(xué)習(xí)技術(shù)，其通過(guò)跟蹤物體的多種特征使得構(gòu)造的字典中含有更豐富的目標(biāo)信息；其運(yùn)用了一種新的組稀疏求解方法，該方法能夠更精確的匹配潛在目標(biāo)，增加了整體算法的跟蹤精度；并且在粒子濾波框架下跟蹤結(jié)果有很大的穩(wěn)定性，利用交替方向乘子法解決算法構(gòu)成的數(shù)學(xué)模型，獲得了很好的視覺(jué)目標(biāo)跟蹤結(jié)果。附圖說(shuō)明圖1是本發(fā)明與其他不同算法獲得的跟蹤結(jié)果AUC曲線對(duì)比圖；圖2是本發(fā)明與其他不同算法的跟蹤結(jié)果對(duì)比圖。具體實(shí)施方式以下結(jié)合附圖對(duì)本發(fā)明實(shí)施例做進(jìn)一步詳述：一種基于多特征和組稀疏的視覺(jué)目標(biāo)跟蹤方法，包括以下步驟：步驟1、在視頻當(dāng)前幀中對(duì)目標(biāo)進(jìn)行多特征提取，提取的特征有灰度特征、顏色特征、LBP特征。本發(fā)明利用多特征對(duì)跟蹤目標(biāo)進(jìn)行描述，使用的特征包括：灰度特征、顏色特征和LBP特征。灰度特征是最常用的全局特征，灰度化之后的圖片所含信息量大大減小，所需的計(jì)算量也相應(yīng)的大幅減小。顏色特征描述了圖像或圖像區(qū)域所對(duì)應(yīng)的景物的表面性質(zhì)，在彩色圖像的目標(biāo)跟蹤中發(fā)揮著重要作用。LBP特征是一種用來(lái)描述局部紋理特征的算子，具有旋轉(zhuǎn)不變性和灰度不變性等優(yōu)點(diǎn)，所提取的是局部紋理特征。步驟2、利用多特征信息構(gòu)造學(xué)習(xí)字典，利用二維仿射變換對(duì)目標(biāo)圖像進(jìn)行映射，轉(zhuǎn)換成一個(gè)固定大小的矩形區(qū)域，以降低特征的維度。所述構(gòu)造學(xué)習(xí)字典構(gòu)成包括以下步驟：(1)通過(guò)仿射變換可以將高維的原始目標(biāo)圖像特征轉(zhuǎn)換為低維的圖像特征，同時(shí)目標(biāo)區(qū)域發(fā)生形變時(shí)，不同形狀的區(qū)域目標(biāo)進(jìn)行統(tǒng)一性測(cè)量計(jì)算。仿射變換通過(guò)一系列的原子變換的復(fù)合實(shí)現(xiàn)，包括：平移(Translation)，縮放(Scale)，翻轉(zhuǎn)(Flip)，旋轉(zhuǎn)(Rotation)和錯(cuò)切(Shear)。矩陣運(yùn)算表示為：x′y′1=a11a12a13a21a22a23001xy1]]>其中x，y為原始點(diǎn)的坐標(biāo)，x′，y′為變換后的點(diǎn)坐標(biāo)，a11，a12，a13，a21，a22，a23是仿射變換的六個(gè)系數(shù)。(2)對(duì)經(jīng)過(guò)仿射變換后的目標(biāo)圖像區(qū)域進(jìn)行特征提取，每一個(gè)特征其學(xué)習(xí)字典構(gòu)成為：D＝(TI)。其中目標(biāo)模板集T＝t1，t2，…，tl，I是單位矩陣，即瑣碎模板。步驟3、在新的視頻幀中進(jìn)行粒子采樣，采樣按照高斯分布：在上一幀的目標(biāo)附近放置更多的粒子，遠(yuǎn)離目標(biāo)的區(qū)域放置較少的粒子。其中，每一個(gè)粒子代表一個(gè)候選目標(biāo)。具體處理方法為：目標(biāo)搜索在整幅圖像進(jìn)行，并由粒子分布決定。在本文跟蹤算法中，稀疏表示的作用就是計(jì)算樣本狀態(tài)xt的觀測(cè)似然概率p(zt|xt)。對(duì)于樣本狀態(tài)集S＝x1，x2，…，xn，以及候選目標(biāo)集O＝y(tǒng)1，y2，…，yn，稀疏優(yōu)化思想可以表示為：yti=TtaTi+IaIi,∀yti∈Ot]]>其中i表示第i個(gè)粒子，a＝aTaI表示稀疏系數(shù)。步驟4、邊界粒子重采樣，去除一些不合格的粒子，對(duì)剩下的粒子求解稀疏優(yōu)化方程，采用組稀疏的優(yōu)化策略：將目標(biāo)模板(targettemplate)賦予更高的統(tǒng)一權(quán)重；將瑣碎模板(trivialtemplate)賦予更低的統(tǒng)一權(quán)重。重采樣可用t測(cè)試方法，步驟如下：(1)計(jì)算所有粒子觀測(cè)概率上界：p(z|xi)≤1Γexp-α||Ta-yi||22=q(z|xi)]]>并對(duì)它們進(jìn)行排序：q1≥q2≥…≥qn，i＝1。(2)如果i≤n，根據(jù)每個(gè)樣本狀態(tài)的觀測(cè)似然概率：p(z|x)=1Γexp-α||yi-TaTi||22]]>利用計(jì)算出τi+1，如果i>n，則跳到步驟4.(3)如果qi≥τi，則i＝i+1，并且返回步驟2繼續(xù)求解；如果qi≤τi，則qi，qi+1，…，qn對(duì)應(yīng)的粒子都將被舍棄。(4)對(duì)剩下的粒子進(jìn)行重采樣。為了更精確的匹配潛在目標(biāo)，本發(fā)明構(gòu)造了一種基于組稀疏學(xué)習(xí)的優(yōu)化策略。步驟如下：(1)構(gòu)造分組字典：D＝D1，D2，…Ｄg。在多特征下，加入瑣碎模板后的字典表示為：Xk＝Dk，I，K表示采用了k種描述特征。(2)建立組稀疏數(shù)學(xué)優(yōu)化模型：minw12Σk=1K||yk-Xkak||22+λΩa]]>其中分組系數(shù)優(yōu)化表示為：Ωak=||||a1k||2,||a2k||,...,||agk||||=Σi=1g||aik||2]]>將權(quán)重q分配到各組中，聯(lián)合表示為：minw12Σk=1K||yk-Xkak||22+λΩa,s.t.a=z||zk||θ,2,1:=Σi=1gθi||zik||2]]>本專利采用交替方向乘子法解決多特征的組稀疏模型，交替方向乘子法步驟如下：初始化向量z，λ1，λ2；以及大于零的系數(shù)β1，β2，γ1，γ2。式子未收斂或循環(huán)次數(shù)未達(dá)到時(shí)計(jì)算下面式子：a←β1I+β2XTXβ1z-λ1+β2XTy+XTλ2Z←Shrink(a+1β1λ1,θβ1)]]>λ1←λ1-γ1β1z-aλ2←λ2-γ2β2Xa-y。步驟5、更新模板，每次計(jì)算都可得到每一個(gè)目標(biāo)模板的系數(shù)，系數(shù)越大模板權(quán)重越大。考察本幀結(jié)果和最大系數(shù)模板的余弦相似度，如果相似度低于某一個(gè)值，則用當(dāng)前模板替換系數(shù)最小的模板。模板更新采用實(shí)時(shí)更新的策略，更新步驟如下：(1)y是在新的幀內(nèi)找到的目標(biāo)，ak表示在第k個(gè)特征下目標(biāo)模板的系數(shù)，特征選擇根據(jù)觀測(cè)概率方程決定：pyt|xt=1βΣk=1Kexp-α||ytk-Dtkatk||]]>選取能使該方程取值最大的特征作為當(dāng)前有效特征。(2)計(jì)算新目標(biāo)y與各個(gè)模板T＝t1，t2，…，tl的相似度，其中它們的相似度使用余弦相似度來(lái)度量：cosy,ti=y·ti|y||ti|,i=1,2,...1]]>為了避免頻繁替換模板帶來(lái)的抖動(dòng)問(wèn)題，我們計(jì)算平均相似度：1lΣi=1lcosy,ti]]>并設(shè)一個(gè)經(jīng)驗(yàn)閾值η，當(dāng)平均相似度低于η時(shí)把相似度最低的模板替換。步驟6、若視頻未結(jié)束，則重采樣，生成下一幀跟蹤所需的n個(gè)粒子，返回步驟3。具體方法為：重采樣采用了序貫重要性采樣算法。以狀態(tài)轉(zhuǎn)移變量的轉(zhuǎn)移概率密度函數(shù)pxk|xk-1作為重要性概率密度函數(shù)，粒子的權(quán)值為：wti=xt-1ipyt|xti]]>重采樣算法忽略低權(quán)重的粒子，對(duì)高權(quán)重的粒子不斷復(fù)制。為了克服權(quán)值退化問(wèn)題，即數(shù)次迭代后只有少數(shù)粒子的權(quán)值較大，需要再給粒子加一個(gè)隨機(jī)量，在附近分散一下粒子。下面按照本發(fā)明方法進(jìn)行實(shí)驗(yàn)，說(shuō)明本實(shí)驗(yàn)的實(shí)驗(yàn)效果。測(cè)試環(huán)境：VisualStudio2010,MATLAB2013b測(cè)試序列：所選序列和其對(duì)應(yīng)標(biāo)準(zhǔn)跟蹤位置圖(GroundTruth)來(lái)自O(shè)TB(Y.Wu,J.Lim,andM.-H.Yang.Onlineobjecttracking:Abenchmark.InProceedingsofIEEEConferenceonComputerVisionandPatternRecognition,2013),測(cè)試序列分別為：測(cè)試指標(biāo)：本文使用了兩種評(píng)價(jià)指標(biāo)，分別為CLE和VOR。其中CLE是中心位置誤差，表示跟蹤到的目標(biāo)位置和真實(shí)的標(biāo)注位置的中心位置像素距離。CLE忽略了目標(biāo)大小的影響，作為補(bǔ)充考慮VOR準(zhǔn)則，VOR定義為跟蹤的目標(biāo)區(qū)域和真實(shí)區(qū)域的交集和并集的比值。測(cè)試結(jié)果如圖一所示，曲線與坐標(biāo)軸下面圍成的面積越大，說(shuō)明跟蹤效果越好。通過(guò)上表及圖1、圖2可以看出，采用本發(fā)明進(jìn)行目標(biāo)跟蹤相對(duì)于其他方法具有一定的優(yōu)越性。在圖1中，算法越靠上說(shuō)明其魯棒性越好，該圖可以直觀的看出每一個(gè)算法的綜合能力。本發(fā)明所提出的算法相對(duì)于較有名的Struck、DLT和SCM算法在這些測(cè)試序列上都取得更好效果。在圖2中，所測(cè)試的序列包含了快速運(yùn)動(dòng)目標(biāo)，如Deer序列；以及復(fù)雜背景下的目標(biāo)的跟蹤，如Football、singer2序列；并且在行人場(chǎng)景的跟蹤也取得了很好的效果，如Walking、Couple、Jogging和Subway序列。在發(fā)生部分遮擋的情況下也有較好的表現(xiàn)，如Coke、David3序列；在圖像分辨率較低、跟蹤目標(biāo)信息量較少的情況下也能準(zhǔn)確跟蹤目標(biāo)，如Skiing、Girl序列。需要強(qiáng)調(diào)的是，本發(fā)明所述的實(shí)施例是說(shuō)明性的，而不是限定性的，因此本發(fā)明包括并不限于具體實(shí)施方式中所述的實(shí)施例，凡是由本領(lǐng)域技術(shù)人員根據(jù)本發(fā)明的技術(shù)方案得出的其他實(shí)施方式，同樣屬于本發(fā)明保護(hù)的范圍。當(dāng)前第1頁(yè)1 2 3