專利名稱：一種基于自適應(yīng)初始搜索點(diǎn)預(yù)測(cè)的目標(biāo)跟蹤算法的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)視覺(jué)與模式分析領(lǐng)域，具體涉及一種有效抑制模板漂移的目標(biāo)跟蹤算法。

背景技術(shù)：
目標(biāo)跟蹤在人機(jī)交互、自動(dòng)監(jiān)視、視頻檢索、交通監(jiān)測(cè)以及車輛導(dǎo)航中有著廣泛的應(yīng)用。目標(biāo)跟蹤的任務(wù)是確定目標(biāo)在視頻流各幀中的幾何狀態(tài)，包括位置、尺寸以及取向等。由于被跟蹤的目標(biāo)通常具有不規(guī)則的運(yùn)動(dòng)，再加上復(fù)雜背景的干擾，目標(biāo)跟蹤算法面臨著諸多挑戰(zhàn)，是計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)之一。
目標(biāo)跟蹤算法分為兩大類，一類是跟蹤點(diǎn)目標(biāo)的(point tracking)[1，2]，另一類則是跟蹤面目標(biāo)的(kemel tracking)[3～6]。當(dāng)目標(biāo)相對(duì)于整個(gè)視場(chǎng)非常小時(shí)，例如雷達(dá)圖像，可以采用點(diǎn)目標(biāo)跟蹤算法。對(duì)于通常攝像頭所拍攝的圖像，則更多地采用面目標(biāo)跟蹤算法。面目標(biāo)跟蹤算法又可以分為對(duì)目標(biāo)模板進(jìn)行匹配(template matching)[3，4]以及僅對(duì)目標(biāo)輪廓進(jìn)行跟蹤(contour tracking)[5，6]。由于模板匹配跟蹤算法同時(shí)整合了目標(biāo)的整體外觀信息與幾何信息，因此應(yīng)用相當(dāng)廣泛。
模板匹配跟蹤算法通常使用一個(gè)矩形或者橢圓形的模板來(lái)表征目標(biāo)。目標(biāo)的運(yùn)動(dòng)通常由模板的坐標(biāo)變換(平移、縮放、旋轉(zhuǎn)等)來(lái)描述。不同的坐標(biāo)變換參數(shù)給出不同的圖像區(qū)域，其中給出與模板匹配程度最高的圖像區(qū)域的坐標(biāo)變換參數(shù)反映了當(dāng)前目標(biāo)的幾何信息[7]。
模板匹配跟蹤算法的性能在很大程度上取決于是否能夠有效地搜索到最優(yōu)的坐標(biāo)變換參數(shù)。在這里，要解決的有兩個(gè)問(wèn)題。首先是如何盡量減少?gòu)?fù)雜背景造成的局部極值點(diǎn)對(duì)搜索過(guò)程的干擾，其次是在確保搜索質(zhì)量的前提下如何盡可能降低計(jì)算量。許多研究者已經(jīng)在這方面做了大量的工作。為了降低計(jì)算量，許多快速搜索算法被提了出來(lái)，例如三步搜索(Three-Step Search，TSS)[8]、二維Log搜索(2D-Log Search，2DLS)[9]、基于塊的梯度下降搜索(Block-Based Gradient Descent Search，BBGDS)[10]，以及Lucas-Kanade算法等等[11]。對(duì)于局部極值點(diǎn)的干擾，一般是通過(guò)搜索多條路徑取最優(yōu)結(jié)果來(lái)試圖獲得全局極值點(diǎn)[11]，但是這樣做的代價(jià)是增加了計(jì)算量。
很明顯，初始搜索點(diǎn)離開(kāi)全局極值點(diǎn)越近，則搜索算法被局部極值點(diǎn)干擾的概率就越小，同時(shí)算法收斂所需的迭代次數(shù)也會(huì)越少。因此，如果我們能夠有效地預(yù)測(cè)最優(yōu)的初始搜索點(diǎn)，則以上提到的所有算法的性能都可以得到很大程度的提高。兩種比較容易想到的方法是直接將目標(biāo)在前一幀的坐標(biāo)變換參數(shù)作為當(dāng)前幀的初始搜索點(diǎn)，或者用簡(jiǎn)單的勻速運(yùn)動(dòng)模型來(lái)得到初始搜索點(diǎn)。然而，這些方法都不能很好地預(yù)測(cè)目標(biāo)在下一幀中的幾何狀態(tài)。
在目標(biāo)跟蹤領(lǐng)域，卡爾曼濾波器被廣泛應(yīng)用[12～14]。然而，大多數(shù)卡爾曼濾波器僅被用來(lái)平滑目標(biāo)運(yùn)動(dòng)軌跡，而非用來(lái)通過(guò)預(yù)測(cè)初始搜索點(diǎn)提高跟蹤性能。另外，很少有文獻(xiàn)針對(duì)模板匹配跟蹤算法提出在線估計(jì)卡爾曼濾波器的模型噪聲功率的方法。
參考文獻(xiàn)Rasmussen C.，Hager G.Probabilistic data association methods for tracking complexvisual objects[J].IEEE Trans.on Pattern Analysis and Machine Intelligence，2001，23(6)560-576.Hue C.，Cadre J.L.，Prez P..Sequential Monte Carlo methods for multiple target trackingand data fusion[J].IEEE Trans.on Signal Processing，2002，50(2)309-325.Matthews I.，Ishikawa T.，Baker S..The template update problem[J].IEEE Trans.onPattern Analysis and Machine Intelligence，2004，26(6)810-815.Nguyen H.T.，Smeulders A.W.M..Fast occluded object tracking by a robust appearancefilter[J].IEEE Trans.on Pattern Analysis and Machine Intelligence，2004，26(8)1099-1104.Yilmaz A.，Li X.，Shan M..Contour based object tracking with occlusion handling invideo acquired using mobile cameras[J].IEEE Trans.on Pattern Analysis and MachineIntelligence，2004，26(11)1531-1536.Chen Y.，Rui Y.，Huang T..Jpdaf based HMM for real-time contour tracking[C].Proc.IEEE Comp.Society.Conf.on Computer Vision and Pattern Recognition，2001，1543-550.Jia Z.，Balasuriya A.，Challa S..Target tracking with Bayesian fusion based templatematching[C].Proc.IEEE Int.Conf.on Image Processing，2005，2II-826-829.Wang Y.，Ostermann J.，Zhang Y.Q..Video Processing and Communications[M].PrenticeHall，2002.159-161.Jain J.，Jain A..Displacement measurement and its application in interframe imagecoding[J].IEEE Trans.on Communications，1981，331799-1808.Liu L.K.，F(xiàn)eig E..A block-based gradient descent search algorithm for block motionestimation in video coding[J].IEEE Trans.on Circuits and Systems for Video Technology，1996，6419-422.Baker S.，Matthews I..Lucas-Kanade 20years ona unifying framework[J].Int.J.onComputer Vision，2004，53(3)221-255.Papanikolopoulos N.，Khosla P.，Kanade T..Visual tracking of a moving target by acamera mounted on a robota combination of control and vision[J].IEEE Trans.onRobotics and Automation，1993，914-35.Blake A.，Curwen R.，Zisserman A..A framework for spatio-temporal control in thetracking of visual contour[J].Int.J.on Computer Vision，1993，11(2)127-145.Isard M.，Blake A..CONDENSATION-conditional density propagation for visualtracking[J].Int.J.on Computer Vision，1998，29(1)5-28.Sezgin M.，Birecik S.，Demir D.，et al.A comparison of visual target tracking method innoisy environments[C].Proc.IEEE Int.Conf.IECON，1995，21360-1365.Comaniciu D.，Meer P..Mean shiftA robust approach toward feature space analysis[J].IEEE Trans.on Pattern Analysis and Machine Intelligence，2002，24(5)603-619.Black M.，Jepson A..EigentrackingRobust matching and tracking of articulated objectsusing a view-based representation[J].Int.J.on Computer Vision，1998，26(1)63-84.Brown R.G.，Hwang P.Y.C..Introduction to Random Signals and Applied KalmanFiltering[M].John Wiley，1992.Nguyen H.T.，Worring M.，Boomgaard R.van den.Occlusion robust adaptive templatetracking.Proc[C].IEEE Int.Conf.on Computer Vision，2001，1678-683.

發(fā)明內(nèi)容
本發(fā)明的目的在于提出一種基于自適應(yīng)初始搜索點(diǎn)預(yù)測(cè)的目標(biāo)跟蹤算法，以準(zhǔn)確預(yù)測(cè)坐標(biāo)變換參數(shù)，減少被復(fù)雜背景干擾的風(fēng)險(xiǎn)，并降低計(jì)算量。
本發(fā)明的關(guān)鍵在于采用卡爾曼濾波器對(duì)坐標(biāo)變換參數(shù)變化率進(jìn)行濾波，仔細(xì)分析該濾波器模型噪聲的來(lái)源，并基于此提出一種在線有效估計(jì)模型噪聲功率的方法。
本發(fā)明方法包括利用卡爾曼濾波器對(duì)坐標(biāo)變換參數(shù)的變化率進(jìn)行跟蹤，并將坐標(biāo)變換參數(shù)在下一幀的預(yù)測(cè)值作為初始搜索點(diǎn)。
采用一種在線有效估計(jì)上述卡爾曼濾波器觀測(cè)噪聲功率的方法，以使得算法能夠?qū)崟r(shí)針對(duì)不同的目標(biāo)運(yùn)動(dòng)以及搜索精度自適應(yīng)地調(diào)整。
卡爾曼濾波器觀測(cè)噪聲功率通過(guò)坐標(biāo)變換系數(shù)的量化誤差求得。
下面對(duì)本發(fā)明作進(jìn)一步說(shuō)明。
1、模板匹配目標(biāo)跟蹤算法 在基于模板匹配的目標(biāo)跟蹤中，目標(biāo)由代表其外觀的子圖像表示，這個(gè)子圖像稱為模板。初始模板通常是目標(biāo)在第一幀中的外觀。在本發(fā)明中，模板用T(x)表示，其中x＝[x，y]T是像素坐標(biāo)。在每一幀中，T通過(guò)坐標(biāo)變換φ(x；a)映射到圖像幀中，其中a是變換參數(shù)向量，它反映了目標(biāo)在當(dāng)前幀中的幾何信息。該信息的最優(yōu)估計(jì)通過(guò)尋找與模板最匹配的當(dāng)前幀的圖像區(qū)域得到，即 在上式中，am(n)是搜索算法得到的第n幀變換參數(shù)向量的最優(yōu)估計(jì)值；In(x)是第n幀圖像位于坐標(biāo)x處的像素值；sim{I，T}是任意一個(gè)可以反映圖像I與T之間相似度的函數(shù)，例如歸一化線性相關(guān)系數(shù)[15]、平方誤差和的倒數(shù)[15]、直方圖匹配度[16]，或者是主分量匹配度[17]等等。(1)式的實(shí)現(xiàn)有一系列快速搜索算法[8～11]。
在(1)式的搜索過(guò)程中，背景干擾物等造成的局部極值點(diǎn)會(huì)嚴(yán)重影響結(jié)果的準(zhǔn)確性。為了在最大程度上減少局部極值點(diǎn)的影響并同時(shí)降低計(jì)算量，初始搜索點(diǎn)必須盡量靠近坐標(biāo)變換參數(shù)的真實(shí)值。因此，需要在每一幀都對(duì)初始搜索點(diǎn)進(jìn)行有效的預(yù)測(cè)。
2、初始搜索點(diǎn)預(yù)測(cè)模型 為了在坐標(biāo)變換參數(shù)空間中預(yù)測(cè)下一幀的初始搜索點(diǎn)，我們必須估計(jì)每一個(gè)坐標(biāo)變換參數(shù)在下一幀的取值。在沒(méi)有外力作用的情況下，目標(biāo)的坐標(biāo)變換參數(shù)的變化率(以下簡(jiǎn)稱參數(shù)變化率)保持不變。外力的影響是使得參數(shù)變化率在各幀之間產(chǎn)生變動(dòng)，且這個(gè)影響的大小與方向是隨機(jī)的、不可預(yù)測(cè)的，因而可以被認(rèn)為是參數(shù)變化率的噪聲?；谏鲜龇治?，我們可以用卡爾曼濾波器來(lái)跟蹤參數(shù)變化率。這樣做更有利于預(yù)測(cè)變換參數(shù)的取值，而不僅僅是對(duì)它們進(jìn)行平滑。由于不同的坐標(biāo)變換參數(shù)獨(dú)立地描述了不同形式的目標(biāo)運(yùn)動(dòng)，因而可以分別對(duì)它們進(jìn)行預(yù)測(cè)。所以，以下僅對(duì)一個(gè)坐標(biāo)變換參數(shù)進(jìn)行討論，其它參數(shù)的預(yù)測(cè)過(guò)程與之完全相同。
對(duì)于某一坐標(biāo)變換參數(shù)a，設(shè)其在第n幀的變化率為v(n)＝a(n)-a(n-1)，v的狀態(tài)方程為 v(n)＝v(n-1)+u(n-1) (2) 其中，u(n-1)是狀態(tài)轉(zhuǎn)移噪聲，反映了從第n-1幀到第n幀參數(shù)變化率由于隨機(jī)外力造成的擾動(dòng)，我們認(rèn)為它是零均值白噪聲，具有功率譜密度σu2(n)。
參數(shù)變化率v的觀測(cè)方程為 vm(n)＝v(n)+w(n) (3) 其中，vm(n)是參數(shù)變化率的觀測(cè)值，由(1)式搜索結(jié)果的增量得到；w(n)是觀測(cè)噪聲，其來(lái)源于(1)式的量化誤差，這在下面會(huì)詳細(xì)討論。同樣，觀測(cè)噪聲也是零均值白噪聲，具有功率譜密度σw2(n)。在不致混淆的情況下，為了簡(jiǎn)明起見(jiàn)，以下把功率譜密度簡(jiǎn)稱為功率。
根據(jù)卡爾曼濾波理論[18]，(4)～(7)式依次構(gòu)成了預(yù)測(cè)第n+1幀的參數(shù)變化率v的一個(gè)完整的迭代 在這里，α(n)是第n幀的新息，σP2和σE2分別是預(yù)測(cè)誤差與估計(jì)誤差的功率，它們?cè)诳柭鷷r(shí)自動(dòng)得到。
通過(guò)(7)式得到第n+1幀的參數(shù)變化率v的預(yù)測(cè)值后，坐標(biāo)變換參數(shù)a在第n+1幀的預(yù)測(cè)值(n+1)為 由于(n+1)通?？偸桥c真實(shí)值相當(dāng)接近，因此坐標(biāo)變換參數(shù)a在第n+1幀的初始搜索點(diǎn)就取為(n+1)。
3、濾波器模型噪聲功率的估計(jì) 盡管前述討論似乎已經(jīng)解決了我們的問(wèn)題，但是濾波器中的兩個(gè)模型噪聲(狀態(tài)轉(zhuǎn)移噪聲和觀測(cè)噪聲)的功率仍然未知。模型噪聲功率的正確估計(jì)對(duì)于得到最優(yōu)的卡爾曼系數(shù)至關(guān)重要，因而直接決定了算法的性能。在標(biāo)準(zhǔn)的卡爾曼濾波問(wèn)題中，狀態(tài)轉(zhuǎn)移噪聲功率與觀測(cè)噪聲功率都被認(rèn)為是先驗(yàn)已知的。但是，為了使得算法能夠根據(jù)不同的情況自適應(yīng)地調(diào)整，這兩個(gè)模型噪聲功率需要在線估計(jì)。
我們先討論如何估計(jì)觀測(cè)噪聲功率σw2。在理想情況下，由(1)式得到的變換參數(shù)向量am反映了目標(biāo)的真實(shí)幾何狀態(tài)，但是，由于(1)式的最終搜索結(jié)果必須取自離散向量空間，其中的量化誤差導(dǎo)致了變換參數(shù)向量的搜索結(jié)果am與真實(shí)值a之間不可避免地存在誤差，從而造成了參數(shù)變化率v的觀測(cè)噪聲。其功率可以表示如下 由于不同幀的參數(shù)搜索過(guò)程可以看作是獨(dú)立同分布的，因此(9)式可簡(jiǎn)化為 其中σa2是參數(shù)a的觀測(cè)誤差功率。(10)式中的期望可以展開(kāi)如下 其中，p(a|am)是觀測(cè)到am后a的后驗(yàn)概率分布。為了簡(jiǎn)化起見(jiàn)，我們省略了時(shí)間變量n。接下來(lái)我們討論如何求得這個(gè)后驗(yàn)概率分布。
由圖1可見(jiàn)，am只能取離散值，且a的似然概率是 上式中，P(am|a)是觀測(cè)到am后a的似然概率；Δ是(1)式搜索am時(shí)的最終步長(zhǎng)。根據(jù)貝葉斯法則，a的后驗(yàn)概率分布是 將(12)式代入(13)式可得 盡管要得到p(a)的確切值并不容易，但是由于Δ較小，我們可以合理地認(rèn)為p(a)在(14)式的積分區(qū)間中是近似不變的。基于此近似，(14)式可以簡(jiǎn)化為 將(15)式代入(11)式并考慮到(10)式，可以求得σw2 上式表明，搜索坐標(biāo)變換參數(shù)的精度越高，則觀測(cè)誤差噪聲的功率就越小，與預(yù)期符合。
狀態(tài)轉(zhuǎn)移噪聲功率σu2的估計(jì)不能通過(guò)類似的方法得到，因?yàn)橥饬?duì)目標(biāo)運(yùn)動(dòng)的影響可以是完全任意的。然而，我們?nèi)匀豢梢酝ㄟ^(guò)估計(jì)新息的功率間接得到狀態(tài)轉(zhuǎn)移噪聲的功率?？梢宰C明[19]，新息功率、估計(jì)誤差功率以及兩個(gè)模型噪聲功率滿足以下關(guān)系 其中，σa2(n)是新息α(n)的功率。新息功率可以通過(guò)下式來(lái)近似 其中，N是參與平均的幀數(shù)。由(16)～(18)式，我們就得到了σu2的估計(jì)值。
在上式中，估計(jì)誤差功率σE2在卡爾曼迭代過(guò)程中由(6)式得到。
至此，我們已經(jīng)導(dǎo)出了估計(jì)兩個(gè)模型噪聲功率的表達(dá)式(16)與(19)式。在我們提出的方法里，沒(méi)有人為指定這兩個(gè)噪聲功率的取值，而是讓它們根據(jù)不同的搜索精度與目標(biāo)所受外力影響情況自適應(yīng)地變化。
最后，我們討論一下初始化的問(wèn)題。由于在跟蹤開(kāi)始時(shí)，我們完全不知道目標(biāo)的運(yùn)動(dòng)信息，因此我們將

與σE2都設(shè)為零，即 根據(jù)上述內(nèi)容，本發(fā)明的基于自適應(yīng)初始搜索點(diǎn)預(yù)測(cè)的目標(biāo)跟蹤算法的具體操作步驟如下 1.在首幀中選定目標(biāo)區(qū)域。
2.模板T如下初始化通過(guò)初始坐標(biāo)變換φ(x；as)采樣初始ROI，即T(x)＝In[φ(x；as)]，其中as為目標(biāo)的初始坐標(biāo)變換參數(shù)。
3.坐標(biāo)變換參數(shù)變化率的預(yù)測(cè)值

初始化為0，估計(jì)誤差功率σE2初始化為0。
4.將下一幀在坐標(biāo)變換參數(shù)空間中的(1)式初始搜索點(diǎn)取為目標(biāo)的初始坐標(biāo)變換參數(shù)as。
5.讀入下一幀。
6.將模板通過(guò)坐標(biāo)變換φ(x；a)映射到當(dāng)前幀。通過(guò)尋找與預(yù)測(cè)模板最匹配的當(dāng)前幀的圖像區(qū)域得到反映目標(biāo)在當(dāng)前幀中的幾何信息的坐標(biāo)變換參數(shù)向量，即運(yùn)行(1)式。
7.通過(guò)計(jì)算由于變換參數(shù)向量在(1)式中的量化誤差導(dǎo)致的坐標(biāo)變換參數(shù)各分量變化率的觀測(cè)值與真實(shí)值之間的誤差平方的數(shù)學(xué)期望來(lái)得到觀測(cè)噪聲功率σw2。具體來(lái)說(shuō)，通過(guò)(16)式得到σw2。
8.通過(guò)(19)式計(jì)算坐標(biāo)變換參數(shù)各分量變化率的狀態(tài)轉(zhuǎn)移噪聲功率σu2。
9.通過(guò)(4)式計(jì)算坐標(biāo)變換參數(shù)各分量變化率的預(yù)測(cè)誤差功率σP2。
10.通過(guò)(5)式計(jì)算坐標(biāo)變換參數(shù)各分量變化率的最優(yōu)卡爾曼系數(shù)G。
11.通過(guò)(6)式計(jì)算當(dāng)前幀的坐標(biāo)變換參數(shù)各分量變化率的估計(jì)誤差功率σE2。
12.通過(guò)(7)式計(jì)算坐標(biāo)變換參數(shù)各分量變化率在下一幀的預(yù)測(cè)值
13.通過(guò)(8)式計(jì)算坐標(biāo)變換參數(shù)各分量在下一幀的預(yù)測(cè)值，并將下一幀在坐標(biāo)變換參數(shù)空間中的(1)式初始搜索點(diǎn)取為。
14.如果視頻流未處理完，則轉(zhuǎn)到第5步，否則結(jié)束。



圖1搜索最優(yōu)變換參數(shù)向量時(shí)的量化過(guò)程。
圖2目標(biāo)水平位置的真實(shí)值與預(yù)測(cè)值。
圖3目標(biāo)垂直位置的真實(shí)值與預(yù)測(cè)值曲線。
圖4目標(biāo)尺度的真實(shí)值與預(yù)測(cè)值曲線。
圖5未進(jìn)行自適應(yīng)初始搜索點(diǎn)預(yù)測(cè)的跟蹤算法由于背景的強(qiáng)烈干擾而丟失了目標(biāo)。
圖6自適應(yīng)初始搜索點(diǎn)預(yù)測(cè)使得跟蹤算法即使在強(qiáng)烈背景干擾下仍然具有很高的跟蹤穩(wěn)定性。
圖7自適應(yīng)初始搜索點(diǎn)預(yù)測(cè)對(duì)于計(jì)算量的影響。(a)目標(biāo)運(yùn)動(dòng)程度較?。?b)目標(biāo)運(yùn)動(dòng)較劇烈。
圖8不同初始搜索點(diǎn)預(yù)測(cè)方法的性能比較。

具體實(shí)施例方式 首先，我們觀察本發(fā)明提出的算法對(duì)于預(yù)測(cè)坐標(biāo)變換參數(shù)的有效性。在我們的實(shí)驗(yàn)中，我們用平方誤差和的倒數(shù)[15]作為(1)式中的相似度函數(shù)，用梯度下降法[10]作為(1)式中的搜索算法，在Pentium-42.8GHz PC上以30fps的幀率實(shí)時(shí)跟蹤。我們對(duì)大量實(shí)景視頻流進(jìn)行了實(shí)驗(yàn)。這些視頻流包含了用手持?jǐn)z像機(jī)拍攝的各種運(yùn)動(dòng)物體。由于拍攝過(guò)程中手的抖動(dòng)，目標(biāo)的位置與尺度都經(jīng)歷了較大且不規(guī)則的變化。因?yàn)樵谒幸曨l流上關(guān)于預(yù)測(cè)精度的實(shí)驗(yàn)結(jié)果都十分相近，所以我們只在這里顯示一個(gè)典型的結(jié)果，如圖2～4所示。在這些圖中，分別顯示了目標(biāo)的水平位移、垂直位移以及尺度的真實(shí)值與本發(fā)明算法的預(yù)測(cè)值。由圖可見(jiàn)，盡管這些參數(shù)的變化特性各不相同且很不規(guī)則，本發(fā)明的算法很好地預(yù)測(cè)了它們?cè)诟鲙械娜≈?。與直接將前一幀的參數(shù)值作為后一幀的初始搜索點(diǎn)相比，本發(fā)明的算法使得初始搜索點(diǎn)在坐標(biāo)變換參數(shù)空間中離開(kāi)真實(shí)點(diǎn)的Euclidean距離從2.7398減少為0.9632。
初始搜索點(diǎn)與真實(shí)點(diǎn)之間距離的大幅減少使得跟蹤穩(wěn)定性提高很多。在許多視頻流中，復(fù)雜的背景以及拍攝時(shí)較大幅度的手的抖動(dòng)，使得不采用本發(fā)明方法的跟蹤算法很容易被局部極值點(diǎn)捕獲而導(dǎo)致目標(biāo)丟失。而采用了自適應(yīng)初始搜索點(diǎn)預(yù)測(cè)后，這些視頻流都能夠很順利地跟上。典型的兩個(gè)例子如圖5與圖6所示(當(dāng)前模板顯示在每幅圖的右下角)。在第一個(gè)例子中，由于光線較暗，導(dǎo)致車輛比較模糊，與背景中的一些路面部分較為相似。另外，攝像機(jī)的橫向抖動(dòng)也較劇烈，這使得目標(biāo)的運(yùn)動(dòng)變得極不規(guī)則。在圖5第一行中我們可以看到，不進(jìn)行自適應(yīng)初始搜索點(diǎn)預(yù)測(cè)的跟蹤算法被白色路面部分形成的局部極值點(diǎn)干擾，丟失了目標(biāo)。在第二個(gè)例子中，被跟蹤的目標(biāo)是一只狗，由于其形狀和顏色與地面雜物非常相近，因而在全局極值點(diǎn)周圍形成了大量局部極值點(diǎn)，如果不進(jìn)行自適應(yīng)初始搜索點(diǎn)預(yù)測(cè)，則很容易丟失目標(biāo)，如圖5第二行所示。在圖6的兩行中，同樣的跟蹤算法由于采用了自適應(yīng)初始搜索點(diǎn)預(yù)測(cè)，在整個(gè)跟蹤過(guò)程中始終很好地鎖定了目標(biāo)。這里還有一點(diǎn)值得注意，第一個(gè)例子跟蹤的是剛性目標(biāo)，而第二個(gè)例子跟蹤的是柔性目標(biāo)。由于本發(fā)明算法在推導(dǎo)時(shí)并沒(méi)有作任何關(guān)于目標(biāo)剛性程度的假設(shè)，因此無(wú)論目標(biāo)是剛性的還是柔性的，本發(fā)明算法均有效。
自適應(yīng)初始搜索點(diǎn)預(yù)測(cè)不僅提高了跟蹤穩(wěn)定性，還顯著降低了計(jì)算量。這是由于初始搜索點(diǎn)離真實(shí)點(diǎn)近了許多，因而(1)式的參數(shù)搜索能夠更快地收斂。圖7顯示了在采用自適應(yīng)初始搜索點(diǎn)預(yù)測(cè)前后計(jì)算量的大小。其中左圖是目標(biāo)運(yùn)動(dòng)程度較小的情況，右圖是目標(biāo)運(yùn)動(dòng)程度較劇烈的情況。兩圖的縱坐標(biāo)是到當(dāng)前幀為止搜索算法進(jìn)行的模板匹配的總次數(shù)。由兩圖可見(jiàn)，本發(fā)明算法使得模板匹配總次數(shù)隨幀數(shù)增加的曲線變得較為平緩，且近似線性增加。這是由于無(wú)論目標(biāo)的運(yùn)動(dòng)狀況如何變化，本發(fā)明的方法總是能夠?qū)⑺阉骶嚯x控制在一個(gè)相對(duì)固定且較小的范圍內(nèi)。在圖7中，對(duì)于目標(biāo)運(yùn)動(dòng)程度較劇烈的情況，到第45幀時(shí)采用自適應(yīng)初始搜索點(diǎn)預(yù)測(cè)前后模板匹配總次數(shù)分別為2145次與713次，本發(fā)明算法節(jié)省的計(jì)算量達(dá)66.8％；即使對(duì)于目標(biāo)運(yùn)動(dòng)程度較小的情況，到第200幀時(shí)采用自適應(yīng)初始搜索點(diǎn)預(yù)測(cè)前后模板匹配總次數(shù)分別為4300次與3133次，本發(fā)明算法也節(jié)省了27.1％的計(jì)算量。
為了從另一個(gè)角度檢驗(yàn)本發(fā)明算法的性能，并與其它初始搜索點(diǎn)預(yù)測(cè)方法作一個(gè)比較，我們對(duì)于同一個(gè)視頻流，改變(1)式中的坐標(biāo)變換參數(shù)的搜索精度，觀察搜索計(jì)算量的變化情況。實(shí)驗(yàn)結(jié)果示于圖8中。其中橫坐標(biāo)是在坐標(biāo)變換參數(shù)空間中的搜索步長(zhǎng)，縱坐標(biāo)是平均每一幀的模板匹配次數(shù)。在同樣的搜索步長(zhǎng)下，平均每一幀的模板匹配次數(shù)越少，表明初始搜索點(diǎn)的預(yù)測(cè)越有效。三條曲線分別是以下三種初始搜索點(diǎn)預(yù)測(cè)方法的實(shí)驗(yàn)結(jié)果。方法1第n+1幀的初始搜索點(diǎn)取為a(n)+[a(n)-a(n-1)]；方法2在對(duì)參數(shù)變化率的卡爾曼濾波過(guò)程中取預(yù)先固定的模型噪聲功率，使得卡爾曼系數(shù)恒為0.5；方法3采用本發(fā)明提出的自適應(yīng)初始搜索點(diǎn)預(yù)測(cè)方法。
由圖8可見(jiàn)，當(dāng)搜索步長(zhǎng)較小時(shí)(即搜索精度較高時(shí))，方法1的計(jì)算量與方法3較接近，而方法2的計(jì)算量則遠(yuǎn)大于方法3，這是因?yàn)榇藭r(shí)觀測(cè)噪聲較小，可以取較大的卡爾曼系數(shù)，而方法1實(shí)質(zhì)上等效于取卡爾曼系數(shù)恒等于1，方法2的卡爾曼系數(shù)則過(guò)于保守，以至于初始搜索點(diǎn)預(yù)測(cè)總是出現(xiàn)較大的滯后。
當(dāng)搜索步長(zhǎng)較大時(shí)(即搜索精度較低時(shí))，方法1的計(jì)算量明顯大于方法3，而方法2的計(jì)算量則稍大于方法3，這是由于在這種情況下觀測(cè)噪聲較大，方法1過(guò)高的卡爾曼系數(shù)使得初始搜索點(diǎn)預(yù)測(cè)頻繁產(chǎn)生較大的過(guò)沖，方法2的卡爾曼取值則比方法1恰當(dāng)，但仍不是最優(yōu)。
當(dāng)搜索步長(zhǎng)進(jìn)一步增加時(shí)，方法1與方法2都被背景物體干擾而丟失了目標(biāo)(如圖8中的黑圈所示，其縱坐標(biāo)取值無(wú)意義)，而方法3仍然很好地跟住了目標(biāo)。這在實(shí)時(shí)跟蹤中很有意義，有時(shí)為了要確保跟蹤的實(shí)時(shí)性需要降低搜索精度，但這樣做的代價(jià)是跟蹤穩(wěn)定性的損失。然而，如果采用本發(fā)明提出的自適應(yīng)初始搜索點(diǎn)預(yù)測(cè)方法，則可以盡可能減少穩(wěn)定性的損失。綜上，無(wú)論搜索步長(zhǎng)如何變化，方法3總能夠通過(guò)改變模型噪聲功率動(dòng)態(tài)地調(diào)節(jié)其濾波強(qiáng)度，保證了初始搜索點(diǎn)預(yù)測(cè)在各種狀況下的最優(yōu)化。
權(quán)利要求
1.一種基于自適應(yīng)初始搜索點(diǎn)預(yù)測(cè)的目標(biāo)跟蹤算法，其特征在于利用卡爾曼濾波器對(duì)坐標(biāo)變換參數(shù)的變化率進(jìn)行跟蹤，并將坐標(biāo)變換參數(shù)在下一幀的預(yù)測(cè)值作為初始搜索點(diǎn)。
2.根據(jù)權(quán)利要求1所述的基于自適應(yīng)初始搜索點(diǎn)預(yù)測(cè)的目標(biāo)跟蹤算法，其特征在于采用一種在線有效估計(jì)上述卡爾曼濾波器觀測(cè)噪聲功率的方法，以使得算法能夠?qū)崟r(shí)針對(duì)不同的目標(biāo)運(yùn)動(dòng)以及搜索精度自適應(yīng)地調(diào)整。
3.根據(jù)權(quán)利要求1或2所述的基于自適應(yīng)初始搜索點(diǎn)預(yù)測(cè)的目標(biāo)跟蹤算法，其特征在于卡爾曼濾波器觀測(cè)噪聲功率通過(guò)坐標(biāo)變換系數(shù)的量化誤差求得。
全文摘要
本發(fā)明屬于計(jì)算機(jī)視覺(jué)和模式識(shí)別技術(shù)領(lǐng)域，具體為一種基于自適應(yīng)初始搜索點(diǎn)預(yù)測(cè)的目標(biāo)跟蹤算法。該算法通過(guò)對(duì)坐標(biāo)變換參數(shù)的變化率進(jìn)行卡爾曼濾波來(lái)更好地預(yù)測(cè)初始搜索點(diǎn)；更重要的是，該算法有效地在線估計(jì)卡爾曼濾波器中的模型噪聲功率，而非先驗(yàn)地對(duì)它們的取值做出假設(shè)，因而能夠在沒(méi)有任何人工干預(yù)的情況下動(dòng)態(tài)地根據(jù)不同的目標(biāo)運(yùn)動(dòng)狀況和搜索精度進(jìn)行實(shí)時(shí)調(diào)整。大量實(shí)景視頻流上的實(shí)驗(yàn)結(jié)果均證實(shí)了該算法顯著提高了跟蹤穩(wěn)定性，并且大幅降低了計(jì)算量。
文檔編號(hào)G06T7/20GK101127121SQ200710045940
公開(kāi)日2008年2月20日 申請(qǐng)日期2007年9月13日 優(yōu)先權(quán)日2007年9月13日
發(fā)明者潘吉彥, 波 胡, 張建秋 申請(qǐng)人:復(fù)旦大學(xué)