一種基于光流的實時視覺目標跟蹤方法
【專利摘要】本發(fā)明公開了一種基于光流的實時視覺目標跟蹤方法，其特點是該目標跟蹤算法在初始化時篩選出富含紋理特征的特征點，在每兩幀圖像之間跟蹤這些特征點，從而得到特征點匹配關(guān)系。通過多種過濾算法，包括歸一化相關(guān)系數(shù)，正反跟蹤誤差以及隨機一致性檢測等，將匹配誤差大的特征點過濾掉，保留下來最可靠的特征點，從而獲得目標在圖像中的運動速度。以目標的運動速度作為觀測量，由卡爾曼濾波估計產(chǎn)生目標位置。本發(fā)明與現(xiàn)有跟蹤算法相比，具有不受光照的影響，在目標移動，相機移動，及目標短時遮擋等情況下依然可以穩(wěn)定地跟蹤目標。本發(fā)明的計算效率高，首次在ARM平臺上驗證了跟蹤算法。
【專利說明】一種基于光流的實時視覺目標跟蹤方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于光流的實時視覺目標跟蹤方法，屬于目標跟蹤【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0002]視覺目標跟蹤是機器視覺領(lǐng)域的一個重要的研究方向，它對圖像序列中的感興趣目標進行檢測，提取、識別和跟蹤，從而提供目標的運動狀態(tài)參數(shù)，如位置，速度，加速度以及運動軌跡，從而進一步處理與分析，實現(xiàn)對運動目標的行為理解，為后續(xù)應(yīng)用(如視覺導(dǎo)航，位姿估計與運動分析等)提供原始數(shù)據(jù)，在智能監(jiān)控、人機交互、機器人導(dǎo)航等領(lǐng)域有著廣泛的應(yīng)用。除了上述民用領(lǐng)域外，視覺目標跟蹤技術(shù)在軍事領(lǐng)域也受到了極大的關(guān)注，如場地偵察，巡航導(dǎo)彈制導(dǎo)，對地攻擊直升機和主戰(zhàn)坦克火力控制系統(tǒng)等場景中都有重要的應(yīng)用。在上述應(yīng)用中，目標跟蹤是機器人感知外界環(huán)境并作出反應(yīng)的基礎(chǔ)，是理解圖像的關(guān)鍵。
[0003]目前，常用的視覺跟蹤方法有如下幾種:
[0004](I)Meanshift算法，是一種使用顏色信息來匹配固定大小區(qū)域的圖像的方法。Meanshift算法是一種利用數(shù)據(jù)驅(qū)動的無參估計算法，又稱為核密度估計算法，主要通過均值偏移向量尋找后驗概率局部最優(yōu)，也就是說，Meanshift算法是通過顏色最相似的區(qū)域來確定匹配區(qū)域的，Meanshift算法不支持目標的更新。
[0005](2)模板匹配算法，是一種通過將圖像每一個區(qū)域與固定模板進行比較的方法。在初始化的時候選定好目標模板，在跟蹤過程中通過不斷的將圖像區(qū)域與模板進行比較，最終選定與模板距離最小的圖像區(qū)域作為當前圖像中目標的位置。該算法結(jié)構(gòu)簡單，但是計算量大，不能處理目標變化的情況，當目標有較大的變化，或者旋轉(zhuǎn)超過45度，算法失效。
[0006](3)機器學(xué)習(xí)方法，通過分別提取目標與背景的特征，用于訓(xùn)練分類器，通過分類器對圖像進行評價的方法。在跟蹤過程中，通過分類器給出的后驗概率來確定目標所在的位置。同時，可以通過計算結(jié)果來重新訓(xùn)練分類器，從而實現(xiàn)在目標變化的情況下進行連續(xù)的跟蹤。這類算法的計算量大，跟蹤效果不穩(wěn)定，容易發(fā)散。
[0007]綜上所述，現(xiàn)有的技術(shù)存在的問題是:目標的跟蹤受環(huán)境影響(如光照變化，目標運動，相機運動)較大，不支持目標的外形更新。同時，計算量大，難以滿足實時性要求。


【發(fā)明內(nèi)容】

[0008]本發(fā)明的目的是為了解決上述問題，提出一種基于光流的實時視覺目標跟蹤方法。初始化時篩選出富含紋理特征的特征點，在每兩幀圖像之間跟蹤這些特征點，從而得到特征點匹配關(guān)系。通過多種過濾算法，包括歸一化相關(guān)系數(shù)，正反跟蹤誤差以及隨機一致性檢測等，將匹配誤差大的特征點過濾掉，保留下來最可靠的特征點，從而獲得目標在圖像中的運動速度。以目標的運動速度作為觀測量，由卡爾曼濾波估計產(chǎn)生目標位置。
[0009]一種基于光流的實時視覺目標跟蹤方法，包括以下幾個步驟:
[0010]步驟一，獲取跟蹤目標第一幀圖像的初始位置；
[0011]步驟二，獲取特征點序列；
[0012]步驟三:獲取跟蹤目標的新時刻的圖像It+1 ；
[0013]步驟四:特征點跟蹤；
[0014]步驟五:對點對進行篩選；
[0015]步驟六:消除背景特征點的影響；
[0016]步驟七:系統(tǒng)狀態(tài)估計
[0017]本發(fā)明的優(yōu)點在于:
[0018](I)使用特征點跟蹤的方式進行目標跟蹤，計算量小，運行速度快；
[0019](2)通過使用卡爾曼濾波，可以控制跟蹤誤差，同時具備抵抗短時間遮擋的能力；
[0020](3)提出了基于隨機一致性檢測的背景消除方法，可消減背景特種點對跟蹤結(jié)果的影響。

【專利附圖】

【附圖說明】
[0021]圖1是本發(fā)明的方法流程圖；
[0022]圖2是本發(fā)明背景消除的示意圖；
[0023]圖3是對人臉進彳丁跟蹤的不意圖；
[0024]圖4是跟蹤航拍低速運行大型車的示意圖；
[0025]圖5是跟蹤航拍聞速公路汽車的不意圖。

【具體實施方式】
[0026]下面將結(jié)合附圖和實施例對本發(fā)明作進一步的詳細說明。
[0027]本發(fā)明是一種基于光流的實時視覺目標跟蹤方法，方法流程如圖1所示，包括以下幾個步驟:
[0028]步驟一，獲取跟蹤目標第一幀圖像的初始位置；
[0029]跟蹤目標的初始位置已知，給定一個矩形框，表示目標所在位置，在目標追蹤的過程中，每幀圖像中目標的位置都由一個矩形框表示。
[0030]步驟二，獲取特征點序列
[0031]一般求解的光流場是一個稠密的運動場，通常用于避障等導(dǎo)航應(yīng)用。但是在目標跟蹤問題中，并不需要一個稠密的光流場，只需要目標上的部分像素點的光流即可得到目標的運動速度。此外，求解稠密光流需要消耗大量的時間，對于實時算法來說負擔(dān)太重。而且，并不是所有的點都適合跟蹤，對于那些缺失紋理信息的點，跟蹤誤差會較大，反而會引起跟蹤的誤差，因此，本發(fā)明首先在圖像It中目標所在位置的矩形框內(nèi)，篩選富含紋理信息的特征點，方法如下:
[0032]設(shè)P = [px, py]為矩形框內(nèi)任意一點，px、Py表示P點在像素坐標系下的坐標，設(shè)以P為中心，半徑為W的范圍為搜索區(qū)域，搜索區(qū)域大小為(2w+l) X (2W+1)，設(shè)矩陣M為:

【權(quán)利要求】
1.一種基于光流的實時視覺目標跟蹤方法，包括以下幾個步驟: 步驟一，獲取跟蹤目標第一幀圖像的初始位置； 跟蹤目標的初始位置已知，給定一個矩形框，表示目標所在位置； 步驟二，獲取特征點序列； 在圖像It中目標所在位置的矩形框內(nèi)，篩選富含紋理信息的特征點，方法如下: 設(shè)P = [Px，Py]為矩形框內(nèi)任意一點，Px、Py表示P點在像素坐標系下的坐標，設(shè)以P為中心，半徑為W的范圍為搜索區(qū)域，搜索區(qū)域大小為(2w+l) X (2w+l)，設(shè)矩陣M為:
其中=Ix與Iy為搜索區(qū)域中所有點在像素坐標系下X、y方向上的微分； 對于矩形框中每一個點，計算出其矩陣M的兩個特征值λ 1、λ 2，設(shè)其中最小的特征值為Amin，設(shè)定特征值的閾值λ

{threshold}， 丟棄Xmin <入





{threshold}的點，剩余的點按λ min從大到小的順序排列，設(shè)為預(yù)選點集合，選定預(yù)選點集合中Xmin最大的點，設(shè)定最小距離，丟棄與Amin最大點距離小于最小距離的點，將Xnin最大的點添加到特征點序列中，剩下的點形成新的預(yù)選點集合，在新的預(yù)選點集合中，選定Xmin最大的點，丟棄與Xmin最大點距離小于最小距離的點，將Xmin最大的點添加到特征點序列中，剩下的點再次形成新的預(yù)選點集合，依次循環(huán)，直到預(yù)選點集合為空，最終，獲取得到特征點序列； 步驟三:獲取跟蹤目標的新時刻的圖像It+1; 步驟四:特征點跟蹤； 根據(jù)圖像It中的特征點序列，采用Lucas-Kanade方法，得到圖像It中的特征點序列在圖像It+1中的對應(yīng)點，相對應(yīng)的點形成N個點對； 步驟五:對點對進行篩選； (1)采用正反跟蹤誤差對N個點對進行篩選； 設(shè)在t時刻的圖像It中的點pt，匹配到t+Ι時刻的圖像It+1中的點記為pt+1，設(shè)從pt+1點反向跟蹤回圖像It時，對應(yīng)點是P’t，設(shè)這兩個點之間的距離為誤差:e = dis (p' t, pt), 得到N個點對的誤差，將誤差按照從大到小排序，保留誤差小的[N/2|個點對； (2)采用歸一化相關(guān)系數(shù)對1N/2|個點對進行篩選； 在t時刻，獲取圖像It中的點pt的圖像塊At，得到向量qt，在t+Ι時刻，獲取圖像It+1中的點Pt+1的圖像塊At+1，得到向量qt+1，獲取兩個向量的歸一化相關(guān)系數(shù):
其中，辦表不向量qt的平均值，％+1表不向量qt+1的平均值，〈.，.>表不兩個向量的內(nèi)積,ncc (qt, qt+1)表不歸一化相關(guān)系數(shù),設(shè)定歸一化相關(guān)系數(shù)閾值ncc{ttoeshaLd},將歸一化相關(guān)系數(shù)小于ncc{ttoeslTOld}的點對丟棄；通過上述兩個方法，對步驟四得到的點對進行篩選，得到篩選后的高可靠性的點對； 步驟六:消除背景特征點的影響； 假設(shè)P= (P1, P2-..Pnl, Plrt...Pn)是篩選后的高可靠性的點對集合，其中前m個點對來自于背景，m ( n/2 ;設(shè)D = ((I1, d2...dm, dm+1...dn)表示P中每個點對在兩幀圖像之間位移，則Cli表示第i個點對的相對位移；在圖像坐標系中，假設(shè)背景的速度是Vb，物體的速度是V0,得:
Cli ~N(Vb, σ b)，i e [I, m]
dj ~N (V0, σ。)，j e [m+1, η] 其中=Cli~N(Vb, σ b)表示Cli服從均值為Vb、方差為σ b的正態(tài)分布，dj~N(V0, σ。)表示dj服從均值為V。、方差為σ。的正態(tài)分布； 消除背景特征點的方法如下: (1)從D中隨機抽取K個元素，組成數(shù)組V； (2)取V的中值，記做EVi,求V中所有元素與EVi的誤差，記做e,； (3)執(zhí)行⑴、(2)步驟，反復(fù)T次，求得T個誤差； (4)取誤差最小的EVi值，記做EV，EV即為目標的位移； (5)求D中所有元素與EV的誤差，誤差大于閾值δ的點對剔除； 通過上述步驟，得到消除背景特征點影響的點對； 步驟七:系統(tǒng)狀態(tài)估計； 設(shè)t時刻的狀態(tài)向量Xt = [Pt，Vt]T，其中Pt表示矩形框的位置，Vt表示在當前幀圖像和前一幀圖像中矩形框的位移，目標的狀態(tài)轉(zhuǎn)移矩陣為:
Λ+--ο O O IJ.^t.其中:xt+1表示t+Ι時刻的狀態(tài)向量,Xt表示t時刻的狀態(tài)向量，xt+1、yt+1表示t+Ι時刻目標在圖像坐標系下的坐標，xt、yt表示t時刻目標在圖像坐標系下的坐標，ut+1、vt+1表示目標從t時刻到t+Ι時刻的目標在圖像坐標系下兩個方向的速度，ut、vt表示目標從t-1時刻到t時刻的目標在圖像坐標系下兩個方向的速度，設(shè)Utl = V0 = O, At表示獲取兩幀圖像的時間間隔； 卡爾曼濾波的觀測向量表示為:
其中，V~N(0，R)表示V服從均值為O、方差為R的正態(tài)分布； 通過卡爾曼濾波對觀測向量進行估計，從而得到目標t+Ι時刻在圖像中的位置，位置為一個矩形框，返回步驟二，進行循環(huán)直到停止目標跟蹤。
2.根據(jù)權(quán)利要求1中所述的一種基于光流的實時視覺目標跟蹤方法，所述的步驟二中I (::.X {threshold} ^ 10。
3.根據(jù)權(quán)利要求1中所述的一種基于光流的實時視覺目標跟蹤方法，所述的步驟五中0.7 € ^cc {threshold} 0.9。
4.根據(jù)權(quán)利要求1中所述的一種基于光流的實時視覺目標跟蹤方法，所述的步驟六中I ^ δ ^ 3ο
【文檔編號】G06T7/20GK104200494SQ201410458973
【公開日】2014年12月10日 申請日期:2014年9月10日 優(yōu)先權(quán)日:2014年9月10日
【發(fā)明者】梁建宏, 高涵, 張以成, 管沁樸, 劉淼, 孫安琦, 楊興幫, 吳耀, 王田苗 申請人:北京航空航天大學(xué)