基于特征濾波和快速運(yùn)動(dòng)檢測(cè)模板預(yù)測(cè)的自適應(yīng)尺度圖像序列目標(biāo)跟蹤方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及視頻目標(biāo)跟蹤領(lǐng)域，尤其是一種圖像序列目標(biāo)跟蹤方法。
【背景技術(shù)】
[0002] 相機(jī)在遠(yuǎn)距離且高速運(yùn)動(dòng)狀態(tài)中快速接近目標(biāo)的過(guò)程中始終保持對(duì)目標(biāo)跟蹤，是 各種目標(biāo)跟蹤應(yīng)用場(chǎng)景中的一種。在遠(yuǎn)距離的情景下，目標(biāo)物體在傳感器器上成像尺寸非 常小，往往小于15X15像素，甚至只有5X5像素。而這樣的尺度下，成像區(qū)域的特征極為 不明顯，不利于利用對(duì)象色彩、紋理、結(jié)構(gòu)等特征進(jìn)行跟蹤。在自然場(chǎng)景下，目標(biāo)對(duì)象的背景 非常復(fù)雜和隨機(jī)，且前景可能還有遮擋?，F(xiàn)有的跟蹤算法在這樣的應(yīng)用場(chǎng)景下，均不能很好 完成跟蹤任務(wù)。而本算法可以穩(wěn)健的跟蹤目標(biāo)。
[0003] 為了提高對(duì)目標(biāo)跟蹤性能的穩(wěn)健性，采用更快處理性能的跟蹤算法能夠應(yīng)對(duì)目標(biāo) 快速移動(dòng)及相機(jī)姿態(tài)的變化。該算法可以在線保持超過(guò)300幀/秒的處理速度，從而加強(qiáng) 算法的穩(wěn)健性。
[0004] 現(xiàn)有的相機(jī)圖像序列目標(biāo)跟蹤方法的缺陷：無(wú)法檢測(cè)識(shí)別在復(fù)雜背景下的遠(yuǎn)距離 小目標(biāo)，極易跟丟目標(biāo)。針對(duì)目標(biāo)移動(dòng)和相機(jī)快速運(yùn)動(dòng)的特點(diǎn)，原有方法跟蹤性能更差。

【發(fā)明內(nèi)容】

[0005] 為了克服已有的目標(biāo)跟蹤方法在復(fù)雜背景下，對(duì)遠(yuǎn)距離小目標(biāo)難以檢測(cè)特征、跟 蹤性能較差的不足，本發(fā)明提供一種有效適用于復(fù)雜背景下遠(yuǎn)距離小目標(biāo)的跟蹤、跟蹤性 能較好的基于特征濾波和快速運(yùn)動(dòng)檢測(cè)模板預(yù)測(cè)的圖像序列目標(biāo)跟蹤方法。
[0006] 本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是：
[0007] -種基于特征濾波和快速運(yùn)動(dòng)檢測(cè)模板預(yù)測(cè)的自適應(yīng)尺度變化的圖像序列目標(biāo) 跟蹤方法，包括如下步驟：
[0008] 1)從相機(jī)或圖像序列中獲得圖像，在初始幀中指定需要跟蹤的對(duì)象，把對(duì)象通過(guò) 基于高斯核的快速傅立葉變換轉(zhuǎn)換到頻域，構(gòu)建特征濾波器；
[0009] 2)構(gòu)建快速運(yùn)動(dòng)預(yù)測(cè)模板，用于快速的運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)預(yù)測(cè)；
[0010] 3)構(gòu)建對(duì)象成像尺度變化模型，用于預(yù)測(cè)在目標(biāo)跟蹤過(guò)程中，對(duì)目標(biāo)尺度變化的 預(yù)測(cè)；
[0011] 4)在隨后第二幀中，由快速運(yùn)動(dòng)預(yù)測(cè)模板獲得對(duì)象預(yù)估位置，以該預(yù)估位置為中 心，再根據(jù)對(duì)象成像尺度變化模型獲得相應(yīng)匹配搜索框的位置；
[0012] 在匹配搜索框內(nèi)，使用已經(jīng)構(gòu)建的特征濾波器進(jìn)行濾波，把最大響應(yīng)值位置作為 目標(biāo)定位，完成第二幀的目標(biāo)跟蹤；
[0013] 同時(shí)，按照第二幀目標(biāo)跟蹤的對(duì)象，重新生成特征濾波器，作為下一幀將要使用的 特征濾波器；
[0014] 5)在隨后幀中，依次重復(fù)步驟4)，直至視頻或圖像序列結(jié)束。
[0015] 本發(fā)明的技術(shù)構(gòu)思為：基于核濾波器的目標(biāo)檢測(cè)方法對(duì)對(duì)象尺度變化敏感，不能 適應(yīng)對(duì)象在成像平面中尺度變化；并且由于對(duì)象和相機(jī)運(yùn)動(dòng)，使得對(duì)象在成像平面里時(shí)常 有較大的跳躍運(yùn)動(dòng)等，容易造成檢測(cè)對(duì)象處于檢測(cè)框邊緣或超出檢測(cè)框；而擴(kuò)大檢測(cè)窗將 會(huì)造成快速傅立葉變換的計(jì)算量顯著增加，降低處理性能和速度。而傳統(tǒng)的卡爾曼濾波器 進(jìn)行位置預(yù)測(cè)，需要消耗較大計(jì)算能力，算法復(fù)雜度為2X03,而采用快速運(yùn)動(dòng)檢測(cè)模板， 算法復(fù)雜度是C常數(shù)量。因此，采用基于對(duì)象成像尺度變化模型的自適應(yīng)檢測(cè)窗口變化和 快速運(yùn)動(dòng)檢測(cè)模板能顯著提高基于核濾波器的目標(biāo)跟蹤算法的性能，并保持很快的跟蹤速 度。
[0016] 本發(fā)明的有益效果主要表現(xiàn)在：有效適用于復(fù)雜背景下遠(yuǎn)距離小目標(biāo)的跟蹤、跟 蹤性能較好；有效提取目標(biāo)區(qū)域特征，快速運(yùn)動(dòng)模板預(yù)測(cè)，精確的自適應(yīng)窗口融合，提高跟 蹤性能的穩(wěn)健性，該方法可以用于但不限于高速行駛汽車對(duì)交通標(biāo)識(shí)識(shí)別跟蹤、高速飛行 器對(duì)目標(biāo)跟蹤等。
【附圖說(shuō)明】
[0017] 圖1是基于特征濾波和快速運(yùn)動(dòng)檢測(cè)模板預(yù)測(cè)的圖像序列目標(biāo)跟蹤方法的流程 圖。
[0018] 圖2是對(duì)象成像尺度變化模型的示意圖。
[0019] 圖3是一階運(yùn)動(dòng)模型的示意圖。
[0020] 圖4是運(yùn)動(dòng)模板的示意圖。
【具體實(shí)施方式】
[0021] 下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步描述。
[0022] 參照?qǐng)D1~圖4, 一種基于特征濾波和快速運(yùn)動(dòng)檢測(cè)模板預(yù)測(cè)的自適應(yīng)尺度圖像 序列目標(biāo)跟蹤方法，包括如下步驟：
[0023] 1)從相機(jī)或圖像序列中獲得圖像，在初始幀人工指定或使用其他方法獲得對(duì)需要 跟蹤對(duì)象的指定。把對(duì)象通過(guò)基于高斯核的快速傅立葉變換轉(zhuǎn)換到頻域，構(gòu)建特征濾波器。
[0024] 2)構(gòu)建快速運(yùn)動(dòng)預(yù)測(cè)模板，用于快速的運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)預(yù)測(cè)。
[0025] 3)構(gòu)建對(duì)象成像尺度變化模型，用于預(yù)測(cè)在目標(biāo)跟蹤過(guò)程中，對(duì)目標(biāo)尺度變化的 預(yù)測(cè)。
[0026] 4)在隨后第二幀中，由快速運(yùn)動(dòng)預(yù)測(cè)模板獲得對(duì)象預(yù)估位置，以該預(yù)估位置為中 心，再根據(jù)對(duì)象成像尺度變化模型獲得相應(yīng)匹配搜索框的位置。
[0027] 在匹配搜索框內(nèi)，使用步驟1)已經(jīng)構(gòu)建的特征濾波器進(jìn)行濾波，把最大相應(yīng)值位 置作為目標(biāo)定位，完成第二幀的目標(biāo)跟蹤。
[0028] 同時(shí)，根據(jù)步驟1)相同的方法，將第二幀目標(biāo)跟蹤對(duì)象重新生成特征濾波器，作 為下一幀將要使用的濾波器。
[0029] 5)在隨后幀中，依次重復(fù)步驟4)，直至視頻或圖像序列結(jié)束。
[0030] 本實(shí)施例中，用圖2所示方法表示圖像傳感器上靶標(biāo)成像的對(duì)象成像尺度變化模 型，圖中L為靶標(biāo)的長(zhǎng)度，d。為起始位置到目標(biāo)的距離（物距），f為焦距。在t = 0時(shí)刻，u。 為成像大小，0。為起始位置的光心。在t = 1時(shí)刻，u i為成像大小，0 光心。V為相機(jī)運(yùn) 動(dòng)速度，a為運(yùn)動(dòng)加速度，t為測(cè)量時(shí)刻。這個(gè)模型中，假設(shè)目標(biāo)、相機(jī)光心、相機(jī)運(yùn)動(dòng)軌跡是 在同一個(gè)軸向上。
[0031] 在此條件下，攝像機(jī)成像平面上靶標(biāo)的大小為：
[0033] 其中μ。為像素實(shí)際尺寸，f = η μ。。
[0034] 根據(jù)以上變化模型進(jìn)行定標(biāo)，獲得攝像機(jī)距離和目標(biāo)在圖像平面上的關(guān)系，進(jìn)而 為目標(biāo)跟蹤提供跟蹤對(duì)象的尺度變化。
[0035] 根據(jù)如圖3的一階運(yùn)動(dòng)模型，構(gòu)建了如圖4的運(yùn)動(dòng)模板，根據(jù)前兩幀的目標(biāo)位置， 預(yù)測(cè)下一幀的目標(biāo)方位。這個(gè)模板定位雖然初略，但是可以提供出目標(biāo)的大體方位。因?yàn)?具體定位通過(guò)濾波器獲得，但是如此計(jì)算量小的方法，卻為后續(xù)的濾波算法提供了必要的 優(yōu)化；
[0036] 特征濾波器的構(gòu)建過(guò)程：內(nèi)核化的嶺回歸Ridge Regression的解：
[0039] 其中，α是圖像y和z關(guān)系映射，K是核函數(shù)，λ是常數(shù)系數(shù)，I是單位向量。如 下式所示，我們采用了高斯核，σ是常數(shù)方差。
[0041] 當(dāng)獲取了已知的兩幀圖像ζ(前一幀）和y(當(dāng)前幀）之后，計(jì)算出兩幅圖像之間 的一種映射關(guān)系α。當(dāng)后一幀圖像X輸入時(shí)，可以用α與x、y在兩幅圖像的核空間內(nèi)進(jìn) 行相關(guān)聯(lián)，進(jìn)而可以獲y在x-y核空間上的響應(yīng)值，進(jìn)而可以通過(guò)尋找最大響應(yīng)點(diǎn)而獲得目 標(biāo)在X區(qū)域上的定位，三者的關(guān)聯(lián)關(guān)系可如下所表達(dá)：
[0043] 覺(jué)是響應(yīng)函數(shù)，a i是對(duì)應(yīng)于每個(gè)像素點(diǎn)的映射關(guān)系，y d Xl分別是當(dāng)前幀和下一 幀圖像的每個(gè)像素點(diǎn)對(duì)應(yīng)值，i是指每個(gè)像素點(diǎn)。求愛(ài)的值最大處的位置，即求出了目標(biāo)的 位置。為了計(jì)算快速，在計(jì)算時(shí)都在傅立葉變換后的頻域進(jìn)行，采樣窗口采用漢明窗進(jìn)行變 換。
[0045] 式中F，是傅立葉變換的符號(hào)，*F是傅立葉變換的共輒，F(xiàn) 1是傅立葉變換的逆變 換，I是單位向量。
[0046]
[0047] 其中，z，y，x分別是前一幀和當(dāng)前幀含有靶標(biāo)的圖像窗口，后一幀為待檢測(cè)的圖像 窗口。
[0048] 本實(shí)施例的方案應(yīng)用于相機(jī)在高速運(yùn)動(dòng)中近似直接接近目標(biāo)的目標(biāo)跟蹤的應(yīng)用 場(chǎng)景，取得穩(wěn)定的跟蹤效果。
【主權(quán)項(xiàng)】
1. 一種基于特征濾波和快速運(yùn)動(dòng)檢測(cè)模板預(yù)測(cè)的自適應(yīng)尺度圖像序列目標(biāo)跟蹤方法， 其特征在于：包括如下步驟： 1) 從相機(jī)或圖像序列中獲得圖像，在初始幀中指定需要跟蹤的對(duì)象，把對(duì)象通過(guò)基于 高斯核的快速傅立葉變換轉(zhuǎn)換到頻域，構(gòu)建特征濾波器； 2) 構(gòu)建快速運(yùn)動(dòng)預(yù)測(cè)模板，用于快速的運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)預(yù)測(cè)； 3) 構(gòu)建對(duì)象成像尺度變化模型，用于預(yù)測(cè)在目標(biāo)跟蹤過(guò)程中，對(duì)目標(biāo)尺度變化的預(yù) 測(cè)； 4) 在隨后第二幀中，由快速運(yùn)動(dòng)預(yù)測(cè)模板獲得對(duì)象預(yù)估位置，以該預(yù)估位置為中心，再 根據(jù)對(duì)象成像尺度變化模型獲得相應(yīng)匹配搜索框的位置； 在匹配搜索框內(nèi)，使用已經(jīng)構(gòu)建的特征濾波器進(jìn)行濾波，把最大響應(yīng)值位置作為目標(biāo) 定位，完成第二幀的目標(biāo)跟蹤； 同時(shí)，按照第二幀目標(biāo)跟蹤的對(duì)象，重新生成特征濾波器，作為下一幀將要使用的特征 濾波器； 5) 在隨后幀中，依次重復(fù)步驟4)，直至視頻或圖像序列結(jié)束。
【專利摘要】一種基于特征濾波和快速運(yùn)動(dòng)檢測(cè)模板預(yù)測(cè)的自適應(yīng)尺度圖像序列目標(biāo)跟蹤方法，包括如下步驟：1)在初始幀中指定需要跟蹤的對(duì)象，把對(duì)象通過(guò)基于高斯核的快速傅立葉變換轉(zhuǎn)換到頻域，構(gòu)建特征濾波器；2)構(gòu)建快速運(yùn)動(dòng)預(yù)測(cè)模板；3)構(gòu)建對(duì)象成像尺度變化模型；4)在第二幀中，由快速運(yùn)動(dòng)預(yù)測(cè)模板獲得對(duì)象預(yù)估位置，以該預(yù)估位置為中心，根據(jù)對(duì)象成像尺度變化模型獲得相應(yīng)匹配搜索框的位置；使用特征濾波器進(jìn)行濾波，把最大響應(yīng)值位置作為目標(biāo)定位；同時(shí)，生成新的特征濾波器，作為下一幀將要使用的特征濾波器；5)在隨后幀中，依次重復(fù)步驟4)，直至視頻或圖像序列結(jié)束。本發(fā)明有效適用于復(fù)雜背景下遠(yuǎn)距離小目標(biāo)的跟蹤、跟蹤性能較好。
【IPC分類】G06T7/20
【公開(kāi)號(hào)】CN105354863
【申請(qǐng)?zhí)枴緾N201510721227
【發(fā)明人】陳勝勇, 高強(qiáng), 鄒祎杰, 張劍華, 劉盛, 謝臻
【申請(qǐng)人】浙江工業(yè)大學(xué)
【公開(kāi)日】2016年2月24日
【申請(qǐng)日】2015年10月30日