一種自適應(yīng)對象特征的跟蹤方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺對象跟蹤技術(shù)領(lǐng)域，特別涉及計(jì)算機(jī)圖形圖像處理技術(shù)領(lǐng) 域。
【背景技術(shù)】
[0002] 視覺對象跟蹤是許多計(jì)算機(jī)視覺應(yīng)用的基本和關(guān)鍵問題，如視頻分析，智能監(jiān)控， 人機(jī)交互，行為識(shí)別等，盡管研宄人員對此做出了大量的工作，但要在復(fù)雜的環(huán)境中實(shí)現(xiàn)實(shí) 時(shí)穩(wěn)定的對象跟蹤仍然是極具挑戰(zhàn)性的任務(wù)。
[0003] 由于基于在線學(xué)習(xí)的跟蹤方法本質(zhì)上更能夠適應(yīng)對象及其環(huán)境的變化， 有利于完成長時(shí)間的跟蹤任務(wù)，因此目前依賴檢測或者學(xué)習(xí)的對象跟蹤方法（如 TLD,Tracking-Learning-Detection)受到越來越廣泛的關(guān)注。這些方法通過學(xué)習(xí)某種分 類器，如支持向量機(jī)、自舉、隨機(jī)森林，或者隨機(jī)蕨等來發(fā)掘未知的數(shù)據(jù)和信息，進(jìn)而增強(qiáng)其 對目標(biāo)及其場景變化的適應(yīng)能力。在基礎(chǔ)（短時(shí)）跟蹤（如KLT、均值漂移、粒子濾波等） 失敗時(shí)，這些分類器則被用作檢測器進(jìn)行目標(biāo)檢測，以達(dá)到恢復(fù)跟蹤的目的。為了保證分 類器學(xué)習(xí)的準(zhǔn)確性，同時(shí)又能盡可能的適應(yīng)目標(biāo)的變化，Babenko等提出了袋學(xué)習(xí)的思想和 0MB方法（Online-MILBoost)，Kalal等提出了P_N(Positive-Negative)正負(fù)樣例學(xué)習(xí)的方 法。然而，這些方法仍然難以處理非剛性運(yùn)動(dòng)變化以及遮擋等問題。對此，霍夫森林提供了 一種可能的解決方法，它是一種融合霍夫變換的隨機(jī)森林，對象的定位或者檢測被看作是 尋求霍夫圖像中的概率極大值點(diǎn)，然而該方法在實(shí)時(shí)性和持久性上有待進(jìn)一步提高。此外， 基于稀疏表示和學(xué)習(xí)的對象跟蹤方法，由于其較穩(wěn)定的跟蹤性能受到越來越多的關(guān)注和研 宄，然而這些方法十分依賴樣例模板，同樣存在不小的失敗風(fēng)險(xiǎn)，且計(jì)算結(jié)構(gòu)復(fù)雜而難以滿 足實(shí)際實(shí)時(shí)性的要求。
[0004] 一般情況下，場景越復(fù)雜，跟蹤或者檢測就變得越困難，由于計(jì)算資源的局限和效 率的要求，對象表觀模型不能過于復(fù)雜。實(shí)際上，除了目標(biāo)本身以外，背景信息也是十分有 用且重要的信息。Yang等采用圖像分割融合方法，通過時(shí)空分析發(fā)掘輔助對象作為跟蹤協(xié) 助，其對應(yīng)實(shí)現(xiàn)的CAT跟蹤系統(tǒng)表現(xiàn)出較穩(wěn)定的跟蹤結(jié)果。然而該輔助對象的獲取基于一 定的運(yùn)動(dòng)假設(shè)，因而難以適應(yīng)更復(fù)雜的跟蹤環(huán)境，且計(jì)算效率有待進(jìn)一步的提高。Grabner 等提出通過獲取目標(biāo)周圍有價(jià)值的特征點(diǎn)，借此預(yù)測目標(biāo)的位置，增強(qiáng)了跟蹤的穩(wěn)定性，然 而檢測和匹配所有這些局部特征點(diǎn)的方法在計(jì)算上十分耗時(shí)。Thang等通過將PNT作為基 礎(chǔ)跟蹤和同時(shí)增加對誤匹配項(xiàng)的跟蹤來改進(jìn)Grabner等的算法，能夠在一定程度上區(qū)分與 目標(biāo)相似的對象，從而表現(xiàn)出更好的跟蹤性能。Fan等提出學(xué)習(xí)具有較強(qiáng)區(qū)別性的關(guān)注區(qū) 域用以輔助跟蹤，然而在場景出現(xiàn)劇烈運(yùn)動(dòng)時(shí)，受這些局部區(qū)域的限制，其計(jì)算效率依然不 高。Godec等通過對場景進(jìn)行聚類學(xué)習(xí)，將背景分類為多個(gè)虛擬的類型，取得了較為滿意的 跟蹤效果，但是該方法假設(shè)背景只是逐步而細(xì)微的改變，這在很多跟蹤場合并不成立，因此 其應(yīng)用有限。
[0005] 因此，有必要研宄開發(fā)一種可以快速排除場景干擾，因而對目標(biāo)的適應(yīng)性強(qiáng)，跟蹤 穩(wěn)定；同時(shí)由于使用的特征簡單，且不需要進(jìn)行復(fù)雜的機(jī)器學(xué)習(xí)過程的對象跟蹤方法。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的是提供一種自適應(yīng)對象特征的跟蹤方法，它能有效地解決對剛性和 非剛性目標(biāo)對象長時(shí)間實(shí)時(shí)穩(wěn)定的跟蹤問題。
[0007] 本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的：一種自適應(yīng)對象特征的跟蹤方法， 包括如下步驟：
[0008] 步驟一、目標(biāo)選取
[0009] 從初始圖像中選擇并確定要跟蹤的目標(biāo)對象，目標(biāo)選取過程可以通過運(yùn)動(dòng)目標(biāo)檢 測方法自動(dòng)提取，也可以通過人機(jī)交互方法手動(dòng)指定。
[0010] 步驟二、構(gòu)建目標(biāo)灰度表
[0011] 目標(biāo)灰度表的構(gòu)建方法為：對目標(biāo)圖像塊中的每一個(gè)像素點(diǎn)I，設(shè)該像素點(diǎn)灰度 值在目標(biāo)灰度直方圖和背景灰度直方圖中對應(yīng)的量化級分別為ak和gk，則該像素點(diǎn)的權(quán) 重w計(jì)算為w=ak/(ak+gk);然后計(jì)算該像素點(diǎn)在目標(biāo)圖像塊中的橫坐標(biāo)x和縱坐標(biāo)y， 以及與目標(biāo)中心位置的橫向距離dx和縱向距離dy;如果w> 0 根據(jù)該像素點(diǎn)的灰度 值將其加入到目標(biāo)灰度表中對應(yīng)的像素點(diǎn)集中。設(shè)％ =(孕，盡，…，盡，…，義表 示目標(biāo)灰度表，HT的總量化級數(shù)表示為MT，&={/f，其中L為Bk包含的像素點(diǎn)數(shù)目， 辦f,把，K):表示Bk中第i個(gè)像素點(diǎn)，其中彳和分別表示Jf在目標(biāo)圖 像塊中的橫坐標(biāo)和縱坐標(biāo)，辦f和辦f分別表示/f與目標(biāo)中心位置的橫向距離和縱向距離， #表示々的灰度值，wf表示/f的權(quán)重，設(shè)^^(巧，七，…，％，…，《~）表示目標(biāo)圖像塊 ZT的歸一化灰度直方圖，其中心為八:的總量化級數(shù)，設(shè)沿，&，???，&，…，表 示以目標(biāo)圖像塊4為中心的周圍背景的歸一化灰度直方圖，其中心為A的總量化級數(shù)。
[0012] 步驟三、特征選擇與目標(biāo)建模
[0013]設(shè)F={fji = 表示特征集，其中D為F包含的特征數(shù)目，fi表示F中的第i 個(gè)特征，兩點(diǎn)特征的提取方法為：在HT中隨機(jī)選擇兩個(gè)不同的像素點(diǎn)集BJPB』，i辛j， 1彡i，j彡MT;然后在B 隨機(jī)選擇一個(gè)像素點(diǎn)Ia，并在1_中隨機(jī)選擇一個(gè)像素點(diǎn)Ib，13和 Ib構(gòu)成兩點(diǎn)特征，該兩點(diǎn)特征的特征值f計(jì)算為：
[0014]
【主權(quán)項(xiàng)】
1. 一種自適應(yīng)對象特征的跟蹤方法，包括如下步驟： 步驟一、目標(biāo)選?。? 從初始圖像中選擇并確定要跟蹤的目標(biāo)對象，目標(biāo)選取過程可以通過運(yùn)動(dòng)目標(biāo)檢測方 法自動(dòng)提取，也可以通過人機(jī)交互方法手動(dòng)指定； 步驟二、構(gòu)建目標(biāo)灰度表； 目標(biāo)灰度表的構(gòu)建方法為：對目標(biāo)圖像塊中的每一個(gè)像素點(diǎn)I，設(shè)該像素點(diǎn)灰度值 在目標(biāo)灰度直方圖和背景灰度直方圖中對應(yīng)的量化級分別為ak和gk，則該像素點(diǎn)的權(quán) 重w計(jì)算為w=ak/(ak+gk);然后計(jì)算該像素點(diǎn)在目標(biāo)圖像塊中的橫坐標(biāo)x和縱坐標(biāo)y， 以及與目標(biāo)中心位置的橫向距離dx和縱向距離dy;如果w> 0 根據(jù)該像素點(diǎn)的灰度 值將其加入到目標(biāo)灰度表中對應(yīng)的像素點(diǎn)集中；設(shè)
表 示目標(biāo)灰度表，HT的總量化級數(shù)表示為MT，巧={/fU.』，其中L為Bk包含的像素點(diǎn)數(shù)目，
>表示Bk中第i個(gè)像素點(diǎn)，其中 <和分別表示/f在目標(biāo)圖 像塊中的橫坐標(biāo)和縱坐標(biāo)，辦f和辦f分別表示< 與目標(biāo)中心位置的橫向距離和縱向距離， #表示/f的灰度值，wf表示/f的權(quán)重，設(shè)
表示目標(biāo)圖像塊 ZT的歸一化灰度直方圖，其中N,為AT的總量化級數(shù)，設(shè)
1表 示以目標(biāo)圖像塊4為中心的周圍背景的歸一化灰度直方圖，其中&為A。的總量化級數(shù)； 步驟三、特征選擇與目標(biāo)建模； 設(shè)F={fji= . .D表示特征集，其中D為F包含的特征數(shù)目，fi表示F中的第i個(gè)特征， 兩點(diǎn)特征的提取方法為：在Ht中隨機(jī)選擇兩個(gè)不同的像素點(diǎn)集心和\，i辛j，1 <i，j<Mt; 然后在&中隨機(jī)選擇一個(gè)像素點(diǎn)Ia，并在h中隨機(jī)選擇一個(gè)像素點(diǎn)Ib，13和Ib構(gòu)成兩點(diǎn)特 征，該兩點(diǎn)特征的特征值f計(jì)算為：
根據(jù)各個(gè)特征與類型c的互信息對所有特征進(jìn)行排序，提取互信息最大的前K個(gè)特征 構(gòu)成目標(biāo)特征集FT={fJi= ,. ^用于目標(biāo)建模；具體為，根據(jù)該特征集中各個(gè)特征對應(yīng)在 目標(biāo)圖像塊中的取值將目標(biāo)描述為一個(gè)K維的特征向量AT=(fi，f2，…，&，…，fK)，其中& 表示AT的第i個(gè)特征值； 步驟四、圖像輸入； 在實(shí)時(shí)處理情況下，提取通過攝像頭采集并保存在存儲(chǔ)區(qū)的視頻圖像，作為要進(jìn)行跟 蹤的輸入圖像；在離線處理情況下，將已采集的視頻文件分解為多個(gè)幀組成的圖像序列，按 照時(shí)間順序，逐個(gè)提取幀圖像作為輸入圖像，如果輸入圖像為空，則跟蹤結(jié)束； 步驟五、構(gòu)建霍夫表； 霍夫表的構(gòu)建方法為：設(shè)2 = 表示與圖像對應(yīng)的霍夫表，其中％和1分 別表示圖像的寬和高，qu為在（i，j)位置上根據(jù)目標(biāo)灰度表1確定的指向該位置的像素 點(diǎn)數(shù)目，對圖像中的每一個(gè)像素點(diǎn)，根據(jù)它的灰度在灰度表叫中查找對應(yīng)的像素點(diǎn)集B，然 后對B包含的每一個(gè)像素點(diǎn)，若該像素點(diǎn)指向的目標(biāo)中心位置為（i，j)，則對應(yīng)將Q中的qi;j加1 ; 步驟六、目標(biāo)定位； 對目標(biāo)搜索區(qū)域內(nèi)的每一個(gè)候選圖像塊Z，根據(jù)目標(biāo)特征集FT計(jì)算Z的特征向量夾=
.其中表示Az的第i個(gè)特征值，則該候選圖像塊Z與目標(biāo)的 相似度Sz計(jì)算為：
其中&為特征&與類型c的互信息，即
為歸一化因子，
將具有最大相似度的候選圖像塊 所在的圖像位置作為預(yù)測目標(biāo)位置；然后，在以預(yù)測目標(biāo)位置為中心的局部較小范圍內(nèi)搜 索對應(yīng)霍夫表中具有最大像素點(diǎn)數(shù)目的位置，并將其作為最終的目標(biāo)位置，目標(biāo)定位完成。
2.根據(jù)權(quán)利要求1所述的一種自適應(yīng)對象特征的跟蹤方法，其特征在于：所述兩點(diǎn)特 征提取方法提取D個(gè)兩點(diǎn)特征構(gòu)成特征集？1={f 其中&表示FT中的第i個(gè)兩點(diǎn) 特征；對特征集中的每一個(gè)特征f，計(jì)算它與類型c的互信息I(f;c)，
其中V= {0, 1}，C= {0, 1}，這里c= 1表示目標(biāo)，c= 0表示背景；p(f,c) =p(f) 口(〇|;〇，其中口(;〇=0.5，口((3|;〇=凡/\，凡表示在目標(biāo)所在的背景搜索區(qū)域內(nèi)參與計(jì)算 的候選圖像塊的總數(shù)目；設(shè)fT表示該特征對應(yīng)在目標(biāo)圖像塊中的取值，N。為f辛fT對應(yīng)的 候選圖像塊的數(shù)目。
【專利摘要】本發(fā)明提供了一種自適應(yīng)對象特征的跟蹤方法，屬于計(jì)算機(jī)圖形圖像處理技術(shù)領(lǐng)域。它能有效地解決對剛性和非剛性目標(biāo)對象長時(shí)間實(shí)時(shí)穩(wěn)定的跟蹤問題。該方法通過構(gòu)建基于像素的目標(biāo)灰度表保存對預(yù)測目標(biāo)中心位置有貢獻(xiàn)的灰度和像素點(diǎn)信息，然后根據(jù)該目標(biāo)灰度表并基于互信息進(jìn)行自適應(yīng)的兩點(diǎn)特征選擇，從而確定最能描述目標(biāo)的特征組合，并以此對目標(biāo)建模；跟蹤過程中，該方法首先根據(jù)目標(biāo)灰度表構(gòu)建與圖像對應(yīng)的霍夫表，然后通過目標(biāo)模型搜索確定預(yù)測目標(biāo)位置，接著在以該預(yù)測目標(biāo)位置為中心的局部較小范圍內(nèi)搜索對應(yīng)霍夫表中具有最大像素點(diǎn)數(shù)目的位置，并將其作為最終的目標(biāo)位置，完成目標(biāo)的定位。主要用于對象目標(biāo)的跟蹤。
【IPC分類】G06T7-00
【公開號(hào)】CN104778699
【申請?zhí)枴緾N201510176536
【發(fā)明人】權(quán)偉, 陳維榮, 梁德翠
【申請人】西南交通大學(xué)
【公開日】2015年7月15日
【申請日】2015年4月15日