基于聚類子區(qū)域關(guān)聯(lián)的穩(wěn)定特征挖掘和目標(biāo)跟蹤方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于聚類子區(qū)域關(guān)聯(lián)的穩(wěn)定特征挖掘和目標(biāo)跟蹤方法，屬于視頻 圖像處理技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 目標(biāo)的視覺(jué)特征建模是目標(biāo)識(shí)別和跟蹤領(lǐng)域的關(guān)鍵技術(shù)之一。目前國(guó)內(nèi)外學(xué)者主 要關(guān)注的問(wèn)題集中在目標(biāo)姿態(tài)和尺度變化、場(chǎng)景光照變化和場(chǎng)景干擾等情況下的目標(biāo)特征 模型的魯棒性、準(zhǔn)確性提高上。
[0003] 基于目標(biāo)內(nèi)容信息的特征描述方法自報(bào)道以來(lái)，國(guó)內(nèi)外均不斷有改進(jìn)該路線的專 利報(bào)道，歸結(jié)大致有三類:1、基于目標(biāo)自身空間特征信息的描述方法改進(jìn);2、融合目標(biāo)自身 空間特征和場(chǎng)景空間信息的描述方法改進(jìn);3、融合目標(biāo)自身空間特征、場(chǎng)景空間和時(shí)序信 息的描述方法改進(jìn)。
[0004]通?；谀繕?biāo)自身空間特征的目標(biāo)模型利用目標(biāo)獨(dú)特的內(nèi)容或結(jié)構(gòu)信息，如色 彩、邊緣和形狀上下文特征等進(jìn)行描述，在增強(qiáng)目標(biāo)描述力同時(shí)，描述算法的復(fù)雜度直接影 響目標(biāo)識(shí)別和跟蹤系統(tǒng)效率。采用聚類算法以降維色彩空間能有效提高目標(biāo)外觀色彩內(nèi)容 信息的描述效率，但通常聚類結(jié)果受聚類數(shù)和初始聚類中心等因素影響，導(dǎo)致聚類結(jié)果不 穩(wěn)定性。Bhatia A等在the North Carolina State University博士學(xué)位論文 "Hierarchical Charged Particle Filter for Multiple Target Tracking"（2011:21-37)中，采用類數(shù)自適應(yīng)的DBSCAN算法聚類目標(biāo)外觀，并通過(guò)引入色彩相似度閾值將聚類過(guò) 程限制在二維坐標(biāo)空間，以改善聚類效率。但是當(dāng)類密度和類間距不均勻時(shí)，DBSCAN將面對(duì) 類數(shù)目增加、鄰幀間對(duì)應(yīng)目標(biāo)局部區(qū)域聚類效果不穩(wěn)定等問(wèn)題，導(dǎo)致目標(biāo)定位精度不高。 [0005]目標(biāo)所處場(chǎng)景的空間和時(shí)序上下文信息能在目標(biāo)尺度和姿態(tài)變化、場(chǎng)景干擾等情 況下，為目標(biāo)識(shí)別和跟蹤性能的提高提供額外觀測(cè)支持。文獻(xiàn)報(bào)道了多種基于場(chǎng)景上下文 協(xié)作的目標(biāo)描述和跟蹤方法。不同方法針對(duì)各自的目標(biāo)對(duì)象，均可優(yōu)化選擇適合協(xié)作描述 的輔助目標(biāo)及其特征參數(shù)、多觀測(cè)支持融合算法以提高跟蹤效率。如挖掘多輔助目標(biāo)算法、 目標(biāo)支持者學(xué)習(xí)算法等。Yang Μ等在IEEE Trans on Pattern Analysis and Machine Intelligence(2009,31(7): 1195-1209)發(fā)表的文章"Context-Aware Visual Tracking"首 次提出在線自動(dòng)挖掘多輔助目標(biāo)以協(xié)作提供額外測(cè)量值的思想，利用Mean shift選擇與 歷史圖像中具有高共生頻率的片段區(qū)域作為候選輔助目標(biāo)，并對(duì)被跟蹤目標(biāo)和輔助目標(biāo)建 立相同的仿射運(yùn)動(dòng)觀測(cè)模型，在混亂和遮擋場(chǎng)景單目標(biāo)跟蹤中取得良好跟蹤效果。該方法 主要以目標(biāo)局部區(qū)域?yàn)楦檶?duì)象，輔助目標(biāo)來(lái)自目標(biāo)體的其它部位或場(chǎng)景中其它目標(biāo)，若 跟蹤較大目標(biāo)、目標(biāo)整體或多目標(biāo)，挖掘和多觀測(cè)融合決策過(guò)程勢(shì)必影響跟蹤實(shí)時(shí)性。
[0006]從連續(xù)幀間目標(biāo)外觀尺度、姿態(tài)或光照漸變的規(guī)律上看，短時(shí)間內(nèi)目標(biāo)體的一些 局部區(qū)域特征具有直接反映這種漸變規(guī)律的能力。通常基于增量計(jì)算的自適應(yīng)模型更新方 法，如參考模型與最佳候選模型的線性加權(quán)更新、子空間增量學(xué)習(xí)和更新、濾波更新等大多 是基于這樣的機(jī)理。Jahandide Η等在Pattern Recognition Letters(2012,33(16) :2192- 2197)發(fā)表的文章 "A Hybrid Motion and Appearance Prediction Model for Robust Visual Object Tracking"中利用KF(Kalman Filter)對(duì)目標(biāo)外觀色彩分布(每個(gè)色彩類質(zhì) 心）進(jìn)行預(yù)測(cè)，具有良好光照適應(yīng)性能，相對(duì)于逐像素色彩或逐色彩箱格(bin)分配一個(gè)KF 進(jìn)行更新的已有方法，明顯降低了計(jì)算量。但是目標(biāo)外觀尺度和姿態(tài)等變化可能會(huì)引起部 分色彩類質(zhì)心位置變化規(guī)律不一致，引起更新誤差。從我們的跟蹤實(shí)踐看，挖掘數(shù)量較少但 卻穩(wěn)定的色彩類或色彩子區(qū)域，并據(jù)此獲得高可靠度的模型增量，有利于提高模型更新和 目標(biāo)軌跡定位的準(zhǔn)確性和效率。

【發(fā)明內(nèi)容】

[0007] 目的：為了克服現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種基于聚類子區(qū)域關(guān)聯(lián)的 穩(wěn)定特征挖掘和目標(biāo)跟蹤方法，根據(jù)目標(biāo)運(yùn)動(dòng)區(qū)域的V(Value)色彩分量直方圖峰輪廓的確 定區(qū)域峰數(shù)目和殘余峰能量自適應(yīng)獲得聚類數(shù)，并利用K-means聚類目標(biāo)區(qū)域的S (Saturation)和V色彩，在降維色彩空間同時(shí)，提高聚類區(qū)域分布的可控制性;對(duì)目標(biāo)建立 基于類的連通子區(qū)域模板、觀測(cè)模型和增量模型描述，同時(shí)建立目標(biāo)模板和當(dāng)前觀測(cè)模型 間子區(qū)域關(guān)聯(lián)，以挖掘"模板-觀測(cè)"穩(wěn)定子區(qū)域特征對(duì)及模板特征變化率;融合各穩(wěn)定子區(qū) 域位移獲得目標(biāo)當(dāng)前軌跡，并根據(jù)模板穩(wěn)定特征的加權(quán)平均增量變化率逐幀更新目標(biāo)模 板，提高穩(wěn)定特征挖掘和軌跡跟蹤的對(duì)目標(biāo)外觀變化和場(chǎng)景干擾的自適應(yīng)性能。
[0008] 技術(shù)方案:為解決上述技術(shù)問(wèn)題，本發(fā)明采用的技術(shù)方案為：
[0009] 步驟一:基于自適應(yīng)背景差分和背景更新，檢測(cè)目標(biāo)運(yùn)動(dòng)區(qū)域，提取該區(qū)域的V色 彩分量直方圖峰輪廓，并利用中值濾波平滑不重要的峰;根據(jù)相鄰峰間V色彩差分閾值條件 計(jì)算候選峰和區(qū)域峰，并根據(jù)確定區(qū)域峰數(shù)目和余峰能量，獲得聚類數(shù)。
[0010] 步驟二:構(gòu)建目標(biāo)區(qū)域運(yùn)動(dòng)像素的S和V色彩矩陣，并進(jìn)行K-means聚類;根據(jù)像素 坐標(biāo)與上述色彩矩陣行間對(duì)應(yīng)關(guān)系，重構(gòu)聚類結(jié)果圖像。
[0011] 步驟三:查找對(duì)應(yīng)每個(gè)類的4或8鄰域連通子區(qū)域，并編號(hào)和標(biāo)記形心位置;建立基 于子區(qū)域形心、面積、平均色彩特征的模板、觀測(cè)模型，以及基于面積變化率和色彩變化率 的增量模型描述。
[0012] 步驟四：根據(jù)目標(biāo)模板與當(dāng)前觀測(cè)模型子區(qū)域間形心、面積和平均色彩距離閾值， 挖掘具有關(guān)聯(lián)對(duì)應(yīng)的穩(wěn)定子區(qū)域，獲得"模板-觀測(cè)"子區(qū)域穩(wěn)定特征對(duì)，以及模板特征變化 率。
[0013] 步驟五:利用穩(wěn)定子區(qū)域面積加權(quán)對(duì)應(yīng)子區(qū)域形心位移，獲得當(dāng)前幀目標(biāo)位移，再 融合當(dāng)前檢測(cè)區(qū)域中心和上一幀軌跡，獲得目標(biāo)當(dāng)前軌跡;通過(guò)面積加權(quán)融合穩(wěn)定子區(qū)域 特征變化獲得模板平均增量及其變化率，以逐幀更新目標(biāo)模板。
[0014] 有益效果:本發(fā)明提供的基于聚類子區(qū)域關(guān)聯(lián)的穩(wěn)定特征挖掘和目標(biāo)跟蹤方法， 首先，根據(jù)目標(biāo)運(yùn)動(dòng)區(qū)域的V色彩分量直方圖峰輪廓的確定區(qū)域峰數(shù)目和殘余峰能量獲得 聚類數(shù)，有利于實(shí)現(xiàn)自適應(yīng)K-means聚類，并使得連續(xù)幀序列中的目標(biāo)聚類區(qū)域分布可控 制，有效突出目標(biāo)外觀結(jié)構(gòu);利用目標(biāo)區(qū)域S和V色彩分量變化獨(dú)立性特點(diǎn)進(jìn)行聚類，不需要 事先判斷H(Hue)色彩信息，有助于進(jìn)一步提高聚類效率和自適應(yīng)性。
[0015] 其次，建立基于類的目標(biāo)連通子區(qū)域模板、觀測(cè)模型和增量模型描述，將目標(biāo)描述 細(xì)化到局部特征及其增量變化，有利于在目標(biāo)尺度和姿態(tài)變化、場(chǎng)景干擾等情況下，利用部 分穩(wěn)定子區(qū)域觀測(cè)和增量模型，獲得可靠的目標(biāo)運(yùn)動(dòng)軌跡和模型更新依據(jù);通過(guò)關(guān)聯(lián)目標(biāo) 模板和當(dāng)前觀測(cè)模型間子區(qū)域，挖掘"模板-觀測(cè)"局部穩(wěn)定特征對(duì)及模板特征變化率，使跟 蹤過(guò)程不受初始質(zhì)心隨機(jī)性引發(fā)的聚類結(jié)果不穩(wěn)定的影響，提高了跟蹤魯棒性和準(zhǔn)確性。
[0016] 第三，加權(quán)融合各穩(wěn)定子區(qū)域位移獲得目標(biāo)當(dāng)前位移，賦予面積較大的子區(qū)域較 大的位移表決權(quán)，有利于抑制目標(biāo)邊緣處穩(wěn)定小區(qū)域由于誤關(guān)聯(lián)引入的計(jì)算誤差、降低時(shí) 耗和提高目標(biāo)定位精度;根據(jù)穩(wěn)定特征平均增量變化率逐幀更新目標(biāo)模板，使不穩(wěn)定子區(qū) 域的特征參數(shù)在無(wú)法獲得自身對(duì)應(yīng)的子區(qū)域特征對(duì)和增量變化率時(shí)，也可實(shí)現(xiàn)自更新，有 利于提高穩(wěn)定特征挖掘和軌跡跟蹤的對(duì)目標(biāo)外觀變化和場(chǎng)景干擾的自適應(yīng)性。
[0017] 本發(fā)明實(shí)現(xiàn)了目標(biāo)外觀變化和場(chǎng)景干擾等情況下的目標(biāo)穩(wěn)定特征挖掘和軌跡跟 蹤，提高了跟蹤魯棒性、準(zhǔn)確性和實(shí)時(shí)性。在視頻圖像處理領(lǐng)域具有廣泛的應(yīng)用前景，應(yīng)用 于智能視頻監(jiān)控、視頻圖像理解和工業(yè)視覺(jué)伺服控制等領(lǐng)域。
【附圖說(shuō)明】
[0018] 圖1為本發(fā)明的工作流程圖；
[0019] 圖2為本發(fā)明實(shí)施例的自適應(yīng)背景差分檢測(cè)到的目標(biāo)運(yùn)動(dòng)區(qū)域圖；
[0020] 圖3為本發(fā)明實(shí)施例的V色彩分量直方圖輪廓中值濾波后的結(jié)果圖；
[0021 ]圖4為本發(fā)明實(shí)施例的視頻序列230幀和239幀的原圖和目標(biāo)運(yùn)動(dòng)區(qū)域的自適應(yīng)K-means聚類結(jié)果圖；
[0022] 圖5為對(duì)應(yīng)圖4(b)和圖4(d)中目標(biāo)運(yùn)動(dòng)區(qū)域的類8鄰域連通子區(qū)域標(biāo)記結(jié)果圖；
[0023] 圖6本發(fā)明實(shí)施例視頻序列的目標(biāo)模板及局部放大圖；
[0024]圖7為本發(fā)明視頻序列的231幀、235幀、239幀、241幀、243幀的原圖；
[0025] 圖8為圖7對(duì)應(yīng)原圖的目標(biāo)運(yùn)動(dòng)區(qū)域聚類和標(biāo)記結(jié)果圖；
[0026] 圖9為圖8對(duì)應(yīng)結(jié)果圖的穩(wěn)定子區(qū)域特征挖掘和目標(biāo)軌跡跟蹤結(jié)果圖。
【具體實(shí)施方式】
[0027] 下面結(jié)合附圖對(duì)本發(fā)明作更進(jìn)一步的說(shuō)明。
[0028] 如圖1所示，基于聚類子區(qū)域關(guān)聯(lián)的穩(wěn)定特征挖掘和目標(biāo)跟蹤方法，具體實(shí)施步驟 如下：
[0029] 步驟一:采用閾值和背景更新自適應(yīng)的背景差分算法檢測(cè)目標(biāo)運(yùn)動(dòng)區(qū)域;根據(jù)目 標(biāo)運(yùn)動(dòng)區(qū)域V色彩分量直方圖的峰輪廓、候選峰、區(qū)域峰和殘余峰能量，自適應(yīng)獲得聚類數(shù)。 聚類數(shù)計(jì)算具體步驟如下：
[0030] la.提取目標(biāo)運(yùn)動(dòng)檢測(cè)區(qū)域的V色彩分量直方圖峰輪廓；
[0031 ] lb.利用窗口長(zhǎng)為n = 2，ne [2,5]的中值濾波平滑峰輪廓，以突出主峰/Λ其中11 = 1，2~，L1為主峰的數(shù)目；
[0032] 1 c .將大于β倍主峰均值的/；η作為候選峰/尸，如公式（1)，其中β = 1.38，β e [ 1， 1.8]為尺度因子，12 = 1，2-丄2為候選峰數(shù)目；
[0033]
(1)
[0035]
[0034] Id.累加小于主峰均值的/f獲得殘余峰能量SUMt和殘余率RESt，如公式(2)~(3);
[0036]
[0037] le.當(dāng)相鄰候選峰嚴(yán)和?Τ1對(duì)應(yīng)的V色彩分量差分滿足時(shí)，，和jf'1 均被作為確定區(qū)域峰;當(dāng)I f -<+卞叫時(shí)，保留丨中較大峰作為臨時(shí)區(qū)域峰，并將 序號(hào)賦值為12+1，即//2+l ，重復(fù)該過(guò)程，依次將臨時(shí)區(qū)域峰與下一相鄰 峰f1進(jìn)行比較，并重復(fù)max賦值過(guò)程，直到U;、-d>α,成立，此時(shí)的較大峰尸…1方 可被作為確定區(qū)域峰；確定區(qū)域峰數(shù)目即為聚類數(shù)Kt。當(dāng)RESt>a2時(shí)，增加一個(gè)聚類，ΒΡ & +1。其中閾值cn 2 10，α2 2 〇 · 3，最為優(yōu)選方案:~已[15，20]，a2e [0 · 35，0 · 45]，計(jì)算 時(shí)可選 αι=15α2 = 0.45。
[0038]步驟二:利用目標(biāo)區(qū)域運(yùn)動(dòng)像素 X處的S和V色彩分量St