一種多特征融合的人群密度估計方法
【技術領域】
[0001] 本發(fā)明涉及視頻分析中人群密度估計方法，更具體的，涉及一種多特征融合的人 群密度估計方法，該方法提取了基于KLT跟蹤的軌跡段數(shù)目作為人群密度估計的新特征， 并將提取的新特征與其它特征相融合，對人群密度進行估計。
【背景技術】
[0002] 在很多公共場合，由于人群密度過高而產(chǎn)生災難。為減少公共安全事件的發(fā)生，開 發(fā)一套實時監(jiān)控各種公共場合的人群密度的智能系統(tǒng)是非常重要和急迫的。
[0003] 2001年，Lin發(fā)表文章提出新的人群密度估計算法，該算法首先利用Haar小波變 換和頭部特征的結合提取目標，進而將檢測的物體特征放入支持向量機SVM分類器進行分 類判斷是否為人類頭部，最后通過計算檢測出來的頭部數(shù)目來做人群數(shù)目統(tǒng)計，該算法在 人群密度小的場景下準確率比較高。2003年，Zhao和Nevatia在CVPR上發(fā)表一篇文章，首 次介紹基于3D模型匹配的人群密度估計算法，該算法在無遮擋的情況下還是可行的，但是 其復雜度高、耗時且在遮擋情況下無法匹配等一系列問題注定了其在當時無法廣泛應用開 來。2005年，Leibe同樣在CVPR上發(fā)表文章提出基于全局特征和局部特征結合的人群密度 估計，該算法很好地解決了 Lin和Zhao等人算法的缺陷，成功在人群遮擋的情況下很好地 檢測出行人，但是由于其算法耗時大，復雜度高，無法實時監(jiān)控而缺乏應用性。隨后，Rabaud 和Bel〇ngie2006年在CVPR上發(fā)表一篇文章，該文章利用KLT跟蹤算法和聚類算法結合的 方法對人群密度進行估計，但是卻被固定人群所限制。
[0004] 在實際應用中，對每個個體進行識別分割的方法其實是非常不可取的，不僅容易 錯檢漏檢，而且對個體精確分割常常導致整個算法復雜度高而失去應用性。Chen在2007年 提出團塊的概念，通過模糊檢測的方法降低檢測的難度，再在塊中具體做人頭檢測，由論文 中圖所示，改算法利用人頭數(shù)目來計算人群密度。
[0005] 雖然團塊的應用大大減少了算法的復雜程度和提高檢測準確度，但是在人群密集 或者遮擋的場景下還是會表現(xiàn)其不足。Kilambi在2008年提出了利用最小化函數(shù)來估計人 群密度，但是該算法只能估計人群密度的等級而無法精確計算。
[0006] 現(xiàn)存的研究往往都是在全局中應用單一回歸模型，把特征向量映射成行人數(shù)量來 進行人群密度估計。由于攝像頭與被拍攝場景有視覺差原因，圖像中距離較遠的物體面積 比較小，而距離較近的物體面積比較大，所以存在透視效應。這種方法重點在于前景像素， 邊緣特征，與KLT跟蹤軌跡段數(shù)目特征的提取，攝像頭遠近比例過度依賴透視歸一化處理， 處理不得當即會帶來嚴重的影響。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的是為了克服現(xiàn)有技術的不足，提出一種克服了單一依靠透視歸一化 帶來的局限性的多特征融合的人群密度估計方法。
[0008] 本發(fā)明的目的通過以下的技術方案實現(xiàn)：
[0009] -種多特征融合的人群密度估計方法，包括以下步驟：
[0010] (1)對每一幀進行透視歸一化處理，并將每一幀分塊。
[0011] ⑵計算出基于KLT跟蹤的軌跡段數(shù)目特征。所用KLT追蹤，是用仿射運動建立個 體目標運動模型，即J(AX+d) = I(X)，其中A是變形矩陣，d是偏移向量，且A= I+D，I是單 位矩陣，D為零矩陣，即A = I，J(X+d) = I (X);是像素點的坐標，I (X)是像素點X的像素 值，若干個像素點的像素值組成一幅圖像；J (X)是I (X)通過AX+d變換后像素點X的像素 值，再最小化式子ε = J J w[J(AX+d)-I(X)]2? (X)dX，得到提取軌跡段所用模型Zd = e， W是特征窗口，ω (X)是加權函數(shù)，最簡單的情況是ω (X) = 1，令其等于高斯函數(shù)；其中：
[0015] 采用模型Zd = e計算出了每一個特征窗口中心點的位移d，得到了一系列的軌跡 段，計算出軌跡段的數(shù)目，作為人群密度估計的特征，其中丟棄少于等于5幀的軌跡段。
[0016] (3)采用高斯混合GMM算法進行運動前景檢測，采用Canny算法提取邊緣，計算出 視頻幀的前景分割區(qū)域特征、GLCM紋理分析特征、LBP紋理特征、像素統(tǒng)計特征。
[0017] (4)人群特征的比較選擇；對現(xiàn)存的人群密度估計算法的特征，前景分割區(qū)域特 征、GLCM紋理分析特征、LBP紋理特征、像素統(tǒng)計特征，和步驟（1)中提出的軌跡段數(shù)目特 征，在不同場景下進行實驗對比，找到對人群密度估計最適合的特征組合：GLCM紋理特征+ 像素統(tǒng)計特征+軌跡段數(shù)目特征。
[0018] (5)將軌跡段數(shù)目特征、像素統(tǒng)計特征和紋理特征融合，放在不同的回歸模型中訓 練，找到最適合的回歸模型。通過實驗證明線性回歸模型能取得最好的效果。
[0019] 本發(fā)明是提取出一種新的個體目標特征，并將其與現(xiàn)有的像素統(tǒng)計特征，紋理特 征相融合，并在此基礎上提出將視頻幀分塊提取特征，再將特征合成一個字典后進行統(tǒng)一 回歸，從而更好地進行人群密度估計，克服了單一依靠透視歸一化帶來的局限性。該方法比 現(xiàn)有方法準確率提高了 15%。
[0020] 本發(fā)明與現(xiàn)有技術相比，具有如下優(yōu)點和有益效果：
[0021] 1、本發(fā)明提出的基于KLT跟蹤的軌跡段數(shù)目特征，相對于其他特征維度較低，所 以算法復雜度低。
[0022] 2、本發(fā)明相對于復雜度也較低的GLCM紋理特征，在平均平方誤差下降了 7.6%， 平均偏離誤差下降了 9. 4%。
[0023] 3、本發(fā)明將軌跡段數(shù)目特征、像素統(tǒng)計特征和GLCM紋理特征融合，克服了單特征 情況下的缺陷，也比目前常用的像素統(tǒng)計和GLCM紋理兩個特征融合的效果好很多，平均偏 離誤差下降了 15.45%。
[0024] 4、本發(fā)明將提出的將視頻幀分塊的算法，比未分塊的算法準確率提升了 9. 2%。
【附圖說明】
[0025] 圖1為本發(fā)明的操作流程圖。
[0026] 圖2為UCSD數(shù)據(jù)集示意圖。
[0027] 圖3為mall數(shù)據(jù)集示意圖。
[0028] 圖4為本發(fā)明提出的基于KLT跟蹤的軌跡段數(shù)目與行人數(shù)量關系圖。
[0029] 圖5為一個目標行人的軌跡段示意圖。
[0030] 圖6為基于分塊的人群密度估計算法的流程圖。
[0031] 圖7為多特征融合示意圖。
[0032] 圖8基于分塊特征的實驗對比圖。
[0033] 圖9為人群密度估計效果圖。
【具體實施方式】
[0034] 下面結合實例和附圖對本發(fā)明作進一步詳細的描述，但本發(fā)明的實施方式不限于 此。
[0035] 圖1給出了本發(fā)明的操作過程，如圖1所示，一種多特征融合的人群密度估計，包 括以下步驟：
[0036] (1)收集UCSD行人數(shù)據(jù)集，這個數(shù)據(jù)集是加州大學圣地亞哥分校UCSD計算機視 覺實驗室在校園內(nèi)布的固定數(shù)字攝像頭，錄制了一個小時的視頻幀。視頻背景是在校園走 道，視頻中最小人數(shù)為11人，最多人數(shù)有46人。原視頻分辨率為740*480,幀率為30fps， 經(jīng)過降低采樣該數(shù)據(jù)集是分辨率為238*158、幀率為IOfps的視頻。本實施例采用視頻中前 2000幀圖像，前2000幀只有行人，并且已經(jīng)人工標定了視頻中實際人數(shù)，如圖2為UCSD數(shù) 據(jù)集示意圖。本實施例用第601-1400幀共800幀圖像作為訓練集，而剩下的作為測試數(shù)據(jù) 集。
[0037] (2)收集mall數(shù)據(jù)集，mall數(shù)據(jù)集是通過公共監(jiān)控視頻在某大型超市內(nèi)部，經(jīng)過 兩個月的時間拍攝的視頻，視頻分辨率為320*240,幀率小于2fps，最小人數(shù)是13人，而最 大人數(shù)達到了 53人。如圖3為mall數(shù)據(jù)集示意圖。用前800幀作為訓練集，而剩下作為 測試集。
[0038] (3)設置三個實驗衡量指標，平均絕對誤差mae，平均平方誤差mse平均偏離誤差 mde〇