基于三維深度圖數(shù)據(jù)的密集人流量實時檢測方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域中人流量分析，特別是涉及一種基于三維深度圖數(shù)據(jù)的密集人流量實時檢測方法。
【背景技術(shù)】
[0002]人流量的檢測與分析在視頻監(jiān)控領(lǐng)域有著廣泛的應(yīng)用，尤其像商場、車站、機場、體育場等公共場所都有著巨大的需求。實時準(zhǔn)確地統(tǒng)計出人流量對于公共交通、智能安防、公共安全、商業(yè)統(tǒng)計等領(lǐng)域都非常必要。
[0003]隨著計算機視覺的發(fā)展，基于視頻和圖像處理等進(jìn)行人流量統(tǒng)計的方法被提出來，但現(xiàn)有的方法都是在二維圖像中進(jìn)行處理，在遇到遮擋、背景變化、人流擁擠等復(fù)雜情景下，誤檢會增加。

【發(fā)明內(nèi)容】

[0004]本發(fā)明所要解決的技術(shù)問題是提供一種基于三維深度圖數(shù)據(jù)的密集人流量實時檢測方法，解決了二維圖像處理上的誤檢問題，提高了人流量統(tǒng)計的準(zhǔn)確性和實時性，推廣了基于深度圖數(shù)據(jù)上進(jìn)行圖像處理的實際應(yīng)用。
[0005]本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是:提供一種基于三維深度圖數(shù)據(jù)的密集人流量實時檢測方法，包括以下步驟:
[0006](1)使用攝像機獲取三維深度圖數(shù)據(jù)；
[0007](2)對三維深度圖提取出前景，去除背景；
[0008](3)對提取出的前景分割成一定數(shù)量的網(wǎng)格區(qū)域，采用局部閾值化處理初步提取出人頭目標(biāo)區(qū)域，最后通過區(qū)域的長寬比例確定人頭目標(biāo)；
[0009](4)對得到的人頭區(qū)域進(jìn)行目標(biāo)跟蹤，記錄跟蹤軌跡；
[0010](5)對軌跡信息進(jìn)行特征判斷，獲得行人數(shù)目和運動方向；
[0011](6)輸出人流量檢測的結(jié)果。
[0012]所述步驟(1)中攝像機垂直于地面進(jìn)行俯拍。
[0013]所述步驟(1)和步驟(2)之間還包括對采集到的三維深度圖數(shù)據(jù)進(jìn)行濾波去噪的預(yù)處理步驟。
[0014]所述步驟(2)具體包括:對完成預(yù)處理的三維深度圖計算連續(xù)的一定數(shù)量圖像幀的背景區(qū)域平均極小值，并利用背景區(qū)域平均極小值進(jìn)行二值化閾值處理提取出前景，去除背景。
[0015]所述步驟(3)中采用局部閾值方法，把前景分割成人頭目標(biāo)區(qū)域大小的多個小區(qū)域，并提取出輪廓，利用輪廓長度，面積，占空比和離散度進(jìn)行判斷是否為人頭目標(biāo)區(qū)域，其中，占空比為輪廓包圍的面積與輪廓包圍的最小矩形面積的比值。
[0016]所述步驟(4)中使用kalman濾波器實現(xiàn)跟蹤軌跡。
[0017]所述步驟(5)中對獲得的軌跡信息進(jìn)行特征分析，具體包括軌跡的長度、軌跡的增量方向和軌跡的點數(shù)，根據(jù)上述特征判斷行人的運動方向和行人的數(shù)目。
[0018]有益效果
[0019]由于采用了上述的技術(shù)方案，本發(fā)明與現(xiàn)有技術(shù)相比，具有以下的優(yōu)點和積極效果:
[0020]本發(fā)明使用垂直地面俯拍的攝像頭檢測人流可以簡化場景復(fù)雜度，減少行人之間相互遮擋的現(xiàn)象，即使人流密集的情況下，行人的身體發(fā)生接觸，人頭之間也很少發(fā)生遮擋現(xiàn)象。
[0021]本發(fā)明的圖像處理算法基于底層像素灰度值特征，運算復(fù)雜度低，適合做實時處理。
[0022]本發(fā)明采集的圖像是深度圖信息，可以有效避免基于顏色特征中與頭發(fā)相同顏色的噪聲干擾，同時當(dāng)行人戴帽子、白發(fā)或者光頭時都能有效檢測。
[0023]在行人跟蹤時，本方法使用帶預(yù)測的跟蹤方式，即使某幾幀圖像沒有正確地檢測出行人，也不會影響整體的檢測效果。當(dāng)突然丟掉目標(biāo)時，當(dāng)前時刻之前的軌跡信息利用Kalman濾波器進(jìn)行預(yù)測。因此，本方法具有很好的穩(wěn)定性。
【附圖說明】
[0024]圖1是人流量檢測方法的流程圖；
[0025]圖2是攝像頭安裝方式示意圖；
[0026]圖3是行人跟蹤軌跡示意圖。
【具體實施方式】
[0027]下面結(jié)合具體實施例，進(jìn)一步闡述本發(fā)明。應(yīng)理解，這些實施例僅用于說明本發(fā)明而不用于限制本發(fā)明的范圍。此外應(yīng)理解，在閱讀了本發(fā)明講授的內(nèi)容之后，本領(lǐng)域技術(shù)人員可以對本發(fā)明作各種改動或修改，這些等價形式同樣落于本申請所附權(quán)利要求書所限定的范圍。
[0028]本發(fā)明的實施方式涉及一種基于三維深度圖數(shù)據(jù)的密集人流量實時檢測方法，如圖1所示，包括以下步驟:
[0029](1)使用攝像機獲取三維深度圖數(shù)據(jù)，其中，如圖2所示，攝像機垂直于地面進(jìn)行俯拍。
[0030](2)對采集到的三維深度圖數(shù)據(jù)進(jìn)行預(yù)處理。
[0031](3)對完成預(yù)處理的三維深度圖提取出前景，去除背景。
[0032](4)對提取出的前景分割成一定數(shù)量的網(wǎng)格區(qū)域，采用局部閾值化處理初步提取出人頭目標(biāo)區(qū)域，最后通過區(qū)域的長寬比例確定人頭目標(biāo)。
[0033](5)對得到的人頭區(qū)域進(jìn)行目標(biāo)跟蹤，記錄跟蹤軌跡。
[0034](6)對軌跡信息進(jìn)行特征判斷，獲得行人數(shù)目和運動方向。
[0035](7)輸出人流量檢測的結(jié)果。
[0036]步驟(1)中采集三維深度圖像可以通過深度相機直接獲取深度圖，也可以通過兩個標(biāo)定的普通相機進(jìn)行視頻圖像匹配獲取深度圖。
[0037]步驟(2)中預(yù)處理為濾波去噪處理，使得背景噪聲盡可能少。
[0038]步驟(3)通過初步的閾值處理得到背景區(qū)域的極小值點，并且連續(xù)取一定數(shù)量的圖像幀求取平均值，使得前景區(qū)域沒有噪聲和背景的干擾。
[0039]步驟(4)將前景區(qū)域分割成一定數(shù)量的網(wǎng)格，網(wǎng)格大小與人頭區(qū)域類似，在每個網(wǎng)格區(qū)域中進(jìn)行局部閾值化處理，初步得到候選人頭區(qū)域并提取出輪廓。輪廓根據(jù)如下的特征進(jìn)行判斷:
[0040]L:輪廓的周長
[0041]A:輪廓包圍的面積
[0042]B:輪廓包圍的最小外接矩形面積
[0043]Z:占空比(輪廓包圍的面積A與輪廓包圍的最小外接矩形面積B的比值)
[0044]C:離散度(輪廓包圍的最小外接矩形長寬比)
[0045]其中，輪廓的周長、包圍的面積和最小矩形的面積均需要根據(jù)實際的視頻情況進(jìn)行取值。占空比理論值為0.76，離散度理論值1.7，可以根據(jù)實際情況細(xì)微調(diào)動，這樣便可以檢測出合適的人頭區(qū)域。
[0046]步驟(5)中對行人區(qū)域使用最近鄰方法進(jìn)行目標(biāo)跟蹤，跟蹤過程中使用kalman濾波器進(jìn)行預(yù)測平滑運動軌跡，并且記錄下目標(biāo)的運動軌跡，行人跟蹤的示意圖如圖3所示。
[0047]步驟(6)中對獲得的運動目標(biāo)軌跡進(jìn)行特征判斷，主要是軌跡的有效點數(shù)、軌跡的首尾長度和軌跡的增量方向。以圖像平面左上角為坐標(biāo)原點，圖像寬度方向為坐標(biāo)橫軸x，圖像長度方向為坐標(biāo)縱軸y，并定義y增加的方向為進(jìn)，減少的方向為出。假設(shè)目標(biāo)的運動軌跡為:Trace = {(x0, y0), (x1； , ???, (xn, yn)}，那么目標(biāo)在y方向的速度可以近似表示為如下形式:vy= {y !-y0, y2_yi,…，yn-yn_J，正數(shù)表示進(jìn)入，負(fù)數(shù)表示出去，統(tǒng)計出正數(shù)的個數(shù)為m，軌跡的長度為d，判斷出入的準(zhǔn)則如下:當(dāng)d多0 !&n 9 2&m/n多93時，判斷行人為進(jìn)入，進(jìn)入總?cè)藬?shù)加1 ;當(dāng)d彡0 !&n 0 2&0 ^ m/n ^ Q 4時，判斷行人為出去，出去總?cè)藬?shù)加1;其中0工，02，03，04為對應(yīng)的閾值，根據(jù)實際場景進(jìn)行設(shè)置。當(dāng)不滿足以上兩個條件時，說明軌跡為錯誤軌跡，將軌跡刪除并不予計數(shù)。
[0048]不難發(fā)現(xiàn)，本發(fā)明使用三維深度圖數(shù)據(jù)進(jìn)行閾值處理，運算復(fù)雜度低、實時性好。并且深度圖數(shù)據(jù)可以有效避免基于二維圖像檢測中存在的顏色干擾和相同大小物體(如背包、帽子等)的誤檢問題，有效避免人頭區(qū)域高度以下的噪聲干擾。對于提取出的前景采用網(wǎng)格式局部閾值化處理，可以有效分割出多個目標(biāo)，并將目標(biāo)間的干擾降到最低，提高檢測的準(zhǔn)確性，在人流密集時可以表現(xiàn)很好的性能。
【主權(quán)項】
1.一種基于三維深度圖數(shù)據(jù)的密集人流量實時檢測方法，其特征在于，包括以下步驟: (1)使用攝像機獲取三維深度圖數(shù)據(jù)； (2)對三維深度圖提取出前景，去除背景； (3)對提取出的前景分割成一定數(shù)量的網(wǎng)格區(qū)域，采用局部閾值化處理初步提取出人頭目標(biāo)區(qū)域，最后通過區(qū)域的長寬比例確定人頭目標(biāo)； (4)對得到的人頭區(qū)域進(jìn)行目標(biāo)跟蹤，記錄跟蹤軌跡； (5)對軌跡信息進(jìn)行特征判斷，獲得行人數(shù)目和運動方向； (6)輸出人流量檢測的結(jié)果。
2.根據(jù)權(quán)利要求1所述的基于三維深度圖數(shù)據(jù)的密集人流量實時檢測方法，其特征在于，所述步驟(I)中攝像機垂直于地面進(jìn)行俯拍。
3.根據(jù)權(quán)利要求1所述的基于三維深度圖數(shù)據(jù)的密集人流量實時檢測方法，其特征在于，所述步驟(I)和步驟(2)之間還包括對采集到的三維深度圖數(shù)據(jù)進(jìn)行濾波去噪的預(yù)處理步驟。
4.根據(jù)權(quán)利要求1所述的基于三維深度圖數(shù)據(jù)的密集人流量實時檢測方法，其特征在于，所述步驟(2)具體包括:對完成預(yù)處理的三維深度圖計算連續(xù)的一定數(shù)量圖像幀的背景區(qū)域平均極小值，并利用背景區(qū)域平均極小值進(jìn)行二值化閾值處理提取出前景，去除背景。
5.根據(jù)權(quán)利要求1所述的基于三維深度圖數(shù)據(jù)的密集人流量實時檢測方法，其特征在于，所述步驟(3)中采用局部閾值方法，把前景分割成人頭目標(biāo)區(qū)域大小的多個小區(qū)域，并提取出輪廓，利用輪廓長度，面積，占空比和離散度進(jìn)行判斷是否為人頭目標(biāo)區(qū)域，其中，占空比為輪廓包圍的面積與輪廓包圍的最小矩形面積的比值。
6.根據(jù)權(quán)利要求1所述的基于三維深度圖數(shù)據(jù)的密集人流量實時檢測方法，其特征在于，所述步驟(4)中使用kalman濾波器實現(xiàn)跟蹤軌跡。
7.根據(jù)權(quán)利要求1所述的基于三維深度圖數(shù)據(jù)的密集人流量實時檢測方法，其特征在于，所述步驟(5)中對獲得的軌跡信息進(jìn)行特征分析，具體包括軌跡的長度、軌跡的增量方向和軌跡的點數(shù)，根據(jù)上述特征判斷行人的運動方向和行人的數(shù)目。
【專利摘要】本發(fā)明涉及一種基于三維深度圖數(shù)據(jù)的密集人流量實時檢測方法，包括以下步驟：通過攝像機獲取三維深度圖數(shù)據(jù)；通過前景提取和人頭目標(biāo)區(qū)域檢測獲得初步的人頭目標(biāo)；對行人進(jìn)行跟蹤并且記錄運動軌跡；根據(jù)軌跡信息判斷人數(shù)和運動方向。本發(fā)明在三維深度圖上進(jìn)行圖像處理，能有效解決二維圖像數(shù)據(jù)處理中的誤檢缺點，提高人流量統(tǒng)計的準(zhǔn)確性，且計算復(fù)雜度低，可以實時檢測人流量，適用于智能視頻監(jiān)控領(lǐng)域。
【IPC分類】G06T7-20, G06T7-00
【公開號】CN104835147
【申請?zhí)枴緾N201510177022
【發(fā)明人】皮家甜, 谷宇章, 杜若琪, 張 誠, 吳修浩, 魏智
【申請人】中國科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所
【公開日】2015年8月12日
【申請日】2015年4月15日