一種基于多特征融合的行人檢測方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種行人跟蹤方法，尤其涉及一種基于多特征融合的行人跟蹤方法。
【背景技術(shù)】
[0002] 行人檢測在視頻監(jiān)控、機器人學、虛擬現(xiàn)實等領(lǐng)域有著廣泛的應用，也是計算機視 覺和模式識別領(lǐng)域中的重要研宄方向。不同的身材、姿勢、衣著、光照，復雜的背景場景及攝 像頭自身的移動和晃動，這都是行人檢測問題的難點。如何快速、準確地從視頻或圖像背景 中將行人檢測出來，仍是目前的一個研宄熱點。
[0003]目前的行人檢測方法可以分為以下三類：基于運動特性的行人檢測、基于多部位 模板匹配的行人檢測、基于機器學習的行人檢測。
[0004] 基于運動特性的行人檢測，是在對多幅連續(xù)圖像進行檢測和分析的基礎(chǔ)上，實現(xiàn) 目標檢測。如Vola等人提出使用連續(xù)兩幀圖像間上、下、左、右的位移差值，作為行人運動 特征的描述。這種方法的優(yōu)勢在于它不易受外觀變化，如光照情況、衣著顏色等；而它的不 足之處在于需一系列連續(xù)的圖片及運動的目標，實時性不佳且無法識別出靜止的行人。
[0005] 基于多部位模板匹配的行人檢測，這種方法首先利用模板匹配實現(xiàn)人體各個部位 的檢測，如腿、頭部等；然后，將這些部位的檢測結(jié)果綜合成對行人的檢測。這類方法的有點 在于能較好地解決遮擋問題；而它的不足之處在于實時性欠佳，且由于行人的高矮胖瘦、運 動姿勢等方面的不同，會導致檢測率的降低。這類方法中的模板匹配包括固定模板與可變 形模板，如Zhao和Masoud提出的基于輪廓模型的目標跟蹤能依據(jù)目標輪廓的運動進行模 板的自我修正。
[0006] 基于機器學習的行人檢測，是通過特征提取和分類學習進行行人檢測。這種方法 能解決因外形差異、運動姿勢等引起的漏檢、誤檢問題。特征提取是這個方法的核心之一， 如何提取高效的，能夠迅速準確的區(qū)分出行人的特征是一個關(guān)鍵問題。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明目的在于克服現(xiàn)有行人跟蹤方法的不足，提供了一種基于多特征融合的行 人跟蹤方法，該方法是將HOG和LBP的融合特征用支持向量機分類進行分類，具有更強的行 人表征能力，在復雜背景下行人檢測正確率明顯提高。
[0008] 方法流程：
[0009] 步驟1 :對得到的深度圖像進行降噪處理，以獲得清晰的深度圖像信息；
[0010] 步驟2 :基于閾值方法實現(xiàn)深度圖像感興趣區(qū)域檢測，以獲得圖像目標的區(qū)域位 置信息；
[0011] 步驟3 :基于H0G-LBP特征，實現(xiàn)圖像目標的檢測。
[0012] 本發(fā)明是基于動態(tài)閾值實現(xiàn)深度圖像的降噪，包括：
[0013] (1)將原圖像分割成若干個子圖像，其中為保留圖像邊緣、紋理等細節(jié)特征的連續(xù) 性，各子圖像間存在一定的區(qū)域重疊，且自動設(shè)定重疊區(qū)域的大小。
[0014] (2)構(gòu)造一種自適應識別邊緣區(qū)域與非邊緣區(qū)域；由于邊緣、紋理等細節(jié)特征僅 占整幅圖像的很小一部分，且梯度直方圖中邊緣區(qū)域與非邊緣間并無明顯界限，因而并不 能直接通過灰度直方圖雙峰實現(xiàn)梯度直方圖的分割，而是在梯度直方圖特性的基礎(chǔ)上，構(gòu) 造一種自適應識別邊緣區(qū)域與非邊緣區(qū)域的方法。
[0015] (3)自適應動態(tài)閾值是相對的，在全局最優(yōu)原則下，按照子圖像的局部特征，確定 不同圖像區(qū)域的閾值。動態(tài)閾值的優(yōu)點是可兼顧整體最優(yōu)與局部細節(jié)，具有很好的實用性。
[0016] 本發(fā)明采用基于閾值的方法實現(xiàn)感興趣區(qū)域的檢測，該方法包括以下兩個步驟： 一是計算行人的深度距離；二是選擇合適的閾值，實現(xiàn)感興趣區(qū)域的檢測。具體過程包括：
[0017] (1)設(shè)Kinect返回行人頭肩某一像素點的深度值為<，攝像頭的最大視野距離為 L_，則根據(jù)Kinect的校準過程，可求得行人頭肩實際的距離深度值為：
[0018] d = ktan (dt/Lmax+l. 187)-s
[0019] 通過實際距離與深度值的轉(zhuǎn)換，可求得行人頭肩某一像素點（i，j，d)的實際坐標 (x，y，z)，進而求得行人的深度距離。
[0020] (2)通過距離與灰度值的換算關(guān)系，設(shè)置合適的閾值，實現(xiàn)感興趣區(qū)域的檢測。
[0021] 本發(fā)明是基于HOG-LBP特征，實現(xiàn)圖像目標的檢測，其具體實現(xiàn)過程包括：
[0022] (1)分別提取HOG特征和LBP特征；
[0023] (2)利用分類器實現(xiàn)目標檢測。
[0024] 本發(fā)明應用于視頻監(jiān)控、機器人學、虛擬現(xiàn)實技術(shù)領(lǐng)域。
[0025] 有益效果：
[0026] 1、本發(fā)明依據(jù)一種基于多特征融合的行人檢測方法，將HOG和LBP的融合特征用 支持向量機分類進行分類，更好地實現(xiàn)了向量機分類。
[0027] 2、本發(fā)明提出的方法具有更強的行人表征能力，在復雜背景下行人檢測正確率明 顯提尚。
【附圖說明】
[0028] 圖1為本發(fā)明的深度成像獲取過程示意圖。
[0029] 圖2為本發(fā)明的深度成像原理圖。
[0030] 圖3為本發(fā)明的相同梯度對應不同的局部結(jié)構(gòu)示意圖。
[0031 ] 圖4為本發(fā)明的方法流程圖。
【具體實施方式】
[0032] 下面結(jié)合說明書附圖對本發(fā)明創(chuàng)造作進一步的詳細說明。
[0033] 本發(fā)明提供了一種基于多特征融合的行人檢測方法，該方法首先利用Kinnect獲 取深度圖像，并對深度圖像進行降噪處理；然后基于深度閾值的方法實現(xiàn)感興趣區(qū)域的檢 測；最后提取H0G-LBP聯(lián)合特征，并用SVM分類器實現(xiàn)目標檢測。
[0034] 本發(fā)明的基于多特征融合的行人檢測方法的一個優(yōu)選實施方式，具體包括以下步 驟：
[0035] 步驟1、利用Kinnect獲取深度圖像，并對深度圖像進行降噪處理。
[0036] (1)深度成像的獲取過程如圖1所示，其具體過程如下描述：
[0037] 標定；首先在距光源的多個位置，分別用CMOS感光元件采集散斑圖案；然后，分別 記錄這些參考圖像的位置（如圖2所示的Xp x2, x3, x4)，完成標定。
[0038] 取樣；當物體在場景中運動時，會在物體表面形成新的散斑，且得到的散斑與所有 參考圖像的散斑均不同，如圖2中物體V、W形成的散斑是ZJP Z B。
[0039] 定位；將測試圖像與所有參考圖像分別計算相關(guān)系數(shù)，選取產(chǎn)生相關(guān)系數(shù)最大的 參考圖像，即物體在該參考圖像所在位置的可能性最大，如圖2中V物體的散斑位置^與 x 2處參考圖像的相關(guān)系數(shù)最大，即認為V物體在x 2位置；同理，W物體在x 3位置。
[0040] 重建；首先，根據(jù)所選參考圖像與光源間的標定關(guān)系，通過幾何變換得到物體到光 源的距離，依此構(gòu)建3D圖像，并歸一化；然后，進行灰度轉(zhuǎn)換，并將生成的深度圖像輸出；最 后，繼續(xù)執(zhí)行第2步，最終得到連續(xù)不斷的深度圖像視頻流。
[0041] (2)深度圖像的預處理，利用自適應閾值的中值濾波去除深度圖像的噪聲。
[0042] 將原圖像分割成若干個子圖像。為保留圖像邊緣、紋理等細節(jié)特征的連續(xù)性，分割 圖像時，要使子圖像間存在一定的區(qū)域重疊，且按梯度直方圖統(tǒng)計特性，自動設(shè)定各子圖像 與重疊區(qū)域的比值。
[0043] 計算子圖像中各個像素（i，j)八鄰域內(nèi)四個方向的一階偏導，以確定各個像素 (i，j)的梯度值N(i，j):
【主權(quán)項】
1. 一種基于多特征融合的行人檢測方法，其特征在于，所述方法包括如下步驟： 步驟1;對得到的深度圖像進行降噪處理，W獲得清晰的深度圖像信息； 步驟2 ;采用基于闊值方法實現(xiàn)深度圖像感興趣區(qū)域檢測，W獲得圖像目標的區(qū)域位 置信息； 步驟3 ;采用基于HOG-LBP特征，實現(xiàn)圖像目標的檢測。
2. 根據(jù)權(quán)利要求1所述的一種基于多特征融合的行人檢測方法，其特征在于，所述方 法的的步驟2是基于動態(tài)闊值對深度圖像進行降噪處理，包括： (1) 將原圖像分割成若干個子圖像；為保留圖像邊緣、紋理等細節(jié)特征的連續(xù)性，分割 圖像時，要使子圖像間存在一定的區(qū)域重疊，且按梯度直方圖統(tǒng)計特性，自動設(shè)定各子圖像 與重疊區(qū)域的比值； (2) 在獲得梯度直方圖特性的基礎(chǔ)上，構(gòu)造一種自適應識別邊緣區(qū)域與非邊緣區(qū)域的 方法。
3. 根據(jù)權(quán)利要求1所述的一種基于多特征融合的行人檢測方法，其特征在于；所述方 法的步驟2是基于距離闊值對感興趣區(qū)域進行確定，W實現(xiàn)將前景目標所在區(qū)域從背景中 提取出來，包括： (1) 通過實際距離與深度值的轉(zhuǎn)換，獲得目標的深度距離； (2) 通過距離與灰度值的換算關(guān)系，設(shè)置合適的闊值，實現(xiàn)感興趣區(qū)域的檢測，獲得圖 像目標的區(qū)域位置信息。
4. 根據(jù)權(quán)利要求1所述的一種基于多特征融合的行人檢測方法，其特征在于；所述方 法的步驟2是采用基于闊值的方法實現(xiàn)感興趣區(qū)域的檢測，該方法包括W下兩個步驟；一 是計算行人的深度距離；二是選擇合適的闊值，實現(xiàn)感興趣區(qū)域的檢測，包括： (1) 設(shè)Kinect返回行人頭肩某一像素點的深度值為dy，攝像頭的最大視野距離為Lm"， 則根據(jù)Kinect的校準過程，可求得行人頭肩實際的距離深度值為： d=ktan(dt/Lmax+L187)-s 通過實際距離與深度值的轉(zhuǎn)換，可求得行人頭肩某一像素點（i，j，d)的實際坐標 (X，y，Z)，進而求得行人的深度距離； (2) 通過距離與灰度值的換算關(guān)系，設(shè)置合適的闊值，實現(xiàn)感興趣區(qū)域的檢測。
5. 根據(jù)權(quán)利要求1所述的一種基于多特征融合的行人檢測方法，其特征在于；所述方 法的步驟3是基于冊G-LBP特征，實現(xiàn)圖像目標的檢測，包括： (1) 分別提取HOG特征和LBP特征； (2) 利用分類器實現(xiàn)目標檢測。
6. 根據(jù)權(quán)利要求1所述的一種基于多特征融合的行人檢測方法，其特征在于；所述方 法首先利用Kinnect獲取深度圖像，并對深度圖像進行降噪處理；然后基于深度闊值的方 法實現(xiàn)感興趣區(qū)域的檢測；最后提取H0G-LBP聯(lián)合特征，并用SVM分類器實現(xiàn)目標檢測。
7. 根據(jù)權(quán)利要求1所述的一種基于多特征融合的行人檢測方法，其特征在于；所述方 法應用于視頻監(jiān)控、機器人學、虛擬現(xiàn)實技術(shù)領(lǐng)域。
【專利摘要】本發(fā)明公開了一種基于多特征融合的行人檢測方法，該方法包括如下步驟：對獲取的深度圖像進行降噪處理；利用深度閾值實現(xiàn)感興趣區(qū)域檢測；在獲取HOG-LBP聯(lián)合特征的基礎(chǔ)上，利用分類器實現(xiàn)目標檢測。本發(fā)明依據(jù)一種基于多特征融合的行人檢測方法，將HOG和LBP的融合特征用支持向量機分類進行分類。本發(fā)明具有更強的行人表征能力，在復雜背景下行人檢測正確率明顯提高。
【IPC分類】G06K9-00, G06K9-62
【公開號】CN104715238
【申請?zhí)枴緾N201510106784
【發(fā)明人】朱松豪, 陳玲玲, 李向向
【申請人】南京郵電大學
【公開日】2015年6月17日
【申請日】2015年3月11日