專利名稱：基于前景分析和模式識(shí)別的行人檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種視頻圖像處理技術(shù)領(lǐng)域的方法，具體是一種基于前景分析和 模式識(shí)別的行人檢測(cè)方法。
背景技術(shù)：
在計(jì)算機(jī)視覺(jué)領(lǐng)域的許多應(yīng)用中，如智能監(jiān)控、機(jī)器視覺(jué)、人機(jī)交互等，都需要對(duì) 視頻序列中的行人進(jìn)行檢測(cè)。由于實(shí)際應(yīng)用場(chǎng)景存在光照快速變化、運(yùn)動(dòng)物體種類多樣 (如行人、車輛等)、行人彼此遮擋且姿態(tài)不斷變化等問(wèn)題，因此如何在復(fù)雜環(huán)境下魯棒快 速地完成行人檢測(cè)一直是研究的熱點(diǎn)。現(xiàn)有的檢測(cè)方法可分為兩大類一類采用前景分析的方法。趙濤于2004年發(fā)表 在〈〈IEEE Transactions on Pattern Analysis and Machine Intelligence))(國(guó)際電 氣與電子工程師協(xié)會(huì)模式分析與機(jī)器智能學(xué)報(bào))第26卷1208頁(yè)至1221頁(yè)的“Tracking multiple human in complex situations”(復(fù)雜環(huán)境下多人跟蹤方法)文章中指出，盡管 擁擠場(chǎng)景中人與人遮擋嚴(yán)重，但是頭部被遮擋的幾率卻很小，加之人頭肩形狀特殊，因此通 過(guò)檢測(cè)頭頂點(diǎn)可實(shí)現(xiàn)可靠的行人檢測(cè)。此類方法默認(rèn)場(chǎng)景中的運(yùn)動(dòng)物體只有行人，當(dāng)場(chǎng)景 中不只有人在運(yùn)動(dòng)時(shí)會(huì)出現(xiàn)大量誤判的結(jié)果。另一類采用模式識(shí)別的方法，通過(guò)提取行人 的形狀特征進(jìn)行統(tǒng)計(jì)學(xué)習(xí)訓(xùn)練分類器，對(duì)于視頻圖像在每個(gè)可能尺度下的可能位置用分類 器進(jìn)行判決。該類方法中識(shí)別效果出色的分類器訓(xùn)練方法為Qiang Zhu于2006年在《IEEE Computer Society Conference on Computer Vision and Pattern Recognition))(國(guó)際 電子電氣工程師協(xié)會(huì)計(jì)算機(jī)學(xué)會(huì)計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議)技術(shù)集第2卷1491至1498 頁(yè)上發(fā)表的技術(shù)"Fast human detection using a cascade of histogram of oriented gradients”(基于梯度方向直方圖構(gòu)建級(jí)聯(lián)分離器實(shí)現(xiàn)快速行人檢測(cè))。此技術(shù)提出了簡(jiǎn) 化HoG(Histograms of Oriented Gradient梯度方向直方圖)特征，并利用級(jí)聯(lián)分類器來(lái) 提高單個(gè)行人區(qū)域的識(shí)別速度。此類方法在應(yīng)用于視頻時(shí)，只能采取多尺度反復(fù)掃描的方 法來(lái)逐一檢測(cè)，因此處理速度慢。如何將兩類方法有效結(jié)合起來(lái)，目前研究還不充分，這促 使尋找一種更加合理的方法框架，在提升檢測(cè)準(zhǔn)確率的同時(shí)提高方法處理速度，滿足在復(fù) 雜場(chǎng)景下行人檢測(cè)的應(yīng)用要求。

發(fā)明內(nèi)容
本發(fā)明針對(duì)現(xiàn)有技術(shù)存在的上述不足，提供一種基于前景分析和模式識(shí)別的行人 檢測(cè)方法，既可提升行人檢測(cè)準(zhǔn)確度，又可提高視頻中行人檢測(cè)的處理速度，并可應(yīng)用在動(dòng) 態(tài)變化的復(fù)雜場(chǎng)景中。本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明采用高斯混合模型對(duì)視頻圖像的場(chǎng)景 進(jìn)行背景建模，利用閾值化操作和形態(tài)學(xué)后處理提取視頻圖像的前景；利用輪廓特征和行 人高度先驗(yàn)?zāi)Ｐ头治銮熬安@得初步行人檢測(cè)結(jié)果；在初步檢測(cè)結(jié)果位置附近采樣，利用 行人模式識(shí)別分類器對(duì)采樣區(qū)域進(jìn)一步判斷，排除錯(cuò)誤的初步行人檢測(cè)結(jié)果，得到最終行人檢測(cè)結(jié)果。所述的行人高度先驗(yàn)?zāi)Ｐ屯ㄟ^(guò)以下方式得到針對(duì)待分析的固定攝像頭視頻，手 工標(biāo)定出位于視頻場(chǎng)景中各個(gè)位置的行人，得到一組行人高度信息與頭頂點(diǎn)信息，采用線 性模型來(lái)描述行人高度與行人出現(xiàn)位置的相互關(guān)系，并利用最小二乘法學(xué)習(xí)出線性模型的 具體參數(shù)，得到行人高度先驗(yàn)?zāi)Ｐ?。所述的行人模式識(shí)別分類器是指利用行人圖片樣本庫(kù)，提取圖片的HoG(梯度方 向直方圖)特征作為輸入數(shù)據(jù)，采用級(jí)聯(lián)Adaboost學(xué)習(xí)方法對(duì)HoG特征分類，訓(xùn)練得到行 人模式識(shí)別分類器。所述的輪廓特征通過(guò)以下方式得到對(duì)視頻圖像的前景進(jìn)行輪廓分析得到輪廓峰 值點(diǎn)，即輪廓特征。所述的初步檢測(cè)結(jié)果是指在輪廓特征處根據(jù)行人高度先驗(yàn)?zāi)Ｐ蛣澏ㄐ腥藚^(qū)域并 統(tǒng)計(jì)行人區(qū)域內(nèi)的前景像素比例，當(dāng)比例大于規(guī)定門限Thf時(shí)，認(rèn)為此區(qū)域?yàn)樾腥顺霈F(xiàn)區(qū) 域。 所述的采樣是指以初步行人檢測(cè)區(qū)域中心點(diǎn)為中心，分別向上、下移動(dòng)區(qū)域高度 的1/8，再分別向左、右移動(dòng)行人區(qū)域?qū)挾鹊?/8，而后將區(qū)域按1. 2倍擴(kuò)大，再向上、下移動(dòng) 區(qū)域高度的1/8，再向左、右移動(dòng)行人區(qū)域?qū)挾鹊?/8，由此獲得9個(gè)采樣區(qū)域。本發(fā)明的原理是，由于行人頭肩部分彼此遮擋的幾率很小且頭肩形狀具有強(qiáng)可區(qū) 分性，因此可以通過(guò)前景分析尋找頭頂點(diǎn)，確定行人區(qū)域。但是當(dāng)場(chǎng)景中含有多種運(yùn)動(dòng)物體 和變化的光照時(shí)，僅利用前景完成檢測(cè)會(huì)得到大量誤檢結(jié)果，因此需要用更魯棒的分類器， 提取更多形狀、梯度信息進(jìn)行模式識(shí)別，排除利用前景得到的錯(cuò)誤行人檢測(cè)結(jié)果，提高行人 檢測(cè)準(zhǔn)確率。與現(xiàn)有技術(shù)相比，本發(fā)明綜合利用前景分析和模式識(shí)別來(lái)完成行人檢測(cè)，利用前 景分析方法運(yùn)算速度快的特點(diǎn)來(lái)得到初步行人檢測(cè)結(jié)果、縮小行人出現(xiàn)的區(qū)域范圍，利用 模式識(shí)別方法檢測(cè)準(zhǔn)確度高的特點(diǎn)對(duì)初步行人檢測(cè)結(jié)果進(jìn)行進(jìn)一步判斷，從而使本發(fā)明在 復(fù)雜場(chǎng)景中既可以準(zhǔn)確魯棒地完成行人檢測(cè)，又能有效地降低方法的運(yùn)算時(shí)間。


圖1是本發(fā)明的工作流程圖。圖2是行人高度采樣示意圖。圖3是前景分割結(jié)果圖。圖4是前景分析結(jié)果圖。圖5是基于模式識(shí)別的行人檢測(cè)結(jié)果圖。
具體實(shí)施例方式下面對(duì)本發(fā)明的實(shí)施例作詳細(xì)說(shuō)明，本實(shí)施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行 實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過(guò)程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施 例。實(shí)施例本實(shí)施例對(duì)TRECVid2008提供的英國(guó)倫敦Gatwick機(jī)場(chǎng)監(jiān)控視頻序列(720 X 576像素，25fps)進(jìn)行處理。該視頻中場(chǎng)景背景處于動(dòng)態(tài)變化之中，不僅有光照變化還有不停變 化的廣告燈箱，運(yùn)動(dòng)物體有行人、行李車、清潔車等，行人遮擋比較嚴(yán)重。本實(shí)施例包括如下 步驟第一步，針對(duì)待分析的固定攝像頭視頻，手工標(biāo)定出位于視頻場(chǎng)景中各個(gè)位置的 行人，得到一組行人高度信息與頭頂點(diǎn)信息，采用線性模型來(lái)描述行人高度與位置的相互 關(guān)系，并利用最小二乘法學(xué)習(xí)出線性模型的具體參數(shù)，得到行人高度變化的先驗(yàn)?zāi)Ｐ?，具體 為任意選取視頻序列中某一段，對(duì)分布在場(chǎng)景各位置的行人進(jìn)行人工采樣，如圖2 所示標(biāo)定出行人頭頂點(diǎn)和腳的坐標(biāo)，由頭頂點(diǎn)與腳的坐標(biāo)差可獲得行人的高度信息。本實(shí) 施例中，采集了 37個(gè)行人高度Qvh1, -,h37)和頭頂點(diǎn)圖像坐標(biāo)((XQ，yQ)，(X1, Y1),…， (x37，y37))。采用歸一化坐標(biāo)表示頭頂點(diǎn)，并用向量來(lái)表示，即H= QvIll，…，h37)tX= ((x0, yQ，l)，(Xl，yi，l)，…，(x37，y37，1))τ，而后利用線性模型來(lái)描述行人高度與頭頂點(diǎn)坐標(biāo)的關(guān) 系(H = AX)。線性系數(shù)A可通過(guò)最小二乘估計(jì)法獲得A* = arg minA(H - AX)T {H - ΑΧ)解得A = (XtX) ^1XtH本實(shí)施例的最終擬合函數(shù)為h = 0. 03*x-l. 1816*y+759. 1206(程序基于OpenCVl.O編寫(xiě)，視頻中的圖像坐標(biāo)原點(diǎn)位于左下角。)第二步，利用行人樣本圖片庫(kù)，提取圖片的HoG(梯度方向直方圖)特征作為輸入 數(shù)據(jù)，采用級(jí)聯(lián)Adaboost學(xué)習(xí)方法生成行人的模式識(shí)別分類器。訓(xùn)練分類器所需的圖片樣本來(lái)自于公開(kāi)數(shù)據(jù)庫(kù)INRIAPerson (http //yoshi. cs. ucla. edu/yao/data/PASCAL_human/INRIAPerson. tar)。本實(shí)施例選用 INRIAPerson 中 train_64xl28_H96和test_64xl28_H96兩個(gè)文件夾的圖片數(shù)據(jù)。正樣本來(lái)自文件夾中已完 成尺寸歸一化(96X160)且已分割好的行人圖片。負(fù)樣本由對(duì)負(fù)樣本圖片庫(kù)中的大尺寸圖 像隨意分割，并按與正樣本相同的尺寸(96X160)進(jìn)行歸一化。最終的訓(xùn)練集共有正樣本 2471個(gè)、負(fù)樣本1219個(gè)，測(cè)試集共有正樣本1127個(gè)、負(fù)樣本454個(gè)。本發(fā)明選用Qiang Zhu提出的HoG特征，該特征可以在任意尺度、比例的窗口提 取，運(yùn)算簡(jiǎn)單。為了確保窗口尺寸、位置分布的合理性，規(guī)定窗口的尺寸范圍從12X12到 64X128，長(zhǎng)寬比例為(1 1)、(1 2)、(2 1)三種，相鄰窗口間的位移為4，、6、8三種。 按此要求，共可以產(chǎn)生14914個(gè)不同窗口。HoG特征生成過(guò)程為①生成對(duì)應(yīng)9個(gè)梯度方向區(qū)間的9幅二值圖將梯度方向(無(wú)符號(hào)絕對(duì)值梯度)所在范圍[0，180)平均劃分為9個(gè)區(qū)間，并開(kāi) 辟9個(gè)與行人區(qū)域尺寸相同(96X160)的二值圖像空間，此9幅二值圖像與9個(gè)梯度方向 區(qū)間一一對(duì)應(yīng)。計(jì)算行人區(qū)域內(nèi)每一點(diǎn)像素的梯度方向，并查看該梯度方向落入哪個(gè)區(qū)間， 落入?yún)^(qū)間對(duì)應(yīng)的二值圖在該位置處賦1，其余二值圖在該位置處賦0，由此可得到行人區(qū)域 的9幅二值圖像。②生成指定窗口的HoG特征當(dāng)給定窗口的位置(14914個(gè)窗口位置中的一個(gè))時(shí)，將該窗口平分為四個(gè)子窗 口。統(tǒng)計(jì)9幅二值圖在每個(gè)子窗口內(nèi)值為1的像素個(gè)數(shù)，生成一個(gè)9維的直方圖向量。將四個(gè)子窗口的向量頭尾相接，則構(gòu)成36維的HoG特征向量。 本發(fā)明采用了 LibSVM 工具(http://www. csie. ntu. edu. tw/ cjlin/libsvm/) 完成弱分類器的訓(xùn)練。首先要指定該弱分類器對(duì)應(yīng)的窗口位置，而后將訓(xùn)練集中正負(fù)樣本 在指定窗口位置處的HoG特征按LibSVM要求寫(xiě)成訓(xùn)練數(shù)據(jù)文件，由LibSVM學(xué)習(xí)程序自動(dòng) 產(chǎn)生弱分類器模型。級(jí)聯(lián)Adaboost分類器的訓(xùn)練步驟如下①設(shè)定可接受的每個(gè)強(qiáng)分類器的最大負(fù)樣本判錯(cuò)率fmax = 0. 7和最小正樣本通過(guò) 率dmin = 0. 9975，級(jí)聯(lián)Adaboost分類器要達(dá)到的總負(fù)樣本判錯(cuò)率目標(biāo)Ftoget = 0. 000001， 正樣本集P，負(fù)樣本集N。②設(shè)級(jí)聯(lián)排列的強(qiáng)分類器的序號(hào)為i，級(jí)聯(lián)到當(dāng)前第i個(gè)強(qiáng)分類器時(shí)級(jí)聯(lián) Adaboost分類器的總負(fù)樣本判錯(cuò)率為Fp總正樣本通過(guò)率為Dp初始化Fi = (1 = 1. 0，Di = Q =1. O。③當(dāng)前負(fù)樣本判錯(cuò)率大于目標(biāo)負(fù)樣本判錯(cuò)率(Fi > Ftarget)時(shí)，令i = i+Ι，利用 Adaboost方法訓(xùn)練產(chǎn)生一個(gè)新的強(qiáng)分類器，得出該強(qiáng)分類器的負(fù)樣本判錯(cuò)率f”④計(jì)算當(dāng)前級(jí)聯(lián)Adaboost分類器的Fi和Di Fi = Fi^1. ^,Di = Di^1-Clfflin0⑤若Fi仍大于Ftmget，則需更新負(fù)樣本集。用當(dāng)前的級(jí)聯(lián)Adaboost分類器在負(fù)樣 本集N中做判斷，剔除出可正確判斷為負(fù)樣本的數(shù)據(jù)，僅保留錯(cuò)判為正樣本的數(shù)據(jù)在N中用 于下次訓(xùn)練，返回③。若Fi小于等于Ftmget，則級(jí)聯(lián)Adaboost分類器訓(xùn)練完成。利用Adaboost方法訓(xùn)練強(qiáng)分類器的過(guò)程如下①把正、負(fù)樣本的權(quán)重參數(shù)Wi分別初始化為
權(quán)利要求
1.一種基于前景分析和模式識(shí)別的行人檢測(cè)方法，其特征在于，采用高斯混合模型對(duì) 視頻圖像的場(chǎng)景進(jìn)行背景建模，利用閾值化操作和形態(tài)學(xué)后處理提取視頻圖像的前景；利 用輪廓特征和行人高度先驗(yàn)?zāi)Ｐ头治銮熬安@得初步行人檢測(cè)結(jié)果；在初步檢測(cè)結(jié)果位置 附近采樣，利用行人模式識(shí)別分類器對(duì)采樣區(qū)域進(jìn)一步判斷，排除錯(cuò)誤的初步行人檢測(cè)結(jié) 果，得到最終行人檢測(cè)結(jié)果。
2.根據(jù)權(quán)利要求1所述的基于前景分析和模式識(shí)別的行人檢測(cè)方法，其特征是，所述 的行人高度先驗(yàn)?zāi)Ｐ屯ㄟ^(guò)以下方式得到針對(duì)待分析的固定攝像頭視頻，手工標(biāo)定出位于 視頻場(chǎng)景中各個(gè)位置的行人，得到一組行人高度信息與頭頂點(diǎn)信息，采用線性模型來(lái)描述 行人高度與行人出現(xiàn)位置的相互關(guān)系，并利用最小二乘法學(xué)習(xí)出線性模型的具體參數(shù)，得 到行人高度先驗(yàn)?zāi)Ｐ汀?br> 3.根據(jù)權(quán)利要求1所述的基于前景分析和模式識(shí)別的行人檢測(cè)方法，其特征是，所述 的行人模式識(shí)別分類器是指利用行人圖片樣本庫(kù)，提取圖片的梯度方向直方圖特征作為 輸入數(shù)據(jù)，采用級(jí)聯(lián)Adaboost學(xué)習(xí)方法對(duì)HoG特征分類，訓(xùn)練得到行人模式識(shí)別分類器。
4.根據(jù)權(quán)利要求1所述的基于前景分析和模式識(shí)別的行人檢測(cè)方法，其特征是，所述 的輪廓特征通過(guò)以下方式得到對(duì)視頻圖像的前景進(jìn)行輪廓分析得到輪廓峰值點(diǎn)，即輪廓 特征。
5.根據(jù)權(quán)利要求1所述的基于前景分析和模式識(shí)別的行人檢測(cè)方法，其特征是，所述 的初步檢測(cè)結(jié)果是指在輪廓特征處根據(jù)行人高度先驗(yàn)?zāi)Ｐ蛣澏ㄐ腥藚^(qū)域并統(tǒng)計(jì)行人區(qū)域 內(nèi)的前景像素比例，當(dāng)比例大于規(guī)定門限Thf時(shí)，認(rèn)為此區(qū)域?yàn)樾腥顺霈F(xiàn)區(qū)域。
6.根據(jù)權(quán)利要求1所述的基于前景分析和模式識(shí)別的行人檢測(cè)方法，其特征是，所述 的采樣是指以初步行人檢測(cè)區(qū)域中心點(diǎn)為中心，分別向上、下移動(dòng)區(qū)域高度的1/8，再分 別向左、右移動(dòng)行人區(qū)域?qū)挾鹊?/8，而后將區(qū)域按1.2倍擴(kuò)大，再向上、下移動(dòng)區(qū)域高度的 1/8，再向左、右移動(dòng)行人區(qū)域?qū)挾鹊?/8，由此獲得9個(gè)采樣區(qū)域。
全文摘要
一種視頻圖像處理技術(shù)領(lǐng)域的基于前景分析和模式識(shí)別的行人檢測(cè)方法，采用高斯混合模型對(duì)視頻圖像的場(chǎng)景進(jìn)行背景建模，利用閾值化操作和形態(tài)學(xué)后處理提取視頻圖像的前景；利用輪廓特征和行人高度先驗(yàn)?zāi)Ｐ头治銮熬安@得初步行人檢測(cè)結(jié)果；在初步檢測(cè)結(jié)果位置附近采樣，利用行人模式識(shí)別分類器對(duì)采樣區(qū)域進(jìn)一步判斷，排除錯(cuò)誤的初步行人檢測(cè)結(jié)果，得到最終行人檢測(cè)結(jié)果。本發(fā)明既可提升行人檢測(cè)準(zhǔn)確度，又可提高視頻中行人檢測(cè)的處理速度，并可應(yīng)用在動(dòng)態(tài)變化的復(fù)雜場(chǎng)景中。
文檔編號(hào)G06K9/66GK102147869SQ20111008107
公開(kāi)日2011年8月10日 申請(qǐng)日期2011年3月31日 優(yōu)先權(quán)日2011年3月31日
發(fā)明者徐奕, 楊小康, 閆青 申請(qǐng)人:上海交通大學(xué)