本發(fā)明涉及圖像處理、交通安全技術(shù)領(lǐng)域,具體涉及一種基于紅外夜視儀的行人檢測(cè)與識(shí)別方法。
背景技術(shù):
車載紅外夜視儀是基于紅外熱成像原理設(shè)計(jì)并應(yīng)用于汽車輔助駕駛,具有廣泛的應(yīng)用前景和巨大的商業(yè)價(jià)值。近年來,由于黑夜或霧雨等惡劣的天氣條件下是交通事故發(fā)生的集中段,因此,各個(gè)研究機(jī)構(gòu)分析了事故原因后一致認(rèn)為,在汽車行駛過程中,駕駛員能夠提前幾秒對(duì)車輛前方的行人距離進(jìn)行預(yù)判,并采取正確的操作,可以大大的減少交通事故的發(fā)生,極大地改善了駕駛員駕車體驗(yàn),提升駕駛安全系數(shù)。
目前,常用的行人檢測(cè)方法主要有光流法、背景相減法和幀差法。幀差法是對(duì)相對(duì)應(yīng)的像素點(diǎn)在連續(xù)的兩幀或者三幀圖像上比較灰度值的差異,然后對(duì)圖像進(jìn)行閾值處理提取運(yùn)動(dòng)目標(biāo),但是其精度不高,難以提取目標(biāo)真實(shí)的形狀。三幀差分法是在二幀圖像差分的基礎(chǔ)上進(jìn)行改進(jìn),該算法檢測(cè)的運(yùn)動(dòng)目標(biāo)形狀和位置參數(shù)更精確,從而可以更好地獲取運(yùn)動(dòng)目標(biāo)的信息。雖然三幀差分法適用于運(yùn)動(dòng)背景的目標(biāo)檢測(cè),但效果仍然不夠理想。
通常行人識(shí)別是通過運(yùn)動(dòng)行人的形狀特征即幾何特征進(jìn)行識(shí)別,但是幾何特征識(shí)別方法常常產(chǎn)生誤判,精確度不高。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明要解決的技術(shù)問題是提供一種簡(jiǎn)便精確的基于紅外夜視儀的行人檢測(cè)與識(shí)別方法。
基于紅外夜視儀的行人檢測(cè)與識(shí)別方法,包括以下步驟:
S1:通過紅外夜視儀采集并保存視頻幀,實(shí)時(shí)更新當(dāng)前最新三幀的有效數(shù)據(jù);
S2:對(duì)采集的三幀視頻圖像進(jìn)行預(yù)處理;
S3:對(duì)處理后的三幀視頻圖像進(jìn)行區(qū)域匹配,令三幀灰度圖像分別為前一幀fi-1(x,y)、當(dāng)前幀圖像fi(x,y)和后一幀圖像fi+1(x,y),匹配過程如下:
S3-1:在前一幀圖像fi-1(x,y)中選取一塊模塊區(qū),大小設(shè)置為32×32;
S3-2:在當(dāng)前幀圖像fi(x,y)中搜尋能夠匹配前一幀圖像fi-1(x,y)中參考模板的最優(yōu)區(qū)域,并通過公式計(jì)算最優(yōu)匹配點(diǎn),計(jì)算公式如下:
其中,fi與fi-1分別為當(dāng)前幀與前一幀圖像的灰度值,MAD(p,q)為最小絕對(duì)誤差,32×32為選取的區(qū)域匹配模板的大小,求取MAD(p,q)的最小值,所對(duì)應(yīng)的點(diǎn)即為最優(yōu)匹配點(diǎn);
S3-3:計(jì)算當(dāng)前幀圖像fi(x,y)和前一幀圖像fi-1(x,y)的相對(duì)位移量ΔS,并對(duì)當(dāng)前幀圖像fi(x,y)進(jìn)行補(bǔ)償,。后一幀圖像fi+1的補(bǔ)償計(jì)算和當(dāng)前幀fi相同;
S4:圖像補(bǔ)償完成后,進(jìn)行三幀差分計(jì)算,前一幀圖像與當(dāng)前幀補(bǔ)償后的圖像進(jìn)行查分運(yùn)算,運(yùn)算公式為:
D1=f′i(x,y)-fi-1(x,y);
當(dāng)前幀圖像與后一幀補(bǔ)償后的圖像進(jìn)行差分運(yùn)算,運(yùn)算公式為:
D2=f′i+1(x,y)-fi(x,y);
將兩次差分后的圖像進(jìn)行邏輯“與”運(yùn)算,運(yùn)算公式為:
D3=D1∩D2;
S5:對(duì)D3圖像進(jìn)行形態(tài)學(xué)膨脹、腐蝕處理;
S6:根據(jù)幾何特征和運(yùn)動(dòng)速率特征進(jìn)行圖像的行人識(shí)別,用g1(x,y)表示圖像中的第i個(gè)運(yùn)動(dòng)目標(biāo)的圖像;
運(yùn)動(dòng)目標(biāo)的最小接矩形的長寬比為K,將掃描得到的待識(shí)別目標(biāo)最小外接矩形的坐標(biāo)分別記作,最頂端ymax(i),最底端ymin(i),最左端xmax(i),最右端xmin(i),其中,待識(shí)別目標(biāo)i∈[1,n],則待識(shí)別部分的最小外接矩形的長寬比計(jì)算公式如下:
根據(jù)質(zhì)心計(jì)算公式求得目標(biāo)行人的質(zhì)心,計(jì)算公式為:
其中,i∈[1,n],Wi為行人最小外界矩形的區(qū)域范圍,行人像素與是計(jì)算連續(xù)兩幀圖像待識(shí)別目標(biāo)得到的質(zhì)心坐標(biāo),定義連續(xù)兩幀圖像的質(zhì)心坐標(biāo)公式為:
采集連續(xù)兩幀圖像的時(shí)間間隔為Δt,待識(shí)別區(qū)域的真實(shí)行人運(yùn)動(dòng)速率v的計(jì)算公式為:
根據(jù)幾何特征和運(yùn)動(dòng)速率特征進(jìn)行圖像的行人識(shí)別的識(shí)別算法的實(shí)現(xiàn)過程如下:
S6-1:標(biāo)定一幀圖像的待識(shí)別區(qū)域i,求取i區(qū)域最小外接矩形參數(shù);
S6-2:計(jì)算最小外接矩形的長寬比K;
S6-3:求取連續(xù)兩幀圖像中待識(shí)別目標(biāo)的質(zhì)心,計(jì)算連續(xù)兩幀圖像的質(zhì)心距離與時(shí)間間隔;
S6-4:計(jì)算其質(zhì)心運(yùn)動(dòng)速率v;
S6-5:判斷K與v是否同時(shí)滿足特定的取值范圍:若滿足,標(biāo)定運(yùn)動(dòng)目標(biāo)為行人,否則,忽略運(yùn)動(dòng)目標(biāo);
循環(huán)終止的條件:待識(shí)別區(qū)域i的值大于識(shí)別區(qū)域個(gè)數(shù)最大值n,循環(huán)終止。
本發(fā)明的有益效果是:
本發(fā)明改進(jìn)的三幀差分法可以完整地檢測(cè)目標(biāo)行人,絕大多數(shù)的細(xì)節(jié)信息得到了保留,很好地適用于動(dòng)態(tài)背景的運(yùn)動(dòng)目標(biāo)檢測(cè),是一種較好的行人檢測(cè)方法。通過行人的最小外接矩形及運(yùn)動(dòng)速率特征,建立了基于幾何和運(yùn)動(dòng)速率的行人識(shí)別方法,識(shí)別效果好,沒有出現(xiàn)誤判現(xiàn)象。
具體實(shí)施方式
以下具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步闡述,但不作為對(duì)本發(fā)明的限定。
將采集的車載紅外夜視圖采用本發(fā)明改進(jìn)的三幀差分法算法對(duì)圖像進(jìn)行處理;
通常情況,運(yùn)動(dòng)行人的形狀特征可以近似地認(rèn)為是矩形,則行人識(shí)別即可等效為求取運(yùn)動(dòng)目標(biāo)行人的最小外接矩形長寬比K,約定行人在道路上正常直立行走,不考慮極端情況(包括行人臥地或彎腰)。對(duì)圖像檢測(cè)部分所標(biāo)定的待識(shí)別區(qū)域進(jìn)行掃描,將掃描得到的待識(shí)別目標(biāo)最小外接矩形的坐標(biāo)分別記作,最頂端ymax(i),最底端ymin(i),最左端Xmin(i),最右端Xmax(i),其中,待識(shí)別目標(biāo)i∈[1,n],則待識(shí)別部分的最小外接矩形的長寬比計(jì)算公式如下:
由大量實(shí)驗(yàn)數(shù)據(jù)可知,K的范圍大約為1.2-4.0之間。
對(duì)圖像待識(shí)別區(qū)域進(jìn)行掃描,對(duì)三個(gè)可疑運(yùn)動(dòng)目標(biāo)進(jìn)行標(biāo)定,目標(biāo)1為車輛,目標(biāo)2為不明發(fā)光體,目標(biāo)3為行人;
掃描得到的待識(shí)別目標(biāo)1外圍輪廓的坐標(biāo)值為:最頂端ymax=16,最底端ymin=2,最左端Xmin=2,最右端Xmax=9的坐標(biāo)值為其中,則最小外接矩形的的長寬比K=(16-2)/(9-2)=2;
目標(biāo)2外圍輪廓的坐標(biāo)值為:最頂端ymax=5,最底端ymin=2,最左端Xmin=5,最右端Xmax=6的坐標(biāo)值為其中,則最小外接矩形的的長寬比K=(5-2)/(6-5)=3;
目標(biāo)3外圍輪廓的坐標(biāo)值為:最頂端ymax=20,最底端ymin=2,最左端Xmin=10,最右端Xmax=15的坐標(biāo)值為其中,則最小外接矩形的的長寬比K=(20-2)/(15-10)=3.8;
目標(biāo)1,目標(biāo)2,目標(biāo)3均可被識(shí)別出來,存在誤判。
求取連續(xù)兩幀圖像中待識(shí)別目標(biāo)的質(zhì)心,計(jì)算連續(xù)兩幀圖像的質(zhì)心距離與時(shí)間間隔,計(jì)算質(zhì)心運(yùn)動(dòng)速率;
用g1(x,y)表示圖像中的第i個(gè)運(yùn)動(dòng)目標(biāo)的圖像,運(yùn)動(dòng)目標(biāo)的最小接矩形的長寬比為K,根據(jù)質(zhì)心計(jì)算公式求得目標(biāo)行人的質(zhì)心,計(jì)算公式為:
其中,i∈[1,n],Wi為行人最小外界矩形的區(qū)域范圍,行人像素與是計(jì)算連續(xù)兩幀圖像待識(shí)別目標(biāo)得到的質(zhì)心坐標(biāo),定義連續(xù)兩幀圖像的質(zhì)心坐標(biāo)公式為:
采集連續(xù)兩幀圖像的時(shí)間間隔為Δt,待識(shí)別區(qū)域的真實(shí)行人運(yùn)動(dòng)速率v的計(jì)算公式為:
根據(jù)大量的實(shí)驗(yàn)數(shù)據(jù)求得道路上真實(shí)的行人運(yùn)動(dòng)速率(包括行走和跑的情況)范圍為0.8-1.8m/s;
計(jì)算出目標(biāo)1的速率為10m/s,目標(biāo)2的速率為0m/s,目標(biāo)3的運(yùn)動(dòng)速率為1.2m/s;
通過本發(fā)明的方法只將目標(biāo)3識(shí)別了出來,沒有出現(xiàn)誤判現(xiàn)象。