專利名稱：一種車輛運(yùn)動(dòng)陰影消除方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺與模式識別、數(shù)字圖像處理技術(shù)領(lǐng)域，具體地，涉及一種車輛運(yùn)動(dòng)陰影消除方法。
背景技術(shù)：
由于車輛及其運(yùn)動(dòng)陰影有著很相似的運(yùn)動(dòng)屬性特征，所以在經(jīng)過背景差分，提取前景目標(biāo)時(shí)會(huì)連在一塊，如果不消除陰影(該處所指的陰影都是運(yùn)動(dòng)陰影，以下同)會(huì)對車輛檢測和車輛跟蹤等后續(xù)操作產(chǎn)生很大的影響，所以陰影的消除很有必要。其中，單輛車的陰影消除是為了在圖像坐標(biāo)系中準(zhǔn)確框定車輛區(qū)域。目前，大多數(shù)現(xiàn)存的算法都是從兩個(gè)方面入手去進(jìn)行陰影的消除。第一類是基于模型的方法，比較常見的是混合高斯模型(HMM)，這類方法事先要知道光照，車輛方向等先驗(yàn)條件，比較適合于特定的場景，可見，該算法不具有普遍適用性，不能同時(shí)適用于任意的場景；第二類是基于屬性的方法，這類方法利用車輛和陰影本身的屬性特征，普適性比較好，并且不需要任何先驗(yàn)知識?；趯傩缘姆椒ㄓ泻芏?，常見的有顏色、亮度、色度、歸一化顏色空間、邊緣、紋理、梯度。剛開始的時(shí)候本申請人選擇嘗試換用各種顏色空間，如HSV、YCbCr、HIS等等，并且綜合利用亮度、色度、紋理、梯度等屬性來消除陰影，但碰到的問題是消除的陰影部分不完全，達(dá)不到目的。如圖1a和圖1b基于亮度、紋理、梯度屬性的去陰影效果圖(車輛附近的灰度區(qū)域?yàn)殛幱?、以及圖2a和圖2b (基于亮度屬性的陰影消除中間結(jié)果圖)所示，這是本申請人在HSV顏色空間，利用亮度、紋理和梯度屬性消除車輛陰影的最終效果圖，其中車輛附近的淺灰度區(qū)域?yàn)殛幱?，無灰度區(qū)域?yàn)榍熬?，深灰度區(qū)域?yàn)楸尘?。其中，HSV(Hue, Saturation, Value)是根據(jù)顏色的直觀特性由A. R. Smith在1978年創(chuàng)建的一種顏色空間，也稱六角錐體模型(Hexcone Model)。這個(gè)模型中顏色的參數(shù)分別是色調(diào)(H)，飽和度(S)，亮度(V)。YCbCr是DVD、攝像機(jī)、數(shù)字電視等消費(fèi)類視頻產(chǎn)品中，常用的色彩編碼方案。YCbCr有時(shí)會(huì)稱為YCC.。Y’CbCr在模擬分量視頻(analogcomponent video)中也常被稱為YPbPr。YCbCr不是一種絕對色彩空間，是YUV壓縮和偏移的版本。HIS是Hospital Information System的縮寫，即“醫(yī)院信息系統(tǒng)”。在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在普遍適用性差和消除的陰影部分完整性差等缺陷。

發(fā)明內(nèi)容
本發(fā)明的目的在于，針對上述問題，提出一種車輛運(yùn)動(dòng)陰影消除方法，以實(shí)現(xiàn)普遍適用性好和消除的陰影部分完整性好的優(yōu)點(diǎn)。為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是一種車輛運(yùn)動(dòng)陰影消除方法，主要包括
⑴對原始彩色圖像(a)進(jìn)行預(yù)處理 ，得到預(yù)處理后的彩色圖像(f)；⑵對步驟⑴所得彩色圖像(f)進(jìn)行求取邊緣信息處理，得到消除彩色圖像(f)的大部分外輪廓邊緣后的初級圖像(i);
⑶分別經(jīng)垂直操作和水平操作，消除步驟⑵所得初級圖像(i)的殘余外輪廓邊緣，得到分別形成連通區(qū)域的第一次級圖像(j)和第二次級圖像(k);
⑷采用連通區(qū)域標(biāo)定法，對步驟⑶所得第一次級圖像(j)和第二次級圖像(k)形成的連通區(qū)域，分別進(jìn)行標(biāo)定，分別得到第一結(jié)果圖像(I)和第二結(jié)果圖像(m)；
(5)將步驟⑷所得第一結(jié)果圖像(I)和第二結(jié)果圖像(m)，分別與初級圖像(i)進(jìn)行逐像素相與，得到相與結(jié)果圖像(η)，進(jìn)行車體重構(gòu)，生成與原始彩色圖像(a)對應(yīng)的blob(binary large object, 二進(jìn)制大對象,是一個(gè)可以存儲(chǔ)二進(jìn)制文件的容器)塊；
(6)將步驟(5)所得blob塊即當(dāng)前車體重構(gòu)生成的blob塊，按原始彩色圖像(a)中的坐標(biāo)位置，將blob塊對應(yīng)的矩形框輸出到原始彩色圖像(a)的二值圖像上，作為后續(xù)操作的輸入。進(jìn)一步地,步驟⑴具體包括
①背景差分
對于原始彩色圖像(a)，首先進(jìn)行背景差分處理，得到二值化的前景圖像(b);該背景差分處理的方法不限，例如在下文的實(shí)施例中使用的是基于自組織神經(jīng)元網(wǎng)絡(luò)的背景差分(self-organizing neural network based background subtraction,簡稱 SOBS)算法；
②熱點(diǎn)區(qū)域和blob塊標(biāo)定
在二值化的前景圖像(b )中選擇熱點(diǎn)區(qū)域，并將該選擇熱點(diǎn)區(qū)域以外部分的灰度值全部置0，得到灰度值處理后的圖像(c);對熱點(diǎn)區(qū)域內(nèi)進(jìn)行blob塊框定即blob塊的一個(gè)最小外接矩形，得到blob塊框定后的圖像(d)；
③形態(tài)學(xué)操作
基于blob塊框定后的圖像(d)中的孔洞和噪點(diǎn)，對blob塊框定后的圖像(d)進(jìn)行形態(tài)學(xué)上的開、閉操作，得到經(jīng)形態(tài)學(xué)處理后的圖像(e)；
根據(jù)blob塊的長、寬，以及blob塊最小外接矩形的左上方點(diǎn)坐標(biāo)值，截取原始彩色圖像(a)中的對應(yīng)于該blob最小外接矩形部分的原始彩色圖像部分，得到預(yù)處理后的彩色圖像(f)。進(jìn)一步地,步驟⑵具體包括
采用經(jīng)典的邊緣檢測算法，對預(yù)處理后的彩色圖像(f)進(jìn)行求取邊緣信息處理，得到blob塊預(yù)操作結(jié)果經(jīng)形態(tài)學(xué)處理后的圖像(e);所述經(jīng)典的邊緣檢測算法，包括SOBEL算子或者CANNY算子；S0BEL算子，即索貝爾算子(Sobel operator)是圖像處理中的算子之一；CANNY算子，即Canny邊緣檢測算子是John F. Canny于1986年開發(fā)出來的一個(gè)多級邊緣檢測算法；
去除blob塊預(yù)操作結(jié)果經(jīng)形態(tài)學(xué)處理后的圖像(e)表示的blob塊對應(yīng)的二值前景圖的外邊緣，得到消除彩色圖像(f)的大部分外輪廓邊緣后的初級圖像(i)。進(jìn)一步地，在步驟⑶中，所述垂直操作和水平操作具體包括
垂直操作和水平操作類似，垂直操作指的是對應(yīng)于圖像的每一個(gè)像素列，找到這個(gè)列中第一個(gè)和最后一個(gè)灰度值為255的點(diǎn)，然后置它們之間的點(diǎn)的灰度全為255，其他點(diǎn)灰度置為O;水平操作指的是對應(yīng)于圖像的每一個(gè)像素行，找到這個(gè)列中第一個(gè)和最后一個(gè)灰度值為255的點(diǎn),然后置它們之間的點(diǎn)的灰度全為255,其他點(diǎn)灰度置為O。經(jīng)過這兩步操作，圖像將被分成了很多連通區(qū)域。進(jìn)一步地，步驟⑷具體包括
采用連通區(qū)域標(biāo)定法，對經(jīng)過垂直操作和水平操作后的圖像形成的連通區(qū)域分別進(jìn)行標(biāo)定；
通過標(biāo)定可區(qū)分出圖像中每個(gè)連通的部分，計(jì)算出每個(gè)連通域的面積即像素點(diǎn)個(gè)數(shù)，并得到每個(gè)連通區(qū)域占整個(gè)圖像的比例，刪掉面積較小的連通區(qū)域，得到第一結(jié)果圖像(I)和第二結(jié)果圖像(m)；
該連通區(qū)域的面積大小的比例，能夠根據(jù)實(shí)際需求調(diào)節(jié)。進(jìn)一步地,步驟⑷具體還包括
如果所述垂直操作結(jié)果圖像(O)和水平操作結(jié)果圖像(P)中還含有小面積的連通區(qū)域，則需要再次用連通區(qū)域法進(jìn)行標(biāo)定后，按預(yù)設(shè)面積比例刪掉面積較小的連通區(qū)域，得到圖像(q)和圖像(r)。進(jìn)一步地，在步驟(5)中，所述將步驟⑷所得第一結(jié)果圖像(I)和第二結(jié)果圖像(m)，分別與初級圖像(i)進(jìn)行逐像素相與，得到相與結(jié)果圖像(η)的操作，具體包括
在第一結(jié)果圖像(I)、第二結(jié)果圖像(m)和初級圖像(i)中對應(yīng)位置的像素灰度值均為255時(shí)，則相與結(jié)果圖像(η)對應(yīng)位置的像素灰度值也設(shè)為255，否則將相與結(jié)果圖像(η)中其它像素點(diǎn)灰度值全部置O。進(jìn)一步地，在步 驟(5)中，所述進(jìn)行車體重構(gòu)的操作，具體包括
對步驟(5)所得相與結(jié)果圖像(η)，分別進(jìn)行垂直操作和水平操作，得到垂直操作結(jié)果圖像(ο)和水平操作結(jié)果圖像(P)；
將所述垂直操作結(jié)果圖像(O)和水平操作結(jié)果圖像(P)進(jìn)行逐像素相或，得到重構(gòu)后的車體圖像(S)。進(jìn)一步地，所述將所述垂直操作結(jié)果圖像(O)和水平操作結(jié)果圖像(P)進(jìn)行逐像素相或的操作，具體包括
在垂直操作結(jié)果圖像(O)和水平操作結(jié)果圖像(P)中對應(yīng)位置的像素灰度值有一個(gè)為255時(shí)，則重構(gòu)后的車體圖像(s)對應(yīng)位置的像素灰度值也設(shè)為255，否則重構(gòu)后的車體圖像(s)中其它像素點(diǎn)灰度值全部置O。本發(fā)明各實(shí)施例的車輛運(yùn)動(dòng)陰影消除方法，由于主要包括對原始彩色圖像(a)進(jìn)行預(yù)處理，對預(yù)處理后的彩色圖像(f)進(jìn)行求取邊緣信息處理，得到消除彩色圖像(f)的大部分外輪廓邊緣后的初級圖像(i);分別經(jīng)垂直操作和水平操作，消除初級圖像(i)的殘余外輪廓邊緣，得到分別形成連通區(qū)域的第一次級圖像(j)和第二次級圖像(k);采用連通區(qū)域標(biāo)定法，對第一次級圖像(j)和第二次級圖像(k)形成的連通區(qū)域，分別進(jìn)行標(biāo)定，分別得到第一結(jié)果圖像(I)和第二結(jié)果圖像(m);將第一結(jié)果圖像(I)和第二結(jié)果圖像(m)，分別與初級圖像(i)進(jìn)行逐像素相與，得到相與結(jié)果圖像(η)，進(jìn)行車體重構(gòu)，生成與原始彩色圖像(a)對應(yīng)的blob塊；將blob塊即當(dāng)前車體重構(gòu)生成的blob塊，按原始彩色圖像(a)中的坐標(biāo)位置，將blob塊對應(yīng)的矩形框輸出到原始彩色圖像(a)的二值圖像上，作為后續(xù)操作的輸入；可以實(shí)現(xiàn)運(yùn)動(dòng)陰影部分完全消除；從而可以克服現(xiàn)有技術(shù)中普遍適用性差和消除的陰影部分完整性差的缺陷，以實(shí)現(xiàn)普遍適用性好和消除的陰影部分完整性好的優(yōu)點(diǎn)。本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實(shí)施本發(fā)明而了解。下面通過附圖和實(shí)施例，對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。


附圖用來提供對本發(fā)明的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實(shí)施例一起用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。在附圖中
圖1a和圖1b為基于亮度、紋理、梯度屬性的去陰影效果圖(車輛附近的灰度區(qū)域?yàn)殛?br> 影)；
圖2a和圖2b為基于亮度屬性的陰影消除中間結(jié)果 圖3為車輛運(yùn)動(dòng)陰影消除方法的流程示意 圖4a-圖4t為車輛運(yùn)動(dòng)陰影消除方法實(shí)施例的中間過程圖；其中，圖4a為原圖，圖4b為二值化前景圖，圖4c為熱點(diǎn)區(qū)域框定后前景圖，圖4d為blob框定圖，圖4e為blob塊預(yù)操作結(jié)果圖，圖4f為blob塊對應(yīng)的原彩色圖像，圖4g為原彩色圖像的邊緣圖，圖4h為對應(yīng)于圖4e的外邊緣圖，圖4i為對應(yīng)于圖4g和圖4h的差分結(jié)果圖，圖4j為對圖4i垂直操作的結(jié)果圖，圖4k為對圖4i水平操作的結(jié)果圖，圖41為消除掉圖4j中面積較小的連通區(qū)域的結(jié)果圖，圖4m為消除掉圖4k中面積較小連通區(qū)域的結(jié)果圖，圖4n為對圖4g、圖41和圖4m逐像素“與”操作的結(jié)果圖，圖4o為對圖4n垂直操作的結(jié)果圖，圖4p為對圖4n水平操作的結(jié)果圖，圖4q為消除掉圖4ο中面積較小連通區(qū)域的結(jié)果圖，圖4r為消除掉圖4p中面積較小連通區(qū)域的結(jié)果圖，圖4s為對圖4q和圖4r逐像素“或”操作的結(jié)果圖，圖4t為輸出結(jié)果 圖5a和圖5b為車輛運(yùn)動(dòng)陰影消除實(shí)施例的最終效果圖(車輛附近的灰度部分表示運(yùn)動(dòng)陰影)。
具體實(shí)施例方式以下結(jié)合附圖對本發(fā)明的優(yōu)選實(shí)施例進(jìn)行說明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實(shí)施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。根據(jù)對現(xiàn)有的陰影消除算法的研究比較，對車輛陰影的消除可以用基于模型的方法，但是車輛的建模是個(gè)需要解決的問題，而且要考慮到系統(tǒng)運(yùn)行速度的實(shí)時(shí)性。為了滿足系統(tǒng)的普適性，本申請人選擇基于屬性的方法來消除陰影?，F(xiàn)有的陰影消除算法基本上都是直接對視頻中的每一幀圖像逐像素進(jìn)行操作，所以，本申請人就想直接對車輛及其陰影區(qū)域進(jìn)行操作，因?yàn)楦欕A段采用的是基于矩形blob塊來框定車輛，很自然的就想到利用blob塊來進(jìn)行陰影消除。然后，本申請人想到用基于形態(tài)學(xué)的方法來處理。主要原因是先前單獨(dú)基于亮度屬性時(shí)，本申請人發(fā)現(xiàn)只要取一個(gè)合適的閾值，那么前景中陰影覆蓋的區(qū)域內(nèi)部很大一部分都能夠去除，但是陰影區(qū)域的外邊緣卻明顯存在，同時(shí)車體也會(huì)部分的消失(主要是車窗和車頂)。所以，本申請人想到先消除掉陰影的外邊緣輪廓，接著再重構(gòu)車體。但是，要消除陰影的外輪廓，僅僅通過亮度特征肯定不行，經(jīng)過大量的試驗(yàn)，本申請人發(fā)現(xiàn)可以用邊緣信息來消除陰影的外輪廓，然后通過形態(tài)學(xué)的方法來消除車輛陰影。智能交通監(jiān)控的場景主要是道路，包括高速公路，叉路口等等，這些場景的特點(diǎn)就是環(huán)境很復(fù)雜，光線不斷在發(fā)生變化，并且會(huì)有樹葉隨風(fēng)抖動(dòng)等干擾。但是，這些場景的一個(gè)顯著特點(diǎn)是道路的邊緣信息比較單一，陰影覆蓋后陰影內(nèi)部區(qū)域的邊緣信息很少，邊緣信息主要集中在陰影的外輪廓部分，同時(shí)由于車輛邊緣信息比較豐富，而且考慮到邊緣信息對光照變化不敏感，所以可以通過消除陰影的外輪廓邊緣，然后重構(gòu)車體的方法來消除陰影。根據(jù)本發(fā)明實(shí)施例，如圖3、圖4a_圖4t、圖5a和圖5b所示，提供了一種車輛運(yùn)動(dòng)陰影消除方法。參見圖3，本實(shí)施例的車輛運(yùn)動(dòng)陰影消除方法，主要包括
步驟100 :—幀圖像輸入，執(zhí)行步驟101 ；
步驟101 :預(yù)處理，執(zhí)行步驟102 ；
步驟102 :求取邊緣信息，執(zhí)行步驟103 ；
步驟103 :垂直操作和水平操作，執(zhí)行步驟104 ；
步驟104 :連通區(qū)域標(biāo)定，執(zhí)行步驟105 ；
步驟105 :車體重構(gòu)，執(zhí)行步驟106 ；
步驟106 :判斷步驟105所得圖像中是否還含有小面積連通區(qū)域，若是，則返回步驟104 ;否則，執(zhí)行步驟107 ；
步驟107 :輸出結(jié)果圖像。在該車輛運(yùn)動(dòng)陰影消除方法中，在blob中消陰影操作前，首先要對當(dāng)前的圖像幀進(jìn)行預(yù)處理。預(yù)處理操作包括①基于SOBS的背景差分，得到二值化前景圖(包含車輛，行人及其運(yùn)動(dòng)陰影)選擇熱點(diǎn)區(qū)域(即監(jiān)控區(qū)域)和blob塊標(biāo)定；③在熱點(diǎn)區(qū)域中進(jìn)行開、閉操作和膨脹、腐蝕等基本的形態(tài)學(xué)操作。具體地，在這些預(yù)處理操作后，本申請人對每個(gè)blob塊進(jìn)行矩形框定。本申請人的方法并不要求預(yù)先判斷出每個(gè)blob塊中究竟是單獨(dú)的一輛車，還是通過陰影相連接在一起的多輛車，首先來看blob中只有單輛車時(shí)怎樣消除陰影。1、圖像預(yù)處理
①背景差分
對于原始彩色圖像(a)，首先進(jìn)行背景差分，得到二值化的前景圖像(b)。背景差分的方法不限，本申請人在實(shí)施例中使用的是SOBS算法。②熱點(diǎn)區(qū)域和blob塊標(biāo)定
在二值化的前景圖像(b)中選擇熱點(diǎn)區(qū)域，并將該選擇熱點(diǎn)區(qū)域以外部分的灰度值全部置0，得到灰度值處理后的圖像(c);對熱點(diǎn)區(qū)域內(nèi)進(jìn)行blob塊框定(即blob塊的一個(gè)最小外接矩形)，得到blob塊框定后的圖像(d)。③形態(tài)學(xué)操作
由于blob塊框定后的圖像(d)中有很多孔洞，并且經(jīng)常會(huì)有一些噪點(diǎn)，所以對blob塊框定后的圖像(d)進(jìn)行形態(tài)學(xué)上的開、閉操作，得到經(jīng)形態(tài)學(xué)處理后的圖像(e);根據(jù)blob塊的長、寬，以及blob塊最小外接矩形的左上方點(diǎn)坐標(biāo)值，截取原始彩色圖像(a)中的對應(yīng)于該blob最小外接矩形部分的原始圖像(彩色)，得到預(yù)處理后的彩色圖像(f)。
2、求取邊緣信息
用經(jīng)典的邊緣檢測算法，如SOBEL算子或者CANNY算子等，對預(yù)處理后的彩色圖像(f)進(jìn)行求取邊緣信息處理，然后用去差圖像(e)表示的blob塊對應(yīng)的二值前景圖的外邊緣，得到圖像(i)。3、垂直操作和水平操作
垂直操作和水平操作類似，垂直操作指的是對應(yīng)于圖像的每一個(gè)像素列，找到這個(gè)列中第一個(gè)和最后一個(gè)灰度值為255的點(diǎn)，然后置它們之間的點(diǎn)的灰度全為255，其他點(diǎn)灰度置為O ;水平操作指的是對應(yīng)于圖像的每一個(gè)像素行，找到這個(gè)列中第一個(gè)和最后一個(gè)灰度值為255的點(diǎn),然后置它們之間的點(diǎn)的灰度全為255,其他點(diǎn)灰度置為O。經(jīng)過這兩步操作，圖像將被分成了很多連通區(qū)域。4、連通區(qū)域標(biāo)定
采用連通區(qū)域標(biāo)定的方法，對經(jīng)過垂直操作和水平操作后的圖像形成的連通區(qū)域分別進(jìn)行標(biāo)定，本申請人采用的是八連通區(qū)域標(biāo)定的方法。通過標(biāo)定可區(qū)分出圖像中每個(gè)連通的部分，從而計(jì)算出每個(gè)連通域的面積(這里指像素點(diǎn)個(gè)數(shù))，同時(shí)可以清楚的知道每個(gè)連通部分占整個(gè)圖像的比例，刪掉那些比較小的連通區(qū)域(這個(gè)比例可以根據(jù)實(shí)際情況進(jìn)行調(diào)節(jié)，一般可以取10%)，得到結(jié)果圖像(I)和(m)。5、車體重構(gòu)
將得到的(I)和(Π1)與前面得到的⑴逐像素相“與”(即(i)、⑴和(m)中對應(yīng)位置的像素灰度值均為255時(shí)則(η)對應(yīng)位置的像素灰度值也設(shè)為255，否則(η)中其它像素點(diǎn)灰度值全部置O)得到圖像(η)，這時(shí)就可以進(jìn)行車體重構(gòu)了。重構(gòu)的方法還 是基于垂直操作得到圖像(O)和水平操作得到圖像(P)，然后對經(jīng)過垂直操作和水平操作的結(jié)果逐像素相“或”(即(O)和(P)中對應(yīng)位置的像素灰度值有一個(gè)為255時(shí)則(S)對應(yīng)位置的像素灰度值也設(shè)為255，否則(S)中其它像素點(diǎn)灰度值全部置0)，就得到重構(gòu)后的車體圖像(S)。需要注意的是，如果圖像(O)和圖像(P)中還含有小面積的連通區(qū)域，本申請人還要再次用連通域標(biāo)定，然后按一定的面積比例去掉面積較小的連通區(qū)域，得到圖像(q)和圖像ω。6、輸出結(jié)果
因?yàn)椴僮鞯膶ο笾皇且粋€(gè)blob ±夾，原圖中可能對應(yīng)了很多blob ±夾，所以要將當(dāng)前重構(gòu)后生成的blob塊按原來的坐標(biāo)位置輸出到二值圖像上，作為其它后續(xù)操作(如車輛的跟蹤)的輸入。上述實(shí)施例的車輛運(yùn)動(dòng)陰影消除方法，可以實(shí)現(xiàn)運(yùn)動(dòng)陰影部分完全消除，同時(shí)發(fā)現(xiàn)車體的車頂部分有部分缺失。這是因?yàn)檐図敳糠诌吘壭畔⒈容^少，在進(jìn)行差分操作消陰影外輪廓時(shí)同時(shí)把部分車頂?shù)耐廨喞蚕チ?。但是這并不影響本申請人的結(jié)果，因?yàn)楸旧暾埲俗罱K要用矩形框定位，矩形框位置、長寬不會(huì)有影響。在單輛車的陰影消除中，這屬于比較復(fù)雜的情況，對于正視角及方向傾斜度不大的情況，本申請人可以得到基本完整的車體。上述實(shí)施例的車輛運(yùn)動(dòng)陰影消除方法的主要優(yōu)點(diǎn)在于
⑴本申請人的算法是前后幀無關(guān)的，僅與當(dāng)前幀有關(guān)，適用于丟幀視頻流或者是跳幀視頻流。⑵與背景差分算法聯(lián)系不緊密；
⑶不需要根據(jù)不同的場景調(diào)節(jié)參數(shù)，唯一的參數(shù)是Sobel算子的經(jīng)典閾值；
⑷算法是基于blob的而非pixle-based,僅用到一些簡單的操作,并可使用多核CPU加速(如i5計(jì)算機(jī))，加速后可實(shí)時(shí)處理。優(yōu)選地，本申請人選取了實(shí)驗(yàn)中一個(gè)具體的例子來說明，首先給出了實(shí)驗(yàn)結(jié)果，如圖4a-圖4t所示，然后給出相關(guān)的解釋。圖4a_圖4t中所列的20幅圖，從原始彩色圖像(a)到輸出結(jié)果圖像⑴(依次與圖4a至圖4t對應(yīng))，是按照算法流程截取的中間結(jié)果圖，反映了在blob中只有單輛車的情況下消除陰影的步驟。根據(jù)每幅圖下面的說明，本申請人能大概的知道算法流程，這里結(jié)合原始彩色圖像(a)到輸出結(jié)果圖像(t)再給出一些必要的說明。1、圖像預(yù)處理
①背景差分對于原始彩色圖像(a)(參見圖4a)，首先進(jìn)行背景差分，得到二值化前景圖(b)(參見圖4b)。②熱點(diǎn)區(qū)域和blob塊標(biāo)定在二值化的前景圖像(b)中選擇熱點(diǎn)區(qū)域，在此區(qū)域以外部分的灰度值全部置0，得到灰度值處理后的圖像(c)(參見圖4c);對熱點(diǎn)區(qū)域內(nèi)進(jìn)行blob塊框定，blob塊框定后的圖像(d)表示一個(gè)被框定的blob塊。③形態(tài)學(xué)操作由于blob塊框定后的圖像(d)(參見圖4d)中有很多孔洞，并且經(jīng)常會(huì)有一些噪點(diǎn)，所以進(jìn)行開、閉的形態(tài)學(xué)操作，得到經(jīng)形態(tài)學(xué)處理后的圖像(e);根據(jù)blob塊的長、寬，以及blob塊左上方點(diǎn)的坐標(biāo)值，截取原始彩色圖像(a)中的對應(yīng)于該blob的彩色圖像，得到預(yù)處理后的彩色圖像(f)(參見圖4f)。2、求取邊緣信息用經(jīng)典的SOBEL算子方法對彩色圖像(f)求邊緣，然后去差經(jīng)形態(tài)學(xué)處理后的圖像(e)(參見圖4e)表示的blob塊對應(yīng)的二值前景圖的外邊緣，得到消除彩色圖像(f)的大部分外輪廓邊緣后的初級圖像(i)(參見圖4i)。本申請人可以看到，夕卜輪廓邊緣已經(jīng)去掉了很多，但是還有很多殘余的部分，這時(shí)本申請人就要用垂直操作和水平操作去消除這些部分。3、垂直操作和水平操作垂直操作和水平操作類似，垂直操作指的是對應(yīng)于圖像的每一個(gè)像素列，找到這個(gè)列中第一個(gè)和最后一個(gè)灰度值為255的點(diǎn)，然后置它們之間的點(diǎn)的灰度全為255，其他點(diǎn)灰度置為O ;水平操作指的是對應(yīng)于圖像的每一個(gè)像素行，找到這個(gè)列中第一個(gè)和最后一個(gè)灰度值為255的點(diǎn),然后置它們之間的點(diǎn)的灰度全為255，其他點(diǎn)灰度置為O。經(jīng)過這兩步操作，可以看到圖像被分成了很到的連通區(qū)域。4、連通區(qū)域標(biāo)定采用連通域標(biāo)定的方法，對經(jīng)過垂直操作和水平操作后的圖像形成的連通區(qū)域分別進(jìn)行標(biāo)定，本申請人采用的是八連通區(qū)域標(biāo)定的方法；通過標(biāo)定，區(qū)別出圖像中每個(gè)連通的部分，從而計(jì)算出每個(gè)連通域的面積(這里指像素點(diǎn)個(gè)數(shù))，同時(shí)可以清楚的知道每個(gè)連通部分占整個(gè)圖像的比例，刪掉那些比較小的連通區(qū)域(這個(gè)比例可以根據(jù)實(shí)際情況進(jìn)行調(diào)節(jié)，一般可以取10%)，得到結(jié)果第一結(jié)果圖像(I)(參見圖41)和第二結(jié)果圖像(m)(參見圖4m)。5、車體重構(gòu)將得到的第一結(jié)果圖像(I)和第二結(jié)果圖像(m)與前面得到的消除彩色圖像(f)的大部分外輪廓邊緣后的初級圖像(i)(參見圖4i)相“與”，本申請人就能看到相與結(jié)果圖像(η)所示的效果圖(參見圖4η)，這時(shí)就可以進(jìn)行車體重構(gòu)了 ；重構(gòu)的方法還是基于垂直操作和水平操作，然后對經(jīng)過垂直操作和水平操作的結(jié)果相“或”，就得到重構(gòu)后的車體圖像(s)(參見圖4s)，如圖4s所示。需要注意的是，如果垂直操作結(jié)果圖像(ο)(參見圖4ο)和水平操作結(jié)果圖像(P)(參見圖4ρ)中還含有小面積的連通區(qū)域，本申請人還要再次用連通域標(biāo)定，然后按一定的面積比例去掉面積較小的連通區(qū)域，如圖4q和圖4r所示。6、輸出結(jié)果因?yàn)椴僮鞯膶ο笾皇且粋€(gè)blob塊,原圖中可能對應(yīng)了很多blob塊，如圖4a所示，所以要將當(dāng)前重構(gòu)后生成的blob塊按原來的坐標(biāo)位置輸出到二值圖像上，作為后續(xù)操作的輸入(參見圖4t)。在上述實(shí)施例中，運(yùn)動(dòng)陰影消除的最終效果圖如圖5a和圖5b所示。 最后應(yīng)說明的是以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，盡管參照前述實(shí)施例對本發(fā)明進(jìn)行了詳細(xì)的說明，對于本領(lǐng)域的技術(shù)人員來說，其依然可以對前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分技術(shù)特征進(jìn)行等同替換。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種車輛運(yùn)動(dòng)陰影消除方法，其特征在于，主要包括 ⑴對原始彩色圖像(a)進(jìn)行預(yù)處理，得到預(yù)處理后的彩色圖像(f)； ⑵對步驟⑴所得彩色圖像(f)進(jìn)行求取邊緣信息處理，得到消除彩色圖像(f)的大部分外輪廓邊緣后的初級圖像(i); ⑶分別經(jīng)垂直操作和水平操作，消除步驟⑵所得初級圖像(i)的殘余外輪廓邊緣，得到分別形成連通區(qū)域的第一次級圖像(j)和第二次級圖像(k)； ⑷采用連通區(qū)域標(biāo)定法，對步驟⑶所得第一次級圖像(j)和第二次級圖像(k)形成的連通區(qū)域，分別進(jìn)行標(biāo)定，分別得到第一結(jié)果圖像(I)和第二結(jié)果圖像(m)； (5)將步驟⑷所得第一結(jié)果圖像(I)和第二結(jié)果圖像(m)，分別與初級圖像(i)進(jìn)行逐像素相與，得到相與結(jié)果圖像(η)，進(jìn)行車體重構(gòu)，生成與原始彩色圖像(a)對應(yīng)的blob塊； (6)將步驟(5)所得blob塊即當(dāng)前車體重構(gòu)生成的blob塊，按原始彩色圖像(a)中的坐標(biāo)位置，將blob塊對應(yīng)的矩形框輸出到原始彩色圖像(a)的二值圖像上，作為其它后續(xù)操作的輸入；所述其它后續(xù)操作，包括車輛的跟蹤。
2.根據(jù)權(quán)利要求1所述的車輛運(yùn)動(dòng)陰影消除方法，其特征在于，步驟⑴具體包括 ①背景差分 對于原始彩色圖像(a)，首先進(jìn)行背景差分處理，得到二值化的前景圖像(b)； ②熱點(diǎn)區(qū)域和blob塊標(biāo)定 在二值化的前景圖像(b)中選擇熱點(diǎn)區(qū)域，并將該選擇熱點(diǎn)區(qū)域以外部分的灰度值全部置0，得到灰度值處理后的圖像(c);對熱點(diǎn)區(qū)域內(nèi)進(jìn)行blob塊框定即blob塊的一個(gè)最小外接矩形，得到blob塊框定后的圖像(d)； ③形態(tài)學(xué)操作 基于blob塊框定后的圖像(d)中的孔洞和噪點(diǎn)，對blob塊框定后的圖像(d)進(jìn)行形態(tài)學(xué)上的開、閉操作，得到經(jīng)形態(tài)學(xué)處理后的圖像(e)； 根據(jù)blob塊的長、寬，以及blob塊最小外接矩形的左上方點(diǎn)坐標(biāo)值，截取原始彩色圖像(a)中的對應(yīng)于該blob最小外接矩形部分的原始彩色圖像部分，得到預(yù)處理后的彩色圖像⑴。
3.根據(jù)權(quán)利要求2所述的車輛運(yùn)動(dòng)陰影消除方法，其特征在于，步驟⑵具體包括 采用經(jīng)典的邊緣檢測算法，對預(yù)處理后的彩色圖像(f)進(jìn)行求取邊緣信息處理，得到blob塊預(yù)操作結(jié)果經(jīng)形態(tài)學(xué)處理后的圖像(e);所述經(jīng)典的邊緣檢測算法，包括SOBEL算子或者CANNY算子； 去除blob塊預(yù)操作結(jié)果經(jīng)形態(tài)學(xué)處理后的圖像(e)表示的blob塊對應(yīng)的二值前景圖的外邊緣，得到消除彩色圖像(f)的大部分外輪廓邊緣后的初級圖像(i)。
4.根據(jù)權(quán)利要求3所述的車輛運(yùn)動(dòng)陰影消除方法，其特征在于，在步驟⑶中，所述垂直操作和水平操作具體包括 垂直操作和水平操作類似，垂直操作指的是對應(yīng)于圖像的每一個(gè)像素列，找到這個(gè)列中第一個(gè)和最后一個(gè)灰度值為255的點(diǎn)，然后置它們之間的點(diǎn)的灰度全為255，其他點(diǎn)灰度置為O ; 水平操作指的是對應(yīng)于圖像的每一個(gè)像素行，找到這個(gè)列中第一個(gè)和最后一個(gè)灰度值為255的點(diǎn)，然后置它們之間的點(diǎn)的灰度全為255,其他點(diǎn)灰度置為O,經(jīng)過這兩步操作，圖像將被分成了很多連通區(qū)域。
5.根據(jù)權(quán)利要求4所述的車輛運(yùn)動(dòng)陰影消除方法，其特征在于，步驟⑷具體包括 采用連通區(qū)域標(biāo)定法，對經(jīng)過垂直操作和水平操作后的圖像形成的連通區(qū)域分別進(jìn)行標(biāo)定； 通過標(biāo)定可區(qū)分出圖像中每個(gè)連通的部分，計(jì)算出每個(gè)連通域的面積即像素點(diǎn)個(gè)數(shù)，并得到每個(gè)連通區(qū)域占整個(gè)圖像的比例，刪掉面積較小的連通區(qū)域，得到第一結(jié)果圖像(I)和第二結(jié)果圖像(m)； 該連通區(qū)域的面積大小的比例，能夠根據(jù)實(shí)際需求調(diào)節(jié)。
6.根據(jù)權(quán)利要求5所述的車輛運(yùn)動(dòng)陰影消除方法，其特征在于，步驟⑷具體還包括 如果所述垂直操作結(jié)果圖像(O)和水平操作結(jié)果圖像(P)中還含有小面積的連通區(qū)域，則需要再次用連通區(qū)域法進(jìn)行標(biāo)定后，按預(yù)設(shè)面積比例刪掉面積較小的連通區(qū)域，得到圖像(q)和圖像(r)。
7.根據(jù)權(quán)利要求5或6所述的車輛運(yùn)動(dòng)陰影消除方法，其特征在于，在步驟(5)中，所述將步驟⑷所得第一結(jié)果圖像(I)和第二結(jié)果圖像(m)，分別與初級圖像(i)進(jìn)行逐像素相與，得到相與結(jié)果圖像(η)的操作，具體包括 在第一結(jié)果圖像(I)、第二結(jié)果圖像(m)和初級圖像(i)中對應(yīng)位置的像素灰度值均為255時(shí)，則相與結(jié)果圖像(η)對應(yīng)位置的像素灰度值也設(shè)為255，否則將相與結(jié)果圖像(η)中其它像素點(diǎn)灰度值全部置O。
8.根據(jù)權(quán)利要求7所述的車輛運(yùn)動(dòng)陰影消除方法，其特征在于，在步驟(5)中，所述進(jìn)行車體重構(gòu)的操作，具體包括 對步驟(5)所得相與結(jié)果圖像(η)，分別進(jìn)行垂直操作和水平操作，得到垂直操作結(jié)果圖像(ο)和水平操作結(jié)果圖像(P)； 將所述垂直操作結(jié)果圖像(ο)和水平操作結(jié)果圖像(P)進(jìn)行逐像素相或，得到重構(gòu)后的車體圖像(S)。
9.根據(jù)權(quán)利要求8所述的車輛運(yùn)動(dòng)陰影消除方法，其特征在于，所述將所述垂直操作結(jié)果圖像(O)和水平操作結(jié)果圖像(P)進(jìn)行逐像素相或的操作，具體包括 在垂直操作結(jié)果圖像(O)和水平操作結(jié)果圖像(P)中對應(yīng)位置的像素灰度值有一個(gè)為255時(shí)，則重構(gòu)后的車體圖像(s)對應(yīng)位置的像素灰度值也設(shè)為255，否則重構(gòu)后的車體圖像(s)中其它像素點(diǎn)灰度值全部置O。
全文摘要
本發(fā)明公開了一種車輛運(yùn)動(dòng)陰影消除方法，包括對原始彩色圖像(a)進(jìn)行預(yù)處理，對得到彩色圖像(f)進(jìn)行求取邊緣信息，對得到的消除彩色圖像(f)的大部分外輪廓邊緣后的初級圖像(i)分別進(jìn)行垂直操作和水平操作，對消除殘余外輪廓邊緣得到的第一次級圖像(j)和第二次級圖像(k)進(jìn)行連通區(qū)域標(biāo)定，對得到的第一結(jié)果圖像(l)和第二結(jié)果圖像(m)分別與初級圖像(i)進(jìn)行逐像素相與，對得到的相與結(jié)果圖像(n)進(jìn)行車體重構(gòu)，生成與原始彩色圖像(a)對應(yīng)的blob塊；將blob塊按原始彩色圖像(a)中的坐標(biāo)位置輸出到相應(yīng)的二值圖像上。該車輛運(yùn)動(dòng)陰影消除方法，由于車輛邊緣信息比較豐富，而且邊緣信息對光照變化不敏感，所以具有普遍適用性好和消除的陰影部分完整性好的優(yōu)點(diǎn)。
文檔編號G06K9/54GK103065145SQ20121052522
公開日2013年4月24日 申請日期2012年12月7日 優(yōu)先權(quán)日2012年12月7日
發(fā)明者明安龍, 林昭文 申請人:北京中郵致鼎科技有限公司, 無錫北郵感知技術(shù)產(chǎn)業(yè)研究院有限公司