本發(fā)明技術(shù)涉及一種公路監(jiān)控視頻中運(yùn)動(dòng)車輛陰影的自適應(yīng)消除方法。

技術(shù)背景

基于視頻序列的運(yùn)動(dòng)目標(biāo)分析分割被廣泛應(yīng)用到智能視頻監(jiān)控、地形匹配、圖像導(dǎo)航制導(dǎo)、人體運(yùn)動(dòng)細(xì)節(jié)分析、人工智能等領(lǐng)域。其中運(yùn)動(dòng)目標(biāo)檢測(cè)是運(yùn)動(dòng)目標(biāo)分析技術(shù)的最底層，屬于基礎(chǔ)性工作，準(zhǔn)確的從視頻圖像中提取出完整的運(yùn)動(dòng)目標(biāo)是后續(xù)視頻圖像運(yùn)動(dòng)分析能否順利進(jìn)行的關(guān)鍵。然而在運(yùn)動(dòng)目標(biāo)檢測(cè)與分割過程中，由于光線照射，會(huì)使運(yùn)動(dòng)目標(biāo)產(chǎn)生相應(yīng)的陰影。陰影會(huì)隨著運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)而運(yùn)動(dòng)，在運(yùn)動(dòng)目標(biāo)檢測(cè)過程中如果不將陰影檢測(cè)出來(lái)處理，可能會(huì)對(duì)后期運(yùn)動(dòng)目標(biāo)的處理產(chǎn)生干擾。

目前對(duì)與陰影的檢測(cè)主要分為基于特征和基于模型兩種類型，基于模型主要是通過光照不變性，場(chǎng)景，前景目標(biāo)等可用物體建立模型，此方法一般只適用于特殊情況，局限性較大，計(jì)算量較大，不適用于實(shí)際應(yīng)用。另一種基于特征的方法，通過對(duì)顏色，紋理，梯度等特征的處理達(dá)到對(duì)于陰影的檢測(cè)，例如基于hsv顏色空間，基于rgb顏色空間以及基于c1c2c3顏色空間的方法。這些方法通過提取陰影顏色特征，通過飽和度，像素變化，灰度變化對(duì)比等特征實(shí)現(xiàn)陰影的檢測(cè)，但是這些方法常常只考慮運(yùn)動(dòng)目標(biāo)與陰影單特征的區(qū)別，導(dǎo)致檢測(cè)正確率不高，容易出現(xiàn)誤檢，易受到環(huán)境因素的干擾，一般情況下只適用于較為簡(jiǎn)單的場(chǎng)景，計(jì)算量大，影響實(shí)時(shí)性。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明是一種公路監(jiān)控視頻中運(yùn)動(dòng)車輛陰影的自適應(yīng)消除方法，此方法可以適用于大部分復(fù)雜場(chǎng)景，如道路監(jiān)控等，提高陰影檢測(cè)準(zhǔn)確性，具有一定的實(shí)時(shí)性。

本發(fā)明技術(shù)解決方案如下：

一種公路監(jiān)控視頻中運(yùn)動(dòng)車輛陰影的自適應(yīng)消除方法。其特征在于，包括如下步驟：

步驟1：采集n幀圖像，通過高斯混合模型實(shí)現(xiàn)背景建模，提取背景圖片；(其中n的取值范圍視視頻大小而定，實(shí)驗(yàn)中n取值為3000)

步驟2：將當(dāng)前所需要處理的視頻圖像作為輸入，用高斯混合模型檢測(cè)運(yùn)動(dòng)目標(biāo)，并確定運(yùn)動(dòng)目標(biāo)區(qū)域；

步驟3：獲取運(yùn)動(dòng)目標(biāo)彩色圖的梯度圖，并與二值圖進(jìn)行融合填充，得到完整的目標(biāo)區(qū)域,實(shí)現(xiàn)圖像補(bǔ)償；

步驟4：分別對(duì)補(bǔ)償后圖片的彩色運(yùn)動(dòng)物體和對(duì)應(yīng)背景圖求取二次梯度圖并做差值，去除陰影；

步驟5：對(duì)差值圖進(jìn)行輪廓提取，圖像分割并得出較為完整的陰影區(qū)域；

步驟6：通過顏色空間及投影特征進(jìn)一步檢測(cè)陰影，并再次去除陰影區(qū)域；

步驟7：用當(dāng)前輸入圖片對(duì)背景模型進(jìn)行更新，返回步驟2。

所述步驟1為：

利用當(dāng)前t幀輸入圖像使用高斯混合模型背景建模。

對(duì)于多峰高斯分布模型，圖像的每一個(gè)像素點(diǎn)按不同權(quán)值的多個(gè)高斯分布的疊加來(lái)建模，每種高斯分布對(duì)應(yīng)一個(gè)可能產(chǎn)生像素點(diǎn)所呈現(xiàn)顏色的狀態(tài)，各個(gè)高斯分布的權(quán)值和分布參數(shù)隨時(shí)間更新。當(dāng)處理彩色圖像時(shí)，假定圖像像素點(diǎn)r、g、b三色通道相互獨(dú)立并具有相同的方差，對(duì)于隨機(jī)變量x的觀測(cè)數(shù)據(jù)集{x1x2x3……xn}，單個(gè)采樣點(diǎn)xt＝(rt,gt,bt)服從的混合高斯分布概率密度函數(shù)為：

式中wi,t為t時(shí)刻第i個(gè)高斯分布的權(quán)重，k為分布模式總數(shù)，μi,t為其均值，τi,t為其協(xié)方差矩陣，η(xt,μi.t,τi,t)為t時(shí)刻第i個(gè)高斯分布，η通過下式計(jì)算：

式中，δi,t為方差，i為三維單位矩陣，wi,t為t時(shí)刻第i個(gè)高斯分布的權(quán)重。

所述步驟2為：

第一步：每個(gè)新像素值xt同當(dāng)前k個(gè)模型進(jìn)行比較，搜索均值偏差在2.5σ內(nèi)的模型，即|xt-μi,t-1|≤2.5σi,t-1，作為和新像素匹配的分布模型。

第二步：如果所匹配的模式符合背景要求，則該像素為背景，否則為前景。

第三步：高斯權(quán)重wk,t按照下列公式進(jìn)行更新，并對(duì)更新后的權(quán)重進(jìn)行歸一化，公式如下：

wk,t＝(1α)×wk,t-1+α×mk,t

第四步：高斯分布的均值μt和方差σt分別按照下列公式進(jìn)行更新：

ρ＝α×η(xt,μi,t,τi,t)

μt＝(1-ρ)×μt-1+ρ×xt

對(duì)于單通道的灰度視頻圖像，上式協(xié)方差τi,t＝σt，α是自定義學(xué)習(xí)率，且α取[0,1]之間，α決定背景跟新速率，其中μt表示t時(shí)刻高斯分布均值，表示方差。

第四步：如果第一步?jīng)]有任何模式匹配，則權(quán)重最小的模式被替換，即該模式的均值為當(dāng)前像素值，標(biāo)準(zhǔn)差為初始較大值，權(quán)重為較小值。

第五步：各模式根據(jù)w/α²按降序排列，權(quán)重大，標(biāo)準(zhǔn)差小的模式排列靠前。

第六步：選取b個(gè)模式作為背景，b滿足下列公式：

所述步驟3為：圖像補(bǔ)償，由于高斯模型對(duì)光照的魯棒性比較差，直接求取梯度圖做差會(huì)無(wú)法準(zhǔn)確的檢測(cè)陰影區(qū)域，所以先對(duì)運(yùn)動(dòng)物體的彩色圖求梯度圖，然后將得出的梯度圖與運(yùn)動(dòng)物體二值圖融合并使用opencv的漫水填充對(duì)空洞進(jìn)行填充，再進(jìn)行形態(tài)學(xué)后續(xù)處理,獲取比較完整、干擾較小的目標(biāo)物體二值化圖，實(shí)現(xiàn)對(duì)圖片的補(bǔ)償，具體步驟如下：

第一步：使用scharr梯度算子對(duì)步驟2得出的運(yùn)動(dòng)物體rgb三通道圖進(jìn)行邊緣檢測(cè)。

第二步：將rgb三通道梯度圖和步驟2得出的運(yùn)動(dòng)物體二值化圖融合。

第三步：通過漫水填充算法，對(duì)融合圖片中的連通域進(jìn)行填充，達(dá)到圖片補(bǔ)償?shù)男Ч?/p>

所述步驟4為：對(duì)補(bǔ)償過后的二值圖所對(duì)應(yīng)的rgb三通道圖和其對(duì)應(yīng)的背景圖分別使用scharr梯度算子進(jìn)行二次梯度邊緣檢測(cè)。scharr算子是sobel算子的一種特例算子，在處理較小的核時(shí)，scharr準(zhǔn)確率更。使用scharr獲取準(zhǔn)確完整的梯度矢量圖后，對(duì)前景與背景的梯度矢量圖進(jìn)行比較，從而區(qū)分運(yùn)動(dòng)目標(biāo)和其產(chǎn)生的陰影區(qū)域，具體算法如下：

計(jì)算背景圖像的梯度矢量，沿圖像水平和豎直方向的scharr算子與背景圖像進(jìn)行卷積，計(jì)算每一個(gè)像素點(diǎn)(x,y)的0°和90°方向gf,1(x,y),gf,2(x,y),得到尺度向量:

gf(x,y)＝{gf,1,gf,2|x,y},gf(x,y)

尺度向量反映了背景圖像在該像素梯度變化的趨勢(shì)，也是背景梯度的表現(xiàn)形式，公式如下：

gf,i(x,y)＝f(x,y)×hi(x,y)

其中f(x,y)為坐標(biāo)(x,y)上的像素值，hi(x,y)是0°和90°方向上的scharr算子，分別為：

第二步：背景圖像梯度矢量的歸一化。

第三步：計(jì)算當(dāng)前幀圖像的梯度矢量，并歸一化。

沿當(dāng)前幀圖像水平和垂直方向用scharr算子與序列圖像進(jìn)行卷積，計(jì)算每一個(gè)像素點(diǎn)(x,y)的兩個(gè)尺度gc,1(x,y)，gc,2(x,y)，得到尺度向量gc(x,y)＝{gc,1,gc,2|x,y},gc(x,y)，反映當(dāng)前幀圖像變化趨勢(shì)，公式為：

將其進(jìn)行歸一化，得到矢量

第四步：計(jì)算當(dāng)前幀圖像梯度圖和其背景庫(kù)中對(duì)應(yīng)像素點(diǎn)歸一化矢量的差值d.

所述步驟5為：

對(duì)差值圖進(jìn)行輪廓提取，進(jìn)行濾波。

然后對(duì)圖像進(jìn)行均值濾波，腐蝕膨脹等形態(tài)學(xué)處理，確定陰影區(qū)域s1。

由于梯度做差值會(huì)使得一部分運(yùn)動(dòng)物體本身區(qū)域被消除，故通過使用yuv顏色空間和投影特征對(duì)車輛陰影區(qū)域進(jìn)一步檢測(cè)。

由于梯度做差值會(huì)使得一部分運(yùn)動(dòng)物體本身區(qū)域被消除，故通過使用yuv顏色空間，投影特征與梯度特征相結(jié)合的方式對(duì)車輛陰影區(qū)域進(jìn)一步檢測(cè)，步驟6具體如下：

第一步：使用yuv顏色空間對(duì)前景運(yùn)動(dòng)物體進(jìn)行陰影檢測(cè)得出掩模m1，yuv顏色空間是一種顏色編碼的方法，其中y表示明亮度及圖像的灰度值，u和v代表色差，u和v是構(gòu)成彩色的兩個(gè)分量，yuv顏色空間定義為：

y＝0.299r+0.587g+0.114b

u＝-0.1687r-0.3313g+0.5b＝128

v＝0.5r-0.4187g-0.0813b+128

第二步：根據(jù)運(yùn)動(dòng)物體的rgb三通道像素小于對(duì)應(yīng)背景的rgb三通道像素確定掩模m2:

其中i為對(duì)應(yīng)圖像幀，t為像素位置，μ為對(duì)應(yīng)背景模型；

第三步：由于投影區(qū)域沒有光源直射，只有空氣散射，故運(yùn)動(dòng)物體投影區(qū)域相對(duì)于彩色陰影區(qū)域會(huì)有藍(lán)色化變化，及b通道的變化率小于r，g通道變化率得出最終優(yōu)化的陰影區(qū)域s2:

其中i為對(duì)應(yīng)圖像幀，t為像素位置，μ為對(duì)應(yīng)背景模型；

將s1和s2區(qū)域進(jìn)行與運(yùn)算確定最終陰影區(qū)域，并對(duì)比原圖像幀去除陰影區(qū)域。

附圖說(shuō)明

圖1是本發(fā)明公路監(jiān)控視頻中運(yùn)動(dòng)車輛陰影的自適應(yīng)消除方法的流程圖；

圖2為實(shí)施例中基于梯度特征陰影檢測(cè)流程圖。

具體實(shí)施方法

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合附圖對(duì)本發(fā)明實(shí)施方式作進(jìn)一步地詳細(xì)描述。

實(shí)施例1：

公路監(jiān)控視頻中運(yùn)動(dòng)車輛陰影的自適應(yīng)消除方法如圖1所示，包括如下步驟：

1.建立背景模型

獲取當(dāng)前輸入圖像的前n幀圖像中的像素點(diǎn)的顏色特征信息，把每一個(gè)像素點(diǎn)所呈現(xiàn)的顏色用k個(gè)高斯分布的疊加來(lái)表示，通常k取3-5之間。將像素點(diǎn)所呈現(xiàn)的顏色x認(rèn)為是隨機(jī)變量，則在每時(shí)刻t＝1,…,t所得到視頻幀圖像的像素值只是隨機(jī)變量x的采樣值。

在進(jìn)行前景檢測(cè)前，先對(duì)背景進(jìn)行訓(xùn)練，對(duì)每一幀圖像中每個(gè)背景采用一個(gè)混合高斯模型進(jìn)行模擬，背景一旦提取出來(lái)，前景的檢測(cè)就簡(jiǎn)單了，檢查像素是否與背景的高斯模型匹配，匹配是背景，不匹配就是前景。

具體步驟：

參數(shù)初始化：在第一幀圖像時(shí)每個(gè)像素對(duì)應(yīng)的第一個(gè)高斯分布進(jìn)行初始化，均值賦為當(dāng)前像素的值，權(quán)值賦為1，除第一以外的高斯分布函數(shù)的均值、權(quán)值和都初始化零。

參數(shù)更新：在時(shí)刻t對(duì)圖像幀的每個(gè)像素xt與它對(duì)應(yīng)的高斯模型進(jìn)行匹配。

更新規(guī)則：

a.對(duì)于不匹配的高斯分布,它們的均值μ和協(xié)方差矩陣保持不變；

b.匹配的高斯分布gi的均值μ和協(xié)方差矩陣按下式更新:

μi,t＝(1-ρ)μi,t-1+ρxt

∑i,t＝(1-ρ)∑i,t-1+ρ×diag[(xt-μi,t)^t(xt-μi,t)]

α為參數(shù)估計(jì)的學(xué)習(xí)速率。

如果該像素對(duì)應(yīng)的混合高斯模型中沒有高斯分布與像素值xt匹配,那么將最不可能代表背景過程的高斯分布gj重新賦值,即：

j＝argimin{wk,t-1}

wj,i-1＝w0,μj,t＝xt,∑j,t＝v0i，

式中,w0和v0是預(yù)先給定的正值；i為一個(gè)3×3單位矩陣。

然后按下式更新所有k個(gè)高斯分布在時(shí)刻t的加權(quán)系數(shù)wi,t:

wi,t＝(1-α)wi,t-1+α(mi,t)；

式中,如果高斯分布gi與t時(shí)刻像素值xt匹配,則取mi,t值1,否則取值為0。

2.前景目標(biāo)提取

每個(gè)新像素值xt同當(dāng)前k個(gè)模型進(jìn)行比較，搜索均值偏差在2.5σ內(nèi)的模型，公式為：

|xt-μi,t-1|≤2.5σi,t-1；

按照公式更新像素wi,t＝(1-α)wi,t-1+α(mi,t)。

3.圖像補(bǔ)償

第一步：使用scharr梯度算子對(duì)步驟2得出的運(yùn)動(dòng)物體rgb三通道圖進(jìn)行邊緣檢測(cè)。

第二步：將rgb三通道梯度圖和步驟2得出的運(yùn)動(dòng)物體二值化圖融合。

第三步：通過漫水填充算法，對(duì)融合圖片中的連通域進(jìn)行填充，達(dá)到圖片補(bǔ)償?shù)男Ч?/p>

4.圖像二次梯度，請(qǐng)參閱圖2所示：

第一步:計(jì)算背景圖像的梯度矢量，沿圖像水平和豎直方向的scharr算子與背景圖像進(jìn)行卷積，計(jì)算每一個(gè)像素點(diǎn)(x,y)的0°和90°方向gf,1(x,y),gf,2(x,y),得到尺度向量：

gf(x,y)＝{gf,1,gf,2|x,y},gf(x,y)

梯度表現(xiàn)形式；gf,i(x,y)＝f(x,y)×hi(x,y)

梯度算子hi(x,y)分別為：

當(dāng)前幀和對(duì)應(yīng)背景圖像歸一化

gc(x,y)＝{gc,1,gc,2|x,y}

梯度做差d:

5.后續(xù)運(yùn)動(dòng)物體處理，形態(tài)學(xué)操作，圖像完善；

首先對(duì)差值圖進(jìn)行輪廓提取，進(jìn)行濾波；

然后對(duì)圖像進(jìn)行均值濾波，腐蝕膨脹等形態(tài)學(xué)處理，確定陰影區(qū)域s1。

由于梯度做差值會(huì)使得一部分運(yùn)動(dòng)物體本身區(qū)域被消除，故通過使用yuv顏色空間，投影特征與梯度特征相結(jié)合的方式對(duì)車輛陰影區(qū)域進(jìn)一步檢測(cè)。

所述步驟為:

第一步：使用yuv顏色空間對(duì)前景運(yùn)動(dòng)物體進(jìn)行陰影檢測(cè)得出掩模m1

yuv顏色空間轉(zhuǎn)換公式：

y＝0.299r+0.587g+0.114b

u＝-0.1687r-0.3313g+0.5b＝128

v＝0.5r-0.4187g-0.0813b+128

第二步：根據(jù)運(yùn)動(dòng)物體的rgb三通道像素小于對(duì)應(yīng)背景的rgb三通道像素確定掩模m2

第三步：由于投影區(qū)域沒有光源直射，只有空氣散射，故運(yùn)動(dòng)物體投影區(qū)域相對(duì)于彩色陰影區(qū)域會(huì)有藍(lán)色化變化，及b通道的變化率小于r，g通道變化率得出最終優(yōu)化的陰影區(qū)域s2:

將s1和s2區(qū)域進(jìn)行與運(yùn)算確定最終陰影區(qū)域，并對(duì)比原圖像幀去除陰影區(qū)域。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。