專利名稱：建立圖像處理中基于運(yùn)動信息的背景模型的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種圖像處理技術(shù)領(lǐng)域的建模方法，具體涉及是一種建立圖像處 理中基于運(yùn)動信息的背景模型的方法。
背景技術(shù)：
隨著視頻監(jiān)控的廣泛使用，視頻數(shù)據(jù)的處理技術(shù)得到了很大的關(guān)注，例如行人檢 測、跟蹤，物體建模及姿態(tài)估計(jì)等方面的研究。而背景減除被普遍的應(yīng)用在各種技術(shù)中，用 于提取視頻中的前景部分，這部分通常包括感興趣的研究對象，例如人或車輛及其他物品 等。對于傳統(tǒng)的背景減除方法來說，其背景模型通常需要預(yù)先給定，例如拍攝一段背景的視 頻，然后根據(jù)每個(gè)像素點(diǎn)的顏色的統(tǒng)計(jì)特征——均值及方差——來建立背景的模型。這樣 方法存在兩個(gè)問題，一是需要額外的步驟來建立背景模型，二是所建立的背景模型是靜態(tài) 的，當(dāng)背景環(huán)境發(fā)生改變后即失效。因此，能夠直接從同時(shí)包含運(yùn)動前景及背景的連續(xù)視頻 幀中建立背景模型，將是對傳統(tǒng)方法的重大改進(jìn)。在現(xiàn)有技術(shù)文獻(xiàn)中，常用的背景建模方法是Stauffer和Grimson于1999年 在 Proc. IEEEConf. on Computer Vision and Pattern Recognition 的論文 Adaptive background mixturemodels for real-time tracking(在實(shí)時(shí)足艮蹤中的自適應(yīng)背景混合模 型)中提出的基于高斯混合模型的方法。他們的方法可以適應(yīng)緩慢的光照變化和由例如樹 枝晃動或陰影引起的多模態(tài)顏色分布。但由于沒有利用前景的運(yùn)動信息，這種方法會出現(xiàn) 拖影問題，即物體的緩慢移動會在得到的前景分割中留下歷史的運(yùn)動痕跡。因此，本領(lǐng)域需 要一種能夠利用前景的運(yùn)動信息來建立背景模型的方法。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足，提出一種建立圖像處理中基于運(yùn)動信息 的背景模型的方法。本發(fā)明無需額外的背景采集步驟，利用運(yùn)動信息來初步估計(jì)圖像的前 景部分，再利用多幅圖像中去除前景后的不完整背景對每一幀建立背景模型，最后利用背 景減除即能得到精確的前景分割。在物體及行人跟蹤、運(yùn)動分析等方面具有廣泛的實(shí)際應(yīng)用。本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的本發(fā)明對于輸入視頻中的每一對相鄰幀圖像，通過條件隨機(jī)場估計(jì)每一個(gè)像素點(diǎn) 的運(yùn)動場(光流)。然后將速度大于一定閾值的像素點(diǎn)作為前景點(diǎn)，這樣將得到對每一幀圖 像得到一個(gè)前景的初始分割。對于輸入序列中的每一幀，都可以得到一個(gè)這樣的初始分割。 如果將背景看作一個(gè)在低維度變化的空間，那么其中每一幅經(jīng)過初始分割的圖像都可以被 看作一個(gè)具有缺失數(shù)據(jù)的樣本點(diǎn)。其中缺失的部分就是被前景擋住的分別。對于這一系列 具有缺失數(shù)據(jù)的樣本點(diǎn)，本方法利用缺失數(shù)據(jù)下的主成分分析方法來重建出這個(gè)低維的背 景空間。將每一幀中部分缺失的背景重投影到這個(gè)低維空間中，即可恢復(fù)當(dāng)前幀的背景。本發(fā)明包括以下步驟
1.相鄰幀間運(yùn)動場的估計(jì)對輸入視頻的每一對相鄰幀，該方法利用運(yùn)動前后像 素灰度的不變性估計(jì)整幅圖像每個(gè)像素點(diǎn)的運(yùn)動場。其中速度大于一定閾值的像素點(diǎn)被作 為是前景點(diǎn)，得到一個(gè)初始的前景分割。2.利用缺失數(shù)據(jù)建立背景模型在步驟1中的到的每一幀均可以看作是原背景空 間中的一個(gè)缺失了部分?jǐn)?shù)據(jù)的樣本點(diǎn)。通過視頻中一系列的缺失部分?jǐn)?shù)據(jù)的樣本點(diǎn)，重建 出原背景空間。隨后通過重投影，得到每一幀的背景模型。與現(xiàn)有技術(shù)相比，本發(fā)明所提出的方法無需額外的背景采集步驟，同時(shí)能夠適應(yīng) 背景的線性變化，對于利用背景減除來提取前景具有實(shí)際使用價(jià)值，并優(yōu)于原有的方法。


圖1為輸入視頻中的相鄰兩幀。圖2為根據(jù)圖1中的相鄰幀得到的運(yùn)動場的大小。圖3為根據(jù)運(yùn)動場的大小，將速度不為零的點(diǎn)設(shè)為前景點(diǎn)的分割結(jié)果。圖4為根據(jù)一系列的不完整背景圖像得到的背景模型。
具體實(shí)施例方式以下結(jié)合附圖對本發(fā)明的實(shí)施例作詳細(xì)說明以下實(shí)施例在以本發(fā)明技術(shù)方案為 前提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和過程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施 例。實(shí)施例1.相鄰幀間運(yùn)動場的估計(jì)。圖1為實(shí)施例中輸入視頻里的兩幅幀的圖像。運(yùn)動 前后像素灰度的不變性是指對于一個(gè)像素點(diǎn)所對應(yīng)的物體點(diǎn)來說，當(dāng)它由第一幀運(yùn)動到第 二幀時(shí)，由于在時(shí)間和空間上的間隔都很短，可以假設(shè)該點(diǎn)的灰度是保持不變的。在這個(gè)條 件，利用條件隨機(jī)場可以求解出每個(gè)像素點(diǎn)對應(yīng)的運(yùn)動矢量。將第k幀的運(yùn)動場記為vk，假設(shè)在像素點(diǎn)χ處的運(yùn)動矢量Vk(X)僅和其相鄰像素 點(diǎn)y的運(yùn)動矢量Vk(y)及相鄰這兩幀的圖像gH、gk相關(guān)，即p[vk(x) |vk(y), gk_i; gk, y ^ χ] = p[vk(x) |vk(y), gk_i; gk, y e N(x)] (1)其中N(x)是指與χ相鄰像素點(diǎn)的集合。在這樣的前提下，可以將求解最大后驗(yàn)概率解變成估計(jì)最小能量問題。系統(tǒng)的能 量定義為E(Vk 1 & ) = Σ Eda,a iVk (X)丨'^J+ Σ Esmoo,h iVkh O) 1 S '^J(2)
義x’ysN其中兩個(gè)能量項(xiàng)分別定義如下Edata表示當(dāng)前像素賦值為Vk(X)的能量，用來衡量 運(yùn)動下物體像素點(diǎn)的灰度不變性。當(dāng)一個(gè)點(diǎn)從Xlri點(diǎn)運(yùn)動了 Vk(X)到達(dá)Xk點(diǎn)后，如果灰度 變化越小，那么該能量項(xiàng)越小，反之亦然。這個(gè)能量項(xiàng)定義如下Edata [vk (χ) I gH，gk] = λ min{ I gk-! [x_vk (x) ] _gk (x) I , a} (3)這里添加了一個(gè)截止項(xiàng)α，使得當(dāng)灰度變化大于α?xí)r，其能量不再增加。這用于 處理當(dāng)相鄰幀間發(fā)生遮擋的情況。λ是一個(gè)調(diào)節(jié)能量大小的縮放因子。另一個(gè)能量項(xiàng)Es_th表示相鄰像素點(diǎn)χ、y的運(yùn)動矢量分別為Vk(X)和vk(y)時(shí)的能量，用來衡量相鄰像素點(diǎn)間的運(yùn)動連續(xù)性，定義如下Esmooth [vk (χ), vk (y) Igk^1, gk] = d (gk, χ, y) min [ | vk (χ) -vk (y) | , β] (4)這里β是和式(3)中的α類似的截止項(xiàng)。d(gk，χ, y)是一個(gè)描述圖像&中X、 y像素上特征變化的函數(shù)，當(dāng)在x、y處圖像變化較大時(shí)，這個(gè)函數(shù)的值減小，當(dāng)變化平緩時(shí)， 函數(shù)值增加。這樣處理的原因是因?yàn)閷τ谙噜徬袼攸c(diǎn)間的運(yùn)動連續(xù)性在物體邊緣處并不成 立，而物體邊緣處的圖像變化一般較大，因此減少此時(shí)的能量項(xiàng)。這里選取以下函數(shù) 這里Δ (χ)，Δ (y)是χ、y處圖像的拉普拉斯變換。最后，通過置信傳播算法計(jì)算使得定義在相鄰幀間運(yùn)動場的能量項(xiàng)最小的取值。 這個(gè)值就是對于運(yùn)動場的最大后驗(yàn)估計(jì)。對于實(shí)施例中圖1給出的兩個(gè)相鄰幀，其估計(jì)得 到的運(yùn)動場的大小如圖2所示。其中越亮的點(diǎn)表示運(yùn)動速度越大，可見圖中人物擺動的手 臂是運(yùn)動速度最快的部分。在這個(gè)運(yùn)動場上，設(shè)定速度大于零的點(diǎn)(即所有發(fā)生運(yùn)動的點(diǎn))為前景點(diǎn)，這樣得 到的分割結(jié)果如圖3所示。可以看到，這個(gè)初步的分割結(jié)果雖然不是一個(gè)前景物體的準(zhǔn)確 分割，但是卻有效的去除了運(yùn)動的部分。這樣，剩下的部分就可以看作是一幅不完整的背
旦 2.利用缺失數(shù)據(jù)建立背景模型主成份分析方法作為圖像分析的常用方法，對于一幀圖像來說，其像素灰度值可 以序列化為一個(gè)大的向量。主成分分析的主要用處是降低維度，對于一個(gè)η維向量X，可以 通過一個(gè)矩陣W將其投影為一個(gè)k維向量y y = ffTx (6)這里的W是一個(gè)kXη維的矩陣。能夠使得y在k空間中逼近χ的最佳取值W即 稱為主成份。對于背景建模來說，雖然像素點(diǎn)的數(shù)量巨大，但是像素灰度間存在著很強(qiáng)的關(guān)聯(lián) 性，也就是說背景的變化是在一個(gè)非常低的維度內(nèi)。對于一幅mXn大小的圖像M，每一行看 作一個(gè)η維向量。因此，當(dāng)投影到主成份上時(shí)，每個(gè)值Yi是一個(gè)m維向量 對于步驟一中提供的一系列不完整的背景圖像，可以通過期望最大算法求解該主 成份分析問題，在實(shí)施例上的結(jié)果如圖4所示。于是所求出的圖像均值Mtl和主成份Ci (i = 1,2, ···，(!)可用于對背景建模。另Pi表示原圖像在第i個(gè)主成份上的投影，那么背景可重 建為M, + ^liPiCi⑶，即為得到的背景模型。
權(quán)利要求
一種建立圖像處理中基于運(yùn)動信息的背景模型的方法，其特征在于，包括以下步驟步驟一.相鄰幀間運(yùn)動場的估計(jì)對輸入視頻的每一對相鄰幀，用運(yùn)動前后像素灰度的不變性估計(jì)整幅圖像每個(gè)像素點(diǎn)的運(yùn)動場；其中速度大于一定閾值的像素點(diǎn)被作為是前景點(diǎn)，得到一個(gè)初始的前景分割；步驟二.利用缺失數(shù)據(jù)建立背景模型在步驟一中的到的每一幀均可以看作是原背景空間中的一個(gè)缺失了部分?jǐn)?shù)據(jù)的樣本點(diǎn)；通過視頻中一系列的缺失部分?jǐn)?shù)據(jù)的樣本點(diǎn)，重建出原背景空間；隨后通過重投影，得到每一幀的背景模型。
2.根據(jù)權(quán)利要求1所述的建立圖像處理中基于運(yùn)動信息的背景模型的方法，其特征 是，所述的運(yùn)動前后像素灰度的不變性是指對于一個(gè)像素點(diǎn)所對應(yīng)的物體點(diǎn)來說，當(dāng)它由 第一幀運(yùn)動到第二幀時(shí)，由于在時(shí)間和空間上的間隔都很短，假設(shè)該點(diǎn)的灰度是保持不變 的，在這個(gè)條件，利用條件隨機(jī)求解出每個(gè)像素點(diǎn)對應(yīng)的運(yùn)動矢量。
3.根據(jù)權(quán)利要求1所述的建立圖像處理中基于運(yùn)動信息的背景模型的方法，其特征 是，所述的運(yùn)動矢量通過以下方法獲得將第k幀的運(yùn)動場記為vk，假設(shè)在像素點(diǎn)X處的運(yùn)動矢量Vk (χ)僅和其相鄰像素點(diǎn)y的 運(yùn)動矢量Vk(y)及相鄰這兩幀的圖像gH、gk相關(guān)，即P [vk (x) Vk (y), gk_1 gk, y 乒 X] = p[vk(x) vk (y), gk_1 gk, y e N(x)] 其中N(x)是指與χ相鄰像素點(diǎn)的集合；在這樣的前提下，可以將求解最大后驗(yàn)概率解變成估計(jì)最小能量問題 系統(tǒng)的能量定義為E(vk I 仏)=Σ E-a [Vt (■*) I ,仏]+ Σ ^smoothχx’ysN其中兩個(gè)能量項(xiàng)分別定義如下=Edata表示當(dāng)前像素賦值為Vk(X)的能量，用來衡量運(yùn)動 下物體像素點(diǎn)的灰度不變性；當(dāng)一個(gè)點(diǎn)從Xlri點(diǎn)運(yùn)動了 Vk(X)到達(dá)Xk點(diǎn)后，如果灰度變化越小，那么該能量項(xiàng)越小， 反之亦然。
4.根據(jù)權(quán)利要求1所述的建立圖像處理中基于運(yùn)動信息的背景模型的方法，其特征 是，所述的能量項(xiàng)定義如下Edata [vk (χ) I gk_!, gk] = λ min {| gk_! [x_vk (χ) ] -gk (χ) |, α } (3) 這里添加了一個(gè)截止項(xiàng)α，使得當(dāng)灰度變化大于α?xí)r，其能量不再增加，這用于處理 當(dāng)相鄰幀間發(fā)生遮擋的情況，λ是一個(gè)調(diào)節(jié)能量大小的縮放因子；另一個(gè)能量項(xiàng)E—表示相鄰像素點(diǎn)x、y的運(yùn)動矢量分別為Vk(X)和Vk(y)時(shí)的能量， 用來衡量相鄰像素點(diǎn)間的運(yùn)動連續(xù)性，定義如下Esmooth [Vk (X)，Vk (y) Igk-I，gk] = d (gk, X, y) min [ | vk (χ) -vk (y) |, β] 這里β是和式⑶中的α類似的截止項(xiàng)。d(gk，x，y)是一個(gè)描述圖像&中乂、7像素 上特征變化的函數(shù)，當(dāng)在X、Y處圖像變化較大時(shí)，這個(gè)函數(shù)的值減小，當(dāng)變化平緩時(shí)，函數(shù) 值增加；因此減少此時(shí)的能量項(xiàng)，選取以下函數(shù) 這里Δ (χ)，Δ (y)是χ、y處圖像的拉普拉斯變換；最后，通過置信傳播法計(jì)算使得定義在相鄰幀間運(yùn)動場的能量項(xiàng)最小的取值。
5.根據(jù)權(quán)利要求1所述的建立圖像處理中基于運(yùn)動信息的背景模型的方法，其特征 是，所述的步驟二具體是指對于一幀圖像來說，其像素灰度值可以序列化為一個(gè)大的向 量，對于一個(gè)η維向量X，通過一個(gè)矩陣W將其投影為一個(gè)k維向量y : ν =這里的W是一個(gè)kXn維的矩陣，能夠使得y在k空間中逼近χ的最佳取值W即稱為主 成份；像素灰度間存在著關(guān)聯(lián)性，對于一幅mXn大小的圖像M，每一行看作一個(gè)η維向量，因 此，當(dāng)投影到主成份上時(shí)，每個(gè)值Yi是一個(gè)m維向量 Y = MW對于步驟一中提供的一系列不完整的背景圖像，可求解該主成份，所求出的圖像均值 M0和主成份Ci (i = 1,2,…，d)可用于對背景建模，另Pi表示原圖像在第i個(gè)主成份上的投影，那么背景可重建為 ，即為得到的背景模型。
全文摘要
一種圖像處理技術(shù)領(lǐng)域的建立圖像處理中基于運(yùn)動信息的背景模型的方法。包括1)相鄰幀間運(yùn)動場的估計(jì)對輸入視頻的每一對相鄰幀，該方法利用運(yùn)動前后像素灰度的不變性估計(jì)整幅圖像每個(gè)像素點(diǎn)的運(yùn)動場。其中速度大于一定閾值的像素點(diǎn)被作為是前景點(diǎn)，得到一個(gè)初始的前景分割。2)利用缺失數(shù)據(jù)建立背景模型在步驟1中的到的每一幀均可以看作是原背景空間中的一個(gè)缺失了部分?jǐn)?shù)據(jù)的樣本點(diǎn)。通過視頻中一系列的缺失部分?jǐn)?shù)據(jù)的樣本點(diǎn)，重建出原背景空間。隨后通過重投影，得到每一幀的背景模型。
文檔編號H04N7/18GK101916449SQ20101025954
公開日2010年12月15日 申請日期2010年8月21日 優(yōu)先權(quán)日2010年8月21日
發(fā)明者劉允才, 孫兵, 張鳴, 李科 申請人:上海交通大學(xué)