專利名稱：一種視頻運動對象分割方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻領(lǐng)域，尤其涉及一種視頻運動對象分割方法。
背景技術(shù)：
視頻運動對象分割是指將視頻中的運動對象從背景中分割出來，它是基于對象的視頻檢索、面向?qū)ο蟮囊曨l壓縮編碼、基于視頻的智能人機(jī)交互等基于內(nèi)容的視頻應(yīng)用的基礎(chǔ)。
目前，視頻對象分割算法主要有三類空域算法、時序算法和混合算法。空域分割主要依據(jù)圖像的亮度、顏色、紋理、邊緣等空間屬性進(jìn)行分割，它能獲得精確的對象輪廓邊緣，但由于只使用了空域信息，分割結(jié)果在語義上不一定完整；時序分割依據(jù)時間(運動)屬性分割圖像，比如利用幀差，可以快速地檢測出幀間的變化區(qū)域，但僅使用運動信息不能獲得精確的對象輪廓；混合算法綜合利用時空屬性對圖像進(jìn)行分割，它們通常先在全圖上進(jìn)行空間分割，將全圖分割成若干空間屬性一致的區(qū)域，然后對各個區(qū)域進(jìn)行分類，分類主要依據(jù)由運動估計獲得的運動信息進(jìn)行，最后將各區(qū)域按類合并得到具有語義的視頻對象?；旌纤惴軌驕?zhǔn)確地分割出語義對象，但由于在全圖上進(jìn)行分割、合并，往往需要大量的計算開銷。同時，運動估計易受對象的不規(guī)則運動(如快速移動、非剛性形變)，和光照的影響，從而造成對區(qū)域的分類不準(zhǔn)確。
綜上所述，要準(zhǔn)確地分割出視頻中的運動對象，必須綜合考慮視頻序列的時空屬性。而現(xiàn)有的混合算法又存在著分割速度慢，且分割的準(zhǔn)確度易受對象的不規(guī)則運動和光照的影響。

發(fā)明內(nèi)容
本發(fā)明的目的是為了克服上述技術(shù)缺陷，為了提高視頻運動對象的分割速度，提高分割的準(zhǔn)確度，克服基于運動估計的區(qū)域分類易受不規(guī)則運動和光照的影響，從而提供一種視頻運動對象分割方法。
為了解決上述技術(shù)問題，本發(fā)明提供一種視頻運動對象分割方法，包括以下步驟a)對相鄰的視頻幀進(jìn)行全局運動估計和補償；b)對相鄰幀的幀差進(jìn)行二值化；c)計算運動對象多幀間的連續(xù)差分獲得準(zhǔn)確的初始區(qū)域；d)初始區(qū)域內(nèi)的彩色梯度計算，得出彩色梯度信息，彩色梯度是在YCbCr顏色空間計算的，通過對標(biāo)準(zhǔn)化后的Y、Cb、Cr的梯度求取加權(quán)最大獲得；e)根據(jù)彩色梯度信息，在初始區(qū)域上進(jìn)行快速分水嶺分割，按照相鄰區(qū)域的相似度合并小區(qū)域以消除圖像的過度分割；f)根據(jù)區(qū)域的空間、時序和鄰域相似度，對區(qū)域的分類分別加以空間約束、時序約束和鄰域約束，并使用MRF模型將這三類約束結(jié)合，通過求解MRF的最大后驗概率，即后驗?zāi)芰亢瘮?shù)的最小，將各區(qū)域分類為前景或背景，從而獲得準(zhǔn)確的區(qū)域分類；g)將所有的前景區(qū)域合并，分割出運動對象。
在上述方案中，所述后驗?zāi)芰繛榭臻g約束能量、時序約束能量和鄰域約束能量之和。
在上述方案中，所述后驗?zāi)芰亢瘮?shù)表示后驗?zāi)芰繛榭臻g約束能量、時序約束能量和鄰域約束能量的加權(quán)和。
在上述方案中，所述空間約束是根據(jù)割域與周圍背景的相似度，判斷割域為背景的可能性，空間相似度比閾值越大，割域為背景的可能性越高。
在上述方案中，所述時序約束是根據(jù)割域與前一幀分割結(jié)果的相似度，判斷割域為背景的可能性，時序相似度比閾值越大，割域為前景的可能性越大。
在上述方案中，所述鄰域約束是根據(jù)相鄰割域的相似度，判斷割域的分類。
在上述方案中，所述相鄰割域越相似，它們的分類就越可能相同。
由上可知，為了提高分割速度，本發(fā)明在對圖像進(jìn)行空間分割之前，先進(jìn)行時序分割，將包含運動對象的初始區(qū)域和背景分離，隨后的空間分割以及對區(qū)域的分類、合并都僅在初始區(qū)域上進(jìn)行，從而大大減少了計算開銷；為了克服基于運動估計的區(qū)域分類的缺點，本發(fā)明根據(jù)區(qū)域與背景、前一幀分割結(jié)果及其相鄰區(qū)域的相似度在MRF模型中分別加入空間、時序和鄰域約束，通過求解MRF的最大后驗概率獲得準(zhǔn)確的區(qū)域分類，最終準(zhǔn)確地分割出運動對象。


圖1是本發(fā)明一種視頻運動對象分割方法的流程圖。
具體實施例方式
本發(fā)明首先對圖像進(jìn)行時序分割，它在完成全局運動估計和補償、幀差二值化后，通過計算多幀間的連續(xù)差分準(zhǔn)確地將包含運動對象的初始區(qū)域和背景分離；接著，用基于彩色梯度的分水嶺算法將初始區(qū)域分割成若干空間屬性一致的區(qū)域；最后對區(qū)域進(jìn)行分類和合并，它通過求解結(jié)合空間、時序和鄰域約束的MRF的最大后驗概率對區(qū)域進(jìn)行分類和合并實現(xiàn)準(zhǔn)確的對象分割。
下面結(jié)合附圖詳細(xì)說明本發(fā)明的技術(shù)方案。
如圖1所示的視頻運動對象分割方法，包括以下步驟步驟100，對相鄰的視頻幀進(jìn)行全局運動估計和補償；在步驟100中，若背景存在運動(主要是由攝像機(jī)的平移、旋轉(zhuǎn)和縮放等運動造成)，則必須在求取幀差前進(jìn)行全局運動估計和補償，以消除背景運動對幀差的影響。全局運動可用6參數(shù)仿射變換模型表示x′=ax+by+ey′=cx+dy+f]]>設(shè)(x，y)為某像素點在當(dāng)前幀中的位置，(x′，y′)為該點在相鄰幀中的位置，(a，b，e，c，d，f)為全局運動參數(shù)。全局運動估計可用Gauss-Newton(GN)方法迭代求解。為提高效率，GN方法在三層金字塔上計算， 金字塔用[1/4，1/2，1/4]濾波器產(chǎn)生。完成全局運動估計后，通過全局運動補償就可將運動背景問題轉(zhuǎn)化為靜止背景問題。
步驟110，對相鄰幀的幀差進(jìn)行二值化；在步驟110中，用dt，t′表示相鄰兩幀It和It′的幀差，dt，t′(p)＝W×It(p)-W×It′(p′)，W為平滑濾波的窗口函數(shù)。二值差分模板Dt，t′為Dt,t′(p)=1ifdt,t′(p)>T0else]]>其中閾值T的選取與攝像機(jī)噪聲的大小相關(guān)，可根據(jù)具體的視頻應(yīng)用場合在5~10之間選取。
求得Dt，t′后，對其進(jìn)行連通成份分析，消除由攝像機(jī)噪聲造成的小面積、孤立噪聲區(qū)域，并填充前景區(qū)域中的空缺。然后，用閉操作和開操作平滑前景區(qū)域的邊緣。
步驟120，計算運動對象多幀間的連續(xù)差分獲得準(zhǔn)確的初始區(qū)域；在步驟120中，在Dt，t′中通常會包含一部分背景。為了獲得更為精確的初始區(qū)域，我們用當(dāng)前幀It的前一幀It-1和后一幀It+1計算連續(xù)差分令Dt，t-1，Dt，t+1分別為It和It-1、It和It+1的二值化差分模板，求Dt，t-1和Dt，t+1的交集獲得細(xì)化的初始區(qū)域模板DtDt＝Dt，t-1IDt，t+1通過連續(xù)差分我們可以獲得更為精確的初始區(qū)域IFt和當(dāng)前背景IBt，在IFt中只留下了很少的背景區(qū)域。
上述步驟100、步驟110和步驟120完成了對運動對象的時序分割，獲得了運動對象準(zhǔn)確的初始區(qū)域，從而使得包含運動對象的初始區(qū)域與背景分離。
步驟130，初始區(qū)域內(nèi)的彩色梯度計算；在步驟130中，計算初始區(qū)域IFt在YCbCr顏色空間的彩色梯度，Y是指灰度，Cb、Cr是指兩個色度，用Canny算子計算圖像在Y、Cb和Cr分量上的梯度圖GY、GCb和GCr，由于這三個梯度圖的取值范圍并不一致，先將它們標(biāo)準(zhǔn)化至
區(qū)間得到GY′、GCb′和GCr′，再計算彩色梯度GcolGcol(p)=255·max{ωY·GY′(p),ωCb·GCb′(p),ωCr·GCr′(p)}ifDt(p)=10else]]>其中，ωY，ωCb，ωCr分別為三個分量的權(quán)值。求得Gcol后，可使用Fast ImmersionSimulation方法實現(xiàn)快速分水嶺分割，然后按照相鄰區(qū)域的相似度合并小區(qū)域以消除圖像的過度分割。
步驟140，在初始區(qū)域上進(jìn)行快速分水嶺分割， 按照相鄰區(qū)域的相似度合并小區(qū)域以消除圖像的過度分割。
在步驟140中，求得Gcol后，可使用Fast Immersion Simulation(快速浸入模擬法)方法實現(xiàn)快速分水嶺分割。
通過對初始區(qū)域進(jìn)行基于彩色梯度的分水嶺分割，可將初始區(qū)域分割成了若干空間屬性一致的區(qū)域，同時也大大減少了后繼分類處理中所需計算的區(qū)域數(shù)量。為了表述方便，用Rt={Rtl,L,RtK}]]>表示空間分割所獲得的區(qū)域集合，Ni為Rti內(nèi)的像素數(shù)，Nor(Rti)為Rti的鄰居集合。E為所有的鄰接關(guān)系集合，即E={(i,j)|Rtj∈Nor(Rti)]]>且i≠j}。對象初始區(qū)域IFt=Ui=1KRti,]]>當(dāng)前背景IBt＝It-IFt。用IOt-1表示從前一幀It-1中分割出的運動對象，即IOt-1=UL(Rt-1i)=FRt-1i,]]>L(Rt-1i)表示區(qū)域Rt-1i的分類(L(Rt-1i)∈{F,B},]]>F為前景，B為背景)。
上述步驟130和步驟140完成了運動對象初始區(qū)域上的空間分割，產(chǎn)生了不同的運動對象區(qū)域分類。
步驟150，根據(jù)區(qū)域的空間、時序和鄰域相似度，即區(qū)域與背景、前一幀分割結(jié)果及其相鄰區(qū)域的相似度，對區(qū)域的分類分別加以空間約束、時序約束和鄰域約束，并使用MRF模型將這三類約束結(jié)合，通過求解MRF的最大后驗概率(即后驗?zāi)芰亢瘮?shù)的最小)將各區(qū)域分類為前景或背景，從而獲得準(zhǔn)確的區(qū)域分類。后驗概率是指各個區(qū)域設(shè)定為不同的分類時，MRF有不同的后驗概率。而與MRF的最大后驗概率相對應(yīng)的各區(qū)域的分類才是最終的解。若所有的區(qū)域本身都是背景，而對他們的分類也都是背景時，MRF的后驗概率為1，若對他們的分類都是前景時，MRF的后驗概率為0；若所有的區(qū)域本身都是前景，而對他們的分類也都是前景時，MRF的后驗概率為1，若對他們的分類都是背景時，MRF的后驗概率為0。
在步驟150中，后驗?zāi)芰繛榭臻g約束能量、時序約束能量和鄰域約束能量之和。
在本發(fā)明中，對空間約束、時序約束和鄰域約束定義如下A．空間約束根據(jù)割域與周圍背景的相似度SD(Rti)， 判斷割域是為背景的可能性。
SD(Rti)=minv1NbΣl=13ωl·Σp∈Rti|Itl(p)-Itl(p+v)|,Dt(p+v)=0]]>且Nb>23Ni]]>B．時序約束根據(jù)割域與前一幀分割結(jié)果的相似度TD(Rti)，判斷割域是為背景的可能性。
TD(Rti)=minRt-1jΣl=13ωl·|avgp∈RtiItl(p)-avgp∈Rt-1jIt-1l(p)|,L(Rt-1j)=F]]>C.鄰域約束根據(jù)相鄰割域的相似度RD(Rti，Rtj)，判斷割域的分類。若相鄰割域越相似，它們的分類就越有可能相同。
RD(Rti,Rtj)=Σl=13ωl·|avgp∈RtiItl(p)-avgp∈RtjItl(p)|,Rtj∈Nor(Rti)]]>令X＝{X1，L XK}為一組離散隨機(jī)變量，Xt表示區(qū)域Rti的分類的隨機(jī)變量，即Xt∈{F，B}。O＝{O1，L，OK}為各個區(qū)域的觀察集合。根據(jù)Hammersley-Cliffod理論]和Bayes規(guī)則，可將復(fù)雜的MRF最大后驗概率(MAP)轉(zhuǎn)化為簡單的后驗?zāi)芰孔钚栴}
X^=argmaxXP(X|O)=argminXUp(X|O)]]>其中，P(X|O)為MRF的后驗概率，Up(X|O)為后驗?zāi)芰俊?使得P(X|O)最大，它是所要求取的各個區(qū)域的分類。后驗?zāi)芰康淖钚』墒褂肏CF(HighConfidence First)算法快速求解。
定義MRF的后驗?zāi)芰亢瘮?shù)Up(X|O)Up(X|O)=Σi=1Kα·ViS(X,O)+β·ViT(X,O)+Σ(i,j)∈Eγ·VijR(X,O)]]>其中，ViS(X，O)、ViT(X，O)、VijR(X，O)分別為表示空間約束、時序約束和鄰域約束的能量函數(shù)，α、β、γ分別表示空間約束能量、時序約束能量和鄰域約束能量的權(quán)重。
A.空間約束能量ViS(X，O)ViS(X,O)=f(SD(Rti),Ts,SDh,SDl)Xi=B1-f(SD(Rti),Ts,SDh,SDl)Xi=F]]>其中，SDh=maxiSD(Rti),]]>SDl=miniSD(Rti),]]>SD(Rti)為Rti與IBt匹配的空間相似度SD(Rti)=minv1NbΣl=13ωl·Σp∈Rti|Itl(p)-Itl(p+v)|,]]>且Nb>23Ni]]>It1(p)，It2(p)，It3(p)分別為Y、Cb和Cr分量在位置p上的值，ω1，ω2，ω3分別為三個分量的權(quán)值，v為Rti的匹配向量，可在w×w的匹配窗口內(nèi)取值，Nb為與Rti匹配的背景像素的數(shù)量。函數(shù)f(d，T，dh，dl)為分段量化函數(shù)，它將d量化至
區(qū)間f(d,T,dh,dl)=0.5×(d-dl)/(T-dl)ifd<T0.5+0.5×(d-T)/(dh-T)else]]>ViS(X，O)根據(jù)區(qū)域Rti的空間相似度與閾值Ts的大小關(guān)系描述它為背景或前景的可能性。由于IFt中只有一小部分區(qū)域不屬于運動對象，并且它們與周圍IBt中的區(qū)域很相似，因此可以根據(jù)區(qū)域與背景的相似度，計算它為背景的可能性，這樣不僅克服了基于運動估計的區(qū)域分類易受不規(guī)則運動和光照影響的缺陷，同時也解決了覆蓋背景和顯露背景的分類問題。空間相似度比Ts越大，它為背景的可能性就越高。
B.時序約束能量VlT(X，O)ViT(X,O)=f(TD(Rti),Tt,TDh,TDl)Xi=F1-f(TD(Rti),Tt,TDh,TDl)Xi=B]]>其中，TDh=maxiTD(Rti),]]>TDl=miniTD(Rti),]]>TD(Rti)為Rti與IOt-1的匹配的時序相似度TD(Rti)=minRt-1jΣl=13ωl·|avgp∈RtiItl(p)-avgp∈Rt-1jIt-1l(p)|,L(Rt-1j)=F]]>ViT(X，O)根據(jù)區(qū)域Rti的時序相似度和閾值Tt的大小關(guān)系描述它歸類為背景或前景的可能性，時序相似度比Tt越大，它為前景的可能性就越高，區(qū)域Rti與前一幀已分割出的對象IOt-1越相似，就越有可能被歸類為前景。通過引入時序約束能量，我們可以防止將與背景相似的前景區(qū)域錯誤分類。
C.鄰域約束能量VijR(X，O)VijR(X,O)=(RD(Rti,Rtj)-RDl)/(RDh-RDl)Xi=Xj1-(RD(Rti,Rtj)-RDl)/(RDh-RDl)Xi≠Xj---(13)]]>其中，RDh=maxi,jRD(Rti,Rtj),]]>RDl=mini,jRD(Rti,Rtj),]]>RD(Rti，Rtj)為鄰域相似度RD(Rti,Rtj)=Σl=13ωl·|avgp∈RtiItl(p)-avgp∈RtjItl(p)|,Rtj∈Nor(Rti)---(14)]]>VijR(X，O)表示若相鄰割域Rtl和Rtj越相似，它們的分類就越有可能相同。
計算各割域在各種不同分類(即前景或背景)下的總體后驗?zāi)芰浚∽钚『篁災(zāi)芰克鶎?yīng)的各割域的分類為最后的解。這種方法計算復(fù)雜度很大。可使用HCF算法求得后驗?zāi)芰亢瘮?shù)Up(X|O)的最小，從而獲得使MRF的后驗概率最大的各個區(qū)域的分類。HCF(High Confidence First)-高可信度優(yōu)先算法是一種確定性迭代算法，它可在近線性的計算復(fù)雜度下求解Up(X|O)的最小，它是由P.B.Chou等在文獻(xiàn)“The theoryand practice of Bayesian image labeling”中提出的。
步驟160，將所有的前景區(qū)域合并，分割出運動對象。
權(quán)利要求
1.一種視頻運動對象分割方法，包括以下步驟a)對相鄰的視頻幀進(jìn)行全局運動估計和補償；b)對相鄰幀的幀差進(jìn)行二值化；c)計算運動對象多幀間的連續(xù)差分獲得準(zhǔn)確的初始區(qū)域；d)初始區(qū)域內(nèi)的彩色梯度計算，得出彩色梯度信息，彩色梯度是在YCbCr顏色空間計算的，通過對標(biāo)準(zhǔn)化后的Y、Cb、Cr的梯度求取加權(quán)最大獲得；e)根據(jù)彩色梯度信息，在初始區(qū)域上進(jìn)行快速分水嶺分割，按照相鄰區(qū)域的相似度合并小區(qū)域以消除圖像的過度分割；f)根據(jù)區(qū)域的空間、時序和鄰域相似度，對區(qū)域的分類分別加以空間約束、時序約束和鄰域約束，并使用MRF模型將這三類約束結(jié)合，通過求解MRF的最大后驗概率，即后驗?zāi)芰亢瘮?shù)的最小，將各區(qū)域分類為前景或背景，從而獲得準(zhǔn)確的區(qū)域分類；g)將所有的前景區(qū)域合并，分割出運動對象。
2.如權(quán)利要求1所述的一種視頻運動對象分割方法，其特征在于，所述后驗?zāi)転榭臻g約束能量、時序約束能量和鄰域約束能量之和。
3.如權(quán)利要求1所述的一種視頻運動對象分割方法，其特征在于，后驗?zāi)芰亢瘮?shù)表示后驗?zāi)芰繛榭臻g約束能量、時序約束能量和鄰域約束能量的加權(quán)和。
4.權(quán)利要求1所述的一種視頻運動對象分割方法，其特征在于，所述空間約束是根據(jù)割域與周圍背景的相似度，判斷割域是為背景的可能性，空間相似度比閾值越大，割域為背景的可能性越高。
5.如權(quán)利要求1所述的一種視頻運動對象分割方法，其特征在于，所述時序約束是根據(jù)割域與前一幀分割結(jié)果的相似度，判斷割域是為背景的可能性，時序相似度比閾值越大，割域為前景的可能性越大。
6.如權(quán)利要求1所述的一種視頻運動對象分割方法，其特征在于，所述鄰域約束是根據(jù)相鄰割域的相似度，判斷割域的分類。
7.如權(quán)利要求5所述的一種視頻運動對象分割方法，其特征在于，所述相鄰割域越相似，它們的分類就越可能相同。
全文摘要
本發(fā)明涉及一種視頻運動對象分割方法，該方法包括先對圖像進(jìn)行時序分割，將包含運動對象的初始區(qū)域和背景分離，隨后的空間分割以及區(qū)域的分類、合并都僅在初始區(qū)域上進(jìn)行，從而大大減少了計算開銷，提高分割速度；根據(jù)區(qū)域的空間、時序和鄰域相似度在MRF模型中加入空間約束、時序約束和鄰域約束，并通過求解MRF的最大后驗概率對區(qū)域分類，最終準(zhǔn)確地分割出運動對象，克服了運動估計易受不規(guī)則運動和光照影響的缺點。
文檔編號G06T7/20GK1691065SQ20041003750
公開日2005年11月2日 申請日期2004年4月23日 優(yōu)先權(quán)日2004年4月23日
發(fā)明者吳思, 林守勛, 張勇東 申請人:中國科學(xué)院計算技術(shù)研究所