專利名稱：基于方向性跟蹤窗口的像素標(biāo)號(hào)傳播方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種像素標(biāo)號(hào)傳播方法，尤其涉及一種基于方向性跟蹤窗口的像素標(biāo)號(hào)傳播方法。
背景技術(shù)：
視頻幀間的標(biāo)號(hào)傳播是視頻處理，尤其是視頻編輯中常見的問題。標(biāo)號(hào)通常可表示視頻處理的結(jié)果，標(biāo)號(hào)傳播可以理解為已知某一幀的結(jié)果，對(duì)其它幀的結(jié)果進(jìn)行求解的過(guò)程。比如在區(qū)域跟蹤和前景分割中，用戶可以通過(guò)交互獲得某一幀的結(jié)果，再利用標(biāo)號(hào)傳播獲得其它視頻幀的結(jié)果。標(biāo)號(hào)傳播通常采用以下三種方法1、基于圖像匹配的方法基于圖像匹配的方法首先將輸入幀與目標(biāo)的幀的圖像進(jìn)行配準(zhǔn)，再依據(jù)像素的對(duì)應(yīng)關(guān)系將輸入幀的像素標(biāo)號(hào)拷貝到目標(biāo)幀。因此，這一類的標(biāo)號(hào)傳播方法等價(jià)于進(jìn)行圖像匹配。圖像匹配是計(jì)算機(jī)視覺中的經(jīng)典問題，一般采用光流跟蹤進(jìn)行。由于遮擋、邊緣模糊等的影響，精確的圖像匹配很難得到?；诰植刻卣鞯墓饬鞣椒ú贿m用于圖像的平坦區(qū)域，而基于全局優(yōu)化的方法又對(duì)遮擋等造成的視頻不連續(xù)性很敏感。因此，雖然理論上標(biāo)號(hào)傳播可以等價(jià)于圖像匹配，但實(shí)際上這一類方法較少被獨(dú)立應(yīng)用，通常都只是用于獲得一個(gè)初始結(jié)果。2、基于全局分類器的方法基于全局分類器的方法首先對(duì)每個(gè)像素提取其特征，并依據(jù)像素在特征空間的距離和鄰接關(guān)系，在特征空間完成標(biāo)號(hào)的傳播。所謂全局分類器，是指目標(biāo)幀的所有像素都共享同一分類器，而與像素的位置無(wú)關(guān)。這一類方法的一個(gè)典型例子是基于全局顏色分布的視頻分割，該方法以像素顏色作為特征，首先以已知標(biāo)號(hào)的前景和背景像素顏色為樣本，獲得前景和背景在顏色空間的分布函數(shù)，再基于分布函數(shù)對(duì)未知像素進(jìn)行分類。基于全局分類器的方法忽略了像素的空間位置關(guān)系，而直接在特征空間對(duì)標(biāo)號(hào)進(jìn)行傳播，這使得其在特征具有二義性的區(qū)域很容易出錯(cuò)，比如在前景和背景顏色相似的區(qū)域，基于全局顏色分布的視頻分割方法會(huì)產(chǎn)生大量的錯(cuò)誤。不過(guò)，由于忽略了像素的空間位置關(guān)系，并可以在較大范圍進(jìn)行采樣，也使得基于全局特征分布的方法可以較好地處理視頻中的時(shí)間不連續(xù)性(即由于遮擋、拓?fù)渥兓?、快速運(yùn)動(dòng)等導(dǎo)致的新出現(xiàn)區(qū)域)。3、基于局部分類器的方法在Adobe After Effects 5中新引入的RotoBrush工具采用了局部分類器進(jìn)行標(biāo)號(hào)傳播其目的是為了克服全局分類器在特征具有二義性的區(qū)域容易出錯(cuò)的缺點(diǎn)，與全局分類器不同，每個(gè)局部分類器只覆蓋目標(biāo)圖像的一個(gè)局部區(qū)域，而訓(xùn)練局部分類器的樣本則來(lái)自于輸入圖像的對(duì)應(yīng)區(qū)域。這實(shí)際上是利用像素空間位置關(guān)系的一種方式。另一方面，由于局部分類器所覆蓋的區(qū)域比全局分類器要小得多，因此特征分布也相對(duì)較為簡(jiǎn)單，從而進(jìn)一步降低了其出錯(cuò)的可能性。本發(fā)明所解決的技術(shù)問題有別于常見的視覺跟蹤，一種非參數(shù)化模型的視覺跟蹤方法，No. 200910080381. 8和視頻目標(biāo)標(biāo)記實(shí)時(shí)多目標(biāo)標(biāo)記及質(zhì)心運(yùn)算方法，No. 200510047785. 9，以及特征點(diǎn)跟蹤一種顯微序列圖像的多特征點(diǎn)跟蹤方法，No. 201010516768. 6。視覺跟蹤和目標(biāo)標(biāo)記都可歸結(jié)為對(duì)區(qū)域的標(biāo)記問題，而像素標(biāo)號(hào)傳播需要對(duì)每個(gè)像素進(jìn)行標(biāo)記，因此與視頻分割關(guān)系更為緊密。本發(fā)明也可直接用于視頻分割。特征點(diǎn)跟蹤屬于圖像匹配的方法，但只處理視頻中少部分易于跟蹤的像素，不能被用于像素標(biāo)號(hào)傳播。本發(fā)明所采用的方向性窗口主要是為了更好地利用顏色分布，因此與特征跟蹤和圖像匹配都有本質(zhì)的區(qū)別。采用局部分類器的一個(gè)關(guān)鍵步驟是定義每個(gè)分類器的覆蓋區(qū)域，即跟蹤窗口。跟蹤窗口越大，每個(gè)窗口內(nèi)的特征分布就越復(fù)雜，且包含二義特征的可能性就越大，這將導(dǎo)致與全局分類器類似的問題；跟蹤窗口越小，則對(duì)二義特征的魯棒性會(huì)越好，但同時(shí)會(huì)導(dǎo)致對(duì)視頻幀間的局部不連續(xù)性敏感，在快速運(yùn)動(dòng)和新出現(xiàn)的區(qū)域更容易出錯(cuò)；現(xiàn)有的局部分類器都采用規(guī)則形狀的跟蹤窗口即正方形或圓形跟蹤窗口，但是在同時(shí)面臨二義特征和幀間不連續(xù)問題時(shí)很難獲得令人滿意的效果；本發(fā)明所公開的方向性跟蹤窗口，將有助于克服局部分類器的這一缺點(diǎn)。

發(fā)明內(nèi)容
本發(fā)明的目的就是為了解決上述問題，提供一種基于方向性跟蹤窗口的像素標(biāo)號(hào)傳播方法，它具有有效利用空間下文關(guān)系和減少由二義特征導(dǎo)致錯(cuò)誤的優(yōu)點(diǎn)。為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案一種基于方向性跟蹤窗口的像素標(biāo)號(hào)傳播方法，具體步驟為步驟一將輸入圖像中的待傳播區(qū)域膨脹30-70像素，結(jié)果作為目標(biāo)圖像中的待標(biāo)記區(qū)域；步驟二 對(duì)所有指定的方向，在目標(biāo)圖像中沿每個(gè)方向布置跟蹤窗口，使每個(gè)方向上的跟蹤窗口都完全覆蓋待標(biāo)記區(qū)域；步驟三對(duì)每個(gè)跟蹤窗口，以跟蹤窗口在輸入幀中覆蓋的像素為樣本，以像素顏色為特征，對(duì)每一種標(biāo)號(hào)L建立相應(yīng)的高斯混合模型P (X |l)以表示其顏色分布，X為待標(biāo)記像素的顏色；所述標(biāo)號(hào)表示對(duì)像素分成的類的標(biāo)記，每一類用一個(gè)標(biāo)號(hào)來(lái)標(biāo)記；步驟四對(duì)每個(gè)跟蹤窗口，計(jì)算其所覆蓋的每個(gè)待標(biāo)記像素屬于每種標(biāo)號(hào)的概率；步驟五對(duì)每個(gè)跟蹤窗口，計(jì)算其對(duì)每個(gè)待標(biāo)記像素所估計(jì)概率的置信度；步驟六依次處理所有方向上的所有跟蹤窗口 ；步驟七對(duì)每個(gè)待標(biāo)記像素，記錄覆蓋該像素的所有跟蹤窗口對(duì)其計(jì)算出的概率和置信度，以置信度最大的窗口所輸出的概率確定該像素的標(biāo)號(hào)。所述跟蹤窗口的寬度確定、長(zhǎng)度可變的跟蹤窗口，所述跟蹤窗口的寬度為W個(gè)像素。步驟二的具體步驟為(2-1)首先布置水平跟蹤窗口，自頂向下掃描到包含待標(biāo)記區(qū)域的第一行，記為r0 ;分別以第A行和第r(l+W-l行為第一個(gè)跟蹤窗口的上端和下端；計(jì)算這些行中待標(biāo)記像素的起始列和結(jié)束列，即從左往右掃描，包含第一個(gè)待標(biāo)記像素的列為起始列，包含最后一個(gè)待標(biāo)記像素的列為結(jié)束列，并分別設(shè)為第一個(gè)跟蹤窗口的左端和右端；以第A+2W/3行為第2個(gè)跟蹤窗口的起始行，以第r(l+2(k-l)W/3為第k個(gè)跟蹤窗口的起始行(相鄰的跟蹤窗口之間有W/3的重疊區(qū)域)，采用同樣的方式布置后續(xù)的跟蹤窗口，直到所有待標(biāo)記像素被完全覆蓋為止，k為自然數(shù)；(2-2)對(duì)其它任意方向Θ，可先將目標(biāo)圖像順時(shí)針旋轉(zhuǎn)Θ度，按照步驟(2-1)中布置水平跟蹤窗口的方法布置跟蹤窗口，再將目標(biāo)圖像逆時(shí)針旋轉(zhuǎn)Θ度，獲得Θ方向上的跟蹤窗口。步驟三的高斯混合模型P (XIL)的具體形式為;Φ IL) = ^mkN(nk,ak)，其中N為
k 二I
正態(tài)分布，^ k, σ k分別為其均值和方差，Cok為第k項(xiàng)的權(quán)重,K為高斯項(xiàng)的個(gè)數(shù),一般取為
3-5之間，參數(shù)Jik, ok, (Ok都可以通過(guò)期望值最大化(Expectation-Maxmization)算法得到。步驟四的具體步驟為(4-1)記跟蹤窗口內(nèi)標(biāo)號(hào)I的像素顏色分布為p(x|L = I)，由步驟三所得的高斯混合模型來(lái)計(jì)算；(4-2)設(shè)標(biāo)號(hào)的個(gè)數(shù)為M，則待標(biāo)記像素i屬于標(biāo)號(hào)I的概率為
權(quán)利要求
1.一種基于方向性跟蹤窗口的像素標(biāo)號(hào)傳播方法，其特征是，具體步驟為步驟一將輸入圖像中的待傳播區(qū)域膨脹30-70像素，結(jié)果作為目標(biāo)圖像中的待標(biāo)記區(qū)域；步驟二 對(duì)所有指定的方向，在目標(biāo)圖像中沿每個(gè)方向布置跟蹤窗口，使每個(gè)方向上的跟蹤窗口都完全覆蓋待標(biāo)記區(qū)域；步驟三對(duì)每個(gè)跟蹤窗口，以跟蹤窗口在輸入幀中覆蓋的像素為樣本，以像素顏色為特征，對(duì)每一種標(biāo)號(hào)L建立相應(yīng)的高斯混合模型P (XIL)以表不其顏色分布；步驟四對(duì)每個(gè)跟蹤窗口，計(jì)算其所覆蓋的每個(gè)待標(biāo)記像素屬于每種標(biāo)號(hào)的概率； 步驟五對(duì)每個(gè)跟蹤窗口，計(jì)算其對(duì)每個(gè)待標(biāo)記像素所估計(jì)概率的置信度；步驟六依次處理所有方向上的所有跟蹤窗口 ；步驟七對(duì)每個(gè)待標(biāo)記像素，記錄覆蓋該像素的所有跟蹤窗口對(duì)其計(jì)算出的概率和置信度，以置信度最大的窗口所輸出的概率確定該像素的標(biāo)號(hào)。
2.如權(quán)利要求1所述基于方向性跟蹤窗口的像素標(biāo)號(hào)傳播方法，其特征是，所述跟蹤窗口的寬度確定、長(zhǎng)度可變的方向性窗口，所述跟蹤窗口的寬度為W個(gè)像素。
3.如權(quán)利要求1所述基于方向性跟蹤窗口的像素標(biāo)號(hào)傳播方法，其特征是，所述步驟二的具體步驟為(2-1)首先布置水平跟蹤窗口，自頂向下掃描到包含待標(biāo)記區(qū)域的第一行，記為A ;分別以第A行和第A+W-1行為第一個(gè)跟蹤窗口的上端和下端；計(jì)算這些行中待標(biāo)記像素的起始列和結(jié)束列，即從左往右掃描，包含第一個(gè)待標(biāo)記像素的列為起始列，包含最后一個(gè)待標(biāo)記像素的列為結(jié)束列，并分別設(shè)為第一個(gè)跟蹤窗口的左端和右端；以第A+2W/3行為第2個(gè)跟蹤窗口的起始行，以第4+2 (k-1) W/3為第k個(gè)跟蹤窗口的起始行，相鄰的跟蹤窗口之間有W/3的重疊區(qū)域，采用同樣的方式布置后續(xù)的跟蹤窗口，直到所有待標(biāo)記像素被完全覆蓋為止，k為自然數(shù)；(2-2)對(duì)其它任意方向Θ，可先將目標(biāo)圖像順時(shí)針旋轉(zhuǎn)Θ度，按照步驟(2-1)中布置水平跟蹤窗口的方法布置跟蹤窗口，再將目標(biāo)圖像逆時(shí)針旋轉(zhuǎn)Θ度，獲得Θ方向上的跟蹤窗P。
4.如權(quán)利要求1所述基于方向性跟蹤窗口的像素標(biāo)號(hào)傳播方法，其特征是，所述步驟三的高斯混合模型P(XlL)的具體形式為/ΗΛ /,) = /4Λ/(Α,Α)，其中N為正態(tài)分布，fe 二I^ k, Ok分別為其均值和方差，COk為第k項(xiàng)的權(quán)重，K為高斯項(xiàng)的個(gè)數(shù)，參數(shù)3Ik, Ok, COk都通過(guò)期望值最大化算法得到。
5.如權(quán)利要求1所述基于方向性跟蹤窗口的像素標(biāo)號(hào)傳播方法，其特征是，所述步驟四的具體步驟為(4-1)記跟蹤窗口內(nèi)標(biāo)號(hào)I的像素顏色分布的高斯混合模型為p(x|L = I)；(4-2)設(shè)標(biāo)號(hào)的個(gè)數(shù)為M,則待標(biāo)記像素i屬于標(biāo)號(hào)I的概率為
6.如權(quán)利要求1所述基于方向性跟蹤窗口的像素標(biāo)號(hào)傳播方法，其特征是，所述步驟五的具體方法為跟蹤窗口所覆蓋的每個(gè)待標(biāo)記像素i所估計(jì)屬于跟蹤窗口內(nèi)標(biāo)號(hào)I概率的置信度為
7.如權(quán)利要求1所述基于方向性跟蹤窗口的像素標(biāo)號(hào)傳播方法，其特征是，所述同一方向的窗口相互平行。
8.如權(quán)利要求1所述基于方向性跟蹤窗口的像素標(biāo)號(hào)傳播方法，其特征是，所述同一方向的相鄰窗口之間沒有間隙且有一定的重疊區(qū)域。
全文摘要
本發(fā)明公開了一種基于方向性狹長(zhǎng)跟蹤窗口的像素標(biāo)號(hào)傳播方法，具體步驟為步驟一確定目標(biāo)圖像中的待標(biāo)記區(qū)域；步驟二在目標(biāo)圖像中布置跟蹤窗口，使跟蹤窗口覆蓋待標(biāo)記區(qū)域；步驟三以跟蹤窗口在輸入圖像中覆蓋的像素為樣本，對(duì)每類標(biāo)號(hào)建立高斯混合模型；步驟四計(jì)算跟蹤窗口所覆蓋的每個(gè)待標(biāo)記像素屬于每個(gè)標(biāo)號(hào)的概率密度；步驟五計(jì)算跟蹤窗口對(duì)每個(gè)待標(biāo)記像素所估計(jì)概率的置信度；步驟六處理所有方向上的所有跟蹤窗口；步驟七根據(jù)每個(gè)窗口所覆蓋的待標(biāo)記像素屬于每種標(biāo)號(hào)的概率和置信度，確定該待標(biāo)記像素所屬的標(biāo)號(hào)。本發(fā)明具有有效利用空間下文關(guān)系和減少由二義特征導(dǎo)致的錯(cuò)誤。
文檔編號(hào)G06T7/20GK102999921SQ20121045243
公開日2013年3月27日 申請(qǐng)日期2012年11月9日 優(yōu)先權(quán)日2012年11月9日
發(fā)明者鐘凡, 秦學(xué)英, 彭群生, 孟祥旭 申請(qǐng)人:山東大學(xué)