專利名稱：基于背景建模和能量最小化的復(fù)雜背景實(shí)時(shí)替換方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理與計(jì)算機(jī)視覺領(lǐng)域，尤其是指一種在視頻流中對(duì)復(fù)雜背景進(jìn)
行實(shí)時(shí)準(zhǔn)確分割與替換的方法。
背景技術(shù)：
目前視頻目標(biāo)分割方法整體上可分為交互式分割和自動(dòng)式分割算法。交互式視頻目標(biāo)分割算法是指在分割過程中，借助用戶交互信息對(duì)算法進(jìn)行干預(yù)來提高分割的效果。交互式分割技術(shù)雖然已經(jīng)取得了很大的進(jìn)展，但尚存在一些問題。如交互繁瑣，工作量大，且交互存在著一定的技巧性，交互的質(zhì)量直接影響著最終的分割效果；自動(dòng)分割算法在分割過程中無需人工干預(yù)，自動(dòng)地完成特定目標(biāo)提取的分割。 若按照背景復(fù)雜度分類，自動(dòng)目標(biāo)分割可分為單色背景下的目標(biāo)分割和復(fù)雜背景下的目標(biāo)分割兩種。單色背景下的視頻分割是指在單色背景、光線均勻條件下進(jìn)行目標(biāo)的實(shí)時(shí)分割和背景替換，目前單色背景下的背景替換技術(shù)已經(jīng)成熟且商業(yè)化，如藍(lán)屏摳圖技術(shù)已應(yīng)用于虛擬演播室、電影制作中。但是單色背景對(duì)場(chǎng)景和演員著裝上有著諸多限制，如何在復(fù)雜自然背景下實(shí)現(xiàn)目標(biāo)的自動(dòng)分割與檢測(cè)，這個(gè)問題受到國(guó)內(nèi)外學(xué)者越來越多的關(guān)注。 復(fù)雜背景下基于單目的視頻分割系統(tǒng)成本廉價(jià)，系統(tǒng)構(gòu)建方便，在人機(jī)交互、視頻編輯、智能監(jiān)控和數(shù)字娛樂等領(lǐng)域具有較高的實(shí)用價(jià)值和廣泛的應(yīng)用前景。雖然人們?cè)诨趩文康囊曨l分割方面已做了大量的努力，也取得了一定的成果，但是一般的背景替換方法在復(fù)雜背景下無法實(shí)時(shí)、準(zhǔn)確地分割背景，自動(dòng)合成準(zhǔn)確性較高的虛擬背景視頻。

發(fā)明內(nèi)容
為了解決復(fù)雜背景單攝像頭下的實(shí)時(shí)準(zhǔn)確背景替換問題，本發(fā)明的目的是提供一種基于背景建模和能量最小化的復(fù)雜背景實(shí)時(shí)替換方法，可以實(shí)時(shí)準(zhǔn)確地分割出前景與背景，并將分割得到的真實(shí)背景替換成虛擬的背景圖片，以生成具有虛擬背景的視頻效果。
為了實(shí)現(xiàn)上述目的，本發(fā)明提供的基于背景建模和能量最小化的復(fù)雜背景實(shí)時(shí)替換方法，首先采用提出的融合背景模型將視頻中的每一幀圖像三分為背景區(qū)域、前景區(qū)域及未知區(qū)域；其次利用顏色和空間對(duì)比度特征構(gòu)建目標(biāo)能量函數(shù)，采用動(dòng)態(tài)圖切的方法求取目標(biāo)能量函數(shù)極值，從而將每一幀圖像實(shí)時(shí)分割為前景和背景；最后采用基于頻率濾波的邊界平滑方法和阿拉法透明度(alpha)值估計(jì)等后處理方法，使分割出的前景目標(biāo)無縫地融合到虛擬背景中；具體包括如下步驟 步驟1 :系統(tǒng)首先獲取視頻流數(shù)據(jù)，學(xué)習(xí)視頻流數(shù)據(jù)的圖像的背景，建立該圖像基于亮度的特征背景模型和基于色度的高斯模型，對(duì)兩個(gè)模型進(jìn)行線性融合，得到對(duì)光線具有抗干擾能力、具備模型更新特征、像素級(jí)的融合背景模型；依據(jù)融合背景模型，將每幀圖像像素分為前景、背景和未知類型三類標(biāo)簽； 步驟2 :根據(jù)步驟1在視頻當(dāng)前幀中，系統(tǒng)已確定部分像素具備明確的前景/背景
4類型歸屬；對(duì)于哪些未知類型的像素，利用融合背景模型的時(shí)間顏色特征和基于局部二值模式(local binary pattern, lbp)的空間對(duì)比度特征，構(gòu)造基于時(shí)空信息的目標(biāo)能量函數(shù)，以通過步驟3確定未知標(biāo)簽像素的前景或背景類型； 步驟3 :根據(jù)基于最大流和最小割理論的動(dòng)態(tài)圖切(gr即h cut)算法求取步驟2建立的目標(biāo)能量函數(shù)的極值，得到二值化的分割標(biāo)簽；因此，當(dāng)前幀的所有像素已具備明確的背景或前景標(biāo)簽； 步驟4 :對(duì)前景目標(biāo)分割結(jié)果進(jìn)行后處理利用區(qū)域標(biāo)識(shí)和形態(tài)學(xué)濾波后處理算法去除分割結(jié)果的噪聲和隙縫，并設(shè)計(jì)基于傅立葉變換的頻率濾波平滑前景邊界，得到最終的背景分割結(jié)果； 步驟5 :為將分割出來的前景目標(biāo)無縫地融合到虛擬背景中，求解前景邊界阿拉法透明度值以實(shí)現(xiàn)前景目標(biāo)邊界的羽化效果；并依據(jù)阿拉法透明度值將分割得到的真實(shí)背景替換成虛擬的背景圖片，以生成具有虛擬背景的視頻效果。
其中，步驟1構(gòu)建融合背景模型如下所述
步驟11 :首先學(xué)習(xí)若干幀只有背景的視頻序列； 步驟12 :利用主成份分析法建立基于像素亮度信息的特征背景模型，并通過背景補(bǔ)償?shù)姆椒ㄖ貥?gòu)背景圖像，以實(shí)現(xiàn)達(dá)到特征背景模型的更新； 步驟13 :為每個(gè)像素建立基于色度信息的單高斯背景模型，并實(shí)時(shí)更新特征背景模型的參數(shù)； 步驟14 :對(duì)建立的特征背景模型和單高斯背景模型進(jìn)行線性融合，并根據(jù)像素亮度信息動(dòng)態(tài)計(jì)算融合系數(shù)，獲得融合背景模型； 步驟15 :利用上述的融合背景模型，將當(dāng)前幀圖像分割成前景、背景和未知標(biāo)簽
三類像素集。 其中，步驟2能量目標(biāo)函數(shù)構(gòu)造如下所述 步驟21 :依據(jù)步驟15得到的像素的分類結(jié)果，設(shè)定目標(biāo)函數(shù)的各項(xiàng)的具體表達(dá)形式； 步驟22 :利用局部二值模型(lbp)計(jì)算相鄰像素的空間對(duì)比度信息，以表征相鄰兩個(gè)像素間的平滑性； 步驟23 :根據(jù)基于時(shí)間連續(xù)性信息的融合背景模型及局部二值模型空間對(duì)比度信息，設(shè)定吉布斯能量(Gibbs)能量函數(shù)的數(shù)據(jù)項(xiàng)和平滑性因子，即得到能量目標(biāo)函數(shù)。
其中，當(dāng)前幀所有像素的二值分割步驟如下
步驟31 :為每一幀圖像構(gòu)造賦權(quán)圖，以執(zhí)行圖切算法； 步驟32 :利用視頻上下幀分割結(jié)果的關(guān)聯(lián)性，從上一幀分割結(jié)果出發(fā)利用步驟23求取的數(shù)據(jù)項(xiàng)和平滑項(xiàng)，更新賦權(quán)圖中邊的權(quán)重； 步驟33 :依據(jù)動(dòng)態(tài)圖切算法求取當(dāng)前賦權(quán)圖的最小割集，以確定目標(biāo)能量函數(shù)的極值及未知像素的二值標(biāo)簽。
其中，步驟4對(duì)前景目標(biāo)分割結(jié)果后處理按如下過程進(jìn)行 步驟41 :利用區(qū)域標(biāo)識(shí)和形態(tài)學(xué)閉操作算法，去除步驟33得到的前景分割結(jié)果中
小面積干擾區(qū)域，填充狹窄間斷和小的孔洞； 步驟42 :根據(jù)邊界跟蹤算法求得前景目標(biāo)的邊界；
步驟43 :沿著前景物體的邊界曲線以間隔采樣得到點(diǎn)序列，經(jīng)傅立葉變換得到邊界的傅立葉描繪子； 步驟44 :設(shè)計(jì)低通濾波器的截止頻率，以平滑步驟42得到的前景目標(biāo)邊界；最后
反傅立葉變換，得到平滑后的邊界點(diǎn)坐標(biāo)，以確定分割出來的前景目標(biāo)的最終邊界。 其中，步驟5首先計(jì)算步驟44得到的前景邊界帶的阿拉法透明度值，即利用膨脹
腐蝕算法得到一定帶寬的邊界帶，根據(jù)高斯平滑的結(jié)果計(jì)算邊界帶阿拉法透明度值，并歸
一化到0到1范圍內(nèi)；再依據(jù)求得阿拉法透明度值設(shè)定前背景的混合比例，確定合成圖片中
每個(gè)像素的顏色值，最終生成具有虛擬背景的視頻效果。
本發(fā)明與現(xiàn)有的技術(shù)相比具有如下優(yōu)點(diǎn) 1.根據(jù)顏色和對(duì)比度信息構(gòu)造目標(biāo)能量函數(shù)，設(shè)計(jì)了基于時(shí)間連續(xù)性信息的融合背景模型和局部二值模式(lbp)的對(duì)比度平滑項(xiàng)。這樣，我們充分利用顏色、對(duì)比度、時(shí)空連續(xù)性信息，建立更為魯棒的、簡(jiǎn)捷的目標(biāo)能量函數(shù)。 2.通過動(dòng)態(tài)圖切算法極小化能量函數(shù)求取所有像素的二值標(biāo)簽，提高了視頻當(dāng)
前幀圖像的分割效率；并設(shè)計(jì)低通濾波器平滑前景邊界，采用區(qū)域標(biāo)識(shí)和阿拉法透明度
(alpha)值估計(jì)等后處理方法使得分割出的前景目標(biāo)無縫地融合到虛擬背景中。 歸納起來，本發(fā)明系統(tǒng)搭建簡(jiǎn)單，算法具備完全自動(dòng)化、實(shí)時(shí)、結(jié)果準(zhǔn)確的特性。


圖1為本發(fā)明復(fù)雜背景實(shí)時(shí)替換方法的流程圖。
圖2為本發(fā)明的復(fù)雜背景實(shí)時(shí)替換過程示意圖。 圖3(a)和圖3(b)為本發(fā)明的復(fù)雜背景實(shí)時(shí)分割結(jié)果，其中 圖3 (a)輸入的原始視頻幀； 圖3 (b)復(fù)雜背景分割結(jié)果。 圖4(a)-圖4(d)為本發(fā)明的復(fù)雜背景替換結(jié)果。 從圖4(a)、圖4(c)列的原始視頻中分割出前景，并分別疊加到圖4(b)圖4(d)列虛擬場(chǎng)景中。
具體實(shí)施例方式
下面將結(jié)合附圖對(duì)本發(fā)明加以詳細(xì)說明，應(yīng)指出的是所描述的實(shí)施例僅旨在便于對(duì)本發(fā)明的理解，而對(duì)其不起任何限定作用。
圖i是復(fù)雜背景實(shí)時(shí)替換方法的流程圖。按照流程順序，本發(fā)明方法各步驟的具體實(shí)施過程如下
1.讀入視頻流 系統(tǒng)首先獲取視頻流數(shù)據(jù)。視頻數(shù)據(jù)獲取來源方式可以分為兩種一是攝像頭實(shí)時(shí)采集到的圖像序列。二是事先采集的視頻文件。
2.背景學(xué)習(xí)，構(gòu)造融合背景模型 (21)學(xué)習(xí)N幀圖像序列；一般學(xué)習(xí)40-80幀，約2s的時(shí)間； (22)建立基于亮度信息的特征背景通過學(xué)習(xí)N幀背景圖像序列，建立基于亮度信息的特征子空間。即維數(shù)為mXn的每幀圖像被看作是一種隨機(jī)向量，用K-L變換獲取其
6像素集x。=
正交K-L基底，對(duì)應(yīng)其中較大特征值的基底構(gòu)成了特征子空間W，表征了靜止背景的特性。通過特征子空間重建當(dāng)前幀P背景圖像Bp，計(jì)算新一幀圖像Ip與背景圖像的差值Dp(E)=Ip-Bpl，該差值Dp(E)表示了在新一幀圖像中，通過特征背景模型計(jì)算得到的像素屬于背景的代價(jià)值； (23)建立基于色度信息的單高斯背景模型通過學(xué)習(xí)N幀背景圖像序列，建立基于色度信息的高斯模型Dp(G); (24)建立融合的背景模型對(duì)上述建立的特征背景和高斯背景模型進(jìn)行線性融合，Dp(E) = ADP(E) + (1-A)DP(G)。這里，Dp(E)是融合的背景模型，求法如(22)所示；DP(G)是(23)建立的高斯模型；A是融合比例，依據(jù)像素亮度差確定。 (25)利用上述的融合背景模型，將當(dāng)前幀圖像分割成前景、背景和未知標(biāo)簽三類
」"p(e)>t;
其他 這里，Xp表示像素p的標(biāo)簽值。B表示背景，F(xiàn)表示前景，U表示待進(jìn)一步確定為前景/背景的未知類型。Dp(E)是融合的背景模型。Tb、Tf為判定像素p歸屬于背景、前景的判別閾值。 3.構(gòu)建能量函數(shù)，設(shè)定能量函數(shù)中的數(shù)據(jù)項(xiàng)和平滑項(xiàng) (31)在馬爾可夫_最大后驗(yàn)概率(MRF-MAP)計(jì)算框架下，采用吉布斯Gibbs分布
能量函數(shù)別^) = 72]1)'化)+ S巧,/"，~)為構(gòu)建的目標(biāo)函數(shù)。這里Di(Xi)是目標(biāo)函
數(shù)的數(shù)據(jù)項(xiàng)，表示為頂點(diǎn)i分配標(biāo)簽&的代價(jià)值；Vi,j(Xi，Xj)是目標(biāo)函數(shù)的平滑項(xiàng)，表示為相鄰頂點(diǎn)i， j分配標(biāo)簽Xi， Xj的代價(jià)值；Y表示I, j (Xi， Xj)相對(duì)于Di (Xi)的權(quán)重系數(shù)。這樣，基于MRF的分割問題就轉(zhuǎn)化為求后驗(yàn)?zāi)芰亢瘮?shù)Gibbs最小值所對(duì)應(yīng)的標(biāo)號(hào)問題；
(32)根據(jù)融合的特征背景模型設(shè)定能量函數(shù)中的數(shù)據(jù)項(xiàng)Di (Xi);
(33)依據(jù)局部二值模型lbp (local binary pattern)計(jì)算能量函數(shù)中相鄰像素i， j的平滑項(xiàng)Vi,j(Xi， Xj)。基于lbp對(duì)比度值不涉及到指數(shù)運(yùn)算，計(jì)算簡(jiǎn)單，且具有對(duì)光照變化不敏感的特點(diǎn)； (34)依據(jù)平滑項(xiàng)與數(shù)據(jù)項(xiàng)的重要性設(shè)定能量函數(shù)中的比例系數(shù)Y 。
4.求能量函數(shù)的極值 (41)我們采用圖切算法求解目標(biāo)能量函數(shù)(見(31)所示)的極小值minE(X)。故首先構(gòu)造賦權(quán)圖，圖中的每個(gè)點(diǎn)對(duì)應(yīng)著當(dāng)前幀的每個(gè)像素，依據(jù)能量函數(shù)中的數(shù)據(jù)項(xiàng)和平滑項(xiàng)設(shè)定賦權(quán)圖各邊的權(quán)重； (42)采用動(dòng)態(tài)圖切的方法加快能量極小值的求取。即首先針對(duì)視頻中相鄰幀連續(xù)性這一事實(shí)，充分地利用了上一幀的剩余圖信息更新當(dāng)前幀賦權(quán)圖邊的權(quán)重，減少了當(dāng)前幀增廣路徑算法中搜索樹的重新構(gòu)造，降低了最小割路徑查找時(shí)間；再依據(jù)最大流-最小割算法找出所有割集中的最小割，即對(duì)應(yīng)著求得能量函數(shù)E(X)的極小值，為未知類型(U)的部分像素確定了二值標(biāo)簽(前景/背景)。這樣，我們得到了當(dāng)前幀所有像素的二值分割結(jié)果； 采用動(dòng)態(tài)圖切算法后，對(duì)于320X240大小的圖片，每幀分割時(shí)間由原來執(zhí)行圖切算法所需約120毫秒(ms)降為約65ms，分割速度提高了將近一倍。當(dāng)前幀中待分割的前景目標(biāo)越小，分割速度提高的越顯著。
5.邊界平滑、區(qū)域標(biāo)識(shí)等后處理 (51)利用區(qū)域標(biāo)識(shí)算法對(duì)分割的結(jié)果進(jìn)行區(qū)域標(biāo)號(hào)，去除面積較小的孤立區(qū)域； (52)利用形態(tài)學(xué)閉操作進(jìn)行細(xì)小孔洞和斷裂的填充； (53)根據(jù)邊界跟蹤算法，求得前景邊界點(diǎn)，列出其復(fù)數(shù)表達(dá)形式； (54)對(duì)邊界點(diǎn)進(jìn)行傅立葉變換，設(shè)定低通濾波器的截止頻率r，以確定邊緣的平
滑度； (55)反傅立葉變換求得平滑后的邊界點(diǎn)平面坐標(biāo)。 6.求取分割出來的前景邊界的阿拉法透明度(alpha)值，替換背景合成虛擬圖像
(61)對(duì)確定的前景邊界進(jìn)行幾次腐蝕之后進(jìn)行相應(yīng)次數(shù)的膨脹操作，得到具有一定帶寬的狹長(zhǎng)邊界帶。帶寬與形態(tài)學(xué)操作的結(jié)構(gòu)元素大小有關(guān)； (62)在邊界帶內(nèi)進(jìn)行高斯平滑，這樣在邊界帶內(nèi)像素值由原先的0與255兩個(gè)
值，轉(zhuǎn)為0到255之間的若干離散值，并將這些離散值進(jìn)行0到1范圍內(nèi)的歸一化，就得到
了邊界帶內(nèi)各個(gè)像素點(diǎn)的阿拉法透明度(alpha)值。邊界帶外側(cè)各背景點(diǎn)的阿拉法透明度
(alpha)值為O，邊界帶內(nèi)側(cè)各前景點(diǎn)的阿拉法透明度(alpha)值為1 ; (63)選擇虛擬背景或虛擬視頻序列，對(duì)分割的背景用虛擬的背景圖像進(jìn)行替換，
依據(jù)阿拉法透明度(alpha)值將虛擬背景與分割的前景物體混合，合成具有虛擬背景的視
頻序列。 圖2是背景替換算法過程示意圖。系統(tǒng)通過讀入視頻或者攝像頭采集到的圖像序列，獲取當(dāng)前幀圖像信息；利用提出的融合背景模型計(jì)算像素屬于背景模型的概率值，以此將當(dāng)前幀圖像的每個(gè)像素分為三類背景、前景和未知類別(有待進(jìn)一步判別屬于前景或背景)；構(gòu)建能量函數(shù)，利用動(dòng)態(tài)圖切算法確定未知類別的像素二值標(biāo)簽，最終為當(dāng)前幀所有像素分配前景或背景的二值標(biāo)簽；求取前景邊界帶的阿拉法透明度(alpha)值，用虛擬背景替換分割得到的背景，合成一幀虛擬圖像。 圖3是在一段序列圖像中的測(cè)試結(jié)果。圖3(a)給出了序列圖像中某兩幀的原始圖像。圖3(b)給出了根據(jù)我們提出的融合模型和動(dòng)態(tài)圖切方法得到的背景分割的結(jié)果，其中背景被準(zhǔn)確判別，前景目標(biāo)被完整提取。 圖4是給出了不同序列圖像中的背景替換結(jié)果。從圖4(a)、圖4(c)列的原始視頻
中自動(dòng)實(shí)時(shí)地分割出前景，并分別疊加到圖4(b)、圖4(d)列虛擬場(chǎng)景中。 本發(fā)明提供了一種基于背景建模和能量最小化的復(fù)雜背景替換算法。該算法具有
較好的實(shí)時(shí)性，對(duì)于尺度為320x240的輸入視頻，在CPU為P42. 8G，內(nèi)存為512MB的機(jī)器上
測(cè)試，算法速度可以達(dá)到16-18幀/s，基本滿足實(shí)時(shí)性要求；同時(shí)該算法在大量的序列圖像
中進(jìn)行了實(shí)驗(yàn)驗(yàn)證，結(jié)果表明算法具有較高的準(zhǔn)確性。 以上所述僅是本發(fā)明中的具體實(shí)施方式
，但本發(fā)明的范圍不應(yīng)由該描述來限定。本領(lǐng)域的技術(shù)人員應(yīng)該理解，在不脫離本發(fā)明的范圍的任何修改或局部替換，均屬于本發(fā)明權(quán)利要求來限定的范圍。
8
權(quán)利要求
一種基于背景建模和能量最小化的復(fù)雜背景圖像實(shí)時(shí)替換方法，其特征是，首先采用提出的融合背景模型將視頻中的每一幀圖像三分為背景區(qū)域、前景區(qū)域及未知區(qū)域；其次利用顏色和空間對(duì)比度特征構(gòu)建目標(biāo)能量函數(shù)，采用動(dòng)態(tài)圖切的方法求取目標(biāo)能量函數(shù)極值，從而將每一幀圖像實(shí)時(shí)分割為前景和背景；最后采用基于頻率濾波的邊界平滑方法和阿拉法透明度(alpha)值估計(jì)等后處理方法，使分割出的前景目標(biāo)無縫地融合到虛擬背景中；具體包括如下步驟步驟1系統(tǒng)首先獲取視頻流數(shù)據(jù)，學(xué)習(xí)視頻流數(shù)據(jù)的圖像的背景，建立該圖像基于亮度的特征背景模型和基于色度的高斯模型，對(duì)兩個(gè)模型進(jìn)行線性融合，得到對(duì)光線具有抗干擾能力、具備模型更新特征、像素級(jí)的融合背景模型；依據(jù)融合背景模型，將每幀圖像像素分為前景、背景和未知類型三類標(biāo)簽；步驟2根據(jù)步驟1在視頻當(dāng)前幀中，系統(tǒng)已確定部分像素具備明確的前景/背景類型歸屬；對(duì)于哪些未知類型的像素，利用融合背景模型的時(shí)間顏色特征和基于局部二值模式的空間對(duì)比度特征，構(gòu)造基于時(shí)空信息的目標(biāo)能量函數(shù)，以通過步驟3確定未知標(biāo)簽像素的前景或背景類型；步驟3根據(jù)基于最大流和最小割理論的動(dòng)態(tài)圖切算法求取步驟2建立的目標(biāo)能量函數(shù)的極值，得到二值化的分割標(biāo)簽；因此，當(dāng)前幀的所有像素已具備明確的背景或前景標(biāo)簽；步驟4對(duì)前景目標(biāo)分割結(jié)果進(jìn)行后處理利用區(qū)域標(biāo)識(shí)和形態(tài)學(xué)濾波后處理算法去除分割結(jié)果的噪聲和隙縫，并設(shè)計(jì)基于傅立葉變換的頻率濾波平滑前景邊界，得到最終的背景分割結(jié)果；步驟5為將分割出來的前景目標(biāo)無縫地融合到虛擬背景中，求解前景邊界阿拉法透明度值以實(shí)現(xiàn)前景目標(biāo)邊界的羽化效果；并依據(jù)阿拉法透明度值將分割得到的真實(shí)背景替換成虛擬的背景圖片，以生成具有虛擬背景的視頻效果。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟1構(gòu)建融合背景模型如下所述步驟11 :首先學(xué)習(xí)若干幀只有背景的視頻序列；步驟12 :利用主成份分析法建立基于像素亮度信息的特征背景模型，并通過背景補(bǔ)償?shù)姆椒ㄖ貥?gòu)背景圖像，以實(shí)現(xiàn)達(dá)到特征背景模型的更新；步驟13 :為每個(gè)像素建立基于色度信息的單高斯背景模型，并實(shí)時(shí)更新特征背景模型的參數(shù)；步驟14 :對(duì)建立的特征背景模型和單高斯背景模型進(jìn)行線性融合，并根據(jù)像素亮度信息動(dòng)態(tài)計(jì)算融合系數(shù)，獲得融合背景模型；步驟15 :利用上述的融合背景模型，將當(dāng)前幀圖像分割成前景、背景和未知標(biāo)簽三類像素集。
3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟2能量目標(biāo)函數(shù)構(gòu)造如下所述步驟21 :依據(jù)步驟15得到的像素的分類結(jié)果，設(shè)定目標(biāo)函數(shù)的各項(xiàng)的具體表達(dá)形式；步驟22 :利用局部二值模型計(jì)算相鄰像素的空間對(duì)比度信息，以表征相鄰兩個(gè)像素間的平滑性；步驟23 :根據(jù)基于時(shí)間連續(xù)性信息的融合背景模型及局部二值模型空間對(duì)比度信息，設(shè)定吉布斯能量能量函數(shù)的數(shù)據(jù)項(xiàng)和平滑性因子，即得到能量目標(biāo)函數(shù)。
4. 根據(jù)權(quán)利要求1所述的方法，其特征在于，當(dāng)前幀所有像素的二值分割步驟如下步驟31 :為每一幀圖像構(gòu)造賦權(quán)圖，以執(zhí)行圖切算法；步驟32 :利用視頻上下幀分割結(jié)果的關(guān)聯(lián)性，從上一幀分割結(jié)果出發(fā)利用步驟23求取的數(shù)據(jù)項(xiàng)和平滑項(xiàng)，更新賦權(quán)圖中邊的權(quán)重；步驟33 :依據(jù)動(dòng)態(tài)圖切算法求取當(dāng)前賦權(quán)圖的最小割集，以確定目標(biāo)能量函數(shù)的極值及未知像素的二值標(biāo)簽。
5. 根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟4對(duì)前景目標(biāo)分割結(jié)果后處理按如下過程進(jìn)行步驟41 :利用區(qū)域標(biāo)識(shí)和形態(tài)學(xué)閉操作算法，去除步驟33得到的前景分割結(jié)果中小面積干擾區(qū)域，填充狹窄間斷和小的孔洞；步驟42 :根據(jù)邊界跟蹤算法求得前景目標(biāo)的邊界；步驟43 :沿著前景物體的邊界曲線以間隔采樣得到點(diǎn)序列，經(jīng)傅立葉變換得到邊界的傅立葉描繪子；步驟44 :設(shè)計(jì)低通濾波器的截止頻率，以平滑步驟42得到的前景目標(biāo)邊界；最后反傅立葉變換，得到平滑后的邊界點(diǎn)坐標(biāo)，以確定分割出來的前景目標(biāo)的最終邊界。
6. 根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟5首先計(jì)算步驟44得到的前景邊界帶的阿拉法透明度值，即利用膨脹腐蝕算法得到一定帶寬的邊界帶，根據(jù)高斯平滑的結(jié)果計(jì)算邊界帶阿拉法透明度值，并歸一化到0到1范圍內(nèi)；再依據(jù)求得阿拉法透明度值設(shè)定前背景的混合比例，確定合成圖片中每個(gè)像素的顏色值，最終生成具有虛擬背景的視頻效果。
全文摘要
本發(fā)明提出了一種基于背景建模和能量最小化的復(fù)雜背景實(shí)時(shí)替換方法。該方法首先利用提出的融合背景模型將當(dāng)前幀圖像分割成前景、背景和未知標(biāo)簽三類像素集，然后在動(dòng)態(tài)圖切框架下，根據(jù)顏色和對(duì)比度信息構(gòu)造目標(biāo)能量函數(shù)，設(shè)計(jì)了基于時(shí)間連續(xù)性信息的融合背景模型的數(shù)據(jù)項(xiàng)和基于局部二值模式的對(duì)比度平滑項(xiàng)，最后通過圖切算法極小化能量函數(shù)求取所有像素的二值標(biāo)簽；采用了邊界平滑和α值估計(jì)等后處理方法，使得分割出的前景目標(biāo)無縫地融合到虛擬背景中。實(shí)驗(yàn)結(jié)果表明該方法能較好地將復(fù)雜背景中的目標(biāo)實(shí)時(shí)分割出來并真實(shí)地合成到虛擬背景中。本發(fā)明的特點(diǎn)是自動(dòng)、實(shí)時(shí)分割復(fù)雜背景，將其替換為虛擬背景，得到高質(zhì)量的虛擬效果序列圖。
文檔編號(hào)G06T7/00GK101777180SQ20091024373
公開日2010年7月14日 申請(qǐng)日期2009年12月23日 優(yōu)先權(quán)日2009年12月23日
發(fā)明者吳曉雨, 李基拓, 王陽(yáng)生 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所