專利名稱：基于視頻分層的繪畫渲染方法
技術(shù)領(lǐng)域：
本發(fā)明是涉及一種基于視頻分層的繪畫渲染方法，具體涉及一種基于勾畫的視頻 分層以及風(fēng)格化繪畫渲染方法。
背景技術(shù)：
隨著計(jì)算機(jī)技術(shù)的發(fā)展，多媒體以及數(shù)字娛樂受到大眾越來越多的青睞，而計(jì)算 機(jī)風(fēng)格化渲染技術(shù)也逐漸成為研究熱點(diǎn)。視頻作為一種常見的多媒體形式，具有信息量大、 表現(xiàn)力強(qiáng)等優(yōu)點(diǎn)，因此視頻的風(fēng)格化渲染受到廣泛的重視。單幅圖像的風(fēng)格化繪畫渲染已 經(jīng)有了成熟的方法，但如果簡(jiǎn)單的采用單幅圖像的渲染方法去繪制視頻的每一幀，會(huì)造成 嚴(yán)重的視覺閃爍。因此，如何減少視頻閃爍，提高幀間連續(xù)性是視頻風(fēng)格化繪制的關(guān)鍵?；?于視頻分層的風(fēng)格化繪制方法有效的解決了視頻閃爍的問題，它通過在視頻不同的分層上 布置筆刷進(jìn)行繪制，從而取得一致的渲染效果，有效的增加了幀間連續(xù)性。傳統(tǒng)的計(jì)算機(jī)視覺中的分層技術(shù)對(duì)于視頻場(chǎng)景中的運(yùn)動(dòng)模型有嚴(yán)格的約束限制， 通常處理簡(jiǎn)單的如仿射、投影等運(yùn)動(dòng)，而對(duì)于日常生活中的復(fù)雜的運(yùn)動(dòng)缺乏有效的處理，而 基于勾畫的分層方法不受具體運(yùn)動(dòng)的影響，能夠處理更多類型的視頻。傳統(tǒng)的視頻風(fēng)格化繪制通常直接在每一幀上布置筆刷，缺少筆刷的連續(xù)過度，從 而產(chǎn)生嚴(yán)重的視覺閃爍?；谝曨l分層的繪制方法，則是將筆刷在分層上根據(jù)其相應(yīng)的運(yùn) 動(dòng)進(jìn)行布置，使得筆刷參數(shù)能夠適應(yīng)于視頻場(chǎng)景內(nèi)物體的運(yùn)動(dòng)變換，生成一致的繪制效果， 減少視頻閃爍。傳統(tǒng)的計(jì)算機(jī)視覺領(lǐng)域的視頻分層對(duì)于運(yùn)動(dòng)模型有嚴(yán)格的約束，因此不太適合一 般的風(fēng)格化繪制處理的視頻。為了處理更多的視頻，需要對(duì)運(yùn)動(dòng)約束進(jìn)行必要的放寬，而這 通常需要添加額外的一些用戶交互指導(dǎo)分層。傳統(tǒng)的視頻風(fēng)格化繪制往往直接在每一幀上布置筆刷，使得相鄰幀之間缺乏必要 的過渡。這樣在不同幀繪制視頻場(chǎng)景中的同一物體時(shí)可能使用不同的筆刷參數(shù)，造成視覺 上的強(qiáng)烈變化，引起視頻閃爍。另外，傳統(tǒng)的視頻繪制在同一幀上使用統(tǒng)一的筆刷模型參 數(shù)，缺乏針對(duì)內(nèi)容的筆刷變化。為了藝術(shù)性的繪制視頻場(chǎng)景，應(yīng)該根據(jù)視頻場(chǎng)景包含的具體 內(nèi)容進(jìn)行筆刷布置，進(jìn)行多風(fēng)格的繪制渲染。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種適合于風(fēng)格化繪制的基于視頻分層的繪畫渲染方法， 并且在獲取準(zhǔn)確的分層后，能夠在不同的分層上傳播筆刷參數(shù)、布置相應(yīng)的筆刷進(jìn)行繪制， 生成幀間連續(xù)性更優(yōu)的風(fēng)格化繪畫渲染視頻。為達(dá)到上述目的，本發(fā)明采用的技術(shù)方案是1)根據(jù)輸入的視頻選取關(guān)鍵幀，用戶交互的在關(guān)鍵幀的不同區(qū)域進(jìn)行勾畫，并指 定視頻場(chǎng)景的層數(shù)以及各個(gè)分層上的種子區(qū)域；2)利用基于勾畫的分層方法，借助光流將關(guān)鍵幀上的種子區(qū)域依次傳播到其余各幀，采用高斯混合模型對(duì)傳播的種子區(qū)域進(jìn)行可靠性分析，保留可靠性高的區(qū)域作為該幀 用來視頻分層的種子區(qū)域；3)根據(jù)各幀上獲得的種子區(qū)域，利用圖割優(yōu)化方法對(duì)每一幀進(jìn)行分層，進(jìn)而在各 幀之間得到一致的分層區(qū)域及位于前景層的筆刷布置；4)在獲得關(guān)鍵幀上位于前景層的筆刷布置后，根據(jù)相鄰幀對(duì)應(yīng)層的薄板樣條變換 進(jìn)行傳遞，生成所有視頻序列的前景的渲染結(jié)果；5)將背景層通過變換拼接為全景圖，在全景圖上進(jìn)行筆刷布置并繪制全景圖，然 后利用逆變換反求每一幀背景層的渲染結(jié)果；6)在每一幀上依次將繪制的背景層和前景層進(jìn)行融合，得到整個(gè)視頻的風(fēng)格化繪 畫渲染結(jié)果。其具體步驟如下步驟1 根據(jù)給定輸入的視頻，選取視頻序列中包含視頻場(chǎng)景中的顏色以及出現(xiàn) 的物體最多的做為關(guān)鍵幀，如果視頻序列太長(zhǎng)，則將視頻序列分解為幾個(gè)片段，每一個(gè)片段 選取各自的關(guān)鍵幀；步驟2 在關(guān)鍵幀上采用勾畫方式指定分層的種子區(qū)域根據(jù)關(guān)鍵幀包含物體的 顏色、運(yùn)動(dòng)信息，在關(guān)鍵幀相對(duì)應(yīng)的區(qū)域進(jìn)行勾畫，通過勾畫的不同的灰度值指定分層索
引，從而獲得關(guān)鍵幀上分層的種子區(qū)域 《1.
9對(duì)于灰度值為c的勾畫，其覆蓋區(qū)域作為c/40分層的種子區(qū)域，對(duì)于每一個(gè)勾畫， 利用高斯混合模型分別計(jì)算各個(gè)區(qū)域的顏色分布
MPr(c|/) = ^^|7W)
；=1其中P(j)是對(duì)應(yīng)于每個(gè)分枝的權(quán)因子，取為1/3，p(c|j)是高斯混合模型中每個(gè) 分枝的概率
,丨.、1J-(i-Mj)T^l(i-Mj)P(C\J) = ^-T^P2
2水I2ξ是RGB三個(gè)通道的顏色值，μ是每個(gè)勾畫的顏色均值，Σ是協(xié)方差矩陣，π是
圓周率常值；步驟3 采用對(duì)偶基方法計(jì)算相鄰兩幀之間的光流場(chǎng)對(duì)于每一幀上的每個(gè)像素 Pi，對(duì)應(yīng)一個(gè)光流向量Vi.對(duì)于帶有噪音的視頻，在得到光流場(chǎng)后，采用高斯濾波對(duì)光流場(chǎng) 進(jìn)行光順處理，獲得更加穩(wěn)定的光流場(chǎng)；步驟4 在視頻序列之間傳播勾畫對(duì)于每一個(gè)勾畫，計(jì)算一組窗口 {WJ將勾畫的 邊界覆蓋，同時(shí)使得相鄰的窗口彼此相互覆蓋，對(duì)每個(gè)窗口 Wi計(jì)算其內(nèi)部的平均光流向量 Vx，做為該點(diǎn)處勾畫位移向量，那么在下一幀，勾畫將傳播至X +巧處；步驟5 計(jì)算傳播過程中種子區(qū)域的可信度對(duì)于每個(gè)勾畫&中每個(gè)像素i，其可 信度定義為RGB顏色相對(duì)于前一陣對(duì)應(yīng)勾畫的分布概率，即Pr (i)，如果Pr (i)小于0. 2，認(rèn) 為該像素可信度比較低，不再適合做該層的種子，利用可信度對(duì)勾畫進(jìn)行修正，通過優(yōu)化下 面的能量函數(shù)進(jìn)行操作[式1]
6
E(I) = YjRi(Ii)^ Σ V-(IpJq)
i<p,q>GN其中λ是權(quán)因子，控制可信區(qū)域的大小，取值為0. 3 ；Ri (Ii)是高斯混合模型定義 的顏色概率，具體定義為Ri(Ii) = -In(Pr(Ci)Ii))prC I =盧巧)h ξ Mj)
噸I2V<p,q>高斯是定義相鄰像素的光滑性，使得勾畫仍然能夠保持相對(duì)的緊湊完整性V<P,q>Qp Jq)= 1 + |c _c J \lp ~lqI其中C是像素的顏色，Ip是像素所在的層數(shù)，式[1]采用圖割算法進(jìn)行有效優(yōu)化求 解，將可信度低于30%的區(qū)域的勾畫一分為二，保留可信度高的部分區(qū)域做為該分層上的 種子區(qū)域，進(jìn)而得到滿足分層要求的種子區(qū)域；步驟6 對(duì)每一幀上根據(jù)勾畫的種子區(qū)域進(jìn)行分層分層的結(jié)果是將每一幀分割 為互不相交的平面區(qū)域，每一塊平面區(qū)域具有和種子區(qū)域相近的顏色、運(yùn)動(dòng)，這里顏色的相 近性采用式[1]中高斯混合模型定義的顏色概率描述，運(yùn)動(dòng)的相似性則采用位移后對(duì)應(yīng)像 素的顏色差異來描述，具體的運(yùn)動(dòng)差異定義為
M!(/!) = arctan(|/i(/)-/i+1(/')|2
其中τ是常值取值60，了增加相鄰兩幀分層的一致性，定義如下的時(shí)間一致性能
1,2 \ π -r + — ‘2
量
fl, I1 ^ /, 警0，其它
綜合考慮以上因素，在每一幀上計(jì)算分層通過優(yōu)化如下能量函數(shù)得到 [式2]
i<p,q>GN
其中權(quán)因子λ取值0.3，數(shù)衡量了將每個(gè)像素賦予某一層時(shí)的能量，通過極小化 該能量函數(shù)可以得到分層的視頻，將視頻的每一幀依次表示為不同分層區(qū)域的組合；步驟7 對(duì)于視頻的前景層，首先在關(guān)鍵幀的每一個(gè)前景層上采用各向異性的模 型布置筆刷，進(jìn)而生成風(fēng)格化繪制的前景層；步驟8 為了使得繪制視頻各幀的每個(gè)分層時(shí)盡可能一致的布置筆刷，將關(guān)鍵幀 上的筆刷逐幀的傳播到其余各幀。為了盡可能光滑的傳遞筆刷，采用薄板樣條函數(shù)定義的 如下變換來進(jìn)行筆刷的傳遞[式3]T(x, y) = (f^x, y), f2(x, y))f(x,y) = c0+clx + c2y + Yjwi'￥{\\(x,y)-(xt ,只)11)
!=1
其中Ψ(1·) =r2logr2是核函數(shù)，薄板樣條系數(shù)可以通過求解下面的線性方程組得
其中Kij = Ψ ( Il (xi; Yi)-(Xj, Yj) Il )，Pt 的第 i 列為(1，Xi, Yi)T, pk+1 是該幀上對(duì) 應(yīng)特征點(diǎn)。通過前景層的筆刷傳播，可以生成視頻序列所有前景的風(fēng)格化繪制；步驟9 將視頻序列所有的背景層在同一個(gè)坐標(biāo)系下拼接成一個(gè)全景圖為了得 到精確的全景圖重構(gòu)，需要計(jì)算視頻序列各幀之間位于每個(gè)分層上的對(duì)應(yīng)特征點(diǎn)，假設(shè)位 于第k幀1層上的特征點(diǎn)為{乂}，與之對(duì)應(yīng)的第k+Ι幀上的特征點(diǎn)為{乂+1}，那么尋找最優(yōu)的 變換Hk使得變換后的特征點(diǎn)誤差最小，從而得到精確的全景圖重構(gòu)，變換Hk通過下面優(yōu)化 函數(shù)求解 在對(duì)于每一幀的背景層求解得變換后，可以將所有的背景層在同一個(gè)坐標(biāo)系下拼 接生成全景圖；步驟10 對(duì)于拼接得到的背景層的全景圖，采用各向異性的模型布置筆刷，進(jìn)而 生成風(fēng)格化繪制的背景層，然后，利用拼接變換的逆變換^^—1，將風(fēng)格化繪制后的全景圖中 相應(yīng)的部分映射回每一幀，從而得到每一幀上具有繪畫風(fēng)格的背景；步驟11 對(duì)于視頻序列中的每一幀，按照從后往前的順序?qū)⒗L制后的各個(gè)分層融 合起來，生成最終的風(fēng)格化繪制的視頻序列，即
這里P對(duì)應(yīng)第i幀第r分層，< 是融合系數(shù)，根據(jù)各個(gè)分層相應(yīng)的面積比例計(jì)算。本發(fā)明針對(duì)現(xiàn)有技術(shù)中所存在的問題首先從視頻的運(yùn)動(dòng)模型出發(fā)提出一種基于 勾畫的視頻分層方法；然后提出了針對(duì)不同分層的筆刷布置方法；最后在繪制時(shí)，本發(fā)明 提出一種不同分層之間的融合方法，從而能夠生成更加連續(xù)的繪畫風(fēng)格化視頻序列。該方 法首先根據(jù)頻場(chǎng)景中包含的運(yùn)動(dòng)模型，將關(guān)鍵幀采用勾畫指定的一些種子區(qū)域在各幀之間 進(jìn)行傳播。然后根據(jù)前一幀的種子區(qū)域顏色分布計(jì)算下一幀上勾畫種子區(qū)域的可靠性，獲 得更加準(zhǔn)確的種子區(qū)域。利用圖割優(yōu)化算法(Boykov Y，Veksler 0，Zabih R(2001)Fast approximate energy minimization via graph cuts. IEEE Transactions on Pattern Analysis and Machine Intelligence 2001, pp 509-522.)對(duì)每一幀進(jìn)行分層，獲得視頻 序列的分層表示，將視頻表示成一個(gè)背景層的全景圖以及若干前景層。最后分別在背景層 的全景圖以及前景層上布置筆刷進(jìn)行繪制渲染，通過圖像融合將渲染后的各個(gè)分層混合生 成最終的具有繪畫風(fēng)格的視頻。


圖1是本發(fā)明基于視頻分層的繪畫渲染算法的流程圖；圖2是顯示勾畫在每一幀的傳播方式；圖3是每一幀上勾畫可信度的計(jì)算以及采用可信度高的區(qū)域做為種子區(qū)域的分
層結(jié)果；圖4顯示基于勾畫的視頻分層結(jié)果。圖5顯示采用本發(fā)明創(chuàng)作出的風(fēng)格化繪制視頻的若干幀。C
具體實(shí)施例方式
下面將根據(jù)附圖對(duì)本發(fā)明進(jìn)行詳細(xì)說明。圖1是本發(fā)明的流程圖。如圖一所示，本發(fā)明主要分為12個(gè)步驟步驟1 給定輸入的視頻，選取視頻序列中某一幀做為關(guān)鍵幀。該幀需要盡可能多 的包含視頻場(chǎng)景中的顏色以及出現(xiàn)的物體。如果視頻序列太長(zhǎng)，需要將視頻序列分解為幾 個(gè)片段，每一個(gè)片段選取各自的關(guān)鍵幀。步驟2 在關(guān)鍵幀上采用勾畫方式指定分層的種子區(qū)域。根據(jù)關(guān)鍵幀包含物體的 顏色、運(yùn)動(dòng)等信息，在相應(yīng)的區(qū)域進(jìn)行勾畫，通過勾畫的不同的灰度值指定分層索引，從而
獲得關(guān)鍵幀上分層的種子區(qū)域；對(duì)于灰度值為c的勾畫，其覆蓋區(qū)域作為c/40分層的種子區(qū)域，對(duì)于每一個(gè)勾畫， 利用高斯混合模型分別計(jì)算各個(gè)區(qū)域的顏色分布
M 其中P(j)是對(duì)應(yīng)于每個(gè)分枝的權(quán)因子，取為1/3，p(c|j)是高斯混合模型中每個(gè) 分枝的概率
,丨.、1-Ui-Mjf Σ (ξ-Mj) ξ是RGB三個(gè)通道的顏色值，μ是每個(gè)勾畫的顏色均值，Σ是協(xié)方差矩陣，π是
圓周率常值；步驟3 采用對(duì)偶基方法(Zach C, Pock T, Bischof H(2007)A dual based approach for realtime TV-Ll optical flow. Proceedings of the 29th DAGMSymposium on Pattern Recognition 2007.)計(jì)算相鄰兩幀之間的光流場(chǎng)。對(duì)于每一幀上的每個(gè)像素 Pi，對(duì)應(yīng)一個(gè)光流向量Vi.對(duì)于帶有噪音的視頻，在得到光流場(chǎng)后，采用高斯濾波對(duì)光流場(chǎng) 進(jìn)行光順處理，獲得更加穩(wěn)定的光流場(chǎng)。步驟4 在視頻序列之間傳播勾畫。對(duì)于每一個(gè)勾畫，計(jì)算一組窗口 {WJ將勾畫的 邊界覆蓋，同時(shí)使得相鄰的窗口彼此相互覆蓋(如圖2所示)。對(duì)每個(gè)窗口 Wi計(jì)算其內(nèi)部 的平均光流向量巧，做為該點(diǎn)處勾畫位移向量，那么在下一幀，勾畫將傳播至x + l處。步驟5 計(jì)算傳播過程中種子區(qū)域的可信度。由于光流計(jì)算有時(shí)候不穩(wěn)定，簡(jiǎn)單的 將傳播過來的勾畫做為種子區(qū)域會(huì)產(chǎn)生錯(cuò)誤的分層結(jié)果，如圖3所示。因此，在對(duì)勾畫傳播 后，應(yīng)該對(duì)其在該幀上的可信度進(jìn)行評(píng)估，保留可信度高的區(qū)域做為種子區(qū)域分層。對(duì)于每個(gè)勾畫《中每個(gè)像素i，其可信度定義為RGB顏色相對(duì)于前一陣對(duì)應(yīng)勾畫 的分布概率，即Pr(i)。如果Pr(i)小于0.2，認(rèn)為該像素可信度比較低，不再適合做該層的 種子。利用可信度對(duì)勾畫進(jìn)行修正，可以通過優(yōu)化下面的能量函數(shù)進(jìn)行操作[式1] 其中λ是權(quán)因子，控制可信區(qū)域的大小，取值為0. 3 ；Ri (Ii)是高斯混合模型定義的顏色概率，具體定義為Ri(Ii) = -In(Pr(Ci)Ii))prC I=盧巧)、μ >
噸I2V<p,q>高斯是定義相鄰像素的光滑性，使得勾畫仍然能夠保持相對(duì)的緊湊完整性V<P,q>(lp Jq) = 1 + |c _c J \lp ~hI其中C是像素的顏色，15是像素所在的層數(shù)，式[1]可以采用圖割算法GBoykov Y， Veksler 0， Zabih R(2001)Fast approximate energy minimization via graph cuts. IEEE Transactions on Pattern Analysis and Machine Intelligence 2001，pp 509-522.)進(jìn)行有效優(yōu)化求解，將可信度低于30%的區(qū)域的勾畫一分為二，保留可信度高 (大于70% )的部分區(qū)域做為該分層上的種子區(qū)域，進(jìn)而得到滿足分層要求的種子區(qū)域 (如圖3所示)。步驟6 對(duì)每一幀上根據(jù)勾畫的種子區(qū)域進(jìn)行分層。分層的結(jié)果是將每一幀分割 為互不相交的平面區(qū)域，每一塊平面區(qū)域具有和種子區(qū)域相近的顏色、運(yùn)動(dòng)等。這里顏色的 相近性采用式[1]中高斯混合模型定義的顏色概率描述，運(yùn)動(dòng)的相似性則采用位移后對(duì)應(yīng) 像素的顏色差異來描述，具體的運(yùn)動(dòng)差異可以定義為
M!(/!) = arctan(|/i(/)-/i+1(/')|2-
\ π r + — ‘2
其中τ是常值，在本方法中取值60。為了增加相鄰兩幀分層的一致性，定義如下 項(xiàng)文性能量
的時(shí)間-綜合考慮以上因素，在每一幀上計(jì)算分層可以通過優(yōu)化如下能量函數(shù)得到[式2]E{1) = YXR從)+Μ從)+ T1(I1)) + λ Σ V<M>{lp,lq)
i<p,q>GN其中權(quán)因子λ取值0.3。該函數(shù)衡量了將每個(gè)像素賦予某一層時(shí)的能量，通過極 小化該能量函數(shù)可以得到分層的視頻，將視頻的每一幀依次表示為不同分層區(qū)域的組合。 通常這些分層包含一個(gè)背景層和若干前景物體層背景層上包含的運(yùn)動(dòng)主要是攝像機(jī)的平 移、選擇等產(chǎn)生的，其運(yùn)動(dòng)模型相對(duì)簡(jiǎn)單；前景物體層的運(yùn)動(dòng)則比較復(fù)雜。圖4顯示了對(duì)于 某一視頻序列分層的結(jié)果，其中不同灰度值區(qū)域代表不同的分層。步驟7 對(duì)于視頻的前景層，首先在關(guān)鍵幀的每一個(gè)前景層上采用各向異性的模 型(Huang H, Fu T N, Li C F(2010)Anisotropic brush for painterly rendering. In Computer Graphics International 2010.)布置筆刷，進(jìn)而生成風(fēng)格化繪制的前景層。步驟8 為了使得繪制視頻各幀的每個(gè)分層時(shí)盡可能一致的布置筆刷，將關(guān)鍵幀 上的筆刷逐幀的傳播到其余各幀。為了盡可能光滑的傳遞筆刷，采用薄板樣條函數(shù)定義的 如下變換來進(jìn)行筆刷的傳遞
10
T(x, y) = (f^x, y), f2(x, y))
ηf (x, y) = C0+c}x + c2y+ YjWix^ (\\(x,y)~ (Xi^yi)W)
i=l
其中Ψ(1·) =r2logr2是核函數(shù)，薄板樣條系數(shù)可以通過求解下面的線性方程組得
_—_ _—_
5 6 9 9
δ到
(K PVw^
M | = | P
)Γ“ 1」
P1 0
vcy
0其中Kij= Ψ (II (xi yi)-(xJ, Yj) 11)，^的第土列為(1，Xi，yi)T，，χ，y 是像素的 幾何坐標(biāo)，pk+1是該幀上對(duì)應(yīng)特征點(diǎn)。通過前景層的筆刷傳播，可以生成視頻序列所有前景 的風(fēng)格化繪制。步驟9 將視頻序列所有的背景層在同一個(gè)坐標(biāo)系下拼接成一個(gè)全景圖。為了得 到精確的全景圖重構(gòu)，需要計(jì)算視頻序列各幀之間位于每個(gè)分層上的對(duì)應(yīng)特征點(diǎn)。假設(shè)位 于第k幀1層上的特征點(diǎn)為{乂}，與之對(duì)應(yīng)的第k+Ι幀上的特征點(diǎn)為{乂+1}，那么尋找最優(yōu)的 變換Hk使得變換后的特征點(diǎn)誤差最小，從而得到精確的全景圖重構(gòu)。變換Hk通過下面優(yōu)化 函數(shù)求解Hk = arg min ^ \p" _ T. ρ\+λ『
τ 1在對(duì)于每一幀的背景層求解得變換后，可以將所有的背景層在同一個(gè)坐標(biāo)系下拼 接生成全景圖。步驟10 對(duì)于拼接得到的背景層的全景圖，采用各向異性的模型(Huang H，F(xiàn)u T N，Li C F(2010)Anisotropic brush for painterly rendering. In :Computer Graphics International 2010.)布置筆刷，進(jìn)而生成風(fēng)格化繪制的背景層。然后，利用拼接變換的逆 變換Ht1，將風(fēng)格化繪制后的全景圖中相應(yīng)的部分映射回每一幀，從而得到每一幀上具有繪 畫風(fēng)格的背景。步驟11 對(duì)于視頻序列中的每一幀，按照從后往前的順序?qū)⒗L制后的各個(gè)分層融 合起來，生成最終的風(fēng)格化繪制的視頻序列，即，這里V對(duì)應(yīng)第i幀第r分層，< 是融合系數(shù)，根據(jù)各個(gè)分層相應(yīng)的面積比例計(jì)算。圖5是風(fēng)格化繪制的視頻中的幾幀，顯示了采用視頻分層的風(fēng)格化繪制效果?？?以看出，本發(fā)明可以生成具有特定藝術(shù)效果的繪畫風(fēng)格的視頻。如上所述，本發(fā)明提出了一種基于視頻分層的繪畫渲染方法，它借助于計(jì)算機(jī)視 覺中的視頻分層，獲得視頻序列的層次表示，然后通過在各個(gè)分層上布置筆刷繪制，有效減 少視覺閃爍，提高幀間連續(xù)性，生成更具藝術(shù)效果的風(fēng)格化繪制視頻。盡管已經(jīng)參考附圖對(duì)本發(fā)明進(jìn)行了解釋和描述，專業(yè)技術(shù)人員應(yīng)該理解，在不脫 離本發(fā)明精神和范圍的情況下，可以在其中或?qū)ζ溥M(jìn)行各種其他改變，增刪。
權(quán)利要求
一種基于視頻分層的繪畫渲染方法，其特征在于包含以下步驟1)根據(jù)輸入的視頻選取關(guān)鍵幀，用戶交互的在關(guān)鍵幀的不同區(qū)域進(jìn)行勾畫，并指定視頻場(chǎng)景的層數(shù)以及各個(gè)分層上的種子區(qū)域；2)利用基于勾畫的分層方法，借助光流將關(guān)鍵幀上的種子區(qū)域依次傳播到其余各幀，采用高斯混合模型對(duì)傳播的種子區(qū)域進(jìn)行可靠性分析，保留可靠性高的區(qū)域作為該幀用來視頻分層的種子區(qū)域；3)根據(jù)各幀上獲得的種子區(qū)域，利用圖割優(yōu)化方法對(duì)每一幀進(jìn)行分層，進(jìn)而在各幀之間得到一致的分層區(qū)域及位于前景層的筆刷布置；4)在獲得關(guān)鍵幀上位于前景層的筆刷布置后，根據(jù)相鄰幀對(duì)應(yīng)層的薄板樣條變換進(jìn)行傳遞，生成所有視頻序列的前景的渲染結(jié)果；5)將背景層通過變換拼接為全景圖，在全景圖上進(jìn)行筆刷布置并繪制全景圖，然后利用逆變換反求每一幀背景層的渲染結(jié)果；6)在每一幀上依次將繪制的背景層和前景層進(jìn)行融合，得到整個(gè)視頻的風(fēng)格化繪畫渲染結(jié)果。
2.如權(quán)利要求1所述的基于視頻分層的繪畫渲染方法，其具體步驟如下步驟1 根據(jù)給定輸入的視頻，選取視頻序列中包含視頻場(chǎng)景中的顏色以及出現(xiàn)的物 體最多的做為關(guān)鍵幀，如果視頻序列太長(zhǎng)，則將視頻序列分解為幾個(gè)片段，每一個(gè)片段選取 各自的關(guān)鍵幀；步驟2 在關(guān)鍵幀上采用勾畫方式指定分層的種子區(qū)域根據(jù)關(guān)鍵幀包含物體的顏色、 運(yùn)動(dòng)信息，在關(guān)鍵幀相對(duì)應(yīng)的區(qū)域進(jìn)行勾畫，通過勾畫的不同的灰度值指定分層索引，從而獲得關(guān)鍵幀上分層的種子區(qū)域 《1.9對(duì)于灰度值為c的勾畫，其覆蓋區(qū)域作為c/40分層的種子區(qū)域，對(duì)于每一個(gè)勾畫，利用 高斯混合模型分別計(jì)算各個(gè)區(qū)域的顏色分布MPr(c I/) = I 力戶⑴；=1其中p(j)是對(duì)應(yīng)于每個(gè)分枝的權(quán)因子，取為1/3，p(c|j)是高斯混合模型中每個(gè)分枝 的概率p(p I J) =-FexP2 疋ξ是RGB三個(gè)通道的顏色值，μ是每個(gè)勾畫的顏色均值，Σ是協(xié)方差矩陣，π是圓周率常值；步驟3 采用對(duì)偶基方法計(jì)算相鄰兩幀之間的光流場(chǎng)對(duì)于每一幀上的每個(gè)像素Pi，對(duì) 應(yīng)一個(gè)光流向量Vi.對(duì)于帶有噪音的視頻，在得到光流場(chǎng)后，采用高斯濾波對(duì)光流場(chǎng)進(jìn)行光 順處理，獲得更加穩(wěn)定的光流場(chǎng)；步驟4:在視頻序列之間傳播勾畫對(duì)于每一個(gè)勾畫，計(jì)算一組窗口 {WJ將勾畫的邊界 覆蓋，同時(shí)使得相鄰的窗口彼此相互覆蓋，對(duì)每個(gè)窗口 Wi計(jì)算其內(nèi)部的平均光流向量巧，做 為該點(diǎn)處勾畫位移向量，那么在下一幀，勾畫將傳播至x + l處；步驟5 計(jì)算傳播過程中種子區(qū)域的可信度對(duì)于每個(gè)勾畫《中每個(gè)像素i，其可信度定義為RGB顏色相對(duì)于前一陣對(duì)應(yīng)勾畫的分布概率，即Pr (i)，如果Pr (i)小于0. 2，認(rèn)為該 像素可信度比較低，不再適合做該層的種子，利用可信度對(duì)勾畫進(jìn)行修正，通過優(yōu)化下面的 能量函數(shù)進(jìn)行操作 [式1]E(I) = YjRXI1^X Σ KmMMi<p,q>GN其中λ是權(quán)因子，控制可信區(qū)域的大小，取值為0.3 Ai(Ii)是高斯混合模型定義的顏 色概率，具體定義為Ri(Ii) = -In (Pr (Gi I Ii))Pr(CJZi)= 1 iexp—^^啡喝)2HWv<p,q>高斯是定義相鄰像素的光滑性，使得勾畫仍然能夠保持相對(duì)的緊湊完整性其中c是像素的顏色，Ip是像素所在的層數(shù)，式[ι]采用圖割算法進(jìn)行有效優(yōu)化求解， 將可信度低于30%的區(qū)域的勾畫一分為二，保留可信度高的部分區(qū)域做為該分層上的種子 區(qū)域，進(jìn)而得到滿足分層要求的種子區(qū)域；步驟6 對(duì)每一幀上根據(jù)勾畫的種子區(qū)域進(jìn)行分層分層的結(jié)果是將每一幀分割為互 不相交的平面區(qū)域，每一塊平面區(qū)域具有和種子區(qū)域相近的顏色、運(yùn)動(dòng)，這里顏色的相近性 采用式[1]中高斯混合模型定義的顏色概率描述，運(yùn)動(dòng)的相似性則采用位移后對(duì)應(yīng)像素的 顏色差異來描述，具體的運(yùn)動(dòng)差異定義為 M!(/!) = arctan(||/i(/)-/i+1(/')||2-r) + |其中τ是常值取值60，了增加相鄰兩幀分層的一致性，定義如下的時(shí)間一致性能量fl, I1 ^ Iv 其它綜合考慮以上因素，在每一幀上計(jì)算分層通過優(yōu)化如下能量函數(shù)得到 [式2]Ei^YXRXiyrMX^T從))+ λ ^ V<M>(lpJq)i<p,q>GN其中權(quán)因子λ取值0.3，數(shù)衡量了將每個(gè)像素賦予某一層時(shí)的能量，通過極小化該能 量函數(shù)可以得到分層的視頻，將視頻的每一幀依次表示為不同分層區(qū)域的組合；步驟7 對(duì)于視頻的前景層，首先在關(guān)鍵幀的每一個(gè)前景層上采用各向異性的模型布 置筆刷，進(jìn)而生成風(fēng)格化繪制的前景層；步驟8 為了使得繪制視頻各幀的每個(gè)分層時(shí)盡可能一致的布置筆刷，將關(guān)鍵幀上的 筆刷逐幀的傳播到其余各幀。為了盡可能光滑的傳遞筆刷，采用薄板樣條函數(shù)定義的如下 變換來進(jìn)行筆刷的傳遞 [式3]T(x,y) = (fi (x,y), f2(x,y))3f(x,y) = c0+clx + c2y + Y4Wix￥(\\(x,y)-(X1 ,只)11)i=l其中ψ (r) = r2logr2是核函數(shù)，薄板樣條系數(shù)可以通過求解下面的線性方程組得到(Kpk+l^,ojm O y其中 Kij = Ψ ( Il (xi; Yi) "(Xj, Yj) Il )，Pt 的第 i 列為(1，Xi, Yi)T, pk+1 是該幀上對(duì)應(yīng)特 征點(diǎn)。通過前景層的筆刷傳播，可以生成視頻序列所有前景的風(fēng)格化繪制；步驟9 將視頻序列所有的背景層在同一個(gè)坐標(biāo)系下拼接成一個(gè)全景圖為了得到精 確的全景圖重構(gòu)，需要計(jì)算視頻序列各幀之間位于每個(gè)分層上的對(duì)應(yīng)特征點(diǎn)，假設(shè)位于第k 幀1層上的特征點(diǎn)為{乂}，與之對(duì)應(yīng)的第k+Ι幀上的特征點(diǎn)為{尸廣}，那么尋找最優(yōu)的變換Hk 使得變換后的特征點(diǎn)誤差最小，從而得到精確的全景圖重構(gòu)，變換Hk通過下面優(yōu)化函數(shù)求 解A=argminz||w-r./r『τ ι在對(duì)于每一幀的背景層求解得變換后，可以將所有的背景層在同一個(gè)坐標(biāo)系下拼接生 成全景圖；步驟10 對(duì)于拼接得到的背景層的全景圖，采用各向異性的模型布置筆刷，進(jìn)而生成 風(fēng)格化繪制的背景層，然后，利用拼接變換的逆變換Ht1，將風(fēng)格化繪制后的全景圖中相應(yīng) 的部分映射回每一幀，從而得到每一幀上具有繪畫風(fēng)格的背景；步驟11 對(duì)于視頻序列中的每一幀，按照從后往前的順序?qū)⒗L制后的各個(gè)分層融合起 來，生成最終的風(fēng)格化繪制的視頻序列，即，這里斤對(duì)應(yīng)第i幀第r分層，<是融 合系數(shù)，根據(jù)各個(gè)分層相應(yīng)的面積比例計(jì)算。全文摘要
本發(fā)明提供了一種基于視頻分層的繪畫渲染方法。該方法借助計(jì)算機(jī)視覺領(lǐng)域的視頻分層方法，將輸入的視頻序列根據(jù)顏色、運(yùn)動(dòng)等參數(shù)分解為相應(yīng)的分層表示，然后在對(duì)每一分層上進(jìn)行風(fēng)格化繪畫渲染。與傳統(tǒng)的直接在視頻每一幀上布置繪畫筆刷不同，本發(fā)明提出一種新的在分層上布置相應(yīng)的繪制筆刷的方法，能夠根據(jù)每個(gè)分層對(duì)應(yīng)的顏色、運(yùn)動(dòng)等參數(shù)在整個(gè)視頻序列進(jìn)行筆刷的優(yōu)化傳播布置，從而可以大大降低視頻閃爍，生成幀間連續(xù)性更優(yōu)的風(fēng)格化的繪畫視頻。同時(shí)，通過在不同分層上布置預(yù)設(shè)風(fēng)格的筆刷，本發(fā)明可以方便的生成具有多種繪畫風(fēng)格的視頻，創(chuàng)作出更具藝術(shù)效果的風(fēng)格化渲染結(jié)果。
文檔編號(hào)G06T11/00GK101930614SQ20101025006
公開日2010年12月29日 申請(qǐng)日期2010年8月10日 優(yōu)先權(quán)日2010年8月10日
發(fā)明者付田楠, 張磊, 黃華 申請(qǐng)人:西安交通大學(xué)