一種不產(chǎn)生空洞的中間視圖合成方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于深度圖像繪制技術(shù)領(lǐng)域，更為具體地講，涉及一種不產(chǎn)生空洞的中間 視圖合成方法。
【背景技術(shù)】
[0002] 作為自由立體3D視頻（autostereoscopic3DTV)和自由視點視頻 (free-viewpointTV,簡稱FTV)發(fā)展的關(guān)鍵，基于深度圖像繪制（depth-image-based rendering,簡稱DIBR)技術(shù)受到科研和商業(yè)領(lǐng)域的廣泛關(guān)注。
[0003] DIBR技術(shù)根據(jù)參考圖像（referenceimage)及其對應(yīng)的深度圖像（depthimage) 來合成任意視點的目標(biāo)圖像（新視點圖像）。但是，在產(chǎn)生新視點圖像的過程中會有空洞的 出現(xiàn)，空洞即被前景物體遮擋的背景在合成的新視點視圖中暴露的區(qū)域，如圖1所示的人 物右側(cè)以及圖像的左側(cè)黑色區(qū)域，這會嚴(yán)重降低了合成視圖（synthesisview)的質(zhì)量。
[0004] 在雙向DIBR技術(shù)（double-sidedDIBRtechnique)中，將兩幅參考圖像變換成的 左右虛擬視圖（virtualview)進(jìn)行融合得到中間圖像，在一定程度上減少了空洞，因為在 某一虛擬視圖中的空洞可能在另一幅虛擬視圖中找到填補信息。然而，如果在兩幅參考圖 像中都不能找到合理的信息來填充空洞，空洞仍然存在。盡管隨著所提供攝像機數(shù)的增加， 有些空洞因為變得可見而被填充，但是由于不可能在所有位置都放上一個攝像機，因而在 合成任意視點視圖時空洞是不可避免的。
[0005] 空洞填充方法在國內(nèi)外學(xué)術(shù)界沿著深度圖像預(yù)處理和合成視圖后處理相結(jié)合方 向不斷發(fā)展，在一定程度上提高了合成圖像的質(zhì)量，但是不免引入幾何扭曲或者實現(xiàn)復(fù)雜 耗時等問題。如果能夠?qū)斩串a(chǎn)生的機理進(jìn)行完善、合理的分析，以便在合成視圖中減少甚 至避免空洞的產(chǎn)生，或者能夠據(jù)此利用合理的背景信息進(jìn)行空洞填充，將促進(jìn)該方向在學(xué) 術(shù)方面的發(fā)展。
[0006] 在空洞產(chǎn)生機理的研究方面，2013年，Zhu等人研究了視圖插值中的空洞產(chǎn)生， 并得出產(chǎn)生空洞的具體條件，同時提出了一種能夠全面地利用遮擋的背景信息進(jìn)行空洞填 充的新方法。但是，該空洞填充方法對于空洞產(chǎn)生分析的場景設(shè)置太過簡單特殊，把前景物 體看成平面來進(jìn)行分析，這無疑不符合實際情況。此外，空洞填充方法在空洞較大或紋理復(fù) 雜的情況下不能得以保證。隨后，在2014年，Zhu等人進(jìn)一步分析了利用多幅參考圖像進(jìn) 行DIBR視圖插值的空洞產(chǎn)生機理，得出如下定理，在特定條件下使用主要視圖外的其他補 充視圖（compementaryview)能夠減少目標(biāo)虛擬視圖中的空洞長度。最后利用補充視圖中 的信息進(jìn)行空洞填充，結(jié)果顯示使用多幅參考圖像進(jìn)行視圖合成效果較好。該空洞填充方 法的場景設(shè)置仍然沒有考慮前景物體有一定厚度的實際情況，對空洞產(chǎn)生定理的分析比較 簡單，采用補充視圖進(jìn)行空洞填充復(fù)雜度高。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種不產(chǎn)生空洞的中間視圖合成方 法，從而不需要對空洞進(jìn)行填充，避免了空洞填充時間復(fù)雜性。
[0008] 為實現(xiàn)上述發(fā)明目的，本發(fā)明不產(chǎn)生空洞的中間視圖合成方法，其特征在于，對于 給定的拍攝場景，左右兩臺攝像機間的基線長度設(shè)置滿足：
[0009]
[0010] 其中，zB為背景深度值、zF為前景深度值、LB為背景部分的長度；
[0011] 在視頻終端，使用雙向DIBR技術(shù)對通過左右兩臺攝像機獲取的兩幅參考圖像及 其對應(yīng)的深度圖像進(jìn)行三維圖像變換，得到兩幅虛擬視圖，然后將生成的兩幅虛擬視圖進(jìn) 行融合得到中間視圖，該中間視圖位于中央眼位置。
[0012] 本發(fā)明的目的是這樣實現(xiàn)的。
[0013] 本發(fā)明不產(chǎn)生空洞的中間視圖合成方法，在給定的拍攝場景下，通過對左右兩臺 攝像機的基線長度設(shè)置，使其小于等于背景深度值Zb與背景部分的長度L8的乘積除以背景 深度值Zb與前景深度值的差值的二分之一，這樣在視頻終端，使用雙向DIBR技術(shù)對通過左 右兩臺攝像機獲取的兩幅參考圖像及其對應(yīng)的深度圖像進(jìn)行三維圖像變換得到兩幅虛擬 視圖，兩幅虛擬視圖再進(jìn)行融合得到中央眼位置的中間視圖，該中間視圖沒有空洞，一定程 度上保證合成圖像的質(zhì)量，避免了空洞填充時間復(fù)雜性。
【附圖說明】
[0014] 圖1是合成視圖中的空洞實例圖；
[0015] 圖2是雙向DIBR技術(shù)在繪制中間視圖的流程圖；
[0016] 圖3是雙向DIBR技術(shù)中的空洞產(chǎn)生示意圖；
[0017] 圖4是前景邊界點在左、右參考圖像中對應(yīng)點示意圖；
[0018] 圖5是"前景-背景-前景"設(shè)置下的三維圖像變換過程示意圖；
[0019] 圖6是對公式⑷說明示意圖；
[0020] 圖7是在三維圖像變換和視圖合成中產(chǎn)生空洞最大情況示意圖；
[0021] 圖8是"背景-前景-背景"設(shè)置下的三維圖像變換過程示意圖。
【具體實施方式】
[0022] 下面結(jié)合附圖對本發(fā)明的【具體實施方式】進(jìn)行描述，以便本領(lǐng)域的技術(shù)人員更好地 理解本發(fā)明。需要特別提醒注意的是，在以下的描述中，當(dāng)已知功能和設(shè)計的詳細(xì)描述也許 會淡化本發(fā)明的主要內(nèi)容時，這些描述在這里將被忽略。
[0023] 在本實施例中，首先介紹了基于DIBR技術(shù)的視圖合成（viewsynthsis)，使用該 技術(shù)能夠在一定程度上降低目標(biāo)圖像中的空洞長度。隨后詳盡分析了雙向DIBR技術(shù)下空 洞的產(chǎn)生，在一定限制條件下，通過對空洞產(chǎn)生的理解和分析，使用合理有效的方法減少或 抑制空洞的產(chǎn)生，并得出了相應(yīng)理論結(jié)論。如果能在參考圖像獲取過程中進(jìn)行參數(shù)的設(shè)置， 以減少或避免產(chǎn)生新視點圖像（中間圖像）時空洞的產(chǎn)生，將會大大減少和降低填充空洞 的時間復(fù)雜性，并在一定程度上保證合成圖像的質(zhì)量，這也正是科研和商業(yè)領(lǐng)域迫切需要 的。
[0024] 1、基于DIBR的中間圖像合成
[0025] 基于深度圖像繪制技術(shù)根據(jù)參考圖像及其對應(yīng)的深度圖像來生成一幅目標(biāo)圖像 (新視點圖像）。與傳統(tǒng)的需要傳遞左右眼兩路視頻的3D視頻相比，采用DIBR技術(shù)之后僅 需要傳送一路視頻及其深度圖像就可生成任意視點的虛擬視圖，而且可以很方便的實現(xiàn)二 維和三維的切換。正因為如此，DIBR技術(shù)在3D電視立體圖像對（stereopair)的生成中 得到了廣泛應(yīng)用，它也引起了人們愈來愈濃厚的興趣。然而，該技術(shù)的一個主要問題是繪制 的新視點圖像內(nèi)部存在暴露區(qū)域即空洞，這會嚴(yán)重降低圖像的質(zhì)量。
[0026] 為了分析空洞產(chǎn)生機理，本節(jié)簡單介紹基于DIBR的中間圖像合成，限制條件如 下：
[0027] 1.1)、平行攝像機設(shè)置
[0028] 在平行攝像機設(shè)置（parallelcamerasetup)下，經(jīng)過三維圖像變換（3D imagewarping)后，垂直視差（verticalparallax)為零，只存在水平視差（horizonal parallax)。每個像素點的視差值可由下式得到：
[0029]
[0030] 其中，f、sx、B、z分別表示攝像機焦距、在X軸方向上每單位物理長度對應(yīng)的像素 個數(shù)、兩臺攝像機間的基線（baseline)長度和像素點的深度值。
[0031] 參考圖像中像素點在左目標(biāo)圖像和右目標(biāo)圖像中的對應(yīng)點坐標(biāo)可分別由公式（2) 和⑶得到：
[0032] Us=ur+d,Vs=Vr (2)
[0033] Us=ur