景深圖校正方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本申請一般而言涉及一景深圖校正方法及系統(tǒng)。
【背景技術(shù)】
[000引根據(jù)動態(tài)圖像專家組（MovingPicUireExpertsGroup,簡稱MPEG)組織目前制定 的立體視頻壓縮標(biāo)準(zhǔn)（3DVideoCoding,簡稱3DVC)，希望能在達(dá)到符合現(xiàn)今數(shù)字傳輸環(huán)境 的流量限制下，呈現(xiàn)多視角（multi-view)的立體視覺效果。3DVC與之前的多視角編碼方法 (multi-viewvideocoding，MVC)相比，其不用紀(jì)錄數(shù)量鹿大的視角信息，而是W視角合成 的方式去建立該些視角，可W節(jié)省大量的數(shù)據(jù)量。
[0003] 3DVC整體的架構(gòu)主要希望能在多張紋理圖像（tex化reimage)中，僅運(yùn)用其中 少數(shù)幾張圖框（化ame)的紋理圖像（實際視角圖像）配合它們對應(yīng)的場景深度圖（景深圖、 depthmap),W視角合成（viewsynthesis)的方式來合成出多張?zhí)摂M視角（virtualview) 圖像。舉例來說，景深圖像為基礎(chǔ)撞染（D巧thImageBasedRendering,簡稱DIBR)的算 法，可使用H張實際視角圖像加上對應(yīng)的景深圖該H組信息，產(chǎn)生出九張不同視角圖像(包 括了實際視角圖像及虛擬視角圖像)，無論觀眾從哪個角度位置觀看，只要讓左右眼接收到 對應(yīng)的視角圖像，就能觀賞到3D的立體圖像。
[0004] 紋理圖像為攝影機(jī)拍攝場景的實際圖像，而景深圖可視為對應(yīng)實際圖像的一 8位 灰階圖像，景深圖的像素值(介于0~255之間)代表場景中物體距離攝影機(jī)的遠(yuǎn)近，亦即景 深圖展現(xiàn)的是物體間在空間坐標(biāo)的相對應(yīng)關(guān)系，而與物體本身的實際紋理信息無關(guān)。
[000引舉例來說，如果定義紋理圖像中；像素點(diǎn)對應(yīng)的深度值比較大(顏色較亮）將 之歸屬于前景物件，而深度值比較小(顏色較暗）將之歸屬于背景?？珊喕瘉斫忉?，視角 合成（viewsynthesis)的過程可W看成是實際視角圖像里面的像素點(diǎn)視角位移（view wa巧ing) 了多少距離，跑到虛擬視角圖像上，而每個紋理圖像像素點(diǎn)（pixel)要位移多少距 離則是由景深圖上與該像素點(diǎn)相對應(yīng)坐標(biāo)的景深圖像素值（pixelvalue),簡稱為深度值 (depthvalue)決定，按照視角合成的理論，紋理圖像像素點(diǎn)所對應(yīng)的景深圖上的深度值越 大，那么此像素點(diǎn)的位移量也會越大。
[0006] 進(jìn)行視角合成過程中，深度值比較大的像素點(diǎn)，位移（warp) 了比較多的距離，而深 度值比較小的像素點(diǎn)，位移了比較少的距離。因為位移的距離不等，所W虛擬視角圖像上面 可能有些像素點(diǎn)沒有值，該些空著的像素點(diǎn)稱為"洞"（hole)。一般而言譬如說，洞信息可 標(biāo)注在所謂的洞遮罩（holemask)在對應(yīng)的像素點(diǎn)坐標(biāo)位置，而供后續(xù)程序中參考，W洞填 補(bǔ)化olefilling)算法來填補(bǔ)洞。
[0007] 一般而言，如果景深圖和紋理圖像的前景背景相吻合，合成的圖像就不會產(chǎn)生噪 聲；但如果不吻合，則合成的圖像會形成些許的碎噪聲（noise)。

【發(fā)明內(nèi)容】

[0008] 依據(jù)本掲露的一實施范例，提供一種景深圖校正方法。此方法包括W下步驟。將 一實際視角圖像的一左視角圖像、一右視角圖像依據(jù)各自對應(yīng)的景深圖進(jìn)行一視角位移，W取得一左虛擬視角圖像、一右虛擬視角圖像、一左側(cè)洞信息及一右側(cè)洞信息。點(diǎn)對點(diǎn)地將 不是洞的至少一像素點(diǎn)的左、右虛擬視角圖像坐標(biāo)的像素值相減，W取得前述像素點(diǎn)的兀 余差值。如果取得的兀余差值大于第一闊值，則進(jìn)行一位移反推，W得到前述像素點(diǎn)位于所 對應(yīng)的實際視角圖像的一坐標(biāo)，并W所得的此坐標(biāo)鄰近范圍的深度值來校正前述像素點(diǎn)的 深度值，W進(jìn)行一景深校正。
[0009] 依據(jù)本掲露的一實施范例，提供一種景深圖校正系統(tǒng)。景深圖校正系統(tǒng)包括一視 角位移單元、一兀余差值計算單元、一第一判斷單元、一位移反推單元及一景深校正單元。 視角位移單元用W將一實際視角圖像的一左視角圖像跟一右視角圖像依據(jù)各自對應(yīng)的景 深圖進(jìn)行一視角位移，W取得一左虛擬視角圖像、一右虛擬視角圖像、一左側(cè)洞信息及一右 側(cè)洞信息。兀余差值計算單元用W點(diǎn)對點(diǎn)地將不是洞的至少一像素點(diǎn)的左、右虛擬視角圖 像坐標(biāo)的像素值相減，W取得前述至少一像素點(diǎn)的一兀余差值。第一判斷單元用W判斷如 果取得的兀余差值大于一第一闊值，則進(jìn)行一位移反推。位移反推單元用W進(jìn)行該位移反 推，W得到前述至少一像素點(diǎn)位于所對應(yīng)的實際視角圖像的一坐標(biāo)。景深校正單元用W進(jìn) 行一景深校正，W所得坐標(biāo)的鄰近范圍一或多個像素點(diǎn)的深度值來校正前述至少一像素點(diǎn) 的深度值。為了對本發(fā)明的上述及其他方面有更佳的了解，下文特舉若干實施范例，并配合 附圖，作詳細(xì)說明如下：
【附圖說明】
[0010] 所述圖式說明本申請的示范性實施例，且與描述一起用W解釋本申請的原理。
[0011] 圖1A、圖1B、圖1C繪示圖像前景物件與背景交界的邊緣處產(chǎn)生噪聲的例示圖。
[0012] 圖2繪示一景深圖校正方法實施范例的流程圖。
[0013] 圖3繪示圖2的景深圖校正方法實施范例的細(xì)部流程圖。
[0014] 圖4繪示W(wǎng)圖3方法檢查左側(cè)洞實施例圖解示意圖。
[0015] 圖5繪示W(wǎng)圖3方法檢查右側(cè)洞實施例圖解示意圖。
[0016] 圖6繪不經(jīng)由景深圖校正系統(tǒng)實施范例不意圖。
[0017]為了對本申請的上述及其他特征與優(yōu)點(diǎn)更了解，下文特舉實施例并配合附圖，作 進(jìn)一步說明。應(yīng)理解，W上一般描述和W下詳細(xì)描述都是示范性的，且希望提供對如所主張 的本申請的詳細(xì)解釋。
[0018]【符號說明】
[0019] 301;左虛擬視角圖像
[0020] 302;右虛擬視角圖像
[0021] 303;兀余差值
[0022] 304 ;左側(cè)洞
[0023] 305 ;左視角景深圖
[0024] 306 ;校正后左視角景深圖 [00巧]401 ;左虛擬視角圖像
[0026] 402;右虛擬視角圖像
[0027] 403 ;兀余差值
[002引 404 ;右側(cè)洞
[0029] 405;右視角景深圖
[0030] 406;校正后右視角景深圖
[003。 500;景深圖校正系統(tǒng)
[0032] 510;視角位移單元
[0033] 520;兀余差值計算單元
[0034] 530;第一判斷單元
[00對 540 ;第二判斷單元
[0036] 550;位移反推單元
[0037] 560 :第立判斷單元
[0038] 570;景深校正單元
[0039]BI;背景
[0040]FI;前景物件
[0041]NS;噪聲
[0042] S210、S220、S230、S240、S250、S260、S270;流程步驟
【具體實施方式】
[0043] 立體視頻壓縮標(biāo)準(zhǔn)（3DVideoCoding,簡稱3DVC)該樣的圖像壓縮方法，在畫質(zhì)呈 現(xiàn)上某種程度取決于景深圖的正確性。當(dāng)在景深圖里，如果圖像物件的深度信息不是那樣 準(zhǔn)確，依據(jù)觀察，譬如說，如果原本應(yīng)該屬于前景部分的像素點(diǎn)，因為景深圖不準(zhǔn)確的關(guān)系， 可能讓它的深度值變成背景的深度值。該么一來，此像素點(diǎn)就不會位移到它原本該去的位 置，而變成了背景的一部分。請參照圖1A、圖1B、圖1C，圖1A、圖1B、圖1C繪示圖像前景物 件FI與背景BI交界的邊緣處產(chǎn)生噪聲NS的例示圖。反應(yīng)在合成出來的虛擬視角畫面上， 而該便可能使合成出來的虛擬圖像，譬如在前景物件FI與背景BI交界的邊緣處，產(chǎn)生如圖 1A、或圖1B、或圖1C的例示噪聲NS。
[0044] 因此，本申請?zhí)岢鲆痪吧顖D校正方法、系統(tǒng)，本申請技術(shù)可相容目前視頻壓縮標(biāo)準(zhǔn) 比264/AVC與H. 265/肥VC組織要求。
[0045] 請參照圖2及圖3,圖2繪示一景深圖校正方法實施范例的流程圖。圖3繪示圖 2的景深圖校正方法實施范例的細(xì)部流程圖。經(jīng)由校正景深圖消除虛擬視角圖像噪聲。在 步驟S210中，將一實際視角圖像的一左視角圖像(實際視角圖像)、一右視角圖像（實際視 角圖像）（S211)依其對應(yīng)