景深圖校正方法及系統(tǒng)的制作方法
【技術領域】
[0001] 本申請一般而言涉及一景深圖校正方法及系統(tǒng)。
【背景技術】
[000引根據(jù)動態(tài)圖像專家組（MovingPicUireExpertsGroup,簡稱MPEG)組織目前制定 的立體視頻壓縮標準（3DVideoCoding,簡稱3DVC)，希望能在達到符合現(xiàn)今數(shù)字傳輸環(huán)境 的流量限制下，呈現(xiàn)多視角（multi-view)的立體視覺效果。3DVC與之前的多視角編碼方法 (multi-viewvideocoding，MVC)相比，其不用紀錄數(shù)量鹿大的視角信息，而是W視角合成 的方式去建立該些視角，可W節(jié)省大量的數(shù)據(jù)量。
[0003] 3DVC整體的架構主要希望能在多張紋理圖像（tex化reimage)中，僅運用其中 少數(shù)幾張圖框（化ame)的紋理圖像（實際視角圖像）配合它們對應的場景深度圖（景深圖、 depthmap),W視角合成（viewsynthesis)的方式來合成出多張?zhí)摂M視角（virtualview) 圖像。舉例來說，景深圖像為基礎撞染（D巧thImageBasedRendering,簡稱DIBR)的算 法，可使用H張實際視角圖像加上對應的景深圖該H組信息，產(chǎn)生出九張不同視角圖像(包 括了實際視角圖像及虛擬視角圖像)，無論觀眾從哪個角度位置觀看，只要讓左右眼接收到 對應的視角圖像，就能觀賞到3D的立體圖像。
[0004] 紋理圖像為攝影機拍攝場景的實際圖像，而景深圖可視為對應實際圖像的一 8位 灰階圖像，景深圖的像素值(介于0~255之間)代表場景中物體距離攝影機的遠近，亦即景 深圖展現(xiàn)的是物體間在空間坐標的相對應關系，而與物體本身的實際紋理信息無關。
[000引舉例來說，如果定義紋理圖像中；像素點對應的深度值比較大(顏色較亮）將 之歸屬于前景物件，而深度值比較小(顏色較暗）將之歸屬于背景?？珊喕瘉斫忉專暯?合成（viewsynthesis)的過程可W看成是實際視角圖像里面的像素點視角位移（view wa巧ing) 了多少距離，跑到虛擬視角圖像上，而每個紋理圖像像素點（pixel)要位移多少距 離則是由景深圖上與該像素點相對應坐標的景深圖像素值（pixelvalue),簡稱為深度值 (depthvalue)決定，按照視角合成的理論，紋理圖像像素點所對應的景深圖上的深度值越 大，那么此像素點的位移量也會越大。
[0006] 進行視角合成過程中，深度值比較大的像素點，位移（warp) 了比較多的距離，而深 度值比較小的像素點，位移了比較少的距離。因為位移的距離不等，所W虛擬視角圖像上面 可能有些像素點沒有值，該些空著的像素點稱為"洞"（hole)。一般而言譬如說，洞信息可 標注在所謂的洞遮罩（holemask)在對應的像素點坐標位置，而供后續(xù)程序中參考，W洞填 補化olefilling)算法來填補洞。
[0007] 一般而言，如果景深圖和紋理圖像的前景背景相吻合，合成的圖像就不會產(chǎn)生噪 聲；但如果不吻合，則合成的圖像會形成些許的碎噪聲（noise)。

【發(fā)明內容】

[0008] 依據(jù)本掲露的一實施范例，提供一種景深圖校正方法。此方法包括W下步驟。將 一實際視角圖像的一左視角圖像、一右視角圖像依據(jù)各自對應的景深圖進行一視角位移，W取得一左虛擬視角圖像、一右虛擬視角圖像、一左側洞信息及一右側洞信息。點對點地將 不是洞的至少一像素點的左、右虛擬視角圖像坐標的像素值相減，W取得前述像素點的兀 余差值。如果取得的兀余差值大于第一闊值，則進行一位移反推，W得到前述像素點位于所 對應的實際視角圖像的一坐標，并W所得的此坐標鄰近范圍的深度值來校正前述像素點的 深度值，W進行一景深校正。
[0009] 依據(jù)本掲露的一實施范例，提供一種景深圖校正系統(tǒng)。景深圖校正系統(tǒng)包括一視 角位移單元、一兀余差值計算單元、一第一判斷單元、一位移反推單元及一景深校正單元。 視角位移單元用W將一實際視角圖像的一左視角圖像跟一右視角圖像依據(jù)各自對應的景 深圖進行一視角位移，W取得一左虛擬視角圖像、一右虛擬視角圖像、一左側洞信息及一右 側洞信息。兀余差值計算單元用W點對點地將不是洞的至少一像素點的左、右虛擬視角圖 像坐標的像素值相減，W取得前述至少一像素點的一兀余差值。第一判斷單元用W判斷如 果取得的兀余差值大于一第一闊值，則進行一位移反推。位移反推單元用W進行該位移反 推，W得到前述至少一像素點位于所對應的實際視角圖像的一坐標。景深校正單元用W進 行一景深校正，W所得坐標的鄰近范圍一或多個像素點的深度值來校正前述至少一像素點 的深度值。為了對本發(fā)明的上述及其他方面有更佳的了解，下文特舉若干實施范例，并配合 附圖，作詳細說明如下：
【附圖說明】
[0010] 所述圖式說明本申請的示范性實施例，且與描述一起用W解釋本申請的原理。
[0011] 圖1A、圖1B、圖1C繪示圖像前景物件與背景交界的邊緣處產(chǎn)生噪聲的例示圖。
[0012] 圖2繪示一景深圖校正方法實施范例的流程圖。
[0013] 圖3繪示圖2的景深圖校正方法實施范例的細部流程圖。
[0014] 圖4繪示W(wǎng)圖3方法檢查左側洞實施例圖解示意圖。
[0015] 圖5繪示W(wǎng)圖3方法檢查右側洞實施例圖解示意圖。
[0016] 圖6繪不經(jīng)由景深圖校正系統(tǒng)實施范例不意圖。
[0017]為了對本申請的上述及其他特征與優(yōu)點更了解，下文特舉實施例并配合附圖，作 進一步說明。應理解，W上一般描述和W下詳細描述都是示范性的，且希望提供對如所主張 的本申請的詳細解釋。
[0018]【符號說明】
[0019] 301;左虛擬視角圖像
[0020] 302;右虛擬視角圖像
[0021] 303;兀余差值
[0022] 304 ;左側洞
[0023] 305 ;左視角景深圖
[0024] 306 ;校正后左視角景深圖 [00巧]401 ;左虛擬視角圖像
[0026] 402;右虛擬視角圖像
[0027] 403 ;兀余差值
[002引 404 ;右側洞
[0029] 405;右視角景深圖
[0030] 406;校正后右視角景深圖
[003。 500;景深圖校正系統(tǒng)
[0032] 510;視角位移單元
[0033] 520;兀余差值計算單元
[0034] 530;第一判斷單元
[00對 540 ;第二判斷單元
[0036] 550;位移反推單元
[0037] 560 :第立判斷單元
[0038] 570;景深校正單元
[0039]BI;背景
[0040]FI;前景物件
[0041]NS;噪聲
[0042] S210、S220、S230、S240、S250、S260、S270;流程步驟
【具體實施方式】
[0043] 立體視頻壓縮標準（3DVideoCoding,簡稱3DVC)該樣的圖像壓縮方法，在畫質呈 現(xiàn)上某種程度取決于景深圖的正確性。當在景深圖里，如果圖像物件的深度信息不是那樣 準確，依據(jù)觀察，譬如說，如果原本應該屬于前景部分的像素點，因為景深圖不準確的關系， 可能讓它的深度值變成背景的深度值。該么一來，此像素點就不會位移到它原本該去的位 置，而變成了背景的一部分。請參照圖1A、圖1B、圖1C，圖1A、圖1B、圖1C繪示圖像前景物 件FI與背景BI交界的邊緣處產(chǎn)生噪聲NS的例示圖。反應在合成出來的虛擬視角畫面上， 而該便可能使合成出來的虛擬圖像，譬如在前景物件FI與背景BI交界的邊緣處，產(chǎn)生如圖 1A、或圖1B、或圖1C的例示噪聲NS。
[0044] 因此，本申請?zhí)岢鲆痪吧顖D校正方法、系統(tǒng)，本申請技術可相容目前視頻壓縮標準 比264/AVC與H. 265/肥VC組織要求。
[0045] 請參照圖2及圖3,圖2繪示一景深圖校正方法實施范例的流程圖。圖3繪示圖 2的景深圖校正方法實施范例的細部流程圖。經(jīng)由校正景深圖消除虛擬視角圖像噪聲。在 步驟S210中，將一實際視角圖像的一左視角圖像(實際視角圖像)、一右視角圖像（實際視 角圖像）（S211)依其對應