專利名稱：基于邊界的高分辨率深度圖生成的制作方法
基于邊界的高分辨率深度圖生成技術(shù)領(lǐng)域：
本發(fā)明涉及三維圖像處理，特別涉及使用基于邊界的處理方法來生成高分辨率深度圖。背景技術(shù)：
在三維(3D)圖像處理(如3D計算機(jī)圖形、3D建模、3D動畫生成等)中，經(jīng)常要使用到物體距離一個視點(diǎn)的深度信息。例如，包含場景物體表面離一個視點(diǎn)的距離信息的深度圖(如一個圖像或圖像通道)可以用于提供二維(2D)圖像中的深度信息。
但是，獲取或得到高分辨率的深度信息還是很困難的。例如，盡管能拍攝高分辨率 2D圖像的相機(jī)(在此稱作圖像照相機(jī))已經(jīng)很常見了(常見到包含在許多消費(fèi)電子設(shè)備中， 例如手機(jī)、平板裝置、和手提電腦)，而且并不昂貴，但是能夠拍攝一個場景的深度信息的相機(jī)還很不常見，并且相當(dāng)昂貴。這種深度相機(jī)通常只提供低分辨率的深度信息，因此不能準(zhǔn)確地映射到相應(yīng)的高分辨率圖像上。
盡管已經(jīng)有各種方法嘗試對低分辨率深度信息進(jìn)行采樣或插值而得到更高分辨率的深度信息，但是這些方法都不是很令人滿意。例如，現(xiàn)有技術(shù)的插值方法使用插值算法，檢查包含不可靠樣本的深度樣本，因此使得插值結(jié)果中有不可靠的樣本輸入。另外，現(xiàn)有技術(shù)的插值方法不能準(zhǔn)確地確定深度不連續(xù)之處，因此在生成的深度圖中產(chǎn)生模糊和不正確的物體邊界。而且，例如由于對每個像素進(jìn)行雙邊濾波或插值、實(shí)施比較大的插值樣本窗口大小等等，現(xiàn)有技術(shù)的插值方法通常需要相當(dāng)多的處理過程。因此，上采樣深度圖通常不準(zhǔn)確，而且還需要相當(dāng)多的處理資源。發(fā)明概述
本發(fā)明是關(guān)于通過使用基于邊界的處理技術(shù)從低分辨率深度信息產(chǎn)生高分辨率深度圖的系統(tǒng)和方法。本發(fā)明實(shí)施例提供的基于邊界的處理技術(shù)使用邊界檢測和基于邊界的插值算法，用于從低分辨率深度信息和高分辨率圖像信息中產(chǎn)生高分辨率深度信息。根據(jù)本發(fā)明實(shí)施例，邊界檢測算法可以檢測到物體邊界(如深度不連續(xù)之處)，其中低分辨率深度樣本通常是不準(zhǔn)確的，因此需要根據(jù)高分辨率圖像信息進(jìn)行改善。根據(jù)本發(fā)明實(shí)施例， 基于邊界的插值算法使用邊界檢測算法提供的邊界信息，以改善中間結(jié)果的上采樣深度信息(如空間插值低分辨率深度信息)，從而提供更準(zhǔn)確和可靠的高分辨率深度信息。
前述已經(jīng)相當(dāng)廣泛地闡述了本發(fā)明的特征和技術(shù)優(yōu)勢，由此將更加容易理解以下本發(fā)明的詳細(xì)描述。本發(fā)明的其他特征和優(yōu)勢將在其后描述，并構(gòu)成本發(fā)明的權(quán)利要求部分。本領(lǐng)域普通技術(shù)人員應(yīng)該理解，在此披露的概念和具體實(shí)施例可以作為一個基礎(chǔ)，用來修改或設(shè)計其它結(jié)構(gòu)來執(zhí)行本發(fā)明的相同目的。本領(lǐng)域普通技術(shù)人員也應(yīng)該認(rèn)識到，這種等同的構(gòu)造沒有脫離由所附權(quán)利要求闡述的本發(fā)明精神和范圍。被看作是本發(fā)明特征的新穎性特征，無論是其組織還是運(yùn)算方法，與其它目的和優(yōu)勢一起，通過以下 的描述并結(jié)合附圖，將會得到更好的理解。但是，需要強(qiáng)調(diào)的是，每個附圖僅是用作描述和敘述，并不是意圖限制本發(fā)明。

為了更完整地理解本發(fā)明，現(xiàn)結(jié)合附圖參照以下的描述，其中
圖1顯示本發(fā)明實(shí)施例基于邊界的深度處理的系統(tǒng)功能模塊示意圖2顯示本發(fā)明實(shí)施例的能提供基于邊界的深度處理功能的計算機(jī)系統(tǒng)；
圖3顯示本發(fā)明實(shí)施例的邊界檢測邏輯提供邊界檢測的運(yùn)行流程圖4顯示本發(fā)明實(shí)施例的一個可以用于擬合不同深度的樣本間隔統(tǒng)計而用于歸一化的多項式曲線；
圖5A和5B描述本發(fā)明實(shí)施例的從深度梯度和圖像梯度中產(chǎn)生聯(lián)合深度和圖像梯度；
圖6顯示本發(fā)明實(shí)施例的基于邊界的插值邏輯提供高分辨率深度信息的運(yùn)行流程圖7顯示本發(fā)明實(shí)施例的一個非邊界塊及其8個相鄰塊表示；
圖8A和SB顯示本發(fā)明實(shí)施例的被分割成子區(qū)域的邊界塊；
圖9顯示本發(fā)明實(shí)施例的邊界塊及其8割相鄰塊。發(fā)明詳述
圖1是根據(jù)本發(fā)明實(shí)施例的基于邊界的深度處理系統(tǒng)的高層(high level)功能模塊示意圖。運(yùn)行時，所示實(shí)施例的系統(tǒng)100使用基于邊界的處理方法從低分辨率(如 (600x400像素)深度信息110 (如由一個深度相機(jī)拍攝的低分辨率深度圖111提供的)和高分辨率圖像信息120 (如由一個圖像照相機(jī)拍攝的高分辨率圖像121提供的)中產(chǎn)生高分辨率(如> 1024x768像素)深度信息151。
所示實(shí)施例系統(tǒng)100提供的基于邊界的深度處理，是對深度信息進(jìn)行中間結(jié)果的的(intermediate)上采樣，然后進(jìn)行邊界檢測，并進(jìn)行基于邊界的插值，以從低分辨率深度信息和高分辨率圖像信息中產(chǎn)生高分辨率的深度信息。因此，系統(tǒng)100包括深度信息上采樣邏輯130、邊界檢測邏輯140、和基于邊界的插值邏輯150，它們相互連接以提供基于邊界的深度處理。
應(yīng)當(dāng)理解，以上邏輯可以以各種方式實(shí)施，包括硬件邏輯電路、軟件、固件、以及其組合。當(dāng)以軟件實(shí)施時，本發(fā)明實(shí)施例的元素可以包括能在處理器系統(tǒng)(如圖2所示的計算機(jī)系統(tǒng)200)上運(yùn)行的代碼段，以執(zhí)行在此描述的工作。代碼段可以存儲在計算機(jī)可讀介質(zhì)中，如隨機(jī)存取存儲器(RAM) 203、只讀存儲器(ROM) 204、和/或存儲設(shè)備206。另外，代碼段可以通過計算機(jī)網(wǎng)絡(luò)(如網(wǎng)絡(luò)212)下載。
根據(jù)本發(fā)明實(shí)施例的計算機(jī)系統(tǒng)200可以包括配置有程序代碼(如包括上述的代碼段)的通用處理器系統(tǒng)，以提供在此所述的功能性。因此，所示實(shí)施例計算機(jī)系統(tǒng)200包括中央處理單元(CPU) 201，其連接到系統(tǒng)總線202。CPU201可以是任何通用CPU，如來自英特爾公司的PENTIUM或CORE系列的處理器，或者來自AM聯(lián)盟(蘋果公司、IBM公司和 Motorola公司)的POWERPC系列處理器。但是，本發(fā)明`并不限制CPU201的結(jié)構(gòu)，只要CPU201 支持在此描述的本發(fā)明的運(yùn)作。
所示實(shí)施例的總線202連接到RAM203 (如SRAM、DRAM、SDRAM、閃存等等)。R0M204 (如PR0M、EPR0M、EEPR0M)也連接到所示實(shí)施例的總線202。眾所周知，RAM203和R0M204保存用戶和系統(tǒng)數(shù)據(jù)以及程序?？偩€202也連接到輸入/輸出(I/O)控制器205、通信轉(zhuǎn)接適 配器211、用戶接口適配器208、和顯示適配器209。
I/O控制器205連接存儲設(shè)備206 (如一個或多個硬盤、光盤(如⑶或DVD)、軟盤、 和磁帶)到該計算機(jī)系統(tǒng)。所示實(shí)施例的I/O控制器205也連接到打印機(jī)214，其允許系統(tǒng) 打印信息，如文件、圖片等等。該打印機(jī)可以是傳統(tǒng)打印機(jī)(如點(diǎn)陣、激光等等)、傳真機(jī)、復(fù) 印機(jī)等等。
通信轉(zhuǎn)接適配器211用于連接計算機(jī)系統(tǒng)200到網(wǎng)絡(luò)212，以提供通信連接往來外 部系統(tǒng)、設(shè)備、網(wǎng)絡(luò)等。網(wǎng)絡(luò)212可以包括公共交換電話網(wǎng)絡(luò)(PSTN)、局域網(wǎng)(LAN)、城域網(wǎng) (MAN)、廣域網(wǎng)(WAN)、外聯(lián)網(wǎng)、內(nèi)聯(lián)網(wǎng)、英特網(wǎng)、手機(jī)網(wǎng)、有線電視傳輸網(wǎng)絡(luò)等等。
所示實(shí)施例的用戶接口適配器208連接各種用戶輸入設(shè)備到該計算機(jī)系統(tǒng)。例 如，鍵盤213、指示設(shè)備207、和麥克風(fēng)216都可以通過用戶接口適配器連接，以接受各種形 式的用戶輸入。類似地，揚(yáng)聲器215可以通過用戶接口適配器連接，以提供用戶接口輸出。
顯示適配器209提供接口給顯示器210。因此，CPU201可以控制各種信息的顯示， 包括文字、圖形、和圖像，通過顯示適配器209而顯示在顯示器210上。顯示器210可以包 括陰極射線管(CRT)顯示器、等離子顯示器、液晶顯示器(IXD)、投影儀等等。盡管在所示實(shí) 施例中沒有清晰顯示，但是顯示器210可以提供數(shù)據(jù)輸入，也可以提供數(shù)據(jù)輸出。例如，根 據(jù)本發(fā)明實(shí)施例，顯示器210可以包括觸摸屏顯示。
盡管在圖2中顯示的是通用處理器系統(tǒng)，但是應(yīng)該理解，這個能夠提供深度信息 上采樣邏輯130、邊界檢測邏輯140、和基于邊界的插值邏輯150或其部分的處理器系統(tǒng)，也 可以是一個專用處理器系統(tǒng)，如可以提供硬件邏輯電路以實(shí)施上述功能性。例如，根據(jù)本發(fā) 明實(shí)施例，一些或所有上述邏輯可以實(shí)施在一個專用集成電路(ASIC)或現(xiàn)場可編程門陣列 (FPGA)上。
參見圖1，實(shí)施例的深度信息上采樣邏輯130對深度信息進(jìn)行中間結(jié)果的的 (intermediate)上采樣。例如，對低分辨率深度信息110進(jìn)行上采樣，以提供中間結(jié)果的上 采樣的深度信息131。該中間結(jié)果的上采樣的深度信息131的分辨率最好能對應(yīng)于高分辨 率圖像信息120的分辨率。深度信息上采樣邏輯130可以實(shí)施一個或多個空間插值算法(如 最近鄰、雙線性、雙三次等等)，以對低分辨率深度信息進(jìn)行上采樣。盡管一些插值方法很容 易產(chǎn)生不準(zhǔn)確的結(jié)果，特別是在物體邊界處，因為在插值確定中它們使用了不可靠的樣本； 但是本發(fā)明通過使用如下所述的進(jìn)一步改善處理，可以提供可靠的高分辨率深度信息。
實(shí)施例的邊界檢測邏輯140執(zhí)行一個算法以檢測高分辨率圖像121中的物體邊界 (即深度不連續(xù))，以提供邊界信息，如邊界圖141所示。通常這些邊界區(qū)域內(nèi)的低分辨率深 度信息110的深度樣本是不準(zhǔn)確的，因此需要改善。
圖3顯示本發(fā)明實(shí)施例的邊界檢測邏輯140提供邊界信息的運(yùn)行流程圖，如流程 300。在步驟301和302，分別計算深度和圖像梯度。例如，可以使用眾所周知的方法(如使 用相鄰深度的差值)來計算中間結(jié)果的上采樣深度信息131的深度梯度(如深度圖中每個樣 本在深度上的方向變化)。類似地，可以使用眾所周知的方法(如使用相鄰亮度和/或顏色 的差值)計算高分辨率圖像信息120的圖像梯度(如一個圖像中每個樣本在亮度或顏色上的 方向變化)。本發(fā)明實(shí)施例使用諸如蘇貝爾算子(Sobel operator)計算一個或多個上述梯 度。
在步驟303，歸一化步驟301中計算的深度梯度。例如，深度傳感器經(jīng)常使用不同 的采樣間隔在不同的深度上(如對于很靠近視點(diǎn)的物體，會提供權(quán)重)。因此，本實(shí)施例在步 驟303上的處理是對具有不同采樣間隔的樣本的深度梯度進(jìn)行歸一化。在運(yùn)行時，使用如 圖4所示的一個多項式曲線去擬合在不同深度的采樣間隔的統(tǒng)計。通過使用深度梯度的歸 一化，基于深度梯度而判斷深度不連續(xù)之處的標(biāo)準(zhǔn)就適應(yīng)于實(shí)際中不同的深度。也就是說， 使用歸一化的深度梯度，靠近視點(diǎn)的場景中物體的邊界檢測和遠(yuǎn)離視點(diǎn)的場景中物體的邊 界檢測都可以同樣表現(xiàn)良好。
歸一化的深度梯度和圖像梯度在步驟304進(jìn)行組合，以提供一個聯(lián)合深度和圖像 梯度，用于邊界檢測。在組合歸一化的深度梯度和圖像梯度中，實(shí)施例選擇性地組合梯度信 息。例如，可以從歸一化的深度梯度中去除太小的深度梯度，并同時去除這些過小的深度梯 度所對應(yīng)的圖像梯度(即圖像中相應(yīng)位置如像素位置上的深度和圖像梯度)。例如，在深度 梯度歸一化之后，太小的深度梯度可以是小于一個特定閾值(如O. 2/1，其中梯度被歸一化 到
)的梯度。根據(jù)實(shí)施例，歸一化的深度梯度是使用固定的閾值用于去除梯度。應(yīng)該 理解，相當(dāng)大的梯度通常意味著是一個邊界，因此去除太小的梯度是去除對邊界檢測不必 要的信息。
或者，在步驟304中組合歸一化深度梯度和圖像梯度時，可以抑制非常大的深度 梯度，以強(qiáng)調(diào)對應(yīng)的圖像梯度。在深度梯度歸一化后，該非常大的深度梯度可以是諸如大于 一個閾值(如O. 5/1)的梯度。根據(jù)實(shí)施例，歸一化的深度梯度是使用一個固定的閾值用于 抑制梯度。應(yīng)該理解，大的梯度通常意味著是一個邊界。但是，中間結(jié)果的上采樣深度信息 是對低分辨率深度信息進(jìn)行簡單的空間上采樣得到的，因此，盡管其能夠可靠地指出邊界 的存在，但是關(guān)于邊界的具體位置信息還是相當(dāng)弱。但是，高分辨率圖像信息是生來高分辨 率的，因此由該信息提供的梯度可以提供更精確的邊界位置信息。因此，通過抑制非常大的 深度梯度，并定位相應(yīng)的圖像梯度作為邊界，邊界檢測邏輯能夠非?？煽康厥褂眠@些深度 梯度去確定邊界的存在，并使用圖像梯度去高度準(zhǔn)確地定位邊界的位置。
另外，在步驟304中組合歸一化的深度梯度和圖像梯度時，深度梯度和相應(yīng)的圖 像梯度可以根據(jù)方向的一致性而組合。應(yīng)當(dāng)理解，深度梯度和圖像梯度的方向一致，將可靠 地指示圖像中邊界的存在聯(lián)合深度和圖像梯度。因此，當(dāng)深度梯度和相應(yīng)的圖像梯度有相 似的方向時(如梯度向量方向之間的夾角在20°以內(nèi))，兩者就可以合并在一起，組成聯(lián)合 深度和圖像梯度，如圖5A所示(如深度梯度向量Gd的方向與圖像梯度向量Gi的方向之間 的夾角在20°以內(nèi)，因此這兩個向量可以組合，生成一個聯(lián)合深度和圖像梯度向量Ge)。另 一方面，深度梯度和圖像梯度方向的分歧則說明有信息沖突(如來源于圖像中的陰影、表面 紋飾等等)。應(yīng)當(dāng)理解，在這種情況下，深度梯度通常更能顯示邊界存在。因此，當(dāng)深度梯度 和相應(yīng)的圖像梯度方向上差別較大時(如梯度向量方向之間的夾角大于20° )，在聯(lián)合深度 和圖像梯度中，通常會丟棄圖像梯度而僅僅保留深度梯度，如圖5B所示(如深度梯度向量 Gd的方向和圖像梯度向量Gi的方向之間的夾角大于20°，因此聯(lián)合深度和圖像梯度向量 Ge就等于深度梯度向量Gd)。
在步驟304提供了一個聯(lián)合深度和圖像梯度后，邊界檢測邏輯140的處理就行進(jìn) 到步驟305，在聯(lián)合深度和圖像梯度中進(jìn)行邊緣檢測。例如，可以使用現(xiàn)有技術(shù)中的邊緣檢 測方法(如Canny邊緣檢測法中使用的非最大抑制，然后滯后閾值)去確定邊緣。
所示實(shí)施例的流程300并不是終止于邊界檢測的邊緣檢測步驟305，而是提供進(jìn) 一步處理，以更精確地確定邊界。因此，所示實(shí)施例行進(jìn)到步驟306，去除步驟305中檢測到 的重復(fù)的邊緣。如以上步驟304討論的關(guān)于深度梯度和圖像梯度的組合以提供一個聯(lián)合深 度和圖像梯度，在步驟305中僅僅根據(jù)深度梯度提供的信息可以檢測到一些邊緣，而在步 驟305中根據(jù)深度梯度和圖像梯度提供的信息還可以檢測到其他邊緣。當(dāng)深度梯度和圖像 梯度非常不同的時候，有時會檢測到雙邊緣。因此，在本實(shí)施例的步驟306，要去除這些雙邊 緣。例如，執(zhí)行方向非最大抑制(directional non-maximum suppression),根據(jù)邊緣對應(yīng) 的組合梯度Ge的大小和方向，去除雙邊緣中的其中一個邊緣。具體地，對于每個邊緣像素， 檢查沿著其Ge向量方向附近的像素(即以該像素為中心沿著其Ge向量的一個線段)。如果 該像素的Ge大于沿著其Ge方向的所有鄰近像素的Ge，那么就保留該邊緣像素，否則去除該 邊緣像素。
除了上述去除重復(fù)邊緣，步驟306還會進(jìn)一步處理檢測到的邊緣。例如，進(jìn)一步處 理可以包括邊緣連接和清潔，從而繪制完整而整齊的邊緣。
步驟306中進(jìn)一步處理的檢測到的邊緣被確定為圖像中的深度邊界。因此，通過 流程300的運(yùn)行，邊界檢測邏輯140提供輸出邊界圖141，如圖1所示。
基于邊界的插值邏輯150使用由邊界檢測邏輯140提供的邊界圖141，還使用低分 辨率深度信息110和中間結(jié)果的采樣的深度信息131，以進(jìn)一步改善深度信息，提供高分辨 率的深度信息151。因此，本實(shí)施例的基于邊界的插值邏輯執(zhí)行的算法使用邊界圖141以改 善中間結(jié)果的采樣的深度信息131。對中間結(jié)果的采樣的深度信息進(jìn)行的改善是基于邊界 的，因為通常邊界表示區(qū)域內(nèi)的低分辨率深度信息的深度樣本都是不準(zhǔn)確的，因此需要改 善。根據(jù)實(shí)施例，所進(jìn)行的改善僅限于這些邊界，優(yōu)化改進(jìn)結(jié)果的同時也要最小化圖像處理 所需的資源。
根據(jù)本發(fā)明實(shí)施例，基于邊界的插值邏輯150使用基于塊的插值，根據(jù)邊界圖 141，改善中間結(jié)果的采樣的深度信息131。使用的塊尺寸最好取決于用于產(chǎn)生中間結(jié)果的 上采樣深度信息的上采樣率。例如，上采樣率越大，塊尺寸就越大。根據(jù)本發(fā)明實(shí)施例，高 分辨率深度圖中的每個塊都對應(yīng)原始低分辨率深度圖中的單個深度樣本(如高分辨率深 度圖中一個塊的深度就是對應(yīng)一個低分辨率樣本的深度)。在此描述的示范實(shí)施例的塊尺 寸是4個像素X 4個像素，當(dāng)然也可以根據(jù)需要使用其他塊尺寸。
在本實(shí)施例使用的基于塊的插值中，塊被分成多個類別，根據(jù)要處理的特定塊的 類別，使用不同的插值算法。由基于塊的插值算法使用的塊的類別可以包括諸如邊界塊(即 包括邊界像素的塊)和非邊界塊(即不包括邊界像素的塊)。非邊界塊還可以再分成不可靠 塊(即此塊的8個緊鄰塊至少有一個是邊界塊，并且所有8個緊鄰塊的深度都不同于此塊) 和可靠塊(即不是不可靠塊的非邊界塊)。
圖6顯示本發(fā)明實(shí)施例的基于邊界的插值邏輯150的運(yùn)算流程600以提供高分辨 率深度信息。根據(jù)實(shí)施例，對中間結(jié)果的采樣的深度信息131的每個塊都執(zhí)行流程600，以 改善各個塊，從而提供高分辨率深度信息151。
在步驟601，確定此塊是邊界塊還是非邊界塊。例如，基于邊界的插值邏輯150可 以使用邊界圖信息141來確定此塊是否包括一個或多個在此邊界圖中確定為邊界的像素。 如果此塊被確定為非邊界塊，那么行進(jìn)到步驟602。
在步驟602，確定此非邊界塊和其所有相鄰塊是否是可靠的。例如，基于邊界的插值邏輯150可以分析此塊的8個緊鄰塊(即此塊的2個上下塊、2個左右塊、和4個對角線上的塊)，以確定所有這8個塊是否被分類成可靠塊(非邊界塊)。如果是，那么確定此塊遠(yuǎn)離所檢測到的邊界，因此此塊的像素不需要進(jìn)行任何改善(步驟604)。但是，如果8個緊鄰塊中任何一個是被分類成不可靠塊(即邊界塊或不可靠的非邊界塊)，那么行進(jìn)到步驟603。在步驟603，確定緊鄰塊是否提供足夠的可靠信息用于插值改善此塊像素。例如，基于邊界的插值邏輯150可以分析這8個緊鄰塊，確定是否有多于一個閾值(如多于I)的緊鄰塊被分類成可靠的非邊界塊。如果確定緊鄰塊沒有提供足夠的可靠信息用于插值改善此塊像素(即在這8個緊鄰塊中可靠的非邊界塊的數(shù)量小于2(〈=1))，那么此塊的像素不進(jìn)行任何改善(步驟604)。也就是說，因為緊鄰塊提供的信息并不比此塊提供的信息更可靠，所以此塊像素不可能基于其緊鄰塊而得到改善。但是，如果確定緊鄰塊可以提供足夠可靠的信息用于插值改善此塊像素(即在這8個緊鄰塊中可靠的非邊界塊的數(shù)量大于1)，那么行進(jìn)到步驟605。在步驟605，使用插值方法對此塊像素進(jìn)行改善。例如，可以關(guān)于一個或多個緊鄰塊使用空間和深度雙邊插值來改善此塊像素。在步驟605提供的空間和深度雙邊插值中，應(yīng)該知道，此塊(如圖7中的塊700)是非邊界塊，且其8個緊鄰塊(如圖7中的質(zhì)心點(diǎn)711-716、721、和722)不全是可靠塊(如質(zhì)心點(diǎn)711-716表示的塊是可靠的，而如質(zhì)心點(diǎn)721和722表示的塊是不可靠的)。也就是說，此塊接近深度不連續(xù)，因此一些緊鄰塊的深度如果用于參考可能不可靠。所以，只基于一些可靠的緊鄰樣本，使用空間和深度雙邊插值來改善此塊的一個或多個像素(如像素701 )。例如，該實(shí)施例對此塊的每個像素 進(jìn)行3 X 3深度和空間雙邊插值，其中3 X 3深度樣本是來自此塊(即塊700)和8個緊鄰塊中的可靠塊(即質(zhì)心點(diǎn)711-716表示的塊)。根據(jù)此實(shí)施例，對此塊一個像素進(jìn)行深度和空間雙邊插值，以下等式(I)提供了一個可靠樣本的加權(quán)和，其中d(p)是被插值像素P的深度，P是一個2D向量(X，y)。
i/(p) = [exp(-K-辦 I/q)-exp(-1l ρ -P Il/σ2)· /Α.
ksR( I )
如上所述，R僅包括可靠深度樣本(在圖 中，R包括塊700和質(zhì)心點(diǎn)711-176)。對于深度加權(quán)(等式(I)中第一個指數(shù)項)，此塊中所有像素都有相同的參考深度dr，其即是可靠深度樣本的中間值。對于空間加權(quán)(等式(I)中第二個指數(shù)項)，每個像素都有其自身的參考位置P。如果在步驟601確定此塊是一個邊界塊，那么行進(jìn)到步驟606。在步驟606，此塊被分割成若干子區(qū)域(例如通過對非邊界像素進(jìn)行4鄰域選擇(4-neighbor selection))。應(yīng)該理解，因為邊界塊跨越深度不連續(xù)之處，由此劃分的各個子區(qū)域?qū)?yīng)于不同的物體，也因而具有不同的參考深度dr。根據(jù)實(shí)施例，此塊被分割成子區(qū)域，如圖8A和8B所示。例如，圖8A中的邊界塊800a被分割成子區(qū)域811a和812a，它們被邊界像素801a_804a分割。類似地，圖8B中的邊界塊800b被分割成子區(qū)域811b、812b、和813b，它們被邊界像素801b_805b分割。如上所述，每個子區(qū)域可以對應(yīng)一個不同的參考深度(如前景物體表面、背景物體表面等等)。因此，本實(shí)施例為每個子區(qū)域確定一個參考深度。例如，在確定參考深度時，本實(shí)施例可以使用從此塊中心穿過各個子區(qū)域質(zhì)心點(diǎn)的方向(如圖8A中穿過子區(qū)域811a和812a的箭頭821a和822a,圖8B中穿過子區(qū)域811b、812b、和813b的箭頭821b、822b、和823b)來指示子區(qū)域的參考深度dr (即8個緊鄰塊中某一個塊的深度)用于深度加權(quán)。如果參考深度不可靠，基于邊界的插值邏輯150就確定其他候選者的參考深度，如圖9中鄰近塊901的灰色方塊和鄰近塊902的灰色點(diǎn)塊。在步驟607，確定邊界塊的此子區(qū)域是否有可靠的參考深度信息。根據(jù)參考深度被確定為可靠的還是不可靠的，對此子區(qū)域的像素可以使用不同的插值方法。如果在步驟607確定此子區(qū)域有可靠的參考深度信息，那么行進(jìn)到步驟605，進(jìn)行如上所述的插值以改善此子區(qū)域的像素。例如，可以對應(yīng)8個鄰居量化為8個方向，對子區(qū)域進(jìn)行插值，計算該子區(qū)域的參考深度。但是，如果在步驟607確定此子區(qū)域沒有可靠的參考深度，行進(jìn)到步驟608。在步驟608，使用插值方法對此子區(qū)域的像素進(jìn)行改善，例如，可以使用所有緊鄰塊的深度樣本，進(jìn)行空間和顏色的雙邊插值，改善此子區(qū)域的像素。應(yīng)該理解，步驟608使用空間和顏色的雙邊插值，而不是步驟605的空間和深度的雙邊插值，這是因為此子區(qū)域的參考深度dr并不能可靠地用于空間和深度雙邊插值里的深度加權(quán)。對邊界塊和不可靠的非邊界塊進(jìn)行如圖6的插值后，基于邊界的插值邏輯150提供了準(zhǔn)確可靠的高分辨率深度信息151。根據(jù)實(shí)施例，在生成高分辨率深度信息時，基于邊界的插值邏輯使用了被確定為可靠的樣本數(shù)據(jù)，因此能提供準(zhǔn)確可靠的深度信息。而且，本實(shí)施例使用的插值方法所需的計算資源也同時得到最小化。盡管已經(jīng)詳細(xì)描述了本發(fā)明及其優(yōu)勢，但應(yīng)該明白，可以對其作出各種改變和替換，而不會脫離由所附權(quán)利要求定義的本發(fā)明精神和范圍。此外，本發(fā)明應(yīng)用的范圍不受限于說明書里描述的過程、機(jī)器、制造、物質(zhì)組成、方法和步驟的特定實(shí)施例。從本發(fā)明的披露，本領(lǐng)域普通技術(shù)人員將會容易明白，可以使用當(dāng)前已有的或未來開發(fā)的且能夠執(zhí)行與在此所述對應(yīng)實(shí)施例相同的功能或獲得相同的結(jié)果的過程、機(jī)器、制造、物質(zhì)組成、方法、或步驟。因此，所附權(quán)利要求意在包括這些過程、機(jī)器、制造、物質(zhì)組成、方法和步驟在其范圍內(nèi)。
權(quán)利要求
1.ー個方法，包括 接收低分辨率深度信息； 接收高分辨率圖像信息； 對所述低分辨率深度信息進(jìn)行上采樣，以提供和所述高分辨率圖像信息具有相同分辨率的中間結(jié)果的上采樣深度信息； 根據(jù)所述中間結(jié)果的上采樣深度信息和所述高分辨率圖像信息產(chǎn)生ー邊界圖； 使用基于邊界的插值和所述邊界圖，根據(jù)所述中間結(jié)果的上采樣深度信息產(chǎn)生高分辨率深度信息。
2.根據(jù)權(quán)利要求1所述的方法，其中所述對所述低分辨率深度信息進(jìn)行上采樣，使用了ー個空間插值算法。
3.根據(jù)權(quán)利要求1所述的方法，其中所述產(chǎn)生邊界圖包括 根據(jù)所述中間結(jié)果的上采樣深度信息計算，計算深度梯度； 歸ー化所述深度梯度； 根據(jù)所述高分辨率圖像信息，計算圖像梯度； 根據(jù)所述歸ー化深度梯度和所述圖像梯度，產(chǎn)生ー聯(lián)合深度和圖像梯度； 使用所述組合深度和圖像梯度，檢測邊緣，其中一個或多個被檢測到的邊緣被用作為所述邊界圖中的邊界。
4.根據(jù)權(quán)利要求3所述的方法，還包括 處理所述檢測到的邊緣，用于確定所述邊界圖中的所述邊界。
5.根據(jù)權(quán)利要求4所述的方法，其中所述處理檢測到的邊緣的處理過程選自以下 通過方向性非最大抑制去除重復(fù)的邊緣； 進(jìn)行邊緣連接； 清潔所檢測到的邊緣。
6.根據(jù)權(quán)利要求3所述的方法，其中所述歸ー化深度梯度包括 對具有不同采樣間隔的樣本，進(jìn)行所述深度梯度歸一化。
7.根據(jù)權(quán)利要求3所述的方法，其中所述產(chǎn)生聯(lián)合深度和圖像梯度包括 根據(jù)所述歸ー化的深度梯度和圖像梯度，選擇性地組合梯度信息，以提供所述聯(lián)合深度和圖像梯度。
8.根據(jù)權(quán)利要求7所述的方法，其中所述選擇性地組合包括 從所述歸ー化的深度梯度中去除小的深度梯度和它們對應(yīng)的圖像梯度，然后產(chǎn)生所述聯(lián)合深度和圖像梯度。
9.根據(jù)權(quán)利要求7所述的方法，其中所述選擇性地組合包括 在所述聯(lián)合深度和圖像梯度中抑制大的深度梯度，以強(qiáng)調(diào)它們對應(yīng)的圖像梯度。
10.根據(jù)權(quán)利要求7所述的方法，其中所述選擇性地組合包括 根據(jù)所述深度梯度和圖像梯度之間的方向一致性，組合深度梯度和對應(yīng)的圖像梯度。
11.根據(jù)權(quán)利要求1所述的方法，其中所述產(chǎn)生高分辨率深度信息包括 對所述中間結(jié)果的上采樣深度信息使用基于塊的分析，對所述邊界圖中被確定為邊界的一部分的塊進(jìn)行改善，對被確定為具有不可靠深度信息的塊進(jìn)行改善。
12.根據(jù)權(quán)利要求11所述的方法，其中所述基于塊的分析包括；使用所述邊界圖，確定ー個目標(biāo)塊是否是邊界塊。
13.根據(jù)權(quán)利要求12所述的方法，其中如果所述目標(biāo)塊被確定為不是邊界塊 那么確定所述目標(biāo)塊是否有任何緊鄰塊是邊界塊或是不可靠塊； 如果所述目標(biāo)塊被確定為沒有任何緊鄰塊是邊界塊或是不可靠塊，那么對所述目標(biāo)塊不進(jìn)行深度信息改善； 如果所述目標(biāo)塊被確定為有緊鄰塊是邊界塊或是不可靠塊，如果有兩個或多個緊鄰塊被確定為具有可靠深度信息，那么對所述目標(biāo)塊進(jìn)行深度信息改善。
14.根據(jù)權(quán)利要求13所述的方法，其中所述對目標(biāo)塊進(jìn)行深度信息改善包括 僅使用可靠緊鄰塊的深度信息，進(jìn)行空間和深度雙邊插值。
15.根據(jù)權(quán)利要求12所述的方法，其中如果所述目標(biāo)塊被確定為邊界塊 那么將所述塊根據(jù)所述邊界分割成子區(qū)域，并對每個子區(qū)域進(jìn)行單獨(dú)的深度信息改茲
16.根據(jù)權(quán)利要求15所述的方法，還包括 確定ー個目標(biāo)子區(qū)域是否有可靠的參考深度信息； 如果所述目標(biāo)子區(qū)域被確定為具有可靠的參考深度信息，那么僅使用可靠的緊鄰塊的深度信息，進(jìn)行空間和深度雙邊插值； 如果所述目標(biāo)子區(qū)域被確定為不具有可靠的參考深度信息，那么對所述目標(biāo)子區(qū)域的深度信息，進(jìn)行空間和顏色雙邊插值。
17.—個系統(tǒng),包括 深度信息上采樣邏輯，其對低分辨率深度信息進(jìn)行上采樣，提供中間結(jié)果的上采樣深度ィ目息; 邊界檢測邏輯，其使用高分辨率圖像信息，從所述中間結(jié)果的上采樣深度信息，產(chǎn)生ー個邊界圖； 基于邊界的插值邏輯，其使用所述邊界圖，從所述中間結(jié)果的上采樣深度信息，產(chǎn)生高分辨率深度信息，其中所述高分辨率深度信息的分辨率至少和所述高分辨率圖像信息的分辨率ー樣高。
18.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述邊界檢測邏輯從所述中間結(jié)果的上采樣深度信息計算出深度梯度，歸ー化所述深度梯度，并從所述高分辨率圖像信息計算出圖像梯度，然后從所述歸ー化的深度梯度和所述圖像梯度中產(chǎn)生聯(lián)合深度和圖像梯度，然后使用所述聯(lián)合深度和圖像梯度檢測邊緣，其中一個或多個檢測到的邊緣被用作為所述邊界圖中的邊界。
19.根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述邊界檢測邏輯在產(chǎn)生所述組合深度和圖像梯度時，會從所述歸ー化深度梯度中去除小的深度梯度和它們對應(yīng)的圖像梯度，然后產(chǎn)生聯(lián)合深度和圖像梯度。
20.根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述邊界檢測邏輯在產(chǎn)生所述組合深度和圖像梯度時，會在所述組合深度和圖像梯度中抑制大的深度梯度以強(qiáng)調(diào)它們對應(yīng)的圖像梯度。
21.根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述邊界檢測邏輯在產(chǎn)生所述組合深度和圖像梯度時，會根據(jù)所述深度梯度和圖像梯度之間的方向一致性，組合深度梯度和對應(yīng)的圖像梯度。
22.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述基于邊界的插值邏輯對于所述中間結(jié)果的上采樣深度信息中被確定為邊界塊的那些塊，選擇性地使用空間和深度雙邊插值，以及空間和顏色雙邊插值，其中所述邊界塊是指包含一部分所述邊界圖中被確定為邊界的那些塊。
23.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述基于邊界的插值邏輯對于所述中間結(jié)果的上采樣深度信息中被確定為非邊界塊的那些塊，選擇性地使用空間和深度雙邊插值，以及不插值，其中所述非邊界塊是指不包含任何所述邊界圖中被確定為邊界的那些塊。
24.ー種方法，包括 對低分辨率深度信息進(jìn)行上采樣，提供中間結(jié)果的上采樣深度信息； 從所述中間結(jié)果的上采樣深度信息和高分辨率圖像信息，產(chǎn)生邊界圖，其中所述產(chǎn)生邊界圖包括 從所述中間結(jié)果的上采樣深度信息計算出深度梯度； 歸ー化所述深度梯度； 從所述高分辨率圖像信息計算出圖像梯度； 從所述歸ー化深度梯度和圖像梯度，產(chǎn)生聯(lián)合深度和圖像梯度； 使用所述組合深度和圖像梯度，檢測邊緣，其中一個或多個檢測到的邊緣被用作為所述邊界圖中的邊界； 使用基于邊界的插值和所述邊界圖，從所述中間結(jié)果的上采樣深度信息中產(chǎn)生高分辨率深度信息，其中所述產(chǎn)生高分辨率深度信息包括 確定所述中間結(jié)果的上采樣深度信息中一個目標(biāo)塊是否是ー個邊界塊，其中所述邊界塊是指包含一部分所述邊界圖中被確定為邊界的那些塊； 如果所述目標(biāo)塊被確定為是ー個邊界塊，確定緊鄰所述目標(biāo)塊的緊鄰塊是否有可靠的深度信息； 根據(jù)所述目標(biāo)塊是否是ー個邊界塊和緊鄰所述目標(biāo)塊的緊鄰塊是否是可靠的，對所述目標(biāo)塊的像素使用不同的改善方法。
25.根據(jù)權(quán)利要求24所述的方法，其中所述使用不同的改善方法包括 只有當(dāng)所述目標(biāo)塊是ー個邊界塊，或是ー個非邊界塊卻有多于ー個但少于8個緊鄰塊具有可靠的深度信息時，才對所述目標(biāo)塊的像素使用改善方法。
26.根據(jù)權(quán)利要求24所述的方法，其中所述使用不同的改善方法包括 如果所述目標(biāo)塊被確定為是ー個邊界塊，那么對所述目標(biāo)塊的子區(qū)域選擇性地使用空間和深度雙邊插值，以及空間和顏色雙邊插值。
27.根據(jù)權(quán)利要求26所述的方法，其中所述使用不同的改善方法包括 如果所述目標(biāo)塊被確定為是ー個非邊界塊，那么對所述目標(biāo)塊選擇性地使用空間和深度雙邊插值，和不插值。
28.根據(jù)權(quán)利要求24所述的方法，其中所述歸ー化深度梯度包括 對具有不同采樣間隔的樣本，進(jìn)行深度梯度歸一化。
29.根據(jù)權(quán)利要求24所述的方法，其中所述產(chǎn)生聯(lián)合深度和圖像梯度包括 從所述歸ー化的深度梯度和所述圖像梯度中選擇性地組合梯度信息，以提供所述聯(lián)合深度和圖像梯度。
全文摘要
本發(fā)明披露了通過使用基于邊界的處理技術(shù)從低分辨率深度信息產(chǎn)生高分辨率深度圖的系統(tǒng)和方法。實(shí)施例提供的基于邊界的處理技術(shù)使用邊界檢測和基于邊界的插值算法，用于從低分辨率深度信息和高分辨率圖像信息中產(chǎn)生高分辨率深度信息。首先，邊界檢測算法可以檢測到物體的邊界(即深度不連續(xù)之處)，這附近的低分辨率深度信息通常是不準(zhǔn)確的，需要利用高分辨率的圖像信息來改善。然后，基于邊界的插值算法使用邊界檢測算法提供的邊界信息，以改善中間結(jié)果的上采樣深度信息(如通過對低分辨率深度信息進(jìn)行空間插值來得到)，從而提供更加準(zhǔn)確的高分辨率深度信息。
文檔編號G06T7/00GK103049914SQ201310009640
公開日2013年4月17日 申請日期2013年1月10日 優(yōu)先權(quán)日2012年12月19日
發(fā)明者崔春暉 申請人:香港應(yīng)用科技研究院有限公司