深度圖處理的制作方法
【專利摘要】對(duì)三維[3D]視頻信號(hào)中的深度圖進(jìn)行處理。根據(jù)3D視頻信號(hào)，導(dǎo)出第一深度圖（Z1）。通過(guò)多維濾波器（22）生成第二深度圖（Z2），該多維濾波器造成第二深度圖具有溢出的偽像，而第一深度圖在相應(yīng)地點(diǎn)中具有較少的或者沒(méi)有這樣的偽像。深度差值是在第一深度圖與第二深度圖之間確定的，正的深度差值指示第二深度圖中的深度更靠近觀看者。通過(guò)依照取決于深度差值的組合功能組合第一深度圖值和第二深度圖值而生成最終的第三深度圖。該組合功能在深度差值為正的情況下優(yōu)先考慮第一值。
【專利說(shuō)明】
深度圖處理

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種處理三維[3D]視頻信號(hào)的方法，該方法包括：根據(jù)3D視頻信號(hào)導(dǎo)出包括第一深度值的第一深度圖和與第一深度圖相應(yīng)的包括圖像值的2D圖像，以及由多維濾波器根據(jù)3D視頻信號(hào)和/或第一深度圖生成具有第二深度值的第二深度圖。
[0002]本發(fā)明進(jìn)一步涉及一種3D視頻設(shè)備和計(jì)算機(jī)程序。
[0003]本發(fā)明涉及處理3D視頻數(shù)據(jù)以便改進(jìn)3D顯示設(shè)備上的再現(xiàn)的領(lǐng)域。特別地，可用的或者生成的深度圖可能是不精確的，并且可以通過(guò)由多維濾波器進(jìn)行濾波(例如平滑）而改進(jìn)。圖像通常在二個(gè)空間維度下進(jìn)行濾波，而視頻數(shù)據(jù)中的時(shí)間可以用作第三維度。進(jìn)一步使用不同域的圖像數(shù)據(jù)（比如對(duì)深度圖濾波時(shí)的圖像視亮度（brightness)值）的雙邊濾波器或者交叉雙邊濾波器是這樣的多維濾波器的典型實(shí)例。深度圖可能由于這樣的濾波而具有深度偽像。本發(fā)明涉及用于減少深度偽像的改進(jìn)。

【背景技術(shù)】
[0004]文件“Discontinuity-adaptive Depth Map Filtering for 3D ViewGeneration, by Sang-Beom Lee and Yo-Sung Ho， Gwangju Institute of Science andTechnology, Korea (GIST), Immerscom 2009，May 27-29，2009，Berkley, USA; ICSTISBN # 978-963-9799-39-4”描述了一種基于深度圖像的再現(xiàn)技術(shù)，該技術(shù)是利用彩色圖像和相應(yīng)的深度圖的虛擬視圖的再現(xiàn)處理之一?；谏疃葓D像的再現(xiàn)技術(shù)的一個(gè)問(wèn)題在于，虛擬視圖沒(méi)有新暴露的區(qū)域(所謂的去除遮蔽)的信息。一般的解決方案是在3D彎曲變形之前使用高斯平滑濾波器對(duì)深度圖進(jìn)行平滑。然而，濾波的深度圖造成幾何失真，并且深度質(zhì)量嚴(yán)重劣化。深度圖濾波算法用來(lái)解決所述去除遮蔽，同時(shí)維持深度質(zhì)量。為了保持虛擬視圖的視覺(jué)質(zhì)量，在進(jìn)一步降低變形的情況下對(duì)深度圖進(jìn)行平滑。在根據(jù)虛擬視圖的位置提取出對(duì)象邊界之后，依照對(duì)象邊界的距離和深度間斷的量應(yīng)用間斷自適應(yīng)平滑濾波器。


【發(fā)明內(nèi)容】

[0005]上面描述的方法是對(duì)深度圖濾波的一個(gè)實(shí)例，該深度圖要用于在3D再現(xiàn)系統(tǒng)中生成各種不同的視圖。該已知方法的一個(gè)問(wèn)題在于，深度圖可能具有深度偽像。
[0006]本發(fā)明的目的是提供對(duì)于深度圖的處理以便減少深度偽像。
[0007]為此目的，依照本發(fā)明的第一方面，如開(kāi)篇段落中所描述的方法包括，對(duì)于造成第二深度圖具有溢出的偽像，而第一深度圖在相應(yīng)地點(diǎn)中具有較少的或者沒(méi)有這樣的偽像的多維濾波器，
-確定第一深度圖與第二深度圖之間的深度差值，深度差值的正值指示第二深度圖中的深度更靠近觀看者，以及
-通過(guò)依照取決于深度差值的組合功能組合第一深度值和第二深度值而生成第三深度圖，該組合功能在深度差值為正的情況下優(yōu)先考慮第一值。
[0008]為此目的，依照本發(fā)明的另一方面，一種用于處理3D視頻信號(hào)以便在3D顯示器上顯示的3D視頻設(shè)備包括：輸入裝置，其用于接收3D視頻信號(hào)并且根據(jù)3D視頻信號(hào)導(dǎo)出第一深度圖和與第一深度圖相應(yīng)的2D圖像，第一深度圖包括第一深度值并且2D圖像包括圖像值；以及視頻處理器，其被布置用于由多維濾波器根據(jù)3D視頻信號(hào)和/或第一深度圖生成具有第二深度值的第二深度圖，確定第一深度圖與第二深度圖之間的深度差值，深度差值的正值指示第二深度圖中的深度更靠近觀看者，并且通過(guò)依照取決于深度差值的組合功能組合第一深度值和第二深度值而生成第三深度圖，該組合功能在深度差值為正的情況下優(yōu)先考慮第一值。
[0009]這些措施具有減少深度偽像的效果，尤其是它可以降低從前景深度值到圖像背景的溢出。此外，通過(guò)允許從背景深度值到前景對(duì)象的一些溢出，在一定程度上降低了深度跳躍。在實(shí)踐中，這意味著當(dāng)這樣的深度圖(其具有更小的深度跳躍/轉(zhuǎn)變）用于針對(duì)新視點(diǎn)再現(xiàn)圖像時(shí)，新視點(diǎn)中具有由移動(dòng)前景對(duì)象而造成的去除遮蔽的紋理的區(qū)塊將更小。
[0010]基于多維濾波器和第一深度圖的源，第一和第二深度圖將是相關(guān)的，因?yàn)楦魃疃葓D中的深度跳躍/轉(zhuǎn)變的空間地點(diǎn)基本上相應(yīng)。而且，第二深度圖盡管作為濾波的結(jié)果而更穩(wěn)定，但是會(huì)在一些空間地點(diǎn)具有溢出偽像，在這些空間地點(diǎn)處，第一深度圖具有較少的或者沒(méi)有這樣的偽像。特別地，多維濾波器使得第二深度圖具有溢出偽像，而第一深度圖在相應(yīng)的地點(diǎn)處具有較少的或者沒(méi)有這樣的偽像。例如，在原始3D視頻信號(hào)或者第一深度圖中的大的深度差值(所謂的深度跳躍）可能影響第二深度圖在其鄰近處的值。再者，多維濾波器的輸入值中的其他間斷點(diǎn)或者由于例如引導(dǎo)濾波器中的復(fù)雜濾波器策略而引起的其他不希望的效應(yīng)可以因此影響輸出值。溢出偽像的一個(gè)實(shí)例可以是，多維濾波器在深度跳躍、視亮度跳躍或者顏色跳躍附近將背景中的值向前移動(dòng)。出現(xiàn)這種情況時(shí)，與第一深度圖的深度差值將為正，并且輸出或第三深度圖將通過(guò)所述組合功能基本上基于第一深度值而生成。
[0011]應(yīng)當(dāng)指出的是，深度的實(shí)際表示可以是由特定系統(tǒng)使用的深度值范圍內(nèi)的值，所述范圍例如0-255，其中高值靠近觀看者且零為無(wú)限遠(yuǎn)，或者-512至+511，其中負(fù)數(shù)字值表示顯示屏幕前方的深度。再者，在提及基于深度的值和/或?yàn)V波的情況下，這樣的術(shù)語(yǔ)應(yīng)當(dāng)被視為也覆蓋了基于視差的表示。在實(shí)踐中，視差圖和值典型地基于1/Z，Z為深度。在當(dāng)前文件中，“正深度差值”中的正的定義指示第二深度圖中的元素(例如被所述溢出損害的濾波的深度圖中的像素)比第一深度圖中的相應(yīng)元素更靠近觀看者。如果這樣的話，那么由于優(yōu)先考慮組合功能中體現(xiàn)的第一值，第三深度圖將具有基本上基于第一深度圖(例如濾波之前的原始深度圖）的值。有利的是，由于所述濾波的原因，深度干擾在沒(méi)有深度跳躍的區(qū)域中將不太明顯，而在深度跳躍附近，背景將由于減少了深度偽像而失真較少。
[0012]本發(fā)明也基于以下認(rèn)識(shí)?，F(xiàn)有技術(shù)文件描述了一種用于深度圖的平滑濾波器。通常，平滑濾波器將由于輸入值中的深度跳躍或者其他間斷的原因而具有失真效應(yīng)(所謂的溢出）。溢出在前景對(duì)象的邊界處可能是有利的，因?yàn)橐绯鰧?dǎo)致對(duì)象具有向后變圓的邊緣，這符合大多數(shù)現(xiàn)實(shí)生活的對(duì)象(例如臉)。然而，本發(fā)明人看到，溢出特別地在背景中不是所希望的。例如，尤其是當(dāng)照相機(jī)或者前景對(duì)象在運(yùn)動(dòng)時(shí)，對(duì)象(例如臉)的前景深度值到背景的溢出在緊挨對(duì)象的背景中造成可見(jiàn)的非線性拉伸效應(yīng)。通過(guò)所提出的組合功能，避免了前景到背景的溢出，仍然允許背景到前景的溢出。
[0013]可選地，所述組合功能包括在深度差值為正的情況下輸出第一深度值，并且在深度差值為負(fù)的情況下輸出第二深度值。有利的是，該功能的有限復(fù)雜度允許實(shí)現(xiàn)感知的深度不準(zhǔn)確性的重大改進(jìn)。
[0014]可選地，所述組合功能包括在深度差值為正的情況下輸出第一深度值的多數(shù)部分和第二深度值的少數(shù)部分的混合，并且在深度差值為負(fù)的情況下輸出第二深度值。效果在于，在其中深度差值為正的深度跳躍附近，深度輸出值超過(guò)50%基于第一深度值，即原始第一深度值。因此，實(shí)現(xiàn)了平滑效果，其在深度跳躍附近的背景中降低。該降低取決于多數(shù)部分和少數(shù)部分的比值?？蛇x地，少數(shù)部分為25%或者更少?？蛇x地，可以使得該比值取決于該深度跳躍的估計(jì)大小和/或到該深度跳躍的距離，其中大的深度跳躍和/或小的距離可以導(dǎo)致低的少數(shù)部分，例如10%，并且在深度跳躍為小或者距離為大的情況下，少數(shù)部分更高，例如50%。
[0015]可選地，所述組合功能包括在深度差值的絕對(duì)值在預(yù)定閾值以下的情況下輸出第二深度值。這具有以下效果：在出現(xiàn)小的深度差值的情況下，僅僅利用濾波的深度圖。在所述差值在閾值以上的情況下，該功能可以與上面的組合功能的選項(xiàng)組合。
[0016]可選地，濾波包括雙邊濾波器或者交叉雙邊濾波器或者雙邊網(wǎng)格濾波器或者交叉雙邊網(wǎng)格濾波器。由于雙邊濾波的原因，邊緣被保持。交叉雙邊濾波器不僅使用深度值，而且使用諸如亮度（Iuma)和/或顏色之類的圖像值。網(wǎng)格濾波器使用平均值網(wǎng)格而非近鄰的所有單獨(dú)的像素值，以減少計(jì)算工作。所稱的雙邊濾波器具有平滑深度值同時(shí)保持邊緣的效果，然而出現(xiàn)一定的溢出量。因此，它們?yōu)樯厦婷枋龅纳傻谌疃葓D的步驟提供了適當(dāng)?shù)念A(yù)處理，其局部地降低了所述溢出。可能造成溢出的多維濾波器的其他實(shí)例是引導(dǎo)濾波器。
[0017]可選地，所述方法包括至少一個(gè)另外的級(jí)聯(lián)處理步驟，該級(jí)聯(lián)處理步驟包括從第一深度圖中減去第三深度圖以便生成差值深度圖，對(duì)差值深度圖穩(wěn)定化以便生成穩(wěn)定化的差值深度圖，并且通過(guò)將穩(wěn)定化的差值深度圖和第三深度圖相加生成第四深度圖。級(jí)聯(lián)的效果是進(jìn)一步減少剩余的偽像。特別地，在使用基于深度和圖像值的交叉雙邊濾波器的情況下，可以進(jìn)一步降低圖像值中的對(duì)象的溢出效應(yīng)。
[0018]所附權(quán)利要求書中給出了依照本發(fā)明的方法、3D設(shè)備和信號(hào)的另外的優(yōu)選實(shí)施例，該權(quán)利要求書的公開(kāi)內(nèi)容通過(guò)引用合并于此。

【專利附圖】

【附圖說(shuō)明】
[0019]本發(fā)明的這些和其他方面根據(jù)在以下描述中通過(guò)實(shí)例的方式且參照附圖描述的實(shí)施例將是清楚明白的，并且將參照這些實(shí)施例而被進(jìn)一步闡述，在附圖中
圖I示出了用于顯示3D圖像數(shù)據(jù)的系統(tǒng)中的用于處理3D視頻數(shù)據(jù)的設(shè)備，
圖2示出了用于處理3D視頻數(shù)據(jù)的3D視頻處理器，
圖3示出了深度值的處理，
圖4示出了級(jí)聯(lián)方式的增強(qiáng)深度穩(wěn)定化，
圖5示出了具有并行濾波器的3D視頻處理器，以及圖6示出了具有深度圖生成和并行濾波器的3D視頻處理器。
[0020]在圖中，與已經(jīng)描述的元素相應(yīng)的元素具有相同的附圖標(biāo)記。

【具體實(shí)施方式】
[0021]應(yīng)當(dāng)指出的是，當(dāng)前的這個(gè)發(fā)明可以用于任何類型的3D視頻數(shù)據(jù)。所述系統(tǒng)處理3D視頻數(shù)據(jù)中提供的深度圖。該深度圖可以最初存在于系統(tǒng)的輸入處，或者可以如下文中所描述的例如根據(jù)立體（L+R)視頻信號(hào)中的左/右?guī)蛘吒鶕?jù)2D視頻生成。假設(shè)3D視頻數(shù)據(jù)作為電子的、數(shù)字編碼的數(shù)據(jù)而可用。當(dāng)前的這個(gè)發(fā)明涉及這樣的圖像數(shù)據(jù)并且在數(shù)字域操縱圖像數(shù)據(jù)。
[0022]存在可以據(jù)以格式化并且傳輸3D視頻數(shù)據(jù)的許多不同的方式，稱為3D視頻格式。一些格式基于使用2D通道以便也攜帶立體信息。例如，左右視圖可以隔行掃描，或者可以并排上下放置?？商鎿Q地，可以傳輸2D圖像和深度圖，以及可能地另外的3D數(shù)據(jù)，比如遮蔽或透明度數(shù)據(jù)。提供或者傳輸視頻數(shù)據(jù)的任何方法(例如互聯(lián)網(wǎng)或者藍(lán)光光盤（BD))都可以提供3D視頻數(shù)據(jù)。
[0023]圖I示出了用于顯示三維（3D)圖像數(shù)據(jù)的系統(tǒng)中的用于處理3D視頻數(shù)據(jù)的設(shè)備。稱為3D源的第一 3D視頻設(shè)備40向稱為3D播放器的另一 3D視頻設(shè)備50提供和傳輸3D視頻信號(hào)41，所述另一 3D視頻設(shè)備耦合到3D顯示設(shè)備60以便傳輸3D顯示信號(hào)56。
[0024]圖I進(jìn)一步示出了作為3D視頻信號(hào)的載體的記錄載體54。該記錄載體為盤狀并且具有軌道和中心孔。由物理上可檢測(cè)的痕跡的圖案構(gòu)成的軌道依照螺旋形或者同心的圓圈圖案布置，該圖案構(gòu)成一個(gè)或多個(gè)信息層上的基本上平行的軌道。記錄載體可以是光學(xué)可讀的，稱為光盤，例如CD、DVD或BD (藍(lán)光光盤)。信息通過(guò)沿著軌道的光學(xué)可檢測(cè)的痕跡(例如凹坑和凸臺(tái))而包含在信息層上。軌道結(jié)構(gòu)也包括用于指示通常稱為信息塊的信息單元的地點(diǎn)的位置信息，例如頭部和地址。記錄載體54承載以像DVD或BD格式那樣的預(yù)定義記錄格式表示例如依照MPEG2或MPEG4編碼系統(tǒng)編碼的像視頻那樣的數(shù)字編碼的3D圖像數(shù)據(jù)的信息。
[0025]3D源具有用于處理經(jīng)由輸入單元47接收的3D視頻數(shù)據(jù)的處理單元42。輸入3D視頻數(shù)據(jù)43可以從存儲(chǔ)系統(tǒng)、記錄工作室獲得，從3D照相機(jī)獲得，等等。視頻處理器42生成包括3D視頻數(shù)據(jù)的3D視頻信號(hào)41。該源可以被布置用于經(jīng)由輸出單元46將來(lái)自視頻處理器的3D視頻信號(hào)傳輸至另一 3D視頻設(shè)備，或者用于提供例如經(jīng)由記錄載體分發(fā)的3D視頻信號(hào)。3D視頻信號(hào)基于例如通過(guò)經(jīng)由編碼器48對(duì)輸入3D視頻數(shù)據(jù)43編碼并且依照預(yù)定義格式對(duì)其格式化而處理3D視頻數(shù)據(jù)。
[0026]3D源可以是服務(wù)器、廣播器、記錄設(shè)備或者用于制造像藍(lán)光光盤那樣的光學(xué)記錄載體的創(chuàng)作和/或制作系統(tǒng)。藍(lán)光光盤提供了一種用于為內(nèi)容創(chuàng)建者分發(fā)視頻的交互式平臺(tái)。關(guān)于藍(lán)光光盤格式的信息可以從關(guān)于視聽(tīng)?wèi)?yīng)用格式的論文中的藍(lán)光光盤協(xié)會(huì)網(wǎng)站(例如 http://www. blu-raydisc. com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269. pdf)獲得。光學(xué)記錄載體的制作過(guò)程進(jìn)一步包括步驟：在軌道中提供物理痕跡圖案，該圖案體現(xiàn)可能包括3D噪聲元數(shù)據(jù)的3D視頻信號(hào)；以及隨后依照該圖案對(duì)記錄載體的材料定形以便在至少一個(gè)存儲(chǔ)層上提供痕跡的軌道。
[0027]3D播放器設(shè)備具有用于接收3D視頻信號(hào)41的輸入單元51。例如，該設(shè)備可以包括耦合到輸入單元的光盤單元58，該光盤單元用于從像DVD或者藍(lán)光光盤那樣的光學(xué)記錄載體54獲取3D視頻信息?？商鎿Q地(或者此外)，3D播放器設(shè)備可以包括用于耦合到網(wǎng)絡(luò)45 (例如互聯(lián)網(wǎng)或者廣播網(wǎng)絡(luò)）的網(wǎng)絡(luò)接口單元59，這樣的設(shè)備通常稱為機(jī)頂盒。3D視頻信號(hào)可以從遠(yuǎn)程網(wǎng)站或者如由3D源40所指示的媒體服務(wù)器獲取。3D播放器也可以是衛(wèi)星接收器或者媒體播放器。
[0028]3D播放器設(shè)備具有耦合到輸入單元51的處理單元52，該處理單元用于處理3D信息以便生成要經(jīng)由輸出接口單元55傳輸至顯示設(shè)備的3D顯示信號(hào)56，例如依照HDMI標(biāo)準(zhǔn)白勺顯不/[言號(hào)，參見(jiàn)“High Definition Multimedia Interface; Specification Version I. 4aof March 4, 2010，，,其 3D 部分在 http://hdmi. org/manufacturer/specification. aspx 處可供公共下載。處理單元52被布置用于生成包含在3D顯示信號(hào)56中的圖像數(shù)據(jù)以便在顯示設(shè)備60上顯示。
[0029]3D顯示設(shè)備60用于顯示3D圖像數(shù)據(jù)。該設(shè)備具有輸入接口單元61，該輸入接口單元用于接收傳輸自3D播放器50的包括3D視頻數(shù)據(jù)的3D顯示信號(hào)56。傳輸?shù)?D視頻數(shù)據(jù)在處理單元62中進(jìn)行處理以便在3D顯示器63 (例如雙IXD或者透鏡狀I(lǐng)XD)上顯示。顯示設(shè)備60可以是任何類型的立體顯示器，也稱為3D顯示器。
[0030]3D視頻設(shè)備中的視頻處理器，即3D視頻設(shè)備50中的處理器單元52被布置用于執(zhí)行以下用于處理3D視頻信號(hào)的功能。3D視頻信號(hào)由輸入裝置51、58、59接收，該輸入裝置提供表示至少包括第一深度圖（Zl)和與該深度圖相應(yīng)的2D圖像的3D視頻數(shù)據(jù)的3D視頻信號(hào)。例如，第一深度圖可以通過(guò)視差估計(jì)從立體（L+R)輸入信號(hào)生成。第一深度圖具有第一深度值，并且2D圖像包括二維像素陣列的圖像值。應(yīng)當(dāng)指出的是，該深度圖也具有二維像素陣列，并且與2D圖像相應(yīng)，盡管該深度圖可能具有不同的分辨率。
[0031 ] 3D顯示設(shè)備60中的視頻處理器62被布置用于處理3D視頻數(shù)據(jù)以便改進(jìn)深度圖。深度圖處理包括通過(guò)多維濾波器對(duì)第一深度圖濾波以便生成具有第二深度值的第二深度圖，確定第一深度圖與第二深度圖之間的深度差值，深度差值的正值指示第二深度圖中的深度更靠近觀看者，以及通過(guò)依照取決于深度差值的組合功能組合第一深度值和第二深度值而生成第三深度圖，該組合功能在深度差值為正的情況下優(yōu)先考慮第一值。多維濾波器可以是使用兩個(gè)空間維度的二維濾波器。另一維度可以是時(shí)間。下文中進(jìn)一步闡述了深度圖處理的詳細(xì)實(shí)施例。
[0032]可替換地，3D播放器設(shè)備50中的視頻處理器52或者3D源設(shè)備中的處理單元42可以被布置成執(zhí)行所述深度圖處理。
[0033]同樣已知的是，深度圖處理之前可以進(jìn)一步為根據(jù)2D視頻信號(hào)生成深度圖。所述提供3D視頻/[目號(hào)包括：接收包括2D視頻巾貞序列的2D視頻/[目號(hào)，以及基于對(duì)2D視頻巾貞序列的處理生成第一深度圖。應(yīng)當(dāng)指出的是，這樣生成的深度圖經(jīng)常具有有限的質(zhì)量，并且如本文中所描述的增強(qiáng)深度圖可以大幅改進(jìn)所述質(zhì)量。生成深度圖的功能可以在3D播放器的輸入單元51中或者在3D顯示設(shè)備60的視頻處理器62中或者在3D源設(shè)備的處理單元42中實(shí)現(xiàn)。
[0034]應(yīng)用到深度圖的濾波可以是雙邊網(wǎng)格處理以便在時(shí)間和空間上使深度圖穩(wěn)定。除了對(duì)于深度圖的積極效果之外，也存在如參照?qǐng)D2和圖3所闡述的不希望的副作用。
[0035]圖2示出了用于處理3D視頻數(shù)據(jù)的3D視頻處理器。在操作中，生成器單元GEN21接收立體3D信號(hào)，該立體3D信號(hào)也稱為左右視頻信號(hào)，具有表示要為觀看者的對(duì)應(yīng)眼睛顯示以便生成3D效果的左視圖和右視圖的左幀L和右?guī)琑的時(shí)間序列。該單元然后通過(guò)左視圖和右視圖的視差估計(jì)生成第一深度圖，并且基于左視圖和/或右視圖提供2D圖像。視差估計(jì)可以基于用來(lái)比較L和R幀的運(yùn)動(dòng)估計(jì)算法。對(duì)象的L和R視圖之間的大的差值被轉(zhuǎn)換成高的深度值，指示靠近觀看者的對(duì)象位置。生成器單元的輸出是第一深度圖Z1。應(yīng)當(dāng)指出的是，其他輸入單元可以用來(lái)提供第一深度圖Zl和相應(yīng)的2D圖像數(shù)據(jù)。
[0036]可替換地，生成器單元可以被布置用于接收包括2D視頻幀的時(shí)間序列的2D視頻信號(hào)，例如正常(單視場(chǎng))2D視頻信號(hào)，并且基于對(duì)2D視頻幀的時(shí)間序列的處理生成第一深度圖。
[0037]第一深度圖Zl耦合到濾波器22，該濾波器用于通過(guò)多維濾波器對(duì)第一深度圖濾波以便生成具有第二深度值的第二深度圖Z2?；旧?，該濾波器可以實(shí)施由Z2 = f(Zl)表達(dá)的深度圖的任何適當(dāng)?shù)暮筇幚?。多維濾波器可以是二維空間濾波器。另一維可以是時(shí)間。
[0038]例如，該濾波器可以是任何平滑濾波器，尤其是抹掉邊緣的任何濾波操作；比如例如高斯濾波器?？蛇x地，該濾波器可以是雙邊濾波器、交叉雙邊濾波器或者雙邊網(wǎng)格濾波器。
[0039]如此，濾波是圖像處理的基本操作。在術(shù)語(yǔ)“濾波”的最寬泛的意義上，濾波圖像在給定地點(diǎn)的值是輸入圖像在相同地點(diǎn)的小鄰域中的值的函數(shù)。例如，高斯低通濾波計(jì)算鄰域中的像素值的加權(quán)平均，其中權(quán)重隨著離鄰域中心的距離的增加而減小。圖像典型地在空間上緩慢變化，因而接近的像素很可能具有相似的值，并且因此將它們一起平均是合適的。破壞這些接近的像素的噪聲值的互相關(guān)比信號(hào)值更小，因而噪聲被平均掉，而信號(hào)被保持。
[0040]然而，緩慢空間變化的假設(shè)在邊緣處失效，所述邊緣因而被線性低通濾波弄得模糊。雙邊濾波是一種用于邊緣保持平滑的已知非迭代方案。雙邊濾波隱含的基本思想是在圖像的范圍內(nèi)做傳統(tǒng)濾波器在其域中所做的事情。兩個(gè)像素可能彼此靠近，即占據(jù)接近的空間地點(diǎn)，或者它們可以彼此相似，即可能地以知覺(jué)上有意義的方式具有接近的值。在平滑區(qū)塊中，小鄰域中的像素值彼此相似，并且雙邊濾波器基本上充當(dāng)標(biāo)準(zhǔn)域?yàn)V波器，平均掉由噪聲造成的像素值之間的小的弱相關(guān)差異。在暗區(qū)與亮區(qū)之間的明顯邊界處，考慮值的范圍。當(dāng)雙邊濾波器以邊界的亮側(cè)的像素為中心時(shí)，相似性函數(shù)對(duì)于相同側(cè)的像素采用接近I的值并且對(duì)于暗側(cè)的像素采用接近零的值。結(jié)果，濾波器用中心近鄰處的亮像素的平均值代替中心處的亮像素，并且基本上忽略暗像素。由于范圍分量的原因，在邊界處實(shí)現(xiàn)了良好的濾波行為，并且同時(shí)保持了清晰的邊緣。
[0041]由于雙邊濾波的原因，邊緣被保持。此外，可以使用交叉雙邊濾波器；措詞交叉指示使用了相同圖像的兩個(gè)不同的，但是相應(yīng)的表示。交叉雙邊濾波的一個(gè)實(shí)例可以見(jiàn)于(尤其參見(jiàn)解釋了聯(lián)合（=交叉）雙邊上采樣的表）：http://www. Stanford, edu/class/cs448f/lectures/3. l/Fast%20Filtering%20Continued. pdf。
[0042]所提出的交叉雙邊濾波器不僅使用深度值，而且具有用于基于視亮度和/或顏色的圖像值(通常稱為亮度值）的另一輸入。該另一輸入在圖2中被示為標(biāo)記LU的箭頭。如虛線箭頭20所示，亮度值可以根據(jù)2D輸入數(shù)據(jù)，例如立體輸入信號(hào)中的L幀導(dǎo)出。交叉濾波基于亮度值方面的邊緣與深度方面的邊緣的總體一致性。然而，在這樣的一致性不存在的情況下，將出現(xiàn)深度圖中的交叉亮度偽像。
[0043]可選地，雙邊濾波器(或者交叉雙邊濾波器）可以由所謂的網(wǎng)格濾波器實(shí)現(xiàn)以便降低計(jì)算量。代替使用各像素值作為用于濾波器的輸入的是，將圖像細(xì)分成網(wǎng)格，并且跨網(wǎng)格的一段進(jìn)行值平均。值的范圍可以進(jìn)一步以帶進(jìn)行細(xì)分，這些帶可以用于設(shè)置雙邊濾波器中的權(quán)重。雙邊網(wǎng)格濾波的一個(gè)實(shí)例可以見(jiàn)于例如可從http://groups.csail.mit.edu/graphics/bilagrid/bilagrid_web.pdf 獲得的文件“Real-time Edge-AwareImage Processing with the Bilateral Grid, by Jiawen Chen, Sylvain Paris, FredoDurand; Computer Science and Artificial Intelligence Laboratory, MassachusettsInstitute of Technology”。具體地，參見(jiàn)該文件的圖3。
[0044]可選地，為了實(shí)現(xiàn)濾波器22，可以使用例如通常應(yīng)用于立體到自動(dòng)立體轉(zhuǎn)換的引導(dǎo)濾波器實(shí)現(xiàn)方式。如此，引導(dǎo)濾波器例如從可從http://research, microsoft. com/en-us/um/people/ j i an sun/papers/GuidedF i I ter_ECCV10. pdf 獲得的文件“Guided ImageFiltering, by Kaiming He (Department of Information Engineering, The ChineseUniversity of Hong Kong,香港中文大學(xué)信息工程系）、Jian Sun (Microsoft ResearchAsia,微軟亞洲研究院），and Xiaoou Tang (Shenzhen Institutes of AdvancedTechnology, Chinese Academy of Sciences, China,中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院)”獲知。
[0045]濾波器22的輸出，第二深度圖Z2耦合到標(biāo)記為DT+C0的混合單元23的輸入，參見(jiàn)確定深度差值和組合深度圖的功能。該混合單元具有用于接收原始(未濾波的）深度圖Zl的第二輸入。深度差值是在第一深度圖與第二深度圖之間確定的，深度差值的正值指示第二深度圖中的深度更靠近觀看者。組合深度圖的功能包括通過(guò)依照取決于深度差值的組合功能組合第一深度值和第二深度值而生成第三深度圖Z3。該組合功能在深度差值為正的情況下優(yōu)先考慮第一值。各種不同的選項(xiàng)可用于實(shí)現(xiàn)所述優(yōu)先考慮。
[0046]在第一實(shí)施例中，組合功能在深度差值為正的情況下輸出第一深度值，并且在深度差值為負(fù)的情況下輸出第二深度值?；旧?，組合功能可以表示為：
如果（Z2>Z1)，輸出=Z1，否則輸出=Z2。
[0047]可替換地，組合功能可以執(zhí)行以下準(zhǔn)則：
(Z2〈Z1，因而Zl更近）：輸出為Z2 ；
(Z2>Z1,因而Z2更近）：輸出為Z1。
[0048]此外,可以添加閾值TH :
(Z2- ZKTH):輸出為 Z2 ；
(Z2- Z1>TH):輸出為 Z1。
[0049]在第二實(shí)施例中，組合功能包括在深度差值為正的情況下輸出第一深度值的多數(shù)部分和第二深度值的少數(shù)部分的混合，并且在深度差值為負(fù)的情況下輸出第二深度值。因此，當(dāng)Z2的值低于Zl (負(fù)的深度差值)時(shí)，輸出基于Z2，即濾波的深度圖。然而，當(dāng)Z2的值高于Zl (正的深度差值)時(shí)，輸出主要基于Z1，即至少50%的多數(shù)部分基于Zl (未濾波的深度圖）并且小于50%的少數(shù)部分基于Z2。用于衰減Z2的實(shí)際值為25%。少數(shù)部分于是為25%，或者甚至更小的百分比。
[0050]在另一實(shí)施例中，組合功能包括在深度差值的絕對(duì)值在預(yù)定閾值(例如深度范圍的10%)以下的情況下輸出第二深度值。例如，圖像的深度范圍使用8比特值表示，即深度范圍為0-255。因此,小的差值將不被認(rèn)為是邊緣并且深度值將不被剪切或操縱。
[0051]在實(shí)踐中，組合功能可以執(zhí)行以下準(zhǔn)則：
(Z2〈Z1，因而Zl更近）：輸出為100%的Z2 ；
(Z2>Z1,因而Z2更近）：輸出為10%的Z2+90%的Zl。
[0052]此外，可以添加閾值TH :
(Z2- ZKTH):輸出為 100% 的 Z2 ；
(Z2- Z1>TH):輸出為 10% 的 Z2，90% 的 Zl0
[0053]此外，用于Zl和Z2的適當(dāng)比值可以為75-25%或者60_40%。
[0054]在另一實(shí)施例中，確定深度差值通過(guò)評(píng)估區(qū)域中的深度值并且單獨(dú)地檢測(cè)深度跳躍而進(jìn)一步增強(qiáng)。如果沒(méi)有檢測(cè)到深度跳躍(例如通過(guò)應(yīng)用閾值)，那么混合單元將輸出Z2。當(dāng)檢測(cè)到深度跳躍時(shí)，將依照預(yù)定義比值應(yīng)用Zl和Z2的混合。因此，當(dāng)在離最近的跳躍一定距離處時(shí)，將僅僅使用Z2。所述距離或比值可以基于深度差值而進(jìn)一步加以調(diào)節(jié)。大的跳躍可能因此造成陡峭的比值，在其近鄰處基本上僅僅使用Z1。
[0055]圖3示出了深度值的處理。圖的頂部示出了包括背景之前的對(duì)象31 (例如臉）的深度圖的橫截面。第一深度圖Zl示意性地示出，深度值33指示該對(duì)象的深度位置。應(yīng)用上面描述的處理以便改進(jìn)深度圖的空間和時(shí)間穩(wěn)定性。Zl是來(lái)自深度或視差估計(jì)器的不太穩(wěn)定的深度圖。Z2為濾波，例如基于構(gòu)建具有關(guān)系亮度和深度的表格的雙邊網(wǎng)格處理之后的穩(wěn)定化深度。然而，由于深度邊緣處的亮度轉(zhuǎn)變以及亮度和Zl的不理想對(duì)準(zhǔn)的原因，亮度和深度關(guān)系以及拋雪球算法（splatting)函數(shù)的使用造成邊緣周圍的深度失真，在Z2中稱為溢出36、38。
[0056]深度值33和該對(duì)象側(cè)面處的深度跳躍34、35被示意性地示為含噪聲的。在實(shí)踐中，邊緣位置處的深度值將是不穩(wěn)定的。應(yīng)用平滑濾波器以生成Z2，更穩(wěn)定的深度圖。
[0057]在深度圖Z2中，示出了溢出偽像。第一區(qū)域36指示由于前景深度的溢出而引起的深度偽像。第二區(qū)域38指示由于背景深度的溢出而引起的另一深度偽像。最后，該圖示出了深度圖Z3。在Z3中，第三區(qū)域37指示本發(fā)明的效果，其中通過(guò)使用Zl的深度值而移除溢出。通過(guò)濾波，接著通過(guò)組合功能而對(duì)深度圖Z穩(wěn)定化的增強(qiáng)功能ZSTAB 24在圖2中由箭頭指示。
[0058]應(yīng)當(dāng)指出的是，當(dāng)必須從不同的觀看角度（即觀看者的眼睛位置）生成多個(gè)視圖時(shí)，對(duì)象相對(duì)于背景的深度跳躍決定了遮蔽。Zl中的深度跳躍的大小由箭頭32指示，而處理過(guò)的深度圖Z3中的深度跳躍39的大小更小。更小的深度跳躍具有以下優(yōu)點(diǎn)：需要為所述多個(gè)視圖生成更少的遮蔽數(shù)據(jù)。降低對(duì)于精確的遮蔽數(shù)據(jù)的需求允許簡(jiǎn)單的背景拉伸以填充遮蔽孔。
[0059]圖4示出了級(jí)聯(lián)方式的增強(qiáng)深度穩(wěn)定化。電路基于圖2中所示的電路，具有用于生成第一深度圖Zl的相應(yīng)生成器單元GEN 21。第一深度圖Zl由與圖2中標(biāo)記為ZSTAB的部分相應(yīng)的增強(qiáng)深度圖穩(wěn)定器25穩(wěn)定化。ZSTAB的交叉雙邊濾波器實(shí)現(xiàn)方式具有用于亮度值的另一輸入（由虛線輸入信號(hào)LU示出）。可選地，ZSTAB功能25可替換地可以僅僅為如上面所描述的(交叉)雙邊濾波器22，或者任何其他適當(dāng)?shù)纳疃葓D穩(wěn)定化功能。穩(wěn)定器25的穩(wěn)定化的深度圖Za耦合到減法器26，該減法器從穩(wěn)定化的深度圖Za中減去原始深度圖Zl以便生成差值深度圖Zb。差值深度圖Zb輸入到另一增強(qiáng)穩(wěn)定器27，因而構(gòu)成級(jí)聯(lián)深度穩(wěn)定器。該另一增強(qiáng)穩(wěn)定器27可以再次為如上面所描述的ZSTAB功能，可選地具有亮度輸入?？梢允褂门c針對(duì)第一增強(qiáng)穩(wěn)定器25的情況相同的亮度值。穩(wěn)定化的差值深度圖Zc耦合到加法器28，其加上穩(wěn)定化的深度圖Za，得到最終的深度圖Zd。
[0060]實(shí)際上，仍然存在于穩(wěn)定化的深度圖Za中的偽像也將存在于差值深度圖Zb中，由于減法功能而被反向。來(lái)自Zl的噪聲也可能存在于Zb中，但是將通過(guò)所述另一增強(qiáng)穩(wěn)定器27而消除，這保持了偽像的結(jié)構(gòu)。最后，反向的偽像將被添加到穩(wěn)定化的深度圖Za。例如，具有黑色眼睛的臉和黑色背景可能導(dǎo)致眼睛的深度位置受背景的影響(交叉亮度效應(yīng))。眼睛將被向后推送。在原始深度圖Zl中，眼睛將基本上具有臉的深度，因而差值深度圖Zb反映眼睛地點(diǎn)中的向前效果，這將在加法器28中補(bǔ)償所述向后推送。因此，該電路允許降低雙邊濾波器對(duì)深度圖的交叉亮度效應(yīng)，同時(shí)仍然具有空間和時(shí)間穩(wěn)定化的深度圖的益處。
[0061]圖5示出了具有并行濾波器的3D視頻處理器。在操作中，第一濾波器FILT-I 71接收3D視頻信號(hào)，該3D視頻信號(hào)可以包括深度圖和2D圖像數(shù)據(jù)或者3D視頻數(shù)據(jù)的任何其他表不。FILT-I構(gòu)成生成第一深度圖Zl的另一多維濾波器?？蛇x地，第一濾波器可以是具有用于亮度值的另一輸入LUl的交叉雙邊濾波器。在操作中，第二濾波器FILT-2 72也接收3D視頻信號(hào)。第二濾波器FILT-2與上面參照?qǐng)D2描述的多維濾波器22相應(yīng)，其造成所述溢出?？蛇x地，第二濾波器可以是具有用于亮度值的另一輸入LU2的交叉雙邊濾波器?？蛇x地，第二濾波器單元82可以具有用于接收Z(yǔ)l的另一輸入。像在圖2中那樣，濾波器72的輸出，第二深度圖Z2耦合到標(biāo)記為DT+C0的混合單元73的輸入，混合單元73參見(jiàn)如上面針對(duì)混合單元23所描述的確定深度差值和組合深度圖的功能。該混合單元具有用于接收第一深度圖Zl的另一輸入。類似于上面描述的串聯(lián)布置，該混合單元實(shí)施用于在背景中基本上移除所述溢出的組合功能。
[0062]在一個(gè)實(shí)際的實(shí)例中，使用已知的技術(shù)基于單視場(chǎng)或立體圖像生成輸入深度圖，并且隨后對(duì)其進(jìn)行后處理，即，使用兩個(gè)并行的具有相似濾波器特性，但是具有不同濾波器覆蓋區(qū)（footprint)的二維高斯濾波器進(jìn)行濾波。第一深度圖由第一高斯濾波器生成，該第一高斯濾波器具有比用來(lái)生成第二深度圖的第二高斯濾波器的第二濾波器覆蓋區(qū)更小的第一濾波器覆蓋區(qū)。結(jié)果，與第一高斯濾波器相比，第二高斯濾波器將在更大的區(qū)域上抹掉深度轉(zhuǎn)變。
[0063]代替上面提到的高斯濾波器的是，也可以有可能使用兩個(gè)交叉雙邊后處理濾波器。交叉雙邊濾波器使用來(lái)自單視場(chǎng)圖像的照度（luminance)和/或顏色信息將深度圖中的深度轉(zhuǎn)變與圖像內(nèi)容中的照度和/或顏色轉(zhuǎn)變重新對(duì)準(zhǔn)。
[0064]更加可替換地，第一深度圖使用諸如例如(交叉）雙邊濾波器或者引導(dǎo)濾波器之類的邊緣保持和/或重建濾波器生成，而第二深度圖使用諸如上面提到的二維高斯濾波器之類的邊緣平滑濾波器生成。
[0065]應(yīng)當(dāng)進(jìn)一步指出的是，可選地，局部地應(yīng)用后處理。可以設(shè)想各種不同的準(zhǔn)則用于選擇其中應(yīng)用本發(fā)明的深度圖中的空間區(qū)塊。例如，依照本發(fā)明的方法可以利用用于深度轉(zhuǎn)變的閾值以便確定是否將該方法應(yīng)用到特定的空間區(qū)塊?？商鎿Q地或者此外，可以基于第一和第二深度圖中的邊緣之間的證實(shí)的相關(guān)性選擇用于應(yīng)用該方法的空間區(qū)塊。為此目的，可以向依照本發(fā)明的方法添加附加的空間相關(guān)性步驟，該步驟將第一深度圖中的空間區(qū)塊中的深度值與第二深度圖中的相應(yīng)空間區(qū)塊相關(guān)以便例如通過(guò)對(duì)找到的相關(guān)性應(yīng)用閾值而標(biāo)識(shí)是否可以將本發(fā)明應(yīng)用于該特定的空間地點(diǎn)。
[0066]圖6示出了具有深度圖生成和并行濾波器的3D視頻處理器。在操作中，深度圖生成器80 (標(biāo)記為3DRS CABE disp est)接收具有左幀L和右?guī)琑的立體3D信號(hào)。該單元然后通過(guò)左視圖和右視圖的視差估計(jì)生成第一深度圖Z0，并且基于左視圖和/或右視圖提供2D圖像數(shù)據(jù)。生成器80的輸出ZO耦合到生成第一深度圖Zl的第一濾波器81。第一濾波器示意性地被示為具有小的核心雙邊網(wǎng)格和參數(shù)集合B以及用于亮度值的輸入LB。ZO還耦合到生成第二深度圖Z2的第二濾波器82。第二濾波器示意性地被示為具有大的核心雙邊網(wǎng)格和參數(shù)集合A以及用于亮度值的輸入LA。像在圖2中那樣，第一深度圖Zl和第二深度圖Z2耦合到混合單元83的輸入，該混合單元示意性地被標(biāo)記為具有組合功能：
如果（Z2>Z1)，則Z1，否則Z2。
[0067]組合功能涉及如上面針對(duì)混合單元23所描述的確定深度差值和組合深度圖的各種不同的功能。參數(shù)集合A被選擇用于較大的核心，導(dǎo)致更多地減少噪聲和/或偽像，但是也導(dǎo)致更多的溢出。參數(shù)集合B被選擇用于較小的核心，導(dǎo)致更少的偽像減少，但是也導(dǎo)致更少的溢出。如上面所指示的，3D視頻設(shè)備可以與3D內(nèi)容源設(shè)備或者3D顯示設(shè)備相應(yīng)。3D顯示設(shè)備被理解為包括立體顯示設(shè)備，諸如例如快門眼鏡或者基于偏振器的立體顯示設(shè)備，其中本發(fā)明可以用來(lái)將單視場(chǎng)內(nèi)容轉(zhuǎn)換成立體內(nèi)容，或者其中本發(fā)明用來(lái)對(duì)立體內(nèi)容進(jìn)行后處理。
[0068]然而，本發(fā)明可以以相同的效果應(yīng)用于自動(dòng)立體顯示設(shè)備，例如透鏡狀或者基于屏障的多視圖顯示設(shè)備，其中本發(fā)明用來(lái)將單視場(chǎng)/立體內(nèi)容轉(zhuǎn)換成供這樣的顯示器使用的多視圖。
[0069]事實(shí)上，3D視頻設(shè)備被理解為包括調(diào)用深度圖的單視場(chǎng)到立體的轉(zhuǎn)換或立體(后）處理的設(shè)備，例如基于立體照相機(jī)系統(tǒng)裝備輸出深度圖的3D照相機(jī)。
[0070]應(yīng)當(dāng)理解的是，為了清楚起見(jiàn)，上面的描述參照功能單元和處理器描述了本發(fā)明的實(shí)施例。然而，應(yīng)當(dāng)清楚的是，可以使用不同功能單元或處理器之間的任何適當(dāng)?shù)墓δ芊植级粶p損本發(fā)明。例如，被圖示為由單獨(dú)的單元、處理器或控制器執(zhí)行的功能可以由相同的處理器或控制器執(zhí)行。因此，對(duì)于特定功能單元的引用應(yīng)當(dāng)僅僅視作對(duì)于用于提供所描述的功能的適當(dāng)裝置的引用，而不是指示嚴(yán)格的邏輯或物理結(jié)構(gòu)或組織。本發(fā)明可以以任何適當(dāng)?shù)男问綄?shí)現(xiàn)，包括硬件、軟件、固件或者這些的任意組合。
[0071]盡管在上文中大多數(shù)實(shí)施例針對(duì)設(shè)備而給出，但是相同的功能由相應(yīng)的方法提供。這樣的方法可選地可以至少部分地被實(shí)現(xiàn)為運(yùn)行在一個(gè)或多個(gè)數(shù)據(jù)處理器和/或數(shù)字信號(hào)處理器上的計(jì)算機(jī)軟件。本發(fā)明的實(shí)施例的元件和部件可以以任何適當(dāng)?shù)姆绞皆谖锢砩?、功能上和邏輯上?shí)現(xiàn)。
[0072]如果特征看起來(lái)結(jié)合特定實(shí)施例而被描述，那么本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，依照本發(fā)明可以組合所描述的實(shí)施例的各種不同的特征。單獨(dú)的特征可以有利地加以組合，并且包含于不同的權(quán)利要求中并不意味著特征的組合不可行和/或不是有利的。再者，特征包含于一種權(quán)利要求類別中并不意味著限于該類別，而是指示該特征同樣可適用于其他權(quán)利要求類別，如果適當(dāng)?shù)脑?。此外，?quán)利要求中特征的順序并不意味著特征必須據(jù)以起作用的任何特定順序，并且特別地，方法權(quán)利要求中各步驟的順序并不意味著這些步驟必須按照該順序來(lái)執(zhí)行。相反地，這些步驟可以以任何適當(dāng)?shù)捻樞驁?zhí)行。此外，單數(shù)引用并沒(méi)有排除復(fù)數(shù)。因此，對(duì)于“一”、“一個(gè)”、“第一”、“第二”等等的引用并沒(méi)有排除復(fù)數(shù)。權(quán)利要求中的附圖標(biāo)記僅僅作為澄清的實(shí)例而被提供，不應(yīng)當(dāng)以任何方式被視為限制了權(quán)利要求的范圍。
【權(quán)利要求】
1.一種處理三維[3D]視頻信號(hào)的方法，該方法包括： -根據(jù)3D視頻信號(hào)導(dǎo)出（21)包括第一深度值的第一深度圖（Zl)和與第一深度圖相應(yīng)的包括圖像值的2D圖像， -由多維濾波器（22)根據(jù)3D視頻信號(hào)和/或第一深度圖生成具有第二深度值的第二深度圖（Z2)，該多維濾波器造成第二深度圖具有溢出的偽像，而第一深度圖在相應(yīng)地點(diǎn)中具有較少的或者沒(méi)有這樣的偽像， -確定第一深度圖與第二深度圖之間的深度差值，深度差值的正值指示第二深度圖中的深度更靠近觀看者，以及 -通過(guò)依照取決于深度差值的組合功能組合第一深度值和第二深度值而生成（23)第三深度圖，該組合功能在深度差值為正的情況下優(yōu)先考慮第一值。
2.如權(quán)利要求I所述的方法，其中組合功能包括在深度差值為正的情況下輸出第一深度值，并且在深度差值為負(fù)的情況下輸出第二深度值。
3.如權(quán)利要求I所述的方法，其中組合功能包括在深度差值為正的情況下輸出第一深度值的多數(shù)部分和第二深度值的少數(shù)部分的混合，并且在深度差值為負(fù)的情況下輸出第二深度值。
4.如權(quán)利要求3所述的方法，其中少數(shù)部分為25%或者更少。
5.如權(quán)利要求I所述的方法，其中組合功能包括在深度差值的絕對(duì)值在預(yù)定閾值以下的情況下輸出第二深度值。
6.如權(quán)利要求I所述的方法，其中濾波包括雙邊濾波器或者交叉雙邊濾波器或者雙邊網(wǎng)格濾波器或者交叉雙邊網(wǎng)格濾波器。
7.如權(quán)利要求I所述的方法，其中該方法包括至少一個(gè)另外的級(jí)聯(lián)處理步驟，該級(jí)聯(lián)處理步驟包括： -從第一深度圖（Zl)中減去（26)第三深度圖（Za)以便生成差值深度圖（Zb)， -對(duì)差值深度圖穩(wěn)定化（27)以便生成穩(wěn)定化的差值深度圖（Zc)，以及-通過(guò)將穩(wěn)定化的差值深度圖（Zc)和第三深度圖（Za)相加（28)生成第四深度圖(Zd)。
8.如權(quán)利要求I所述的方法，其中該方法包括： -接收包括左視圖幀（L)和右視圖幀（R)的立體3D視頻信號(hào)，并且基于對(duì)L和R幀的處理導(dǎo)出第一深度圖；或者 -接收包括2D視頻幀的時(shí)間序列的2D視頻信號(hào)，并且基于對(duì)2D視頻幀的時(shí)間序列的處理導(dǎo)出第一深度圖；或者 -接收3D視頻信號(hào)并且通過(guò)另一多維濾波器導(dǎo)出第一深度圖。
9.一種用于處理三維[3D]視頻信號(hào)的3D視頻設(shè)備（40，50)，該設(shè)備包括： -輸入裝置（47，51，58，59，61，71)，其用于接收3D視頻信號(hào)并且根據(jù)3D視頻信號(hào)導(dǎo)出第一深度圖（Zl)和與第一深度圖相應(yīng)的2D圖像，第一深度圖包括第一深度值并且2D圖像包括圖像值，以及 -視頻處理器（42，52，53)，其被布置用于 -由多維濾波器（22)根據(jù)3D視頻信號(hào)和/或第一深度圖生成具有第二深度值的第二深度圖（Z2)，該多維濾波器造成第二深度圖具有溢出的偽像，而第一深度圖在相應(yīng)地點(diǎn)處具有較少的或者沒(méi)有這樣的偽像， -確定第一深度圖與第二深度圖之間的深度差值，深度差值的正值指示第二深度圖中的深度更靠近觀看者，并且 -通過(guò)依照取決于深度差值的組合功能組合第一深度值和第二深度值而生成（23)第三深度圖，該組合功能在深度差值為正的情況下優(yōu)先考慮第一值。
10.如權(quán)利要求9所述的設(shè)備，其中組合功能包括在深度差值為正的情況下輸出第一深度值，并且在深度差值為負(fù)的情況下輸出第二深度值。
11.如權(quán)利要求9所述的設(shè)備，其中組合功能包括在深度差值為正的情況下輸出第一深度值的多數(shù)部分和第二深度值的少數(shù)部分的混合，并且在深度差值為負(fù)的情況下輸出第二深度值。
12.如權(quán)利要求9所述的設(shè)備，其中濾波包括雙邊濾波器或者交叉雙邊濾波器或者雙邊網(wǎng)格濾波器或者交叉雙邊網(wǎng)格濾波器。
13.如權(quán)利要求9所述的設(shè)備，其中輸入裝置包括生成器（21)，該生成器用于 -接收左右視頻信號(hào)，該信號(hào)至少包括要為觀看者的對(duì)應(yīng)眼睛顯示以便生成3D效果的左視圖和右視圖，并且 -通過(guò)左視圖和右視圖的視差估計(jì)生成第一深度圖，并且 -基于左視圖和/或右視圖提供2D圖像。
14.一種計(jì)算機(jī)程序，包括計(jì)算機(jī)程序代碼裝置，該計(jì)算機(jī)程序代碼裝置在計(jì)算機(jī)程序運(yùn)行于計(jì)算機(jī)上時(shí)操作來(lái)使得處理器執(zhí)行依照權(quán)利要求1-9中任何一項(xiàng)的方法的各步驟。
15.一種計(jì)算機(jī)可讀介質(zhì)，包括如權(quán)利要求14所述的計(jì)算機(jī)程序。
【文檔編號(hào)】H04N13/00GK104185857SQ201280049776
【公開(kāi)日】2014年12月3日 申請(qǐng)日期:2012年10月5日 優(yōu)先權(quán)日:2011年10月10日
【發(fā)明者】W.H.A.布魯爾斯 申請(qǐng)人:皇家飛利浦有限公司