基于突出性的視差映射的制作方法
【專利摘要】對三維[3D]圖像信號進(jìn)行處理以便在特定3D顯示器（例如自動立體顯示器）上再現(xiàn)3D圖像數(shù)據(jù)（33）。確定第一深度圖（34）和3D圖像數(shù)據(jù)的突出性。確定3D顯示器的可用深度范圍（36）的顯示深度子范圍（35），并且該顯示深度子范圍為觀看者提供比跨可用深度范圍的3D圖像質(zhì)量更高的3D圖像質(zhì)量。根據(jù)突出性數(shù)據(jù)確定深度映射函數(shù)。該深度映射函數(shù)將第一深度圖映射成第二深度圖以便生成用于3D顯示器的視圖。有利的是，將突出深度值范圍映射到顯示深度子范圍。
【專利說明】基于突出性的視差映射
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種處理三維[3D]圖像信號以便在3D顯示器上基于多個顯示視圖再現(xiàn)3D圖像數(shù)據(jù)的方法。
[0002]本發(fā)明進(jìn)一步涉及一種3D視頻設(shè)備、3D圖像信號和計算機(jī)程序。
[0003]本發(fā)明涉及處理3D圖像數(shù)據(jù)以便改進(jìn)3D顯示設(shè)備上的再現(xiàn)的領(lǐng)域。特別地，對可用的或者生成的深度圖進(jìn)行處理以便改進(jìn)特定3D顯示器上的3D體驗。這里的圖像數(shù)據(jù)包括視頻數(shù)據(jù)，并且通常在兩個空間維度下進(jìn)行處理，而視頻數(shù)據(jù)中的時間可以用作第三維度。
【背景技術(shù)】
[0004]文件“Adaptive3D Rendering based on Region-of-1nterest, by ChristelChamaret, Sylvain Godeffroy, Patrick Lopez, Olivier Le Meur, at ThomsonCorporate Research, I Avenue de Belle-Fontaine 35576 Cesson-Sevigne France，，公開了 3D視頻處理技術(shù)，尤其是高視差管理。高視差當(dāng)前對于在立體屏幕上觀看3D場景具有強(qiáng)烈的影響。場景的突出區(qū)在圖像處理域中通常稱為感興趣區(qū)。3D體驗通過應(yīng)用與感興趣區(qū)有關(guān)的一些效果而加以修正。特別地，適應(yīng)性調(diào)節(jié)兩個視圖之間的移位以便在場景中的感興趣區(qū)域上具有零視差。

【發(fā)明內(nèi)容】

[0005]上面的文件公開了通過應(yīng)用左右視圖之間的視差移位而修改圖像數(shù)據(jù)中的視差，使得主要感興趣區(qū)具有零視差。由于所述移位的原因，圖像數(shù)據(jù)中的其他區(qū)域?qū)⒌玫奖仍紨?shù)據(jù)更高的視差。這樣的視差可能超出人類視覺系統(tǒng)在3D體驗中可以舒適地處理的視差范圍，并且可能導(dǎo)致視覺不適、疲勞或者復(fù)視(雙視覺)。該文件提出應(yīng)用模糊，例如，選擇性地模糊圖像的背景部分，以便隱藏這樣的令人不舒適的區(qū)域。再者，由于將高視差感興趣區(qū)移至零視差的原因，需要應(yīng)用相對較大的移位。因此，該已知方法的一個問題在于，圖像的3D體驗降低。
[0006]本發(fā)明的目的是提供3D圖像數(shù)據(jù)的處理以便改進(jìn)對于具有高視差的3D圖像數(shù)據(jù)的再現(xiàn)，同時避免降低圖像質(zhì)量。
[0007]為此目的，依照本發(fā)明的第一方面，如開篇段落中所描述的方法包括:根據(jù)3D圖像信號導(dǎo)出包括第一深度值的第一深度圖，根據(jù)3D圖像信號導(dǎo)出表示3D圖像數(shù)據(jù)量中的突出性的突出性數(shù)據(jù)，突出性指示突出元素具有突出深度值范圍，確定顯示深度子范圍，該顯示深度子范圍為3D顯示器的可用深度范圍的子范圍并且為觀看者提供比跨可用深度范圍的3D圖像質(zhì)量更高的3D圖像質(zhì)量，根據(jù)突出性數(shù)據(jù)確定用于3D圖像數(shù)據(jù)量的深度映射函數(shù)，使得突出范圍內(nèi)的第一深度值映射到顯示深度子范圍，通過深度映射函數(shù)將第一深度圖轉(zhuǎn)換成第二深度圖，以及根據(jù)第二深度圖生成顯示視圖。
[0008] 為此目的，依照本發(fā)明的另一方面，一種用于處理3D圖像信號以便在3D顯示器上基于多個顯示視圖再現(xiàn)3D圖像數(shù)據(jù)的3D視頻設(shè)備包括:輸入裝置，其用于根據(jù)3D圖像信號導(dǎo)出包括第一深度值的第一深度圖，并且用于根據(jù)3D圖像信號導(dǎo)出表示3D圖像數(shù)據(jù)量中的突出性的突出性數(shù)據(jù)，突出性指示突出元素具有突出深度值范圍；以及視頻處理器，其被布置用于確定顯示深度子范圍，該顯示深度子范圍為3D顯示器的可用深度范圍的子范圍并且為觀看者提供比跨可用深度范圍的3D圖像質(zhì)量更高的3D圖像質(zhì)量，根據(jù)突出性數(shù)據(jù)確定用于3D圖像數(shù)據(jù)量的深度映射函數(shù)，使得突出范圍內(nèi)的第一深度值映射到顯示深度子范圍，通過深度映射函數(shù)將第一深度圖轉(zhuǎn)換成第二深度圖以便根據(jù)第二深度圖生成顯示視圖。
[0009]為此目的，依照本發(fā)明的另一方面，一種用于在3D顯示器上基于多個顯示視圖再現(xiàn)3D圖像數(shù)據(jù)的3D圖像信號包括元數(shù)據(jù)，該元數(shù)據(jù)包括表示3D圖像數(shù)據(jù)量中的突出性的突出性數(shù)據(jù)，突出性指示突出元素具有突出深度值范圍，用于在3D視頻設(shè)備中允許:根據(jù)該3D圖像信號導(dǎo)出包括第一深度值的第一深度圖；確定顯示深度子范圍，該顯示深度子范圍為3D顯示器的可用深度范圍的子范圍并且為觀看者提供比跨可用深度范圍的3D圖像質(zhì)量更高的3D圖像質(zhì)量；根據(jù)突出性數(shù)據(jù)確定用于3D圖像數(shù)據(jù)量的深度映射函數(shù)，使得突出范圍內(nèi)的第一深度值映射到顯示深度子范圍；并且通過深度映射函數(shù)將第一深度圖轉(zhuǎn)換成第二深度圖以便根據(jù)第二深度圖生成顯示視圖。
[0010]這些措施具有修改視差的效果，使得在特定顯示器上再現(xiàn)的視圖之間的視差處于可用視差范圍內(nèi)。該可用范圍也可以稱為立體視覺舒適區(qū)，即立體視覺再現(xiàn)中可以由人類視覺系統(tǒng)舒適地處理成3D體驗的視差值范圍。而且，3D圖像數(shù)據(jù)中的突出性數(shù)據(jù)用來確定圖像中的感興趣元素的突出范圍，并且這樣的元素在具有高3D圖像質(zhì)量的3D顯示器的深度子范圍上映射。
[0011]所述方法用于處理3D圖像信號以便在3D顯示器上基于多個顯示視圖再現(xiàn)3D圖像數(shù)據(jù)。這樣的顯示器可以例如為在觀看束中生成多個視圖、尺寸確定為向觀看者的左右眼提供一對視圖的自動立體顯示器。第一深度圖根據(jù)3D圖像信號而導(dǎo)出。再者，表示3D圖像數(shù)據(jù)量中的突出性的突出性數(shù)據(jù)根據(jù)該圖像信號而導(dǎo)出。所述量可以是單幅圖像或視頻幀，或者視頻場或幀序列，諸如例如與預(yù)定時間段、快照(shot)、諸如圖片組(MPEG編碼中的G0P)之類的編碼單位等等相應(yīng)的幀。使用若干連續(xù)幀或者表示快照的若干非連續(xù)幀，例如起始幀或者起始和結(jié)束幀，可以獲得突出和非突出數(shù)據(jù)的更好的近似。
[0012]突出性數(shù)據(jù)可以作為元數(shù)據(jù)包含在信號中，或者可以通過局部地處理3D圖像數(shù)據(jù)量而導(dǎo)出。突出性指示突出元素，即受到人類觀看者的注意的圖像的部分。圖像的突出部分具有突出深度值范圍，即具有受到觀看者的注意和重視的高概率的那些圖像部分的深度值范圍。突出性例如可以基于視亮度、對比度和/或色差，并且部分地基于深度差，例如突起。再者，對象(例如人臉)的類型可以被檢測并且用于突出性。就其本身而言，用于確定圖像數(shù)據(jù)中的突出元素的各種不同的方法對于本領(lǐng)域技術(shù)人員是已知的。
[0013] 本發(fā)明也基于以下認(rèn)識。發(fā)明人已經(jīng)看到，對于特定顯示器而言，存在對應(yīng)3D顯示器的可用深度范圍的顯示深度子范圍，該顯示深度子范圍對于觀看者而言具有比跨整個可用深度范圍的3D圖像質(zhì)量更高的3D圖像質(zhì)量。該子范圍可以是顯示器類型固有的，或者可以針對特定觀看者(例如兒童)進(jìn)行調(diào)節(jié)，或者可以是觀看者設(shè)置的偏好。再者，該子范圍可以被選擇為在視圖之間具有低水平串?dāng)_，而跨可用范圍的串?dāng)_可能較大。[0014]確定所述深度映射函數(shù)以便根據(jù)突出性數(shù)據(jù)映射所述3D圖像數(shù)據(jù)量。這樣對深度映射函數(shù)確定尺寸，以便將所述另外的深度值(即用于圖像的非突出部分的非突出值)映射為基本上保持在顯示器的可用范圍內(nèi)。將深度映射函數(shù)應(yīng)用到原始的第一深度值并且生成適應(yīng)的深度值，使得突出范圍內(nèi)的第一深度值朝顯示深度子范圍內(nèi)的深度值變化。在實際情況下，根據(jù)實際圖像內(nèi)容，可以將基本上所有深度值映射到選擇的子范圍內(nèi)，或者對于突出深度值的至少一部分至少實現(xiàn)朝子范圍的移位。通過所述映射，突出元素在深度方向上移向?qū)?yīng)顯示器的高質(zhì)量范圍，而圖像的其他部分基本上將深度值保持在顯示器的可用范圍內(nèi)。最后，將深度映射函數(shù)應(yīng)用到3D圖像數(shù)據(jù)量以便將第一深度圖轉(zhuǎn)換成第二最終深度圖，并且根據(jù)該第二深度圖生成顯示視圖。有利的是，避免了將主要突出對象移至零視差，因為這樣的對象的深度值僅僅被移向所述子范圍，并且因而不會一直被強(qiáng)制為零視差。
[0015]應(yīng)當(dāng)指出的是，在本文中，深度值和深度圖也包括視差值和視差圖。深度的實際表示可以是由特定系統(tǒng)使用的視差值范圍或者深度值范圍內(nèi)的值，例如0-255，其中高值靠近觀看者并且零為無限遠(yuǎn)?？商鎿Q地，可以使用圍繞零的視差值范圍，例如-512至+511，其中負(fù)數(shù)字值可以表示顯示屏幕前面的視差并且零為屏幕平面?？商鎿Q地，通過使用以下關(guān)系，正視差d可以表示遠(yuǎn)處的對象:XR = xL - dL。視差值可以與實際的像素移位相應(yīng)，或者可以具有不同的尺度或分辨率。因此，在提及基于深度的值和/或處理的情況下，這樣的術(shù)語應(yīng)當(dāng)被解釋為也覆蓋基于視差的表示。通常，視差典型地基于1/Z，Z為深度。詳細(xì)地說，與Z的關(guān)系是公知的，但是復(fù)雜的(例如基于具有平行照相機(jī)的對極幾何)。對于典型內(nèi)容的典型(小)輸入視差范圍，深度與視差之間的關(guān)系接近線性。例如，通過深度映射函數(shù)將第一深度圖轉(zhuǎn)換成第二深度圖以及根據(jù)第二深度圖生成顯示視圖的步驟可以通過直接生成具有修改的映射的視差而組合。
[0016]可選地，突出性數(shù)據(jù)為指示圖像像素的突出性程度的突出性圖。突出性程度可以在二進(jìn)制標(biāo)度上，例如O或1，或者可以使用中間值?？梢詫τ诟魍怀鱿袼卮_定深度值范圍?？蛇x地，突出性數(shù)據(jù)為突出性深度范圍。該范圍可以例如在3D圖像數(shù)據(jù)或3D視頻的產(chǎn)生或預(yù)處理期間單獨地確定。
[0017] 可選地，導(dǎo)出突出性數(shù)據(jù)包括根據(jù)3D圖像信號導(dǎo)出元數(shù)據(jù)，該元數(shù)據(jù)表示3D圖像數(shù)據(jù)的突出性數(shù)據(jù)。有利的是，3D圖像數(shù)據(jù)的源(例如電影工作室)可以確定突出性并且將關(guān)于突出性的元數(shù)據(jù)包含在3D視頻信號中。
[0018]可選地，深度映射函數(shù)包括為突出像素制作第一直方圖且為非突出像素制作第二直方圖；以及基于第一直方圖確定突出深度范圍并且將突出深度范圍映射到顯示深度子范圍內(nèi)且將第二直方圖映射到可用深度范圍上。直方圖在各面元中收集具有基本上相等的深度的像素數(shù)量，并且因此量化深度分布。突出范圍通過考慮直方圖中的邊界深度值而確定，使得至少大多數(shù)(例如90%)的值處于該范圍內(nèi)。
[0019]可選地，深度映射函數(shù)包括為突出像素和非突出像素制作組合直方圖，突出像素具有第一輸入轉(zhuǎn)換并且非突出像素具有第二輸入轉(zhuǎn)換，第一輸入轉(zhuǎn)換具有依賴于關(guān)于可用范圍的子范圍的校正函數(shù)；以及將組合直方圖深度范圍映射到顯示器可用深度范圍內(nèi)，校正函數(shù)使得突出范圍內(nèi)的第一深度值朝顯示深度子范圍變形(warp)。在應(yīng)用不同的輸入轉(zhuǎn)換的同時，突出和非突出值二者均進(jìn)入組合直方圖中。例如，只有非突出像素進(jìn)入直方圖中，即應(yīng)用單一輸入轉(zhuǎn)換，當(dāng)例如子范圍為0.25 X可用范圍(即可用范圍的25%)時，第一輸入轉(zhuǎn)換可以具有線性校正函數(shù)4。隨后，映射基于在可用范圍內(nèi)具有組合直方圖深度。有利的是，通過事實上按照所述校正函數(shù)放大突出深度，突出深度將基本上落在子范圍內(nèi)。
[0020]可選地，3D圖像數(shù)據(jù)量為一定時段的3D視頻信號，并且深度映射函數(shù)取決于跨時間的突出性數(shù)據(jù)。深度映射函數(shù)針對所述一定時段而確定，或者至多在所述一定時段期間緩慢地變化。有利的是，人類視覺系統(tǒng)不受深度視角的頻繁變化干擾。特別地，深度映射函數(shù)可以包括將快照確定為所述一定時段的3D視頻信號，并且設(shè)置用于該快照的映射函數(shù)，或者使用具有前瞻的移動窗口并且設(shè)置用于該窗口的映射函數(shù)。
[0021]可選地，視頻處理器被布置用于根據(jù)第二深度圖生成顯示視圖?？蛇x地，所述設(shè)備包括用于顯示用于觀看者的對應(yīng)左右眼的顯示視圖的3D顯示器?？蛇x地，視頻處理器被布置用于通過從連接到3D視頻設(shè)備的3D顯示設(shè)備獲取顯示能力信息而確定顯示深度子范圍。
[0022]可選地，導(dǎo)出突出性數(shù)據(jù)包括根據(jù)3D圖像信號導(dǎo)出元數(shù)據(jù)，該元數(shù)據(jù)表示3D圖像數(shù)據(jù)的突出性數(shù)據(jù)。
[0023]其公開通過引用合并于此的所附權(quán)利要求書中給出了依照本發(fā)明的方法、3D設(shè)備和信號的另外的優(yōu)選實施例。
【專利附圖】

【附圖說明】
[0024]本發(fā)明的這些和其他方面根據(jù)在以下描述中通過實例的方式且參照附圖描述的實施例將是清楚明白的，并且將參照這些實施例進(jìn)一步進(jìn)行加以闡述，在附圖中
圖1示出了用于顯示3D圖像數(shù)據(jù)的系統(tǒng)中的用于處理3D圖像數(shù)據(jù)的設(shè)備，
圖2示出了視差映射的系統(tǒng)概覽，
圖3示意性地示出了現(xiàn)有技術(shù)的視差映射，
圖4示意性地示出了增強(qiáng)的視差映射，
圖5示出了非線性視差映射，
圖6示出了最大增益約束，以及 圖7示出了增強(qiáng)的非線性視差映射。
[0025]在圖中，與已經(jīng)描述的元素相應(yīng)的元素可以具有相同的附圖標(biāo)記。
【具體實施方式】
[0026]應(yīng)當(dāng)指出的是，本發(fā)明可以用于任何類型的3D圖像數(shù)據(jù)，不管其是靜止圖片還是運(yùn)動視頻。所述系統(tǒng)處理3D圖像數(shù)據(jù)中提供的深度圖。該深度圖可以最初存在于系統(tǒng)的輸入處，或者可以如下文中所描述的例如根據(jù)立體(L+R)視頻信號中的左/右?guī)蛘吒鶕?jù)2D視頻生成。假設(shè)3D圖像數(shù)據(jù)作為電子的、數(shù)字編碼的數(shù)據(jù)而可用。本發(fā)明涉及這樣的圖像數(shù)據(jù)并且在數(shù)字域操縱圖像數(shù)據(jù)。
[0027]存在可以格式化并且傳輸3D視頻數(shù)據(jù)(稱為3D視頻格式)的許多不同的方式。一些格式基于使用2D通道以便也攜帶立體信息。例如，左右視圖可以隔行掃描，或者可以并排上下放置?？商鎿Q地，可以傳輸2D圖像和深度圖，以及可能地另外的3D數(shù)據(jù)，比如遮蔽或透明度數(shù)據(jù)。提供或者傳輸3D圖像數(shù)據(jù)的任何方法(例如互聯(lián)網(wǎng)或者藍(lán)光光盤(BD))都可以提供3D視頻數(shù)據(jù)。[0028]圖1示出了用于顯示3D圖像數(shù)據(jù)的系統(tǒng)中的用于處理3D圖像數(shù)據(jù)的設(shè)備。稱為3D源的第一 3D視頻設(shè)備40向另一 3D圖像處理設(shè)備50提供和傳輸3D視頻信號41，所述另一 3D圖像處理設(shè)備耦合到3D顯示設(shè)備60以便傳輸3D顯示信號56。
[0029]圖1進(jìn)一步示出了作為3D視頻信號的載體的記錄載體54。該記錄載體為盤狀并且具有軌道和中心孔。由物理上可檢測的標(biāo)記的圖案構(gòu)成的軌道依照螺旋形或者同心的圈圖案布置，該圖案構(gòu)成一個或多個信息層上的基本上平行的軌道。記錄載體可以是光學(xué)可讀的，稱為光盤，例如CD、DVD或BD (藍(lán)光光盤)。信息通過沿著軌道的光學(xué)可檢測的標(biāo)記(例如凹坑和凸臺)而包含在信息層上。軌道結(jié)構(gòu)也包括用于指示通常稱為信息塊的信息單元的地點的位置信息，例如頭部和地址。記錄載體54承載以像DVD或BD格式那樣的預(yù)定義記錄格式表示例如依照MPEG2或MPEG4編碼系統(tǒng)編碼的像視頻那樣的數(shù)字編碼的3D圖像數(shù)據(jù)的信息。
[0030]3D源具有用于處理經(jīng)由輸入單元47接收的3D視頻數(shù)據(jù)的處理單元42。輸入3D視頻數(shù)據(jù)43可以從存儲系統(tǒng)、記錄工作室獲得，從3D照相機(jī)獲得，等等。視頻處理器42生成包括3D視頻數(shù)據(jù)的3D視頻信號41。該源可以被布置用于經(jīng)由輸出單元46將來自視頻處理器的3D視頻信號傳輸至另一 3D視頻設(shè)備，或者用于提供例如經(jīng)由記錄載體分發(fā)的3D視頻信號。3D視頻信號基于例如通過經(jīng)由編碼器48對3D視頻數(shù)據(jù)編碼并且依照預(yù)定義格式對其格式化而處理輸入3D視頻數(shù)據(jù)43。
[0031]3D源可以是服務(wù)器、廣播器、記錄設(shè)備或者用于制造像藍(lán)光光盤那樣的光學(xué)記錄載體的創(chuàng)作和/或制作系統(tǒng)。藍(lán)光光盤提供了一種用于為內(nèi)容創(chuàng)建者分發(fā)視頻的交互式平臺。關(guān)于藍(lán)光光盤格式的信息可以從藍(lán)光光盤協(xié)會網(wǎng)站關(guān)于視聽?wèi)?yīng)用格式的論文(例如http://www.blu-raydisc.com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269.pdf)中獲得。光學(xué)記錄載體的制作過程進(jìn)一步包括步驟:在軌道中提供物理標(biāo)記圖案，該圖案體現(xiàn)可能包括3D突出性元數(shù)據(jù)的3D視頻信號；以及隨后依照該圖案對記錄載體的材料定形以便在至少一個存儲層上提供標(biāo)記的軌道。
[0032] 3D圖像處理設(shè)備50具有用于接收3D視頻信號41的輸入單元51。例如，該設(shè)備可以包括耦合到輸入單元的光盤單元58，該光盤單元用于從像DVD或者藍(lán)光光盤那樣的光學(xué)記錄載體54獲取3D視頻信息?？商鎿Q地(或者此外)，該設(shè)備可以包括用于耦合到網(wǎng)絡(luò)45 (例如互聯(lián)網(wǎng)或者廣播網(wǎng)絡(luò))的網(wǎng)絡(luò)接口單元59，這樣的設(shè)備通常稱為機(jī)頂盒。3D視頻信號可以從遠(yuǎn)程網(wǎng)站或者如由3D源40所指示的媒體服務(wù)器獲取。3D圖像處理設(shè)備可以是將圖像輸入信號轉(zhuǎn)換成具有所需的視差的圖像輸出信號的轉(zhuǎn)換器。這樣的轉(zhuǎn)換器可以用來將用于特定類型的3D顯示器的不同輸入3D視頻信號(例如標(biāo)準(zhǔn)3D內(nèi)容)轉(zhuǎn)換成適合于特定類型或供應(yīng)商的自動立體顯示器的視頻信號。在實踐中，該設(shè)備可以是3D光盤播放器，或者衛(wèi)星接收器或機(jī)頂盒，或者任何類型的媒體播放器。
[0033]3D處理設(shè)備具有耦合到輸入單元51的處理單元52，該處理單元用于處理3D信息以便生成要經(jīng)由輸出接口單元55傳輸至顯示設(shè)備的3D顯示信號56，例如依照HDMI標(biāo)準(zhǔn)的顯不信號，參見“High Definition Multimedia Interface; Specification Version 1.4aof March 4, 2010，，,其 3D 部分在 http://hdm1.0rg/manufacturer/specification.aspx處可供公共下載。處理單元52被布置用于生成包含在3D顯示信號56中的圖像數(shù)據(jù)以便在顯示設(shè)備60上顯示。[0034]3D顯示設(shè)備60用于顯示3D圖像數(shù)據(jù)。該設(shè)備具有輸入接口單元61，該輸入接口單元用于接收傳輸自3D播放器50的包括3D視頻數(shù)據(jù)的3D顯示信號56。傳輸?shù)?D視頻數(shù)據(jù)在處理單元62中進(jìn)行處理以便在3D顯示器63 (例如雙IXD或者多視圖1XD)上顯示。顯示設(shè)備60可以是任何類型的立體顯示器，也稱為3D顯示器。
[0035]3D視頻設(shè)備中的視頻處理器，即3D視頻設(shè)備50中的處理器單元52被布置用于執(zhí)行以下用于處理3D視頻信號的功能。3D視頻信號由輸入裝置51、58、59接收，該輸入裝置提供至少包括第一深度圖和圖像數(shù)據(jù)的3D圖像數(shù)據(jù)。再次應(yīng)當(dāng)指出的是，在本文中，視差圖也被認(rèn)為是一種類型的深度圖。例如，第一深度圖可以通過視差估計從立體(L+R)輸入信號生成。第一深度圖具有第一深度值以及圖像包括二維像素陣列中的圖像值。應(yīng)當(dāng)指出的是，該深度圖也具有二維像素陣列，并且與圖像相應(yīng)，盡管該深度圖可能具有不同的分辨率。
[0036]3D顯示設(shè)備60中的視頻處理器62被布置用于處理3D視頻數(shù)據(jù)以便生成用于再現(xiàn)多個視圖的顯示控制信號。這些視圖可以使用深度圖從3D圖像數(shù)據(jù)生成。
[0037]在所述系統(tǒng)的第一實施例中，視頻處理器62被布置用于處理3D圖像信號以便在3D顯示器上基于多個顯示視圖再現(xiàn)3D圖像數(shù)據(jù)。輸入處理包括根據(jù)3D圖像信號導(dǎo)出包括第一深度值的第一深度圖，以及根據(jù)3D圖像信號導(dǎo)出表示3D圖像數(shù)據(jù)量中的突出性的突出性數(shù)據(jù)。突出性指 示具有突出深度值范圍的突出元素。深度圖和/或突出性數(shù)據(jù)可以在3D圖像數(shù)據(jù)的源(例如電影工作室)處生成，并且然后利用3D圖像信號傳輸，或者可以在3D播放器設(shè)備中或者在3D顯示設(shè)備中生成。
[0038]突出性指示突出元素，即受到人類觀看者的注意的圖像的部分。圖像的突出部分具有突出深度值范圍，即具有受到觀看者的注意和重視的高概率的那些圖像部分的深度值范圍。突出性例如可以基于視亮度、對比度和/或色差，和/或基于深度差，例如突起。再者，對象(例如人臉)的類型可以被檢測并且用于突出性。如此，用于確定圖像數(shù)據(jù)中的突出元素的各種不同的方法是已知的。
[0039]例如，為了檢測臉部，可以應(yīng)用已知的臉部檢測器，參見例如“P.Viola andM.Jones, Robust Real-time Object Detection, Second International WorkshopOn Statistical And Computational Theories Of Vision - Modeling, Learning,Computing, and Sampling; Vancouver, Canada, July 13, 2001，，。特別地，可以檢測大的臉部，因為它們最突出；可以忽略較小的臉部。對于正面的臉部，這樣的檢測典型地相當(dāng)穩(wěn)健，這意味著這樣的正面臉部將在大多數(shù)幀中被檢測到。
[0040]也可以包括與臉部檢測器不同的其他突出性措施。這可以是特定對象檢測器，但是也可以是指示觀看者的注意力被吸引的圖像的部分的“標(biāo)準(zhǔn)”突出性措施。多個檢測器的輸出在這些檢測器與相同突出深度范圍(
4 )關(guān)聯(lián)的情況下可以加以組合，或者在其不關(guān)聯(lián)的情況下單獨地處理。在余下
的描述中，將假設(shè)單個突出深度范圍，但是所有描述同樣很好地適用于一般情況。
[0041]為了將突出性元數(shù)據(jù)包含在3D圖像數(shù)據(jù)中，對應(yīng)3D格式可以通過限定要在諸如上面提到的HDMI接口格式或者BD視頻格式之類的3D格式的約束內(nèi)傳輸?shù)母郊訑?shù)據(jù)結(jié)構(gòu)或消息而增強(qiáng)。例如，突出性元數(shù)據(jù)可以包括突出深度或視差值范圍，或者圖像數(shù)據(jù)中的一個或多個突出區(qū)的指示，例如突出性圖?？蛇x地，突出性元數(shù)據(jù)可以包括要用于如下文中所描述的增強(qiáng)的視差映射的特定參數(shù)或者特定映射函數(shù)。例如，可以提供特定關(guān)系、多個子范圍或偏移值之一以便在映射期間使用。突出性元數(shù)據(jù)也可以針對3D圖像數(shù)據(jù)的特定時段，例如針對一定數(shù)量的幀、編碼的圖片組(MPGE編碼中的G0P)、3D視頻信號的場景或快照等等進(jìn)行規(guī)定，并且可以包括與其中可以調(diào)節(jié)視差映射的時間邊界或過渡性時刻或者映射必須保持固定或可以根本不應(yīng)用映射的時段相關(guān)的數(shù)據(jù)?？梢葬槍θ舾刹煌哪繕?biāo)3D顯示系統(tǒng)包括偏移元數(shù)據(jù)，例如對于具有相對較小的子范圍的自動立體顯示器包括第一突出數(shù)據(jù)集合，并且對于具有較大子范圍的 立體顯示器包括第二集合。
[0042]此外，所述處理包括確定顯示深度子范圍。該顯示深度子范圍為3D顯示器的可用深度范圍的子范圍并且為觀看者提供比跨可用深度范圍的3D圖像質(zhì)量更高的3D圖像質(zhì)量。該子范圍可以是針對對應(yīng)類型的顯示器而確定的預(yù)定范圍，并且可以經(jīng)由到顯示器的數(shù)字接口或者經(jīng)由查找表獲取。例如，該子范圍可以作為顯示器EDID數(shù)據(jù)的部分而傳輸。因此，顯示深度子范圍可以通過從連接到處理設(shè)備，例如以便接收修正的深度圖或多個視圖的3D顯示設(shè)備60獲取顯示能力信息而確定。
[0043]可選地，所述子范圍可以針對特定觀看者(例如兒童)進(jìn)行設(shè)置或調(diào)節(jié)，或者可以是觀看者輸入的用戶偏好。例如，該子范圍是其中對象具有高清晰度的范圍，而超出該子范圍之外的對象具有較小的清晰度或者可能模糊不清。自動立體顯示器通常具有這樣的子范圍。再者，該子范圍可以被選擇為在視圖之間具有低水平串?dāng)_，而跨過可用范圍的串?dāng)_可能較大。例如使用主動快門眼鏡的立體顯示器可能容易遭受這種串?dāng)_。
[0044]所述處理進(jìn)一步包括根據(jù)突出性數(shù)據(jù)確定用于3D圖像數(shù)據(jù)量的深度映射函數(shù)，使得突出范圍內(nèi)的第一深度值映射到顯示深度子范圍。最后，通過深度映射函數(shù)將第一深度圖轉(zhuǎn)換成第二深度圖，并且根據(jù)第二深度圖生成顯示視圖。
[0045]可替換地，3D播放器設(shè)備50中的視頻處理器52或者3D源設(shè)備中的處理單元42可以被布置成執(zhí)行所述深度圖處理。針對規(guī)定的3D顯示器生成的突出性數(shù)據(jù)和/或第二深度圖和/或所述多個視圖可以利用3D圖像信號朝所述3D顯示器傳輸。
[0046]3D圖像信號處理可以進(jìn)一步包括根據(jù)2D視頻信號生成第一深度圖，以用于將2D視頻轉(zhuǎn)換成同樣已知的3D視頻。所述提供3D視頻信號包括:接收包括2D視頻幀序列的2D視頻信號，以及基于對2D視頻幀序列的處理生成第一深度圖。應(yīng)當(dāng)指出的是，這樣生成的深度圖經(jīng)常具有有限的質(zhì)量，并且對深度圖過濾和增強(qiáng)可以大幅改進(jìn)所述質(zhì)量。生成深度圖的功能可以在3D播放器的輸入單元51中或者在3D顯示設(shè)備60的視頻處理器62中或者在3D源設(shè)備的處理單元42中實現(xiàn)。
[0047]在一個實施例中，第一深度圖例如由3D播放器設(shè)備50中的視頻處理器52或者3D顯示設(shè)備中的處理單元62生成。在操作中，深度圖生成器接收立體3D信號，該立體3D信號也稱為左右視頻信號，具有表示要為觀看者的對應(yīng)眼睛而顯示以便生成3D效果的左視圖和右視圖的左幀L和右?guī)琑的時間序列。該單元然后通過左視圖和右視圖的視差估計生成第一深度圖，并且可以進(jìn)一步基于左視圖和/或右視圖提供2D圖像。視差估計可以基于用來比較L和R幀的運(yùn)動估計算法。對象的L和R視圖之間的大的差值根據(jù)差值的方向被轉(zhuǎn)換成顯示屏幕之前或之后的深度值。生成器單元的輸出是第一深度圖。應(yīng)當(dāng)指出的是，其他輸入單元可以用來提供第一深度圖和相應(yīng)的2D圖像數(shù)據(jù)。
[0048]圖2示出了視差映射的系統(tǒng)概覽。視差估計器21基于3D圖像數(shù)據(jù)提供第一視差圖28。突出性檢測器22基于檢測3D圖像數(shù)據(jù)中的突出元素而提供突出性數(shù)據(jù)23。在視差映射單元24中，基于針對3D顯示器27檢測的目標(biāo)視差子范圍25修改第一視差圖。該子范圍可以針對特定類型的顯示器(例如特定的自動立體顯示器)預(yù)先確定，并且可以經(jīng)由接口傳送，或者可以由觀看者基于偏好設(shè)置或調(diào)節(jié)。最后，視圖再現(xiàn)器26生成多個視圖，即對于立體顯示器至少生成左右視圖，或者對于自動立體類型的顯示器生成連續(xù)視圖集合。應(yīng)當(dāng)指出的是，圖2中示意性指明的功能與例如當(dāng)在信號處理系統(tǒng)或者通用計算機(jī)上執(zhí)行時的計算機(jī)程序中實現(xiàn)的用于處理3D視頻的方法中的步驟相應(yīng)。
[0049]視差估計本身例如根據(jù)“D.Scharstein and R.Szeliski, A taxonomy andevaluation of dense two-frame stereo correspondence algorithms, InternationalJournal of Computer Vision, 47 (1/2/3): 7-42, April-June 2002” 是已知的。當(dāng)精確地估計和存儲時，視差值允許為立體視覺內(nèi)容適應(yīng)性調(diào)節(jié)深度效果。這可能例如在適應(yīng)性調(diào)節(jié)立體視覺內(nèi)容以便在具有不同尺寸的顯示器上觀看或者以便在多視圖自動立體顯示器上觀看中是有用的?！癕.Lang, A.Hornung, 0.Wang, S.Poulakos, A.Smolic, andM.Gross, Nonlinear Disparity Mapping for Stereoscopic 3D, Proc.ACM SIGGRAPH,2010”中研究了沒有視差圖的顯式計算的視差范圍的變形。
[0050]目前，已經(jīng)認(rèn)識到，當(dāng)在自動立體顯示器上觀看3D內(nèi)容時，重要的是將輸入深度范圍變形為所述深度范圍，使得結(jié)果在特定類型的顯示器上看起來是良好的。已經(jīng)指出，僅僅特定的子范圍可能對于透鏡狀顯示器上的舒適觀看就足夠清晰了。清晰度隨著離開屏幕平面的深度的增加而逐漸衰減，同時仍然跨可用深度范圍產(chǎn)生可用的3D效果。
[0051]同時，當(dāng)在這樣的顯示器上觀看內(nèi)容時，變得清楚的是，視頻的一些對象或部分在其變得比其他對象或部分更模糊時更令人煩擾?；蛘邠Q言之，針對突出對象(例如臉部)的清晰度要求比針對較不/不突出對象(例如背景中的森林)的要求更嚴(yán)格。
[0052]圖3示意性地示出了現(xiàn)有技術(shù)的視差映射。頂部部分示出3D圖像30，其具有三個元素:具有很少視差的圓形，具有正視差(d2>0)的三角形以及具有負(fù)視差(+〈Ο)(即最靠近觀看者)的星形。中間部分示出視差值的輸入范圍31，該輸入范圍大于在底部部分中示出的、由dmin至dmax指示的顯示器的視差值的可用范圍32?，F(xiàn)有技術(shù)的視差映射只是壓縮輸入范圍以適合可用范圍。
[0053]如通過引用合并于此的T.Shibata 等人的 “The zone of comfort: Predictingvisual discomfort with stereo displays”， Journal of Vision 2011, 2011 年 7 月 21日，第11卷，第8號，文章11中所指明的，在自然觀看與立體3D觀看之間存在差異。在自然觀看中，輻輳刺激和聚焦刺激是一致的，而對于立體3D觀看而言，情況并非如此。立體3D觀看產(chǎn)生輻輳距離與焦距之間的不一致，因為輻輳距離根據(jù)圖像內(nèi)容而變化，而焦距保持恒定。
[0054]上面的論文進(jìn)一步指明，盡管電影攝影師傾向于使用限制顯示視差的規(guī)則，但是在實踐中，關(guān)于舒適帶的確切定義不存在真正的共識。例如，百分比規(guī)則被提及，該規(guī)則聲明比屏幕更近的交叉視差不應(yīng)當(dāng)超過屏幕寬度的2-3%，而非交叉視差不應(yīng)當(dāng)超過屏幕寬度的1-2%。該論文的作者進(jìn)一步注意到該百分比規(guī)則的某種改進(jìn)可能是合適的，并且進(jìn)一步指明邊界不是硬邊界，而事實上是連續(xù)的。
[0055] 關(guān)于自動立體顯示器，本發(fā)明人注意到，當(dāng)在盡可能接近2D圖像的3D立體圖像處開始增加立體圖像的深度時，有可能在不顯著地影響立體圖像的感知的清晰度的情況下增大一定間隔上的視差(并且由此增大3D效果)。當(dāng)進(jìn)一步增加視差時，立體圖像的清晰度惡化，但是感知的3D效果增大。在某個點處，顯示視差的進(jìn)一步增加不再增大3D效果，而是事實上可能降低感知的3D效果。
[0056]本發(fā)明人進(jìn)一步注意到上文中針對突出對象和非突出對象的差異。本發(fā)明人注意到，不管舒適帶的精確定界如何，在用于突出對象和非突出對象的可接受視差的容差下，差異看起來是存在的?；谶@種見識，有可能在將突出對象映射到具有更小視差值(朝向零)的區(qū)塊，即映射到允許更清晰的圖像再現(xiàn)的深度范圍上時獲得3D立體圖像的立體感知的感知改進(jìn)。對于非突出對象而言，這沒有表現(xiàn)為緊要的，結(jié)果，可以將非突出對象映射到更大的視差值上，即映射到整個舒適帶，對感知的質(zhì)量的影響有限。
[0057]復(fù)述一下，優(yōu)選地將突出對象映射到舒適帶的子范圍上。該子范圍可能被感知為舒適帶的具有比舒適帶更嚴(yán)格的質(zhì)量要求的子集。通過將突出對象置于顯示視差范圍的該子集中，可以以比非突出對象更高的感知的清晰度再現(xiàn)突出對象。
[0058]圖4示意性地示出了增強(qiáng)的視差映射。頂部部分示出3D圖像33，其具有四個元素:具有很少視差的圓形，具有正視差(d2>0)的三角形和具有負(fù)視差(+〈Ο)(即最靠近觀看者)的星形，以及靠近三角形的臉部。中間部分示出視差值的輸入范圍34。底部部分示出第二視差圖，即基于突出性的視差映射之后的視差圖。現(xiàn)在，確定了顯示器的視差值的可用范圍36，該可用范圍可用于在底部部分中示出的、由dNSmin至dNSmax指示的圖像的非突出部分。子范圍35適合于由dsmin至dsmax指示的圖像的突出部分。假設(shè)臉部被檢測為突出元素。如下文中所描述的基于突出性的映射使用將臉部的視差值朝所述子范圍映射的視差映射函數(shù)。第二視差圖表明，臉部現(xiàn)在在子范圍35內(nèi)顯示。
[0059]因此，所述增強(qiáng)的映射基于激發(fā)了針對視差映射的可變要求的對象突出性。代替使用單一可用視差范圍以變形的是，將特定子范圍用于映射突出部分。在實踐中，兩個深度范圍(即所述子范圍和整個可用范圍)的使用已經(jīng)給出非常好的改進(jìn)，而要使用的深度范圍基于一個或多個突出性估計器而確定。
[0060]在一個實施例中，使用兩個深度范圍，其中一個為用于所述更突出的區(qū)塊(例如典型地為臉部)的子范圍，并且另一個用于諸如風(fēng)景之類的不太突出的區(qū)塊。假設(shè)限定了這兩個視差范圍:
(rf?，dZ )，其可用于非突出(NS)區(qū)，
，dL )子范圍，其用于突出(S)區(qū)(例如臉部)。
[0061]典型地，子范圍(遠(yuǎn))小于第一范圍。應(yīng)當(dāng)理解的是，對于使用中間深度表示的顯示系統(tǒng)而言，可用范圍可以在該中間表示中規(guī)定。當(dāng)例如顯示設(shè)置被調(diào)節(jié)成使得整個深度范圍可以用于非突出區(qū)時，那么應(yīng)當(dāng)限定=0和=255步驟。在這種情況下，對于突出
區(qū)，它可以例如是=64和=192步驟。在實踐中，這些范圍可以基于對于代表性內(nèi)
容的觀看測試而確定。在深度再現(xiàn)顯示器內(nèi)，可以將中間深度表示轉(zhuǎn)換成視差，作為視圖合成過程的部分。
[0062]來自突出和非突出區(qū)的輸入視差值/和6嚴(yán)可以如下組合成單個直方圖。轉(zhuǎn)換通過限定算子0 {d)而完成，該算子將來自突出范圍d尤)的視差變換成非突出范圍
d d:)，使得并且0、=d=。通常，視差范圍以零為中心，
并且該算子可以為?(必=?/<為常數(shù)。應(yīng)當(dāng)指出的是，可以適當(dāng)?shù)剡x擇其他的函數(shù)。對于按順序的幀序列而言，考慮像素突出性而更新視差直方圖。對于具有視差的每個像素P:h{d) +=I 即h(d)= h(d)+l，如果/7為非突出像素，? (Φ (cf)) +=I 如果為突出像素。
[0063]然后，通過從直方圖選擇低(例如2)和高(例如98)百分點來朝目標(biāo)視差范圍映射，并且將所述范圍映射到目標(biāo)范圍。
[0064]在另一實施例中，針對深度轉(zhuǎn)換的時間穩(wěn)定性增加。計算直方圖并且如上面所描述的一樣使用，但是附加地，用于當(dāng)前幀&的直方圖遞歸地與用在前一幀中的直方圖的加權(quán)版本進(jìn)行組合:
Hf a HN-1+hN,
其中α對于快照內(nèi)的幀而言接近或者等于1，并且在拍攝轉(zhuǎn)場之后立即接近或等于O。在一種可選的改進(jìn)中，α的值取決于自最后的拍攝轉(zhuǎn)場以來的幀數(shù)，可能地考慮圖像變化量以及過去的或者即將到來的拍攝轉(zhuǎn)場的估計概率。
[0065]一個實際的實施例具有以下功能；所有的值都是實例。例如，假設(shè)擁有具有深度/視差的輸入視頻，并且檢測到像臉部那樣的突出元素。因此，將圖像劃分成突出像素和非突出像素。假設(shè)3D顯 示器(立體或者自動立體)具有“可用”視差范圍[-40，40]，以及“清晰/令人愉悅的”視差子范圍[-10，10]。映射函數(shù)必須將輸入深度值([0，255])映射為顯不視差。
[0066]常規(guī)上，不使用突出性而將輸入范圍[0，255]映射到[-40，40]上。這種常規(guī)映射的一個問題在于，該范圍的極端部分典型地觀看起來不是非常令人愉悅的/舒適的。例如，對于自動立體顯示器而言，它們變得不太清晰。如果這時臉部獲得這樣的“極端”視差值，那么得到的3D圖像看起來不是非常令人愉悅的。
[0067]對于所述增強(qiáng)的映射而言，我們知道突出區(qū)及其輸入深度值。映射函數(shù)被確定尺寸為使得這些值被變形到“清晰/令人愉悅的”視差范圍([-10，10])，因為人們將專注于那些部分。對于圖像的其余部分而言，將視差映射為“可用的”[-40，40]范圍。
[0068]這樣做的一種方式是創(chuàng)建輸入視差值的聯(lián)合直方圖。突出區(qū)之外的像素直接添加到視差直方圖:
h (oO +=1如果P為非突出像素，
該公式指示用于值d的直方圖“面元(bin)”加I。對于突出區(qū)中的像素，使用不同的轉(zhuǎn)換。它被添加到直方圖的不同面元。組合直方圖用來執(zhí)行所述映射。
[0069]在該實例情況下并且使用線性映射，得到 h (4o0 +=I如果P為突出像素，
該公式指示用于值4d (4倍的d)的“面元”加I。因此，突出像素在進(jìn)入組合直方圖中之前被校正函數(shù)轉(zhuǎn)換。通過所述校正函數(shù)，突出像素深度范圍朝四倍于其原始值的值變形。通過這樣的計算，形成用于突出像素和非突出像素的組合直方圖，突出像素具有第一輸入轉(zhuǎn)換并且非突出像素具有第二輸入轉(zhuǎn)換。用于突出像素的第一輸入轉(zhuǎn)換具有校正函數(shù)，其根據(jù)關(guān)于可用范圍的子范圍進(jìn)行設(shè)置。
[0070]按照這種方式，對于所有像素一起獲得單個直方圖。然后，我們可以確定我們想要將某些百分點映射到可用范圍上，例如，可以將視差直方圖的5%的百分點映射到-40上，將95%的百分點映射到40上，并且對于中間值執(zhí)行線性映射。應(yīng)當(dāng)指出的是，少量(在該實例中大約10%)視差值將處于顯示器的可用范圍之外，但是大多數(shù)將被映射到[-40，40]。在實踐中，可以剪切所述少量視差值以落入可用范圍內(nèi)。因此，組合直方圖深度范圍被映射到顯示器可用深度范圍內(nèi)，并且校正函數(shù)有效地實現(xiàn)將突出范圍內(nèi)的第一深度值朝顯示深度子范圍變形。
[0071]在另一實例中，突出數(shù)據(jù)以度，例如I與O之間的小數(shù)值表示。各直方圖面元可以通過所述小數(shù)修改。例如，可以通過調(diào)節(jié)Φ((1)或者優(yōu)選地通過將像素/7作為部分突出的像素對待而考慮對象檢測器的置信度值# e [O, I]:
h {d) +=1-W 對于所有/?，
A (Φ ((6/)) += w 對于所有P。
[0072]在另一實例實施例中，計算用于突出值和非突出值的單獨的直方圖。根據(jù)突出直方圖例如按照5%和95%百分點確定用于突出范圍的邊界值。隨后，將突出視差范圍映射到“清晰/令人愉悅的”范圍，同時將剩余范圍映射到“可用”范圍。剩余范圍通常包括兩個子范圍:比突出范圍的上邊界更高的非突出值的第一子范圍，其被映射到范圍[10，40]上；以及比突出范圍的下邊界更低的非突出值的第二子范圍，其被映射到范圍[-40，-10]上。這樣的映射于是可以為分段線性映射或者非線性映射。下文中描述了非線性映射的一個實例。
[0073]可選地，只有突出像素進(jìn)入直方圖中。隨后，將突出深度值的直方圖映射到顯示器的高質(zhì)量子范圍上。然后，將深度值的剩余范圍映射到可用范圍內(nèi)，即不確定實際出現(xiàn)的非突出深度值的量。
[0074]在實際情況中，以下選項可以被考慮用于增強(qiáng)時間穩(wěn)定性。
[0075]對于離線處理而言，有可能決定每快照的目標(biāo)范圍。時間邊界可能是已知的或者使用本身已知的檢測算法自動地確定。上面的直方圖可以針對快照的總長度計算，例如針對該快照進(jìn)行單次映射。可替換地，在快照期間可以允許出現(xiàn)小的差異。較大的差異將出現(xiàn)在快照邊界處，但是很可能跨拍攝轉(zhuǎn)場而不可見。因此，該視差映射將導(dǎo)致穩(wěn)定且可接受的3D體驗。
[0076]對于在線處理而言，使用適當(dāng)?shù)木彌_，有可能朝前看幾幀并且使目標(biāo)范圍基于幀(移動)窗口。
[0077]對于在線處理而言，當(dāng)幀不能延遲時，時間穩(wěn)定性可以通過在快照期間只允許減小范圍(降低深度)而增強(qiáng)。在拍攝轉(zhuǎn)場之后，立即重置該范圍。可替換地，在快照內(nèi)也可以允許范圍的小而逐漸的增加。
[0078] 圖5示出了非線性視差映射。左示圖501示出了視差值的直方圖。該直方圖是如上面所描述的具有各自不同的輸入轉(zhuǎn)換函數(shù)的突出和非突出深度值的組合直方圖。中間示圖502示出了通過針對連續(xù)數(shù)據(jù)估計相對頻率而獲得的歸一化直方圖，也稱為概率密度函數(shù)(PDF)。右示圖503示出了通過積分或者累積求和而獲得的累積密度函數(shù)(⑶F)的估計。非線性映射的一種樸素的方式是如下將CDF縮放到可用目標(biāo)范圍，例如[Clmin, dmax] = [-40,40]:
Φ (d) = CDF (d) X (dmax - dmin) + dmin = 80 * CDF (d) - 40樸素映射的影響在于，對象內(nèi)的視差可能被拉伸，并且可能造成可見的失真。一種解決方案是例如通過下式限制映射的斜率的約束映射Φ' (d) <= maxgain
其中maxgain為被選擇用于向所述失真設(shè)置限制的常數(shù)。
[0079]圖6示出了最大增益約束。X值為目標(biāo)深度值，并且y值為輸入/輸出密度比例增益值。樸素映射601表現(xiàn)出所述增益的非常高的峰值。最大增益值603由虛線指示。約束映射602不延伸到所述最大增益603之上。在沒有峰值的區(qū)域中，約束映射602高于樸素映射601。
[0080]圖7示出了增強(qiáng)的非線性視差映射。該圖示出了非線性映射函數(shù)的結(jié)果。樸素曲線701表現(xiàn)出沒有最大值約束的基本非線性映射Φ (d)，而約束映射曲線702表現(xiàn)出具有最大值約束的增強(qiáng)的非線性映射Φ’ (d) ο
[0081]下面的部分在4個步驟中提供了映射函數(shù)Φ’ (d)的樣本偽代碼:
I.輸入:
a.樸素映射phi_naive,希 望的輸出范圍[d_min, d_max]和最大增益約束maxgain
2.初始化:
a.phi’:= phi，_naive i以樸素映射的導(dǎo)數(shù)開始)
b.last: = {}
3.迭代:
a.saturated:= {d|phi， (d) >= maxgain}
b.當(dāng)saturated = last 時，轉(zhuǎn)到 4
c.last:= saturated
d.phi’ (d):= maxgain,對于saturated中的所有d {針對飽和區(qū)調(diào)節(jié)映身f)
e.correction: = (sum (phi ’ _naive) - sum_saturated (phi ’))/ sum_notsaturated (phi，))(針對非飽和區(qū)計算校正增益、
f.phi’ (d):= correction phi’對于不在saturated中的所有d {針對非飽和區(qū)i周節(jié)映射、
4.完成:
a.ph1:= integrate phi’ + d_min
b.ph1:= phi + (d_max - phi ( 00 )) / 2 (使映射范圍在規(guī)定的范圍內(nèi)居中)。
[0082]應(yīng)當(dāng)指出的是，在源圖像材料中沒有或者具有很少的視差的情況下(例如在電影的片頭字幕期間)，條件4b發(fā)生。此外，該樣本算法將中值視差映射到希望的子范圍的中心附近，這通常是優(yōu)選的。
[0083]總的說來，為了特定3D顯示器上的最佳3D觀看條件，必須將視差變形到可用范圍上。單個變形范圍被發(fā)現(xiàn)是次優(yōu)的，導(dǎo)致太受限的范圍(很小的深度效果)或者太寬的范圍(突出對象的令人煩擾的模糊)。因此，我們提出輸入視差范圍的基于突出性的變形，其中將突出區(qū)變形到更受限的輸出視差子范圍，而非突出區(qū)可以使用完整的、更大的可用視差范圍。[0084]本發(fā)明可以特別地應(yīng)用于自動立體顯示設(shè)備，例如透鏡狀或者基于屏障的多視圖顯示設(shè)備，其中本發(fā)明用來將單視場/立體內(nèi)容轉(zhuǎn)換成供這樣的顯示器使用的多個視圖。
[0085]盡管主要通過使用經(jīng)由像BD那樣的光盤的3D圖像信號傳輸?shù)膶嵤├忉屃吮景l(fā)明，但是本發(fā)明也適合于經(jīng)由數(shù)字信道(例如DVB廣播或互聯(lián)網(wǎng))的3D視頻的任何分發(fā)。
[0086]應(yīng)當(dāng)理解的是，為了清楚起見，上面的說明參照功能單元和處理器描述了本發(fā)明的實施例。然而，應(yīng)當(dāng)清楚的是，可以使用不同功能單元或處理器之間的任何適當(dāng)?shù)墓δ芊植级粶p損本發(fā)明。例如，被圖示為由單獨的單元、處理器或控制器執(zhí)行的功能可以由相同的處理器或控制器執(zhí)行。因此，對于特定功能單元的引用應(yīng)當(dāng)僅僅視作對于用于提供所描述的功能的適當(dāng)裝置的引用，而不是指示嚴(yán)格的邏輯或物理結(jié)構(gòu)或組織。本發(fā)明可以以任何適當(dāng)?shù)男问綄崿F(xiàn)，包括硬件、軟件、固件或者這些的任意組合。
[0087]盡管在上文中大多數(shù)實施例針對設(shè)備而給出，但是相同的功能由相應(yīng)的方法提供。這樣的方法可選地可以至少部分地被實現(xiàn)為運(yùn)行在一個或多個數(shù)據(jù)處理器和/或數(shù)字信號處理器上的計算機(jī)軟件。本發(fā)明的實施例的元件和部件可以以任何適當(dāng)?shù)姆绞皆谖锢砩?、功能上和邏輯上實現(xiàn)。
[0088]如果特征看起來結(jié)合特定實施例而被描述，那么本領(lǐng)域技術(shù)人員應(yīng)當(dāng)認(rèn)識到，依照本發(fā)明可以組合所描述的實施例的各種不同的特征。單獨的特征可以有利地加以組合，并且包含于不同的權(quán)利要求中并不意味著特征的組合不可行和/或不是有利的。再者，特征包含于一種權(quán)利要求類別中并不意味著限于該類別，而是指示該特征同樣可適當(dāng)?shù)貞?yīng)用于其他權(quán)利要求類別。此外，權(quán)利要求中特征的順序并不意味著其中特征必須起作用的任何特定順序，并且特別地，方法權(quán)利要求中各步驟的順序并不意味著這些步驟必須按照該順序來執(zhí)行。相反地，這些步驟可以以任何適當(dāng)?shù)捻樞驁?zhí)行。此外，單數(shù)引用并沒有排除復(fù)數(shù)。因此，對于“一” 、“一個”、“第一”、“第二”等等的引用并沒有排除復(fù)數(shù)。權(quán)利要求中的附圖標(biāo)記僅僅作為澄清的實例而被提供，不應(yīng)當(dāng)以任何方式被視為限制了權(quán)利要求的范圍。
【權(quán)利要求】
1.一種處理三維[3D]圖像信號以便在3D顯示器(27)上基于多個顯示視圖再現(xiàn)3D圖像數(shù)據(jù)的方法，該方法包括: -根據(jù)3D圖像信號導(dǎo)出(21)包括第一深度值的第一深度圖(28)， -根據(jù)3D圖像信號導(dǎo)出(22)表示3D圖像數(shù)據(jù)量中的突出性的突出性數(shù)據(jù)(23)，突出性指示突出元素具有突出深度值范圍， -根據(jù)突出性數(shù)據(jù)確定用于3D圖像數(shù)據(jù)量的深度映射函數(shù)(24)，使得突出范圍內(nèi)的第一深度值映射到顯示深度子范圍，該顯示深度子范圍為3D顯示器的可用深度范圍的子范圍并且為觀看者提供比跨可用深度范圍的3D圖像質(zhì)量更高的3D圖像質(zhì)量， -通過深度映射函數(shù)將第一深度圖轉(zhuǎn)換成第二深度圖以便根據(jù)第二深度圖生成(26)顯示視圖。
2.如權(quán)利要求1所述的方法，其中 -突出性數(shù)據(jù)為指示圖像像素的突出性程度的突出性圖，或者 -突出性數(shù)據(jù)為突出性深度范圍。
3.如權(quán)利要求1所述的方法，其中導(dǎo)出突出性數(shù)據(jù)包括根據(jù)3D圖像信號導(dǎo)出元數(shù)據(jù)，該元數(shù)據(jù)表示3D圖像數(shù)據(jù)的突出性數(shù)據(jù)。
4.如權(quán)利要求1所述的方法，其中深度映射函數(shù)包括: -為突出像素制作第一直方圖且為非突出像素制作第二直方圖； -基于第一直方圖確定突出深度范圍并且將突出深度范圍映射到顯示深度子范圍內(nèi)且將第二直方圖映射到可用深度范圍上。
5.如權(quán)利要求1所述的方法，其中深度映射函數(shù)包括: -為突出像素和非突出像素制作組合直方圖，突出像素具有第一輸入轉(zhuǎn)換并且非突出像素具有第二輸入轉(zhuǎn)換，第一輸入轉(zhuǎn)換具有依賴于關(guān)于可用范圍的子范圍的校正函數(shù)， -確定組合直方圖深度范圍， -將組合直方圖深度范圍映射到顯示器可用深度范圍內(nèi)，校正函數(shù)使得突出范圍內(nèi)的第一深度值朝顯示深度子范圍變形。
6.如權(quán)利要求1所述的方法，其中3D圖像數(shù)據(jù)量為一定時段的3D視頻信號，并且深度映射函數(shù)取決于跨時間的突出性數(shù)據(jù)。
7.如權(quán)利要求6所述的方法，其中深度映射函數(shù)包括 -將快照確定為所述一定時段的3D視頻信號，并且設(shè)置用于該快照的映射函數(shù)，或者 -使用具有前瞻的移動窗口并且設(shè)置用于該窗口的映射函數(shù)。
8.一種3D視頻設(shè)備(40，50)，用于處理三維[3D]圖像信號以便在3D顯示器上基于多個顯示視圖再現(xiàn)3D圖像數(shù)據(jù)，該設(shè)備包括: 輸入裝置(47，51，58，59，61，71)，其用于 -根據(jù)3D圖像信號導(dǎo)出包括第一深度值的第一深度圖(28)，并且用于-根據(jù)3D圖像信號導(dǎo)出表示3D圖像數(shù)據(jù)量中的突出性的突出性數(shù)據(jù)(23)，突出性指示突出元素具有突出深度值范圍；以及視頻處理器(42，52，62 )，其被布置用于 -根據(jù)突出性數(shù)據(jù)確定用于3D圖像數(shù)據(jù)量的深度映射函數(shù)，使得突出范圍內(nèi)的第一深度值映射到顯示深度子范圍，該顯示深度子范圍為3D顯示器的可用深度范圍的子范圍并且為觀看者提供比跨可用深度范圍的3D圖像質(zhì)量更高的3D圖像質(zhì)量， -通過深度映射函數(shù)將第一深度圖轉(zhuǎn)換成第二深度圖以便根據(jù)第二深度圖生成顯示視圖。
9.如權(quán)利要求 8所述的設(shè)備，其中視頻處理器(42，52，62)被布置用于 -根據(jù)第二深度圖生成顯示視圖，和/或 -所述設(shè)備包括用于顯示用于觀看者的對應(yīng)左右眼的顯示視圖的3D顯示器(63)，和/或 -視頻處理器被布置用于通過從連接到3D視頻設(shè)備的3D顯示設(shè)備(60)獲取顯示能力信息而確定顯示深度子范圍。
10.如權(quán)利要求8所述的設(shè)備，其中所述導(dǎo)出突出性數(shù)據(jù)包括根據(jù)3D圖像信號導(dǎo)出元數(shù)據(jù)，該元數(shù)據(jù)表示3D圖像數(shù)據(jù)的突出性數(shù)據(jù)。
11.如權(quán)利要求8所述的設(shè)備，其中輸入裝置包括: -光學(xué)記錄載體單元(58 )，其用于從光學(xué)記錄載體獲取視頻信息。
12.3D圖像信號，用于在3D顯示器上基于多個顯示視圖再現(xiàn)3D圖像數(shù)據(jù)， 該信號包括: -元數(shù)據(jù)，該元數(shù)據(jù)包括表示3D圖像數(shù)據(jù)量中的突出性的突出性數(shù)據(jù),突出性指示突出元素具有突出深度值范圍， 用于在3D視頻設(shè)備中允許: -根據(jù)該3D圖像信號導(dǎo)出包括第一深度值的第一深度圖(28)， -根據(jù)突出性數(shù)據(jù)確定用于3D圖像數(shù)據(jù)量的深度映射函數(shù)，使得突出范圍內(nèi)的第一深度值映射到顯示深度子范圍，該顯示深度子范圍為3D顯示器的可用深度范圍的子范圍并且為觀看者提供比跨可用深度范圍的3D圖像質(zhì)量更高的3D圖像質(zhì)量，并且 -通過深度映射函數(shù)將第一深度圖轉(zhuǎn)換成第二深度圖以便根據(jù)第二深度圖生成顯示視圖。
13.光學(xué)記錄載體(54)，包括光學(xué)可讀標(biāo)記的軌道，其中這些標(biāo)記表示如權(quán)利要求12所述的3D圖像信號。
14.計算機(jī)程序，包括計算機(jī)程序代碼裝置，該計算機(jī)程序代碼裝置在計算機(jī)程序運(yùn)行于計算機(jī)上時操作來使得處理器執(zhí)行依照權(quán)利要求1-9中任何一項的方法的各步驟。
15.計算機(jī)可讀介質(zhì)，包括如權(quán)利要求14所述的計算機(jī)程序。
【文檔編號】H04N13/00GK104025585SQ201280053632
【公開日】2014年9月3日 申請日期:2012年10月23日 優(yōu)先權(quán)日:2011年11月1日
【發(fā)明者】W.H.A.布魯斯, B.克魯恩, P.L.E.范德瓦勒 申請人:皇家飛利浦有限公司