用于立體三維視頻處理的技術(shù)的制作方法
【專利摘要】一種用于處理立體三維視頻的裝置包括：存儲器，用于存儲立體三維(S3D)視頻的編碼的立體三維視頻幀，其中S3D視頻幀包括左幀、右?guī)蜕疃葞?。該裝置可包括處理器，用于檢索深度幀的像素(x，y)，該像素(x，y)包括參考設(shè)備深度(x，y)。該裝置還可包括設(shè)備知曉解碼器組件，用于基于像素(x，y)為左幀中的左像素以及右?guī)械挠蚁袼卮_定像素對的位置，并基于參考設(shè)備深度(x，y)以及用于呈現(xiàn)S3D視頻的目標(biāo)設(shè)備的屏幕大小為像素(x，y)計算目標(biāo)設(shè)備差異。
【專利說明】
用于立體三維視頻處理的技術(shù)
技術(shù)領(lǐng)域
[0001]本實施例涉及三維（3D)數(shù)字媒體，以及特別地，涉及解碼3D視頻以在顯示設(shè)備上 呈現(xiàn)。
【背景技術(shù)】
[0002] 最近使用立體3D觀看游戲和視頻已經(jīng)變得越來越流行。立體3D設(shè)備，如3D投影機(jī)、 3D電視等廣泛用于觀看電影、立體3D電視節(jié)目和其他立體3D視頻。但是，當(dāng)在不同設(shè)備上觀 看同樣的立體3D視頻時，當(dāng)設(shè)備之間的屏幕尺寸變化，用戶不具有同樣的體驗。例如，當(dāng)用 戶在32英寸屏幕而不是為64英寸設(shè)計的屏幕上觀看為64英寸屏幕而設(shè)計的立體3D視頻設(shè) 計時，用戶體驗是不同的。假定64英寸屏幕預(yù)期的觀看距離為4米，而32英寸屏幕預(yù)期的觀 看距離為2米，在當(dāng)今設(shè)計的立體3D視頻呈現(xiàn)是這樣:對于32英寸屏幕的感知深度范圍遠(yuǎn)小 于對64英寸屏幕的反之深度范圍。例如，盡管32英寸屏幕是64英寸屏幕尺寸的準(zhǔn)確一半，但 是當(dāng)在32英寸的屏幕上顯示設(shè)計用于64英寸屏幕的立體三維視頻時，感知深度范圍可能遠(yuǎn) 小于在64英寸屏幕上觀看立體3D時體驗的感知深度范圍的一半。例如，32英寸屏幕上的感 知深度范圍可小于64英寸屏幕上感知深度范圍的1/4。
[0003] 這種當(dāng)觀看設(shè)備的屏幕尺寸小于所設(shè)計設(shè)備的尺寸時，立體3D視頻中呈現(xiàn)深度能 力的大幅退化限制了許多用戶的體驗質(zhì)量，因為立體3D視頻可能在多個不同的設(shè)備類型使 用。不僅如此，這可能會限制立體3D視頻的發(fā)展，這是由于需要為不同的設(shè)備屏幕尺寸定制 設(shè)計立體3D視頻。
【附圖說明】
[0004] 圖1描繪了用于立體三維視頻處理的示例性實現(xiàn)架構(gòu)。
[0005] 圖2描繪了與本實施例一致的處理方案和裝置。
[0006] 圖3描繪了用于產(chǎn)生編碼的S3D視頻的一個實施例的細(xì)節(jié)。
[0007] 圖4A呈現(xiàn)了作為二維圖像示出S3D視頻幀的L-幀或R-幀的呈現(xiàn)的示例圖像。
[0008]圖4B呈現(xiàn)了與圖4A的圖像對應(yīng)的深度圖像。
[0009]圖5A至5C描繪了涉及與本實施例一致的視頻處理的參數(shù)的幾何關(guān)系。
[001 0]圖6描繪了涉及與本實施例一致的L-幀和R-幀中的像素對的確定的操作。
[0011] 圖7示出了其中由與本實施例一致的解碼組件接收來自深度幀的像素的操作。
[0012] 圖8示出了使用設(shè)備知曉(aware)解碼器組件生成L-幀和R-幀。
[0013]圖9A-9C詳述當(dāng)S3D視頻呈現(xiàn)在不同設(shè)備時感知深度之間的關(guān)系。
[0014] 圖10示出了示例性的第一邏輯流。
[0015] 圖11說明了示范性系統(tǒng)架構(gòu)。
【具體實施方式】
[0016] 實施例提供對當(dāng)呈現(xiàn)在數(shù)字顯示設(shè)備(其中除了其他屬性之外屏幕尺寸可能會有 所不同）上時觀看立體3D(S3D)視頻的增強(qiáng)。在具體實施例中，視頻數(shù)據(jù)的實時編碼和解碼 提供設(shè)備知曉視頻處理的方式進(jìn)行處置，如下面詳細(xì)描述的。如注意到的，由于具有大范圍 屏幕尺寸的顯示設(shè)備模型和預(yù)期觀看者的距離的分散，需要用于處理立體視頻的技術(shù)，該 技術(shù)可適應(yīng)屏幕尺寸的差別并仍產(chǎn)生對呈現(xiàn)視頻的設(shè)備適合的可接受的感知深度，其在本 文中被稱為"目標(biāo)設(shè)備"。本實施例通過在視頻實時解碼期間改變差異以適應(yīng)目標(biāo)設(shè)備的尺 寸差別，從而解決這一問題。以這種方式，單個S3D視頻可在具有屏幕尺寸范圍的多個不同 設(shè)備上使用，其中感知深度產(chǎn)生與設(shè)備尺寸無關(guān)的愉快用戶體驗。
[0017] 在本實施例中，由解碼系統(tǒng)執(zhí)行新穎的操作，該解碼系統(tǒng)考慮到呈現(xiàn)S3D視頻的該 裝置的特征。由于調(diào)整視頻編碼以考慮編碼后的視頻將被傳送到的設(shè)備的屏幕尺寸的這個 特性，執(zhí)行這樣的操作的技術(shù)和組件在本文中被稱為"設(shè)備知曉"。本實施例的操作的結(jié)果 是減少了可能由針對給定的S3D視頻的感知深度方面的不合適的壓縮引起的觀看者失真。
[0018] 在不同實施例中，提供如視頻解碼器或編解碼器(編碼器/解碼器)的組件，以執(zhí)行 或協(xié)助執(zhí)行設(shè)備知曉S3D解碼。該設(shè)備知曉S3D解碼可以作為實施框架的一部分提供，該實 施框架包括如下詳述的新穎S3D視頻的記錄和處理。
[0019] 圖1描繪了用于根據(jù)本公開的實施例處理S3D內(nèi)容的實施架構(gòu)。該架構(gòu)100包括各 種組件以處理S3D視頻102。如下詳述，在各種實施例中該S3D視頻可以是以提供信息促進(jìn)設(shè) 備知曉該S3D視頻的S3D處理的方式生成的視頻內(nèi)容。這具有當(dāng)使用S3D視頻用于跨多個不 同設(shè)備平臺觀看時增強(qiáng)用戶體驗的效果。特別是，S3D視頻可被記錄和編碼，以允許在具有 多個不同屏幕大小的設(shè)備上觀看，其中對象的感知深度被調(diào)整以考慮不同的屏幕尺寸。該 S3D視頻102可以被轉(zhuǎn)發(fā)到設(shè)備知曉解碼器系統(tǒng)104,其操作在下文詳述。在一個實現(xiàn)中，S3D 視頻102可以被轉(zhuǎn)發(fā)到包括具有帶有第一尺寸的屏幕大小的數(shù)字顯示的設(shè)備106。在一個實 例中，S3D視頻102可以一種方式進(jìn)行編碼，該方式被設(shè)計用于在具有該第一尺寸的屏幕大 小的設(shè)備上的S3D視頻102的呈現(xiàn)。因此，該設(shè)備106可以被稱為參考設(shè)備。
[0020] 如在圖1中進(jìn)一步示出的，S3D視頻102可以由設(shè)備知曉解碼器系統(tǒng)104進(jìn)行處理， 并轉(zhuǎn)發(fā)到第二設(shè)備，設(shè)備108,其屏幕大小與設(shè)備106的屏幕大小不同。該設(shè)備知曉解碼器系 統(tǒng)104可包括解碼S3D視頻102以調(diào)整其視頻幀使得視頻幀中對象的感知深度適合于設(shè)備 108的組件。在如下詳述的各種實施中，這可以允許當(dāng)S3D視頻102被提供給具有較小屏幕大 小的設(shè)備時，保留相比于傳統(tǒng)的視頻編解碼器更大的感知深度。
[0021] 圖2呈現(xiàn)與各種實施例一致的用于S3D視頻的示例性處理方案200。在該方案中視 頻內(nèi)容202由視頻記錄設(shè)備204記錄。在各種實施例中，視頻記錄設(shè)備204包括左照相機(jī)，右 照相機(jī)，和深度照相機(jī)，其操作在下文詳述。該視頻內(nèi)容可作為S3D視頻206被存儲或傳送到 另一設(shè)備。S3D視頻206可以存儲在任何地點和任何方便的設(shè)備，其被表示為視頻源208。在 一個使用場景中，視頻源208被配置以將S3D視頻206作為流播S3D視頻210流播。流播S3D視 頻210可以在一個示例中被設(shè)計用于在具有64英寸屏幕的設(shè)備上呈現(xiàn)。然而，在一些實例 中，流播S3D視頻210可被提供給用戶用于呈現(xiàn)在具有更小屏幕的設(shè)備上，如一個32英寸屏 幕。在圖2的方案中，設(shè)備知曉解碼器系統(tǒng)212被提供來以考慮呈現(xiàn)流播S3D視頻210的裝置 的特征的方式解碼流播S3D視頻210。具體地，該設(shè)備知曉解碼器系統(tǒng)212可解碼流播S3D視 頻210以考慮流播S3D視頻210將被發(fā)送到的顯示設(shè)備224的屏幕大小。要從設(shè)備知曉解碼器 系統(tǒng)接收解碼的視頻的設(shè)備在本文中一般被稱為"目標(biāo)設(shè)備"。
[0022] 該設(shè)備知曉解碼器系統(tǒng)212可包括作為CPU 214示出的通用處理器、存儲器216,圖 形處理單元。當(dāng)視頻流播到該設(shè)備知曉解碼器系統(tǒng)212時，存儲器216可存儲編碼的S3D視頻 (如流播S3D視頻210)的幀。流播S3D視頻310可以由處理器(如CPU 214或圖形處理單元218) 從存儲器216檢索，以用于處理。
[0023] 設(shè)備知曉解碼器系統(tǒng)212還可以包括設(shè)備知曉解碼器組件220,其功能關(guān)于緊接著 的圖進(jìn)行詳細(xì)說明。該設(shè)備知曉解碼器組件220可以包括各種硬件元件，軟件元件或兩者的 組合。硬件元件的示例可以包括設(shè)備、組件、處理器、微處理器、電路、電路元件（例如，晶體 管，電阻器，電容器，電感器，等等）、集成電路、專用集成電路（ASIC)、可編程邏輯器件 (PLD)、數(shù)字信號處理器(DSP)、現(xiàn)場可編程門陣列(FPGA)、存儲器單元、邏輯門、寄存器、半 導(dǎo)體器件、芯片、微芯片、芯片組等等。軟件元件的示例可以包括軟件組件、程序、應(yīng)用、計算 機(jī)程序、應(yīng)用程序、系統(tǒng)程序、機(jī)器程序、操作系統(tǒng)軟件、中間件、固件、軟件模塊、例程、子例 程、函數(shù)、方法、過程、軟件接口、應(yīng)用程序接口（API)、指令集、計算代碼、計算機(jī)代碼、代碼 段、計算機(jī)代碼段、字、值、符號或其任意組合。確定實施例是否使用硬件元件和/或軟件元 件實現(xiàn)可以根據(jù)任何數(shù)量的因素，如期望的計算速率、功率電平、耐熱性、處理周期預(yù)算、輸 入數(shù)據(jù)速率、輸出數(shù)據(jù)速率、存儲器資源、數(shù)據(jù)總線速度以及其它設(shè)計或性能約束(如針對 給定實現(xiàn)期望的）而變化。在具體的實施例中，設(shè)備知曉解碼器組件220可以至少被部分結(jié) 合在位于包含顯示裝置224的平臺的視頻編解碼器中。然而，在其它實施例中，設(shè)備知曉解 碼器組件220和設(shè)備知曉編碼系統(tǒng)可以位于與含有該顯示裝置224的平臺不同的平臺。
[0024] 圖2的示例中，設(shè)備知曉解碼器系統(tǒng)212被配置為輸出所接收的流播S3D視頻210作 為解碼的S3D視頻222。如下面詳述的，流播S3D視頻210的解碼以格式化解碼的S3D視頻222 的每個視頻幀的左和右?guī)陨稍诹鞑3D視頻210的對象中產(chǎn)生所期望的感知深度的屏 幕上差異的方式發(fā)生。在一些實施例中，以及如下詳述的，設(shè)備知曉解碼器系統(tǒng)212可操作 以當(dāng)S3D解碼視頻226呈現(xiàn)在包括不同的屏幕寬度的不同的屏幕大小的不同設(shè)備上時，維持 感知對象深度/屏幕寬度的恒定比例。
[0025] 圖3描繪用于生成編碼S3D視頻的實施例的細(xì)節(jié)。如圖3中所示，編碼的流播3D視頻 幀可以由示出為L-幀302的左幀、示出為R-幀306的右?guī)蜕疃葞?04構(gòu)成。在本實施例中記 錄S3D視頻的記錄設(shè)備314可包括左相機(jī)316,右相機(jī)318,位于左相機(jī)316和右相機(jī)318中間 的深度相機(jī)320。當(dāng)記錄S3D視頻時，二維左圖像、二維右圖像和二維深度圖像被同時記錄以 為給定的視頻幀生成左幀、右?guī)?、和深度幀。左相機(jī)316和右相機(jī)318相對于彼此的物理位移 導(dǎo)致被記錄在L-幀302中的相同場景的圖像相對于R-幀306中記錄的圖像沿軸線330移位。 深度相機(jī)320可以是常規(guī)的深度記錄組件諸如投射紅外輻射到場景的紅外投影儀和記錄反 射輻射作為對象深度的CMOS傳感器的組合。然而該實施例并不限于此上下文。
[0026] 深度幀304可包括深度值的二維陣列，該深度值呈現(xiàn)記錄在L-幀302和R-幀306中 的像素位置處的對象深度。圖4A呈現(xiàn)了將S3D視頻幀的L-幀或R-幀的呈現(xiàn)示為二維圖像的 示例圖像402。圖像402可以表示與視頻中的一組二維像素位置相關(guān)聯(lián)的一個或多個視覺特 征。例如，L-幀或R-幀中的每個像素坐標(biāo)可與該像素坐標(biāo)的顏色和亮度信息相關(guān)聯(lián)。當(dāng)在顯 示設(shè)備上呈現(xiàn)時，各L-幀或R-幀可因此如在傳統(tǒng)S3D視頻中那樣呈現(xiàn)待呈現(xiàn)場景的完整圖 像。當(dāng)在顯不屏蒂上呈現(xiàn)時，R _幀和L-幀之間的偏移或差異確定由觀看者感知的對象深度。 在本實施例中這個差異如下詳述從S3D視頻幀的深度幀確定。
[0027] 圖4B展示了對應(yīng)于圖像402的深度圖像404。換句話說，深度圖像404表示對應(yīng)于圖 像402中描繪的場景的場景的深度信息的二維陣列。為說明清楚起見，從深度圖像404中所 示的深度幀捕獲的深度信息以其中亮度正比于深度的格式描繪。因此，在深度圖像404中， 較亮的區(qū)域表示相對于觀看者更大深度的對象。這個變化的深度信息可被用于改變不同像 素位置處L-幀和R-幀之間的差異。因此，對于在深度幀的給定像素位置的給定對象，與該對 象相關(guān)聯(lián)的深度值越大，L-幀中該對象的像素位置和R-幀中該對象像素位置之間的差異越 大?，F(xiàn)在返回到圖3,每一個L-幀302，R-幀306和深度幀304的輸出由編碼器310編碼以生成 該S3D編碼視頻312。如下面的圖中討論的，可利用包括L-幀、R-幀與深度幀數(shù)據(jù)的這種編碼 的視頻格式，以生成合適的屏幕上的S3D視頻的左圖像和右圖像之間的位移，用于在任何屏 幕大小的顯示裝置上呈現(xiàn)。
[0028] 盡管在以上例子中可以由記錄裝置如視頻記錄設(shè)備204來生成S3D編碼視頻312， 在其他實施例中S3D編碼視頻可以是計算機(jī)生成的，使得L-幀、R-幀和深度幀全郃是計算機(jī) 生成的。
[0029]圖5A至5C描繪涉及與本實施例一致的設(shè)備知曉S3D視頻處理的幾個參數(shù)的幾何關(guān) 系。在圖5A中，示出有在其中示出觀看者的眼睛502、504相對于顯示裝置506的布置。顯示裝 置506具有沿與平面514平行的方向的屏幕寬度W，其中觀看者的左眼和右眼504、502位于該 平面。值e是觀看者的眼睛之間的距離。對于一個給定的屏幕大小，可以假設(shè)為了適于觀看， 觀看者的眼睛位于與顯示裝置506的屏幕表面距離N處。例如對于64英寸屏幕，N可以是4米， 對于32英寸屏幕可以是2米。對于對象的感知深度，期望的對象深度范圍介于線508和510之 間。從線508到顯示設(shè)備506的屏幕表面的垂直距離F0表示對屏幕表面之外對象的舒適的感 知深度的限制。從線510到顯示設(shè)備506屏幕表面的垂直距離FI表示對屏幕表面內(nèi)部對象的 舒適的感知深度的限制。由顯示裝置506呈現(xiàn)的對象的舒適觀看范圍可以是位于FI和F0之 間的區(qū)域，該區(qū)域部分地由該顯示裝置的屏幕大小來確定。在一些示例中FI可以等于0.7W， F0可以等于0.4W。
[0030]如指出的，在立體3D顯示中，深度由左右圖像中對象位置的差異感知，該左右圖像 提供給相應(yīng)的左眼和右眼以產(chǎn)生感知的三維圖像。為了生成對象的正確深度，產(chǎn)生設(shè)備屏 幕上左和右圖像之間的差異d以或使對象出現(xiàn)在屏幕前面（負(fù)深度)或屏幕后面(正深度）。 現(xiàn)在轉(zhuǎn)向圖5B，示出有差異d和對象P1的位置之間的幾何關(guān)系，該對象P1外觀上位于顯示裝 置506屏幕的內(nèi)部或后面。在此示例中，由左眼504感知的左圖像從由右眼502感知的右圖像 朝向顯示設(shè)備506的邊緣向外移位。這使得對象520的位置出現(xiàn)在位置P1處屏幕內(nèi)部?，F(xiàn)在 轉(zhuǎn)向圖5C，示出有差異d和對象P2之間的幾何關(guān)系，該對象P2外觀上位于顯示裝置506的屏 幕的外部。在此情況下左眼504感知的左圖像相對于由右眼502感知的右圖像從顯示裝置 506的邊緣向內(nèi)位移。在這樣的場景中左和右圖像彼此交叉以使得左圖像被感知位于右圖 像的右側(cè)，這等效于右圖像被感知位于左圖像的左側(cè)。這使得對象520的位置顯示在位置P2 處的屏幕外部。相對于觀察者的對象位置本文稱為感知深度h。
[0031] 利用相似三角形原理從圖5B和圖5C中所示的幾何結(jié)構(gòu)來導(dǎo)出感知深度h和差異d 之間的關(guān)系是簡單的。在圖5B的情形中，h的值由下式給出：
[0032]
[0033] 而在圖5C中，
[0034]
[0035] 由于e對于給定的觀看者是恒定的，并且N對于給定顯示屏幕是恒定的，所以一旦 差異d被決定，則感知深度被確定。
[0036] 為了當(dāng)呈現(xiàn)在任何目標(biāo)設(shè)備上時在S3D視頻中產(chǎn)生對象的正確感知深度，各種實 施例采用目標(biāo)設(shè)備的設(shè)備信息，以及從編碼的S3D視頻接收的深度信息以生成目標(biāo)設(shè)備的 正確差異。再次參照圖2,在一個實現(xiàn)中，設(shè)備知曉解碼器系統(tǒng)212可以執(zhí)行分析以確定與在 顯示設(shè)備（如顯示設(shè)備224)上呈現(xiàn)S3D視頻相關(guān)的參數(shù)。例如，該設(shè)備知曉解碼器組件220可 以首先檢索或接收關(guān)于包括顯示裝置224的屏幕寬度W的屏幕大小的信息以及顯示設(shè)備224 的觀看者的預(yù)期的觀看距離N，以及e，其可以表示確定的平均觀看者眼睛間隔。
[0037] 在一個實現(xiàn)中，當(dāng)由設(shè)備知曉解碼器系統(tǒng)212接收編碼S3D視頻的源幀時，該幀可 以被解碼以生成如以上所討論的構(gòu)成該編碼S3D視頻的每個視頻幀的L-幀、R-幀與深度幀。 在一些實現(xiàn)中，如S3D視頻流播中，當(dāng)接收到時S3D視頻幀可加載到存儲器216(其可包括一 個或多個緩沖器)中。
[0038] 然后可分析每個加載的S3D視頻幀的深度幀中的像素，以確定在給定S3D視頻幀的 相關(guān)L-幀和R-幀中的像素對的像素位置。像素對構(gòu)成來自L-幀的指定像素和來自R-幀的相 關(guān)像素，它們包含對應(yīng)于該視頻幀的深度幀中指定的像素位置的對象數(shù)據(jù)。深度幀可以呈 現(xiàn)表示從自左和右相機(jī)收集到的圖像之間的中間位置收集到的數(shù)據(jù)的深度圖像，該左和右 相機(jī)收集到的圖像存儲在相應(yīng)的左和右?guī)?。相?yīng)地，被記錄在深度幀的任意像素位置的 對象或?qū)ο蟮囊徊糠值纳疃刃畔⒖梢杂糜诖_定記錄相同的對象或?qū)ο蟮牟糠值淖蠛陀規(guī)?中的對應(yīng)像素的位置。由于用于記錄相同對象的左、右和深度相機(jī)的不同位置，在R-幀和L-幀中的對象的像素位置每個從深度幀的像素位置移位。例如，考慮深度幀的幀像素(X，y)， 其可以位于深度幀中的任何位置，為傳達(dá)深度，L-幀中對應(yīng)的像素(x L，yL)可從由深度幀的 像素（x，y)表示的像素位置在沿著"X軸"的第一方向移位差異d，并且R-幀中對應(yīng)的像素 (xr，yR)可在與沿著"X軸"的第一方向相反的第二方向移位差異d。具體地，對應(yīng)的L-幀像素 的坐標(biāo)可以由下式給出：
[0039] XL = xDd(x,y),yL = y；
[0040] 并且對應(yīng)的R-幀像素的坐標(biāo)可以由下式給出：
[0041] XR = x+d(x，y)，以及yR = y。
[0042] 為了確定被評估的深度幀中給定像素 x，y的d值，分別對于屏幕內(nèi)部和外部的對 象，可回顧：
[0043]
[0044] 相應(yīng)地，差丼由d=(N_)e/h或d=(h_N)e/h給出。給定像素(x，y)的感知深度h的值 又根據(jù)h (X，y) = k*depth (X，y)，其中k是常數(shù)，從深度幀的給定像素X，y的深度(X，y)值直接 確定。例如，可以基于參考或期望的屏幕大小提供深度幀中的深度值以生成合適的感知深 度h。此外，如上所述，對于給定的屏幕大小，N和e的值可以是預(yù)定的。相應(yīng)地，此設(shè)備知曉解 碼器組件220可以為被處理的深度幀的給定像素x，y加載深度值，并應(yīng)用k，N和e的相關(guān)值， 以便確定d，從而確定相關(guān)的L-幀和R-幀中的該坐標(biāo)對的坐標(biāo)。
[0045]上述過程在圖6中突出顯示，圖6與本實施例一致描繪了確定L-幀和R-幀中的像素 對所涉及的操作。如所示出的，選擇對應(yīng)于深度幀602的x，y像素用于分析。在本實施例中， 組成深度幀602的一系列x，y像素可以以串行的方式加載，以為每個x，y像素確定L-幀和R-幀中相關(guān)的像素對。對于給定的x，y像素，深度(x，y)由設(shè)備知曉解碼器組件220從存儲在深 度幀602的深度值中檢索。設(shè)備知曉解碼器組件220還接收解碼的S3D視頻的相關(guān)深度值k，N 和e值?；谶@些輸入，設(shè)備知曉解碼器組件220為所討論的該x，y像素計算d(x，y)，其應(yīng)用 于每個L-幀和R-幀中對應(yīng)的像素位置。這導(dǎo)致生成由XL = xlZld(x，y)和XR = x+d(x，y)給出的 像素對的相關(guān)像素。注意到，像素的對應(yīng)的y值在像素對中不變。
[0046] 在隨后的操作中，設(shè)備知曉解碼器組件220可從要被解碼的S3D視頻構(gòu)建的偏移的 L-幀和R-幀生成像素對的位置，使得S3D視頻可以在目標(biāo)設(shè)備上被正確播放。要應(yīng)用于偏移 的L-幀和R-幀的像素對的位置基于目標(biāo)設(shè)備的觀看參數(shù)。具體地，可以基于目標(biāo)設(shè)備和參 考設(shè)備的屏幕寬度的比值來計算目標(biāo)設(shè)備的差異值。為了說明的目的，可以假設(shè)該參考屏 幕寬度為W1，目標(biāo)屏幕寬度為W2。
[0047] 對于從深度幀讀取的給定深度(x，y)，參考屏幕的感知深度可以由hl(x，y)表示。 目標(biāo)屏幕寬度W2與預(yù)期的觀看距離N2相關(guān)聯(lián)，可為目標(biāo)設(shè)備確定該距離，如以上所討論的。 與各種實施例一致，感知深度與目標(biāo)設(shè)備屏幕寬度W2的比值可維持在與參考設(shè)備中的感知 深度/屏幕寬度相同的值。特別的，感知深度h2(x，y)可以從h2 = hl(W2)/Wl來確定。
[0048] 緊跟著上面概述的用于從感知深度確定差異的步驟概要，當(dāng)h2大于N2時，即當(dāng)感 知對象深度將所討論對象放置在目標(biāo)設(shè)備屏幕內(nèi)部時，該目標(biāo)設(shè)備的差異d2可被確定為d2 =(h2-N2)e/h2。另一方面，當(dāng)h2小于N2時，即當(dāng)感知對象深度將所討論對象放置在目標(biāo)設(shè) 備屏幕外部(前方）的時候，d2=(N2-h2)e/h2。一旦d2的值被確定，可為偏移的L-幀和偏移 的R-幀計算像素對的像素位置以生成用于在目標(biāo)設(shè)備上呈現(xiàn)的視頻幀。
[0049] 圖7示出上述過程的操作，其中由設(shè)備知曉解碼器組件220接收來自深度幀602的 像素 x，y。該設(shè)備知曉解碼器組件220還使用參數(shù)N2和W2來確定h2和(12。(12的值然后被用于 在左和右偏移幀中的偏移像素位置。然后根據(jù)下式確定對于左偏移像素位置Xl/和右偏移像 素位置Xr'的像素對，：
[0050] Xl7 =xDd2(x,y) Xr7 =x+d2(x,y) 〇
[0051] 在隨后的操作中，計算出的左偏移像素位置XL'和右偏移像素位置XR'用于為呈現(xiàn) 生成偏移S3D視頻幀用于呈現(xiàn)在目標(biāo)設(shè)備上。偏移L-幀614和偏移R-幀616分別可以通過應(yīng) 用這些過程來生成。這在圖8中示出，其示出使用設(shè)備知曉解碼器組件220生成L-幀614和R-幀616。在此示例中，構(gòu)成深度幀602的x，y值的矩陣被示為由設(shè)備知曉解碼器組件220接收 到的X，y輸入。對于深度幀602的每個X和y像素，如上所述計算對應(yīng)的d( X，y )，從其中為每個 x，y像素確定目標(biāo)設(shè)備差異d2(x，y)。這導(dǎo)致生成然后可加載用于作為S3D視頻幀在目標(biāo)設(shè) 備上呈現(xiàn)的L-幀614和R-幀616。
[0052] 一旦生成L-幀614和R-幀616,可分析新的S3D視頻幀，以確定是否在任何像素位置 存在任何間隙。如果是這樣，存在間隙的像素位置可用相鄰的像素來填充。所得的經(jīng)解碼 S3D視頻幀呈現(xiàn)L-幀614和R-幀616，其中每個像素位置的像素對的像素之間的差異d2被以 這樣的方式縮放:相比于當(dāng)同樣的S3D視頻在參考(期望)設(shè)備上顯示時，該方式可為在目標(biāo) 設(shè)備上觀看的S3D視頻中的對象生成感知深度/屏幕寬度的恒定比，該參考(期望)設(shè)備可具 有更大或更小的屏幕寬度。由于每個連續(xù)的S3D視頻幀被解碼以用于在目標(biāo)設(shè)備上呈現(xiàn)，這 個過程可以實時重復(fù)應(yīng)用于解碼流播S3D視頻。
[0053]圖9A-9C通過詳述當(dāng)S3D視頻呈現(xiàn)在不同設(shè)備上時得到的感知深度之間的關(guān)系，突 出顯示了由本實施例提供的優(yōu)點。在圖9A中可假定參考設(shè)備902具有64英寸的屏幕大小，這 可表示屏幕寬度或屏幕對角線。預(yù)期的觀看距離可以是4米。對于位于參考裝置902的左側(cè) 的觀看者，S3D視頻對象的感知深度范圍是屏幕平面912后22英寸（右側(cè)）和屏幕平面612前 面6英寸。圖9B描繪了如參考以上圖通常描述的，其中相同的S3D視頻在由設(shè)備知曉編碼組 件處理后呈現(xiàn)在具有32英寸屏幕的第二設(shè)備904上的情形。假定觀看距離為2米。注意到，對 于位于第二裝置904的左側(cè)的觀看者，S3D視頻對象的感知深度范圍是屏幕平面914后11英 寸(右側(cè))和屏幕平面914前面3英寸。該范圍保留與所展示的當(dāng)S3D視頻呈現(xiàn)在參考設(shè)備902 上時相同的感知深度/屏幕寬度比值。相應(yīng)地，第二設(shè)備904的觀看者當(dāng)在第二設(shè)備904上觀 看S3D視頻時可以具有和觀看者在屏幕大小是兩倍的參考設(shè)備902上觀看該S3D視頻類似的 體驗。
[0054]圖9C呈現(xiàn)形成對照的場景，其中該S3D視頻呈現(xiàn)在也具有32英寸屏幕的另一設(shè)備 906上。在這種情況下，S3D視頻按照常規(guī)過程進(jìn)行解碼。在此示例中，對于位于設(shè)備906左側(cè) 的觀看者，S3D視頻的對象的感知深度范圍是屏幕平面916后面4英寸(右側(cè))和屏幕平面916 前面1英寸。
[0055]本文包括用于執(zhí)行所公開體系結(jié)構(gòu)的新穎方面的表示示范性方法論的一組流程 圖。雖然為了簡化說明的目的，本文示出的一個或多個方法論，例如，以流程圖或流程圖解 的形式被示出并描述為一系列動作，但是要理解和認(rèn)識到的是，該方法論不受動作次序限 制，因為一些動作可以據(jù)此以與本文示出和描述的不同順序和/或與其它動作同時發(fā)生。例 如，本領(lǐng)域的技術(shù)人員將理解并認(rèn)識到，方法論可備選地表示為一系列相互關(guān)聯(lián)的狀態(tài)或 事件(如在狀態(tài)圖中的）。此外，方法論中未示出新的實施可能需要的所有動作。
[0056]圖10示出示例性的第一邏輯流1000。在塊1002,確定接收S3D視頻的目標(biāo)設(shè)備的參 數(shù)。該參數(shù)可包括目標(biāo)設(shè)備的屏幕大小以及觀看目標(biāo)設(shè)備的觀看者的預(yù)期觀看距離。
[0057]在塊1004，接收到經(jīng)編碼的S3D視頻幀。經(jīng)編碼的S3D視頻幀可以是正被流播到該 目標(biāo)設(shè)備的經(jīng)編碼S3D視頻的幀。
[0058] 在塊1006,解碼經(jīng)編碼的S3D視頻幀。解碼可生成L-幀、R-幀和包括深度信息的深 度幀，該深度信息是在視頻幀范圍內(nèi)的對象位置的函數(shù)。
[0059] 在塊1008,從深度幀讀取像素(x，y)。然后，流程前進(jìn)到塊1010,其中從深度幀檢索 深度(x，y)，其為像素(x，y)處描繪的對象指示對象深度的值。該深度值可以基于包括屏幕 大小和其他參數(shù)的參考設(shè)備參數(shù)。
[0060] 在塊1012,為與深度幀的像素(x，y)對應(yīng)的相應(yīng)的左和右?guī)?，從像?x，y)的深度 (x，y)值確定像素對(xL，yL)和(xR，yR)?？梢曰谟嬎愠龅膽?yīng)用到該像素(x，y)的差異來確 定像素對，其中從深度(X，y)和參考設(shè)備的參數(shù)確定該差異。
[0061 ]在塊1014,計算目標(biāo)設(shè)備的差異d2以基于參考屏幕大小和目標(biāo)設(shè)備的目標(biāo)屏幕大 小的比值來偏移像素(X，y)的像素位置。
[0062]在塊1016,目標(biāo)設(shè)備的差異d2被應(yīng)用于像素(x，y)以為相應(yīng)的與深度幀的像素(X， y)對應(yīng)的偏移左幀和偏移右?guī)勺蠛陀蚁袼匚恢?。該左像素位置Xl的x坐標(biāo)可以按照XL = xCHd2(x，y)給出，而該右像素位置Xr'的X坐標(biāo)可以按照Xr' =x+d2(x，y)給出。
[0063] 圖11是示例性系統(tǒng)實施例的圖，并且具體地，圖11是示出了可以包括各種元件的 系統(tǒng)1100的圖。例如，圖11示出了系統(tǒng)(平臺）1100可包括本文稱為處理器1102的處理器/圖 形核心、本文稱為芯片組1104的芯片組/平臺控制集線器(PCH)、輸入/輸出（I/O)設(shè)備1106、 隨機(jī)存取存儲器(RAM)(例如動態(tài)RAM(DRAM) )1108和只讀存儲器(ROM) 1110、顯示電子設(shè)備 1120、顯示器背光1122以及各種其他平臺組件1114(例如，風(fēng)扇、橫流送風(fēng)機(jī)、散熱器、DTM系 統(tǒng)、冷卻系統(tǒng)、殼體、通風(fēng)孔，等等）。系統(tǒng)1100也可以包括無線通信芯片1116和圖形裝置 1118、非易失性存儲器端口（NVMP)1124和天線1126。然而，該實施例并不限定于這些元件。
[0064] 如圖11所示，I/O設(shè)備1106、RAM 1108和ROM 1110通過芯片組1104的方式耦合到處 理器1102。芯片組1104可以通過總線1112耦合到處理器1102。相應(yīng)地，總線1112可以包括多 根線路。
[0065] 處理器1102可以是包括一個或多個處理器核心的中央處理單元，并且可包括具有 任何數(shù)量處理器核心的任何數(shù)量的處理器。處理器1102可以包括任何類型的處理單元，諸 如，例如CPU、多處理單元、精簡指令集計算機(jī)(RISC)、具有流水線的處理器、復(fù)雜指令集計 算機(jī)(CISC)、數(shù)字信號處理器(DSP)，等等。在一些實施例中，處理器1102可以是位于單獨的 集成電路芯片上的多個單獨的處理器。在一些實施例中處理器1102可以是具有集成圖形的 處理器，而在其他實施例中的處理器1102可以是一個或多個圖形核。命令可被提供給處理 器1102,例如，通過鍵盤、觸摸屏交互、手勢、面部表情以及聲音。
[0066]以下的示例與進(jìn)一步的實施例有關(guān)
[0067] 在示例1中，用于處理立體三維視頻的設(shè)備可以包括存儲器以存儲編碼的立體三 維（S3D)視頻的源幀，該源幀配置用于在參考設(shè)備上顯示，并包括左幀，右?guī)蜕疃葞?處理 器，用于從深度幀檢索像素(x，y)，該像素(x，y)包括參考設(shè)備深度(x，y);以及，設(shè)備知曉解 碼器組件，用于基于該參考設(shè)備的深度(x，y)和用于呈現(xiàn)S3D視頻的目標(biāo)設(shè)備的屏幕寬度為 像素(x，y)計算目標(biāo)設(shè)備差異。
[0068] 在示例2中，示例1的設(shè)備知曉解碼器組件可基于參考設(shè)備深度(x，y)，在源幀中為 左幀的左像素和右?guī)挠蚁袼卮_定像素對的位置。
[0069] 在示例3中，示例1-2中任意一個的設(shè)備知曉解碼器組件可為像素(x，y)計算相應(yīng) 的左幀的左像素位置(XL，yL)和右?guī)挠蚁袼匚恢?XR，yR)，其中XL = xlZld(x，y)，yL = y，以及 其中XR = X+d(x，y)，以及yR = y，其中d是將要為參考設(shè)備顯示的對象的屏幕上的差異。
[0070] 在示例4中，示例1-3中任意一個的設(shè)備知曉解碼器組件可以從深度幀中讀取參考 設(shè)備深度(x，y);根據(jù)h =參考設(shè)備深度(x，y)*C，其中C是常數(shù)，為像素(x，y)計算感知深度 h，；以及對于正深度根據(jù)d=((h_N)e)/h，對于負(fù)深度根據(jù)d=((N_h)e)/h，而計算d，其中N 是表示參考屏幕期望觀看距離的常數(shù)，e是表示觀看者眼睛間隔的常數(shù)。
[0071] 在示例5中，示例1-4中任意一個的設(shè)備知曉解碼器組件可以將目標(biāo)設(shè)備差異應(yīng)用 到像素(x，y)，以在相應(yīng)的偏移左幀和偏移右?guī)猩梢唤M目標(biāo)設(shè)備像素對位置。
[0072] 在示例6中，示例1-5中任意一個的設(shè)備知曉解碼器組件可以：確定目標(biāo)設(shè)備預(yù)期 的觀看距離N2，目標(biāo)和參考設(shè)備相應(yīng)的屏幕寬度W2和屏幕寬度W1;確定目標(biāo)屏幕的像素 X，y 的感知深度h2，其中h2 = hW2/Wl;以及根據(jù):對于正深度d2 = ((h2-N2)e)/h，對于負(fù)深度d2 =((N2_h2)e)/h2，來計算目標(biāo)設(shè)備差異d2。
[0073] 在示例7中，示例1-6中任意一個的目標(biāo)設(shè)備像素對位置組可以包括由下式給出的 左幀像素 Xlt和右?guī)袼?Xrt= :XLT = XIZId2(x，y)，Ylt = Y，和XRT=X+d2(x，y)，以及Yrt = Y。
[0074] 在示例8中，示例1-7中任意一個的設(shè)備知曉解碼器組件可以：基于所述深度幀中 的相應(yīng)的幀像素的多樣性，確定相應(yīng)的所述左幀中的左像素和所述右?guī)械挠蚁袼氐南鄳?yīng) 的像素對位置的多樣性;為幀像素的所述相應(yīng)的多樣性計算目標(biāo)設(shè)備差異的相應(yīng)多樣性； 以及將目標(biāo)設(shè)備差異的所述相應(yīng)多樣性應(yīng)用到所述相應(yīng)的幀像素以在所述相應(yīng)的目標(biāo)左 幀和目標(biāo)右?guī)猩赡繕?biāo)設(shè)備像素對位置的組的相應(yīng)多樣性。
[0075] 在示例9中，示例1-8中任意一個的設(shè)備知曉解碼器組件可以通過借助于從相應(yīng)的 相鄰像素添加像素內(nèi)容到混合像素來填充所述偏移左幀或右?guī)闹腥笔袼匾詧?zhí)行平滑 過程。
[0076] 在示例10中，示例1-9中任意一個的裝置可包括呈現(xiàn)S3D視頻的顯示器、網(wǎng)絡(luò)接口 和無線電裝置。
[0077] 示例11包括至少一個計算機(jī)可讀存儲介質(zhì)，包括指令，當(dāng)被執(zhí)行時，使系統(tǒng):接收 被配置成在參考設(shè)備上顯示的源幀，其包括左幀，右?guī)蜕疃葞?從深度幀讀取像素(X，y)， 以確定參考設(shè)備深度(X，y);以及基于所述參考設(shè)備的深度(X，y)和呈現(xiàn)S3D視頻的目標(biāo)設(shè) 備的屏幕大小為像素(x，y)計算目標(biāo)設(shè)備差異。
[0078] 在示例12中，示例11中的至少一個計算機(jī)可讀存儲介質(zhì)可包括指令，當(dāng)被執(zhí)行時， 使系統(tǒng)對像素(x，y)應(yīng)用目標(biāo)設(shè)備差異，以在相應(yīng)的目標(biāo)左幀和目標(biāo)右?guī)猩梢唤M目標(biāo) 設(shè)備像素對位置。
[0079] 在示例13中，示例11-12中任意一個的至少一個計算機(jī)可讀存儲介質(zhì)可以包括指 令，當(dāng)被執(zhí)行時，使系統(tǒng)基于參考設(shè)備的深度(X，y)在源幀中為左幀的左像素和右?guī)挠蚁?素確定像素對位置。
[0080] 在示例14中，示例11-13中任意一個的至少一個計算機(jī)可讀存儲介質(zhì)可以包括指 令，當(dāng)被執(zhí)行時，使系統(tǒng)為像素(X，y)計算相應(yīng)的左幀的左像素位置(xl，η)和右?guī)挠蚁袼?位置（XR，yR)，其中XL = xlZld(x，y)，yL = y，以及其中XR = x+d(x，y)，以及yR = y，其中d是要為 參考設(shè)備顯示的對象的屏幕上的差異。
[0081] 在示例15中，示例11-14中任意一個的至少一個計算機(jī)可讀存儲介質(zhì)可以包括指 令，當(dāng)被執(zhí)行時，使系統(tǒng):根據(jù)h = Cdepth(X，y)為像素(X，y)計算感知深度h，其中C是常數(shù)； 以及對于正深度根據(jù)(1=((11-1'〇6)/11，對于負(fù)深度根據(jù)(1=((1'1-11)6)/11來計算(1，其中1'1是表 示參考屏幕期望觀看距離的常數(shù)，e是表示觀看者眼睛間隔的常數(shù)。
[0082] 在示例16中，示例11-15中任意一個的至少一個計算機(jī)可讀存儲介質(zhì)可以包括指 令，當(dāng)被執(zhí)行時，使系統(tǒng):確定目標(biāo)設(shè)備預(yù)期的觀看距離N2,目標(biāo)和參考設(shè)備相應(yīng)的屏幕寬 度W2和屏幕寬度W1;確定目標(biāo)屏幕的像素x，y的感知深度h2,其中h2 = hW2/Wl;以及根據(jù):對 于正深度d2 = ((h2-N2)e)/h，對于負(fù)深度d2 = ((N2-h2)e)/h2，來計算目標(biāo)設(shè)備差異d2。
[0083] 在示例17中，示例11-16中任意一個的至少一個計算機(jī)可讀存儲介質(zhì)可以包括指 令，當(dāng)被執(zhí)行時，使系統(tǒng):根據(jù)XLT = XIZId2(x，y)，Ylt = Y，和XRT = X+d2(x，y)，以及Yrt = Y為目 標(biāo)像素對位置的組確定左幀像素 Xlt和右?guī)袼?Xrt。
[0084] 在示例18中，示例11-17中任意一個的至少一個計算機(jī)可讀存儲介質(zhì)可以包括指 令，當(dāng)被執(zhí)行時，使系統(tǒng)以：基于所述深度幀中相應(yīng)的幀像素的多樣性，確定相應(yīng)的所述左 幀中的左像素和所述右?guī)械挠蚁袼氐南鄳?yīng)的像素對位置的多樣性;為幀像素的所述相應(yīng) 的多樣性計算目標(biāo)設(shè)備差異的相應(yīng)多樣性；以及將目標(biāo)設(shè)備差異的所述相應(yīng)的多樣性應(yīng)用 到所述相應(yīng)的幀的像素以在所述相應(yīng)的目標(biāo)左幀和目標(biāo)右?guī)猩赡繕?biāo)設(shè)備像素對位置 的組的相應(yīng)的多樣性。
[0085] 在示例19中，一種處理三維立體視頻幀的方法可以包括接收配置以在參考設(shè)備上 顯示的源幀，其包括左幀，右?guī)蜕疃葞?；從深度幀讀取像素(x，y)，以確定參考設(shè)備深度 (x，y);以及基于所述參考設(shè)備的深度(x，y)和呈現(xiàn)S3D視頻的目標(biāo)設(shè)備的屏幕大小為像素 (x，y)計算目標(biāo)設(shè)備差異。
[0086] 在示例20中，示例19的方法可以包括對像素(x，y)應(yīng)用目標(biāo)設(shè)備差異，以在相應(yīng)的 目標(biāo)左幀和目標(biāo)右?guī)猩梢唤M目標(biāo)設(shè)備像素對位置。
[0087] 在示例21中，示例19-20中任意一個的方法可以包括基于參考設(shè)備的深度(x，y)在 源幀中為左幀的左像素和右?guī)挠蚁袼卮_定像素對位置。
[0088] 在示例22中，為示例19-21中任意一個確定像素對位置可以包括為像素(x，y)計算 相應(yīng)的左幀的左像素位置(XL，yL)和右?guī)挠蚁袼匚恢?XR，yR)，其中XL = xlZld(x，y)，yL = y， 以及其中XR = X+d(x，y)，以及yR = y，其中d是要為參考設(shè)備顯示的對象的屏幕上的差異。 [0089] 在示例23中，示例19-22中任意一個的方法可以包括根據(jù)h = C depth(x，y)，其中C 是常數(shù)，為對應(yīng)于深度(x，y)的參考屏幕計算感知深度h;以及對于正深度根據(jù)d=((h_N) e)/h，對于負(fù)深度根據(jù)d=((N_h)e)/h來計算d，其中N是表示參考屏幕期望觀看距離的常 數(shù)，并且e是表示觀看者眼睛間隔的常數(shù)。
[0090] 在示例24中，示例19-23中任意一個的方法可以包括確定目標(biāo)設(shè)備預(yù)期的觀看距 離N2,目標(biāo)和參考設(shè)備相應(yīng)的屏幕寬度W2和屏幕寬度W1;為像素 x，5^l定目標(biāo)屏幕的的感知 深度h2,其中h2 = hW2/Wl;以及根據(jù):對于正深度d2=((h2-N2)e)/h，對于負(fù)深度d2 = ((N2-h2)e)/h2,來計算目標(biāo)設(shè)備差異d2。
[0091] 在示例25中，示例19-24中任意一個的目標(biāo)設(shè)備像素對位置組可以包括由XLT=X口 d2 (X，y)，YLT = Y，和XRT=X+d2 (X，y)，以及YRT = Y給出的左幀像素XLT和右?guī)袼豖RT。
[0092] 在示例26中，示例19-25中任意一個的方法可以包括基于所述深度幀中相應(yīng)的幀 像素的多樣性，確定相應(yīng)的所述左幀中的左像素和所述右?guī)械挠蚁袼氐南鄳?yīng)的像素對位 置的多樣性;為幀像素的所述相應(yīng)的多樣性計算目標(biāo)設(shè)備差異的相應(yīng)多樣性；以及將目標(biāo) 設(shè)備差異的所述相應(yīng)的多樣性應(yīng)用到所述相應(yīng)的幀的像素以在所述相應(yīng)的目標(biāo)左幀和目 標(biāo)右?guī)猩赡繕?biāo)設(shè)備像素對位置的組的相應(yīng)的多樣性。
[0093] 示例27是用于處理立體三維視頻的用戶設(shè)備，其包括執(zhí)行示例19-26中任意一個 的方法的部件。
[0094]示例28是用于處理立體三維視頻的裝置，其包括執(zhí)行示例19-26中任意一個的方 法的部件。
[0095]在示例29中，用于播放立體三維視頻的視頻設(shè)備可以包括存儲器以存儲編碼的立 體三維(S3D)視頻的源幀，該源幀配置為在參考設(shè)備上顯示，并包括左幀、右?guī)蜕疃葞?處 理器，用于從深度幀檢索像素(x，y)，該像素(x，y)包括參考設(shè)備深度(x，y);設(shè)備知曉解碼 器組件，用于基于該參考設(shè)備的深度(x，y)和呈現(xiàn)S3D視頻的目標(biāo)設(shè)備的屏幕寬度為像素 (x，y)計算目標(biāo)設(shè)備差異；以及，包括該目標(biāo)設(shè)備屏幕寬度以接收解碼S3D視頻的數(shù)字顯示 器。
[0096] 在示例30中，示例29的設(shè)備知曉解碼器組件可基于參考設(shè)備深度(x，y)，在源幀中 為左幀的左像素和右?guī)挠蚁袼卮_定像素對的位置。
[0097]在示例31中的，示例29-30中任意一個的設(shè)備知曉解碼器組件可：為像素(x，y)計 算對應(yīng)的左幀的左像素位置(XL，yL)和右?guī)挠蚁袼匚恢?XR，yR)，其中XL = xCld(x，y)，yi = y，以及其中XR=X+d(x，y)，以及yR=y，其中d是要為參考設(shè)備顯示的對象的屏幕上的差異。 [0098]在示例32中，示例29-31中任意一個的設(shè)備知曉解碼器組件可以：從深度幀中讀取 參考設(shè)備深度(x，y);根據(jù)h =參考設(shè)備深度(x，y)*C，其中C是常數(shù)為像素(x，y)計算感知深 度h;以及對于正深度根據(jù)d= ((h_N)e)/h，對于負(fù)深度根據(jù)d= (N_h)e/h來計算d，其中N是 表示參考屏幕期望觀看距離的常數(shù)，并且e是表示觀看者眼睛間隔的常數(shù)。
[0099]在示例33中，示例29-32中任意一個的設(shè)備知曉解碼器組件可以將目標(biāo)設(shè)備差異 應(yīng)用到像素(x，y)，以在相應(yīng)的偏移左幀和偏移右?guī)猩梢唤M目標(biāo)設(shè)備像素對位置。
[0100] 在示例34中，示例29-33中任意一個的設(shè)備知曉解碼器組件可以：確定數(shù)字設(shè)備預(yù) 期的觀看距離N2,目標(biāo)和參考設(shè)備相應(yīng)的屏幕寬度W2和屏幕寬度W1;為像素 x，y確定目標(biāo)屏 幕的感知深度h2，其中h2 = hW2/Wl;以及根據(jù):對于正深度d2 = ((h2-N2)e)/h，對于負(fù)深度 d2 = ((N2_h2)e)/h2，來計算目標(biāo)設(shè)備差異d2。
[0101] 在示例35中，示例29-34中任意一個的目標(biāo)設(shè)備像素對位置組可以包括由XLT=X口 d2(X，y)，YLT = Y，和XRT=X+d2(X，y)，以及YRT = Y給出的左幀像素 XLT和右?guī)袼?XRT=。
[0102] 在示例36中，示例29-35中任意一個的設(shè)備知曉解碼器組件可以：基于所述深度幀 中相應(yīng)的幀像素的多樣性，確定相應(yīng)的所述左幀中的左像素和所述右?guī)械挠蚁袼氐南鄳?yīng) 的像素對位置的多樣性;為幀像素的所述相應(yīng)的多樣性計算目標(biāo)設(shè)備差異的相應(yīng)多樣性； 以及將目標(biāo)設(shè)備差異的所述相應(yīng)的多樣性應(yīng)用到所述相應(yīng)的幀的像素以在所述相應(yīng)的目 標(biāo)左幀和目標(biāo)右?guī)猩赡繕?biāo)設(shè)備像素對位置的組的相應(yīng)的多樣性。
[0103] 實施例，如先前所描述的，可使用各種硬件元件、軟件元件或兩者的組合實施。硬 件元素的示例可以包括設(shè)備、邏輯設(shè)備、組件、處理器、微處理器、電路、處理器電路、電路元 件(例如，晶體管、電阻器、電容器、電感器，等等）、集成電路、專用集成電路(ASIC)、可編程 邏輯器件(PLD)、數(shù)字信號處理器(DSP)，現(xiàn)場可編程門陣列(FPGA)、存儲器單元、邏輯門、寄 存器、半導(dǎo)體器件、芯片、微芯片、芯片組等等。軟件元件的示例可以包括軟件組件、程序、應(yīng) 用、計算機(jī)程序、應(yīng)用程序、系統(tǒng)程序、軟件開發(fā)程序、機(jī)器程序、操作系統(tǒng)軟件、中間件、固 件、軟件模塊、例程、子例程、函數(shù)、方法、過程、軟件接□、應(yīng)用程序接□ (API )、指令集、計算 代碼、計算機(jī)代碼、代碼段、計算機(jī)代碼段、字、值、符號或其任意組合。確定實施例是否使用 硬件元件和/或軟件元件實施可以按照任何數(shù)量的因素，如期望的計算速率、功率水平、耐 熱性、處理周期預(yù)算、輸入數(shù)據(jù)速率、輸出數(shù)據(jù)速率、存儲器資源、數(shù)據(jù)總線速度以及其它設(shè) 計或性能約束而變化(如根據(jù)給定實現(xiàn)所期望的）。
[0104] 在一些實施例中，元件被定義為執(zhí)行一個或多個操作的特定結(jié)構(gòu)。然而，可以認(rèn)識 至1J，定義為執(zhí)行特定功能的特定結(jié)構(gòu)的任何元件可以被表示為用于執(zhí)行指定功能的部件或 步驟，而不具有對支持其的結(jié)構(gòu)、材料或動作的詳述，以及這樣的部件或步驟意味著覆蓋在 詳細(xì)描述和其等同物所描述的相應(yīng)的結(jié)構(gòu)、材料或動作。實施例不受此上下文的限制。
[0105] -些實施例可使用表述"一個實施例"或"實施例"連同它們的派生詞進(jìn)行描述。這 些術(shù)語是指與該實施例有關(guān)描述的特定的特征、結(jié)構(gòu)或特性被包括在至少一個實施例中。 在說明書中各個地方出現(xiàn)的短語"在一個實施例中"不一定全部指同一實施例。另外，一些 實施例可以使用表述"耦合的"和"連接的"連同它們的派生詞的來描述。這些術(shù)語不一定旨 在作為彼此的同義詞。例如，一些實施例可以使用術(shù)語"連接的"和/或"耦合的"進(jìn)行描述， 以指示兩個或更多元件彼此直接物理或電接觸。然而術(shù)語"耦合的"也可以指兩個或多個元 件沒有彼此直接接觸，但仍協(xié)作或彼此交互。
[0106] 另外，在前述的詳細(xì)描述中，可以看出，各種特征在單個實施例中被分組在一起， 用于簡化本公開的目的。這種公開的方法不應(yīng)被解釋為反映了所要求保護(hù)的實施例需要比 每個權(quán)利要求中明確記載更多的特征的意圖。而是，如以下權(quán)利要求所反映的，發(fā)明主題在 于少于單個公開實施例的所有特征。因此，以下權(quán)利要求由此被結(jié)合到詳細(xì)說明中，其中每 個權(quán)利要求獨立地作為單獨實施例。在所附的權(quán)利要求書中，術(shù)語"包括"和"其中"分別用 作相應(yīng)術(shù)語"包括"和"其中"的普通英語等效。此外，術(shù)語"第一"、"第二"、"第三"，等等，被 只用作標(biāo)記，并不意圖對它們的對象強(qiáng)加數(shù)字要求。
[0107]以上已描述的包括所公開的體系結(jié)構(gòu)的例子。當(dāng)然，它不可能描述組件和/或方法 論的每個可想到的組合，但本領(lǐng)域的普通技術(shù)人員可認(rèn)識到，許多進(jìn)一步的組合和置換是 可能的。相應(yīng)地，該新穎體系結(jié)構(gòu)旨在涵蓋落入所附權(quán)利要求的精神和范圍內(nèi)的所有此類 更改、修改和變化。
【主權(quán)項】
1. 一種用于處理立體三維視頻的裝置，包括： 存儲器，用于存儲編碼的立體三維（S3D)視頻的源幀，所述源幀用于在參考設(shè)備上顯 示，并包括左幀、右?guī)蜕疃葞? 處理器，用于從所述深度幀檢索像素(x，y)，所述像素(x，y)包括參考設(shè)備深度(x，y); 以及， 設(shè)備知曉解碼器組件，用于基于所述參考設(shè)備深度(x，y)和呈現(xiàn)所述S3D視頻的目標(biāo)設(shè) 備的屏幕寬度為所述像素(x，y)計算目標(biāo)設(shè)備差異。2. 如權(quán)利要求1所述的裝置，所述設(shè)備知曉解碼器組件基于所述參考設(shè)備深度(x，y)， 確定在所述源幀中的所述左幀中的左像素和所述右?guī)械挠蚁袼氐南袼貙ξ恢谩?. 如權(quán)利要求2所述的裝置，所述設(shè)備知曉解碼器組件用于： 為所述像素(x，y)計算對應(yīng)的所述左幀的左像素位置(XL，n)和所述右?guī)挠蚁袼匚恢?(XR，yR)，其中a = xdd(x，y)，yL = y，以及其中XR = x+d(x，y)，以及yR = y， 其中d是要為所述參考設(shè)備顯示的對象的屏幕上的差異。4. 如權(quán)利要求3所述的裝置，所述設(shè)備知曉解碼器組件用于： 從所述深度幀中讀取所述參考設(shè)備深度(X，y); 根據(jù)感知深度h =參考設(shè)備深度(x，y)*C，其中C是常數(shù)，為所述像素(x，y)計算h;以及 對于正深度根據(jù)(1=((11-1'〇6)/11，或?qū)τ谪?fù)深度根據(jù)(1=(0-11)6)/11，來計算(1，其中1'1是 表示所述參考屏幕的預(yù)期觀看距離的常數(shù)，并且e是表示觀看者眼睛間隔的常數(shù)。5. 如權(quán)利要求1所述的裝置，所述設(shè)備知曉解碼器組件將所述目標(biāo)設(shè)備差異應(yīng)用到所 述像素(x，y)，以在相應(yīng)的偏移左幀和偏移右?guī)猩梢唤M目標(biāo)設(shè)備像素對位置。6. 如權(quán)利要求4所述的裝置，所述設(shè)備知曉解碼器組件用于： 分別確定所述目標(biāo)設(shè)備預(yù)期觀看距離N2，所述目標(biāo)和參考設(shè)備屏幕寬度W2和屏幕寬度 W1； 為所述像素 X，y確定所述目標(biāo)屏幕的感知深度h2，其中h2=hW2/Wl;以及 根據(jù)以下來計算目標(biāo)設(shè)備差異d2: 對于正深度d2=((h2-N2)e)/h或 對于負(fù)深度 d2=((N2-h2)e)/h2。7. 如權(quán)利要求6所述的裝置，目標(biāo)設(shè)備像素對位置的組包括由以下給出的左幀像素 XLT 和右?guī)袼?Xrt=: XLT=XIZId2(x，y)，Ylt = Y，和 XRT=X+d2(x，y)，以及Yrt = Y。8. 如權(quán)利要求1所述的裝置，所述設(shè)備知曉解碼器組件用于： 基于所述深度幀中的相應(yīng)的幀像素的多樣性，確定相應(yīng)的所述左幀中的左像素和所述 右?guī)械挠蚁袼氐南鄳?yīng)的像素對位置的多樣性； 為幀像素的所述相應(yīng)的多樣性計算目標(biāo)設(shè)備差異的相應(yīng)多樣性；以及 將目標(biāo)設(shè)備差異的所述相應(yīng)多樣性應(yīng)用到所述相應(yīng)的幀像素以在所述相應(yīng)的目標(biāo)左 幀和目標(biāo)右?guī)猩赡繕?biāo)設(shè)備像素對位置的組的相應(yīng)多樣性。9. 如權(quán)利要求1所述的裝置，所述設(shè)備知曉解碼器組件通過借助于從相應(yīng)的相鄰像素 添加像素內(nèi)容到混合像素來填充所述偏移左幀或右?guī)闹腥笔袼匾詧?zhí)行平滑過程。10. 如權(quán)利要求1所述的裝置，包括用于呈現(xiàn)所述S3D視頻的顯示器、網(wǎng)絡(luò)接口和無線電 裝置。11. 一種處理三維立體視頻幀的方法，包括： 接收被配置用于在參考設(shè)備上顯示的源幀，其包括左幀、右?guī)蜕疃葞? 從所述深度幀讀取像素(x，y)，以確定參考設(shè)備深度(x，y);以及 基于所述參考設(shè)備深度(x，y)和用于呈現(xiàn)所述S3D視頻的目標(biāo)設(shè)備的屏幕大小為像素 (x，y)計算目標(biāo)設(shè)備差異。12. 如權(quán)利要求11所述的方法，包括： 對所述像素(x，y)應(yīng)用所述目標(biāo)設(shè)備差異，以在相應(yīng)的目標(biāo)左幀和目標(biāo)右?guī)猩梢?組目標(biāo)設(shè)備像素對位置。13. 如權(quán)利要求11所述的方法，包括： 基于所述參考設(shè)備的深度(x，y)確定在所述源幀中的所述左幀中的左像素和所述右?guī)?中的右像素的像素對位置。14. 如權(quán)利要求13所述的方法，確定所述像素對位置包括： 為所述視頻幀的像素(x，y)計算對應(yīng)的所述左幀的左像素位置(a，yL)和所述右?guī)挠?像素位置(XR，yR)， 其中見=叉口(1(叉，7)，7[ = 7，以及 其中XR = x+d(x，y)，以及yR=y， 其中d是要為所述參考設(shè)備顯示的對象的屏幕上差異。15. 如權(quán)利要求14所述的方法，包括： 根據(jù)h = C depth(X，y)，其中C是常數(shù)，為參考屏幕計算對應(yīng)于深度(x，y)的感知深度h; 以及 對于正深度根據(jù)d = ((h-N) e)/h，或?qū)τ谪?fù)深度根據(jù)d = ((N-h)e)/h來計算d，其中N是 表示所述參考屏幕預(yù)期觀看距離的常數(shù)，以及e是表示觀看者眼睛間隔的常數(shù)。16. 如權(quán)利要求15所述的方法，包括： 確定所述目標(biāo)設(shè)備預(yù)期的觀看距離N2,所述目標(biāo)和參考設(shè)備的屏幕寬度W2和屏幕寬度 W1； 為所述像素 X，y確定所述目標(biāo)屏幕的感知深度h2，其中h2=hW2/Wl;以及 根據(jù)以下來計算目標(biāo)設(shè)備差異d2: 對于正深度d2=((h2-N2)e)/h，或 對于負(fù)深度 d2=((N2-h2)e)/h2。17. 如權(quán)利要求16所述的方法，目標(biāo)設(shè)備像素對位置的所述組包括由以下給出的左幀 像素 Xlt和右?guī)袼?Xrt: XLT=XIZId2(x，y)，Ylt = Y，以及 XRT=X+d2(x，y)，以及Yrt = Y。18. 如權(quán)利要求11所述的方法，包括： 基于所述深度幀中相應(yīng)的幀像素的多樣性，確定相應(yīng)的所述左幀中的左像素和所述右 幀中的右像素的相應(yīng)的像素對位置的多樣性； 為幀像素的所述相應(yīng)的多樣性計算目標(biāo)設(shè)備差異的相應(yīng)多樣性；以及 將目標(biāo)設(shè)備差異的所述相應(yīng)的多樣性應(yīng)用到所述相應(yīng)的幀的像素以在所述相應(yīng)的目 標(biāo)左幀和目標(biāo)右?guī)猩赡繕?biāo)設(shè)備像素對位置的組的相應(yīng)的多樣性。19. 至少一種計算機(jī)可讀存儲介質(zhì)，包括指令，當(dāng)所述指令被計算設(shè)備執(zhí)行時，使所述 計算設(shè)備執(zhí)行權(quán)利要求11-18中任意一項所述的方法。20. 用于處理立體三維視頻的用戶設(shè)備，其包括用于執(zhí)行權(quán)利要求11-18中任意一項所 述的方法的部件。
【文檔編號】H04N13/04GK105993171SQ201380081156
【公開日】2016年10月5日
【申請日】2013年12月24日
【發(fā)明人】C·黃, M·薩巴瓦爾
【申請人】英特爾公司