在具備立體功能的顯示器上呈現(xiàn)三維視頻圖像的制作方法
【專利說明】
[0001 ] 分案申請(qǐng)的相關(guān)信息
[0002] 本申請(qǐng)是國(guó)際申請(qǐng)?zhí)枮镻CT/US2008/050025，申請(qǐng)日為2008年1月2日，發(fā)明名稱為 "在具備立體功能的顯示器上呈現(xiàn)三維視頻圖像"的PCT申請(qǐng)進(jìn)入中國(guó)國(guó)家階段后申請(qǐng)?zhí)枮?200880001656.8的中國(guó)發(fā)明專利申請(qǐng)的分案申請(qǐng)。
技術(shù)領(lǐng)域
[0003] 本發(fā)明大體上涉及計(jì)算機(jī)圖形領(lǐng)域，且更具體來說，涉及用于在具備立體功能的 顯示器上有效地呈現(xiàn)3D圖像的技術(shù)。
【背景技術(shù)】
[0004] 立體視頻處理的計(jì)算復(fù)雜性是呈現(xiàn)3D圖形且具體來說在低功率（即，電池供電）裝 置(例如，移動(dòng)電話、個(gè)人數(shù)字助理(PDA)裝置等）中視覺化3D場(chǎng)景和視頻游戲的主要因素。
[0005] -般來說，在具備立體功能的顯示器(例如，自由立體顯示器或立體顯示器)上呈 現(xiàn)3D圖形的困難來自立體視頻處理的效率和真實(shí)性方面。低功率裝置的有限計(jì)算資源可使 3D圖形的呈現(xiàn)為過度耗時(shí)的例程。盡管相當(dāng)可觀的努力致力于增加立體視頻處理的性能， 但將需要進(jìn)一步改進(jìn)。
[0006] 因此，在此項(xiàng)技術(shù)中需要用以在具備立體功能的顯示器上有效地實(shí)施真實(shí)性增強(qiáng) 的3D視頻圖像的呈現(xiàn)的技術(shù)。

【發(fā)明內(nèi)容】

[0007] 本文中描述在具備立體功能的顯示器上有效呈現(xiàn)3D視頻圖像的技術(shù)。在一實(shí)施例 中，在視頻數(shù)據(jù)的3D模型視圖變換期間，剔除背對(duì)觀察者的面。對(duì)于第一視圖（例如，左視 圖）來說，選擇性地界定對(duì)應(yīng)于比預(yù)定深度閾值近地安置的場(chǎng)景元素的第一前景面和對(duì)應(yīng) 于超出預(yù)定深度閾值而安置的這些元素的第一背景面。對(duì)于第二視圖來說，界定對(duì)應(yīng)于比 預(yù)定深度閾值近地安置的場(chǎng)景元素的第二前景面，而采用第一背景面作為第二背景面。針 對(duì)第一前景面、第一背景面和第二前景面確定照明。分別基于第一前景面和第一背景面而 針對(duì)第一視圖執(zhí)行屏幕映射和場(chǎng)景呈現(xiàn)計(jì)算，且基于第二前景面和第一背景面而針對(duì)第二 視圖執(zhí)行屏幕映射和場(chǎng)景呈現(xiàn)計(jì)算。
[0008] 在一種設(shè)計(jì)中，所述方法用于在電池供電型裝置(例如，移動(dòng)電話、移動(dòng)計(jì)算機(jī)、視 頻游戲平臺(tái)或PDA裝置)的立體顯示器或自由立體顯示器上視覺化視頻圖像。
[0009] 以下進(jìn)一步詳細(xì)描述本發(fā)明的各種方面和實(shí)施例。
【附圖說明】
[0010]圖1展示說明用于在具備立體功能的顯示器上呈現(xiàn)3D視頻圖像的方法的流程圖。
[0011]圖2展示說明用于在圖1的方法中使用的面分類程序期間確定深度閾值的方法的 示意圖。
[0012] 圖3展示適于使用圖1的方法的示范性裝置的框圖。
[0013] 為了促進(jìn)理解，除了可能添加后綴(在適當(dāng)時(shí)）以區(qū)分相同元件外，在任何可能處 已使用相同參考數(shù)字表示對(duì)于各圖為共同的這些元件。出于說明性目的，簡(jiǎn)化圖式中的圖 像且并未按比例描繪圖像。預(yù)期在無另外敘述的情況下，一個(gè)實(shí)施例的特征或步驟可被有 利地并入到其它實(shí)施例中。
【具體實(shí)施方式】
[0014] 參看各圖，圖1描繪說明根據(jù)本發(fā)明的一個(gè)實(shí)施例用于在具備立體功能的顯示器 上呈現(xiàn)3D視頻圖像的方法100的流程圖。在示范性應(yīng)用中，方法100用以減小在電池供電（例 如，低功率)裝置上顯示立體圖形的功率消耗和計(jì)算復(fù)雜性且改進(jìn)性能，且具體來說改進(jìn)經(jīng) 視覺化圖像的深度感和真實(shí)感。電池供電型裝置可包括(但非限制)移動(dòng)電話、移動(dòng)計(jì)算機(jī)、 視頻游戲平臺(tái)或PDA裝置。
[0015] 方法100通過從不同角度和觀察點(diǎn)視覺化場(chǎng)景而產(chǎn)生左眼和右眼的單獨(dú)視圖（即， 左視圖和右視圖），其中通過再現(xiàn)由觀察者的眼睛之間的眼距引起的雙眼視差而增強(qiáng)深度 感。視圖經(jīng)選擇性地導(dǎo)向觀察者的左眼和右眼，且從觀察者的觀點(diǎn)，左視圖與右視圖之間的 差異增加深度感和真實(shí)感。
[0016] 對(duì)應(yīng)于呈現(xiàn)左視圖和右視圖的方法步驟的序列分別表示為103和105。下文中，后 綴"A"和"B"用以在對(duì)用于呈現(xiàn)左視圖和右視圖的經(jīng)輸入視頻數(shù)據(jù)執(zhí)行的處理之間進(jìn)行區(qū) 分。說明性地，后綴"A"識(shí)別經(jīng)執(zhí)行以用于呈現(xiàn)左視圖的方法步驟。
[0017] 在各種實(shí)施例中，方法100的方法步驟以所描繪的次序執(zhí)行或這些步驟中的至少 兩者或其若干部分可同時(shí)、并行或以不同次序執(zhí)行。舉例來說，步驟140A和140B或步驟160A 和170B可同時(shí)或并行執(zhí)行，且可在步驟150A之前執(zhí)行步驟152A。所屬領(lǐng)域的技術(shù)人員將容 易了解，執(zhí)行以下論述的其它方法步驟、處理或例程中的至少一部分的次序也可加以修改。
[0018] 在步驟110A處，針對(duì)左視圖執(zhí)行經(jīng)輸入視頻數(shù)據(jù)的3D模型視圖變換。在3D模型視 圖變換例程期間，觀察者面向3D世界坐標(biāo)系統(tǒng)的z維度而位于中心處，且場(chǎng)景中的幾何物件 被映射到左視圖面(即，三角形面）中。
[0019] 在步驟120A處，為了節(jié)省計(jì)算資源且因而增加視頻處理的效率，將背對(duì)觀察者的 面(即，觀察者不可見的面)從待用于呈現(xiàn)左視圖的面的數(shù)據(jù)庫(kù)剔除或移除。
[0020] 在步驟130A處，將剩余左視圖面（即，對(duì)應(yīng)于場(chǎng)景的幾何物件的觀察者的左眼可見 的元素的面)分類為兩種類別。第一類別包括對(duì)應(yīng)于比預(yù)定深度閾值Zo近地安置的場(chǎng)景元 素的左視圖前景面(展示于圖2中）。相應(yīng)地，第二類別包括對(duì)應(yīng)于超出預(yù)定深度閾值而安置 的場(chǎng)景元素的左視圖背景面。
[0021] 面的分類基于以下觀察:場(chǎng)景中的幾何物件之間的視差（如在左視圖和右視圖中 的圖像點(diǎn)之間以像素為單位所測(cè)量的）隨著從觀察者到物件的距離增加而減小且最終在這 些物件距離觀察者足夠遠(yuǎn)而安置時(shí)變?yōu)榱恪?br>[0022] 可將深度閾值Zo界定為距觀察者的最大距離，當(dāng)通過觀察者的眼睛中的任一者觀 察時(shí)，超出所述深度閾值Zo的任何物件對(duì)應(yīng)于相同像素（以下參看圖2詳細(xì)論述）。相應(yīng)地， 如以下參看步驟170A和170B所論述，可僅針對(duì)一個(gè)視圖（本文中為左視圖）執(zhí)行對(duì)超出深度 閾值Zo而安置的物件的遮影(shading)。
[0023] 在步驟140A處，執(zhí)行照明處理以確定左視圖前景面和左視圖背景面的顏色屬性。 [0024] 在步驟150A處，執(zhí)行3D到2D透視變換以將左視圖前景面投影于2D圖像平面上。 [0025]在步驟152A處，針對(duì)左視圖背景面執(zhí)行3D到2D透視變換。
[0026]在步驟160A處，在2D圖像平面中，針對(duì)左視圖執(zhí)行屏幕映射處理。屏幕映射處理縮 放左視圖前景面和左視圖背景面以適配于顯示器的可見屏幕的大小，因此移除在屏幕外的 幾何物件或其部分。在步驟160A期間，將對(duì)應(yīng)于左視圖背景面的屏幕映射的數(shù)據(jù)的至少一 部分選擇性地保存于相應(yīng)存儲(chǔ)器媒體(例如，隨機(jī)存取存儲(chǔ)器(RAM))中以將來用于計(jì)算右 視圖，如以下參看步驟160B所論述。
[0027] 在步驟170A處，針對(duì)左視圖執(zhí)行屏幕呈現(xiàn)處理。屏幕呈現(xiàn)處理包括以下計(jì)算例程 中的至少一部分：（i)確定呈現(xiàn)左視圖前景面和背景面的觀察者可見部分的像素的亮度值 的遮影例程；（ii)確定并移除左視圖前景面和背景面的觀察者不可見部分的隱藏表面移除 (Hidden Surface Removal ;HSR)例程；（iii)將可見左視圖前景面和背景面轉(zhuǎn)化為左視圖 物件面的紋理映射例程；以及(iv)選擇性地組合左視圖物件面的像素以界定像素屬性的混 合(blending)例程。
[0028]在步驟170A期間，將對(duì)應(yīng)于左視圖背景面的屏幕呈現(xiàn)的數(shù)據(jù)的至少一部分選擇性 地保存于存儲(chǔ)器媒體中以將來用于計(jì)算右視圖，如以下參看步驟170B所論述。
[0029]在步驟110B處，針對(duì)右視圖執(zhí)行經(jīng)輸入視頻數(shù)據(jù)的3D模型視圖變換。使用步驟 120A和130A的計(jì)算結(jié)果（以鏈接121A展示），在變換例程期間，三角形面的頂點(diǎn)以一方式進(jìn) 行過濾，所述方式限制條件為僅產(chǎn)生幾何物件的觀察者的右眼可見的元素的右視圖前景 面。共同地，這些右視圖面對(duì)應(yīng)于比預(yù)定深度閾值Z〇近地安置的場(chǎng)