將三維圖形動(dòng)畫(huà)插入到三維立體內(nèi)容中的方法及設(shè)備的制作方法
【專利摘要】本發(fā)明涉及一種將3D圖形動(dòng)畫(huà)插入到3D圖像中的方法及設(shè)備，其中，在大小和深度上定義圖像動(dòng)畫(huà)的每個(gè)3D圖形元素以便插入到所述3D圖像的確定的插入?yún)^(qū)域中。該方法包含以下步驟：使用最大允許深度值為待插入的圖形元素確定深度范圍；當(dāng)圖形元素的深度值在范圍之外時(shí)，用最大允許深度值替換在范圍之外的深度值；以及，在與圖形元素的深度的減小成比例地在大小上減小圖形元素時(shí)，對(duì)圖形元素的深度值與最大允許深度值之間的深度差進(jìn)行補(bǔ)償。
【專利說(shuō)明】將三維圖形動(dòng)畫(huà)插入到三維立體內(nèi)容中的方法及設(shè)備

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種將3D圖形動(dòng)畫(huà)插入到3D立體內(nèi)容中的方法及設(shè)備。因?yàn)楸景l(fā)明 涉及圖形插入，所以主要適用于后期制作環(huán)境，而且還適用于包括STB、BD播放器、電視機(jī)、 智能電話、具有3D能力的平板電腦在內(nèi)的消費(fèi)者產(chǎn)品。每當(dāng)產(chǎn)生要在3D顯示器上顯示的 3D圖形內(nèi)容時(shí)，就可以使用本發(fā)明。

【背景技術(shù)】
[0002] 本發(fā)明針對(duì)解決在將動(dòng)畫(huà)圖形覆蓋在3D視頻層的上面時(shí)的深度感知沖突的問(wèn) 題。實(shí)際上，如果遮擋線索（occlusion clues)不匹配深度線索（depth cues),將引起視覺(jué) 不適，從而造成頭痛或惡心。當(dāng)3D圖形在深度方向上被制作成動(dòng)畫(huà)時(shí)，將更有可能出現(xiàn)沖 關(guān)。
[0003] 有大量的專利和論文描述了如何在混合兩個(gè)立體內(nèi)容時(shí)避免重疊：多數(shù)時(shí)候，一 個(gè)是視頻（真實(shí)圖像，主要的），另一個(gè)是圖形（虛擬圖像，次要的）。通常，提出對(duì)兩個(gè)內(nèi) 容之一進(jìn)行移位，使得不再有重疊。有時(shí)，因?yàn)椴⒎强偰軐蓚€(gè)傳入的內(nèi)容保持在舒適的范 圍內(nèi)（收斂/適應(yīng)問(wèn)題），所以建議壓縮深度范圍。W02008038205A2(飛利浦，Philips)以 及US20110199459NV描述了這種方法。
[0004] 本發(fā)明針對(duì)改善使圖形元素出現(xiàn)或消失的動(dòng)畫(huà)的使用情形。這在2D顯示的情況 下相當(dāng)簡(jiǎn)單，因?yàn)樵?D顯示中決不可能出現(xiàn)視覺(jué)感知沖突，2. ?動(dòng)畫(huà)（被制作成3D動(dòng)畫(huà)， 但是被投射到單一的2D窗口上）給出很好的效果：圖形由于在3D動(dòng)畫(huà)期間通向無(wú)窮遠(yuǎn)的 深度而消失。關(guān)于3D顯示，元素將有可能與真實(shí)場(chǎng)景中的其他對(duì)象沖突，至少與背景（可 能不在無(wú)窮遠(yuǎn)處）相沖突，而且有時(shí)可能與可能是在屏幕平面上或甚至脫離屏幕的實(shí)際場(chǎng) 景的其他對(duì)象相沖突。
[0005] 本發(fā)明的目的在于處理上述的圖形動(dòng)畫(huà)與3D場(chǎng)景的對(duì)象重疊的問(wèn)題。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明在于一種將圖形動(dòng)畫(huà)插入到3D圖像中的方法，其中，在大小和深度上定義 所述圖形動(dòng)畫(huà)的每個(gè)3D圖形元素以便插入到所述3D圖像的確定的插入?yún)^(qū)域中。該方法包 含以下步驟：為待插入的圖形元素確定與所述確定的插入?yún)^(qū)域中的圖像的最小深度值相對(duì) 應(yīng)的最大允許深度值，使得所述圖形元素與預(yù)先確定的插入?yún)^(qū)域中的3D圖像的對(duì)應(yīng)部分 不重疊。另外，該方法包含以下步驟：當(dāng)所述待插入的圖形元素的深度值高于所述最大允許 深度值時(shí)，用所述最大允許深度值保持所述圖形元素的深度值；以及，在與所述圖形元素的 深度的減小成比例地在大小上減小所述圖形元素時(shí)，對(duì)高于所述最大允許深度值的所述待 插入的圖形元素的深度值與所述最大允許深度值之間的深度差進(jìn)行補(bǔ)償。
[0007] 使用本發(fā)明將在保持視差不變的同時(shí)顯示2D空間中的圖形大小的變化。
[0008] 在優(yōu)選的實(shí)施例中，該方法還包含以下步驟：確定環(huán)繞所述圖形元素的包圍盒，使 得所述包圍盒的大小和深度值替換所述圖形元素的大小和深度值。
[0009] 在優(yōu)選的實(shí)施例中，定義環(huán)繞移動(dòng)到一起的不同的圖形元素的包圍盒。
[0010] 在優(yōu)選的實(shí)施例中，確定所述最大允許深度值，使得避免所述圖形元素與所述3D 圖像的對(duì)象的重疊。
[0011] 在優(yōu)選的實(shí)施例中，由觀眾選擇所述最大允許深度值。
[0012] 在優(yōu)選的實(shí)施例中，將圖形動(dòng)畫(huà)插入到3D圖像中的方法應(yīng)用于后期制作環(huán)境。
[0013] 在優(yōu)選的實(shí)施例中，將圖形動(dòng)畫(huà)插入到3D圖像中的方法應(yīng)用于消費(fèi)者產(chǎn)品。
[0014] 在優(yōu)選的實(shí)施例中，確定至少待插入的圖形元素的最大允許深度，使得避免所述 3D圖像的重疊。
[0015] 本發(fā)明還涉及一種用于將圖形動(dòng)畫(huà)插入到3D圖像中的設(shè)備，其中，在大小和深度 上定義所述圖形動(dòng)畫(huà)的每個(gè)圖形元素以便插入到所述3D圖像的確定的插入?yún)^(qū)域中。該設(shè) 備包含：用于為待插入的圖形元素確定與所述確定的插入?yún)^(qū)域中的圖像的最小深度值相對(duì) 應(yīng)的最大允許深度值，使得所述圖形元素與預(yù)先確定的插入?yún)^(qū)域中的3D圖像的對(duì)應(yīng)部分 不重疊的部件；用于當(dāng)所述待插入的圖形元素的深度值高于所述最大允許深度值時(shí)，用所 述最大允許深度值保持所述圖形元素的深度值的部件；以及，用于在與所述圖形元素的深 度的減小成比例地在大小上減小所述圖形元素時(shí)，對(duì)高于所述最大允許深度值的所述待插 入的圖形元素的深度值與所述最大允許深度值之間的深度差進(jìn)行補(bǔ)償?shù)牟考?br> [0016] 本發(fā)明具有以下優(yōu)點(diǎn)：在圖形出現(xiàn)或消失時(shí)不再有視覺(jué)感知沖突。附帶地，因?yàn)椴?通過(guò)進(jìn)行移位來(lái)防止視頻內(nèi)容的重疊，本發(fā)明保留了原始的立體視頻內(nèi)容。

【專利附圖】

【附圖說(shuō)明】
[0017] 將參考附圖對(duì)本發(fā)明的特征及優(yōu)點(diǎn)做出進(jìn)一步的解釋，附圖中：
[0018] 圖1例示了本發(fā)明的實(shí)現(xiàn)；并且
[0019] 圖2例示了平面和相關(guān)聯(lián)的深度以解釋本發(fā)明。

【具體實(shí)施方式】
[0020] 本發(fā)明提了一種方法，該方法將出自初始動(dòng)畫(huà)場(chǎng)景的幾何變換變成將圖形元素保 持在確保與真實(shí)場(chǎng)景深度預(yù)算不重疊同時(shí)給出圖形元素通自/向無(wú)窮遠(yuǎn)（大小=0)的印 象的安全的深度范圍內(nèi)的不同的幾何變換。這通過(guò)將縮放參數(shù)與平移參數(shù)一起更新來(lái)達(dá) 成?？s放參數(shù)被定義為圖形元素的最大長(zhǎng)度和最大寬度。平移參數(shù)是深度值。由此，在大 小上通過(guò)縮放參數(shù)來(lái)定義圖形元素。
[0021] 通常使用3D建模工具對(duì)3D圖形進(jìn)行建模。眾所周知，有不同的建模工具，諸如 Blender、Cinema4D、Maya 以及 AutoDesk。
[0022] 這些創(chuàng)作工具能夠以例如xml、x3d、vrml、dae、dxf、fbx或者obj等格式導(dǎo)出虛擬 場(chǎng)景的模型。
[0023] 基本上，模型被描述為包含多個(gè)元素的樹(shù)，其中每個(gè)元素都被定義為與色彩或紋 理以及諸如平移、旋轉(zhuǎn)或縮放這樣的變換函數(shù)相關(guān)聯(lián)的基本形狀。
[0024] 如圖1所示，本發(fā)明的實(shí)現(xiàn)方式接受以下內(nèi)容作為輸入：
[0025] ?包含3D圖形說(shuō)明書(shū)的模型文件；
[0026] ?動(dòng)畫(huà)文件：包含動(dòng)畫(huà)說(shuō)明書(shū)，基本上包含諸如平移、旋轉(zhuǎn)或縮放這樣的入口點(diǎn)與 終點(diǎn)之間的變換、幀的數(shù)量以及動(dòng)畫(huà)的速度；
[0027] ?傳入的立體視頻。
[0028] 它輸出由3D圖形和傳入的立體視頻結(jié)合而成的合成視頻。它包含以下模塊：
[0029] · x3d文件解析模塊：該模塊讀取文件并使用OpenGL函數(shù)（頂點(diǎn)創(chuàng)建和變換操 作）逐個(gè)元素地創(chuàng)建圖形對(duì)象；
[0030] ?視差估計(jì)器模塊：該模塊計(jì)算稀疏視差圖并給出在可編程的區(qū)域上的最小值。 該區(qū)域可以是整個(gè)屏幕，但更有可能是期望插入圖形的屏幕的一部分；
[0031] ?動(dòng)畫(huà)創(chuàng)建器模塊：該模塊檢查是否動(dòng)畫(huà)圖形深度將與實(shí)際視頻重疊。如果否，則 不予改變地使用包含在動(dòng)畫(huà)文件中的參數(shù)；否則，改變參數(shù)；
[0032] ?圖形呈現(xiàn)器模塊：這是負(fù)責(zé)進(jìn)行呈現(xiàn)的模塊。該模塊從動(dòng)畫(huà)創(chuàng)建器得到動(dòng)畫(huà)腳 本并相應(yīng)地執(zhí)行OpenGL操作；
[0033] ?合成模塊使得能夠?qū)⑿Ｕ蟮膱D形元素結(jié)合到3D立體視頻圖像。
[0034] 因?yàn)楣烙?jì)器涉及傳入的左、右2D圖像，所以不直接提供深度值，而是提供左、右畫(huà) 面之間的視差的值。對(duì)于本領(lǐng)域的技術(shù)人員，將視差值鏈接到深度值的關(guān)系是眾所周知的。
[0035] 如果我們知道用焦距、基線和收斂平面的深度表示的虛擬圖形的設(shè)置，則我們可 以得到每個(gè)圖形元素的結(jié)果視差。如果我們知道更遠(yuǎn)的深度z (在頂點(diǎn)創(chuàng)建和變換之后得 到），則我們可以得到等價(jià)視差，并且可以與由視差估計(jì)器提供的視差進(jìn)行比較。
[0036] 校正方法是動(dòng)畫(huà)創(chuàng)建器用于改變初始動(dòng)畫(huà)腳本以便防止視覺(jué)感知沖突的方法。對(duì) 于每個(gè)幀，動(dòng)畫(huà)創(chuàng)建器將檢查圖形的結(jié)果視差。
[0037] 如果深度（視差）大于來(lái)自深度（視差）估計(jì)器的深度，則需要進(jìn)行校正。
[0038] 如圖2所示，在根據(jù)圖形元素的長(zhǎng)度和寬度確定的大小上減小圖形元素并將其保 持在與圖上的zmax(z = 4)相對(duì)應(yīng)的最大允許深度處，而不是將圖像元素向后推。由此，通 過(guò)最大深度值z(mì)max來(lái)限制深度范圍。
[0039] 下面的圖表示出了如何通過(guò)減小對(duì)象的大小來(lái)得到對(duì)象正通向遠(yuǎn)處的假象 (illusion)。在屏幕zconv(z = 3)上的大小、實(shí)際大小與深度z (z = 7)之間的關(guān)系如下：
[0040] 1/L = Zmax/Z
[0041] 其中：
[0042] 籲L :初始的對(duì)象長(zhǎng)度大小
[0043] · 1 :校正后的長(zhǎng)度大小
[0044] · Zmax :最大允許深度
[0045] 將以相同的方式調(diào)整得到適應(yīng)的對(duì)象的寬度。
[0046] 在zmax (z = 4)處的兩個(gè)矩形表示將與位于深度z (z = 7)處的原始對(duì)象相比較 小的對(duì)象，該對(duì)象本來(lái)在2D屏幕上分別從左眼（在z = 0處的圓圈）和右眼（在z = 0處 的圓圈）被感知具有相同的大小。顯然，應(yīng)當(dāng)僅呈現(xiàn)一個(gè)對(duì)象，并且其相對(duì)于位于zmax處 的對(duì)象但使用縮放因子zmax/z居中。
[0047] 在本發(fā)明的實(shí)施例中，例如，在后期制作級(jí)別，圖形插入可以是在體育的情況下添 加徽標(biāo)或指出得分/運(yùn)動(dòng)員名字，或者對(duì)歌手添加名字/標(biāo)題。在消費(fèi)者設(shè)備級(jí)別，這可以 是要求圖形插入以瀏覽菜單或者取得鏈接到內(nèi)容（EPG)或用戶偏好的額外數(shù)據(jù)（例如：用 于社交網(wǎng)絡(luò)、天氣預(yù)報(bào)、股票市場(chǎng)的窗口小工具）的用戶界面。
[0048] 在本發(fā)明的實(shí)施例中，與圖形插入及其自身的深度相關(guān)的腳本可以根據(jù)各種函數(shù) 或各種場(chǎng)景來(lái)確定該插入的深度。在本發(fā)明的實(shí)施例中，圖形應(yīng)當(dāng)消失在地平線上。
[0049] 在另一個(gè)實(shí)施例中，圖形的深度可以根據(jù)時(shí)間的變化而發(fā)展。這意味著深度是線 性（或非線性），并且是時(shí)間的函數(shù)。
[0050] 該方法在于：如果深度值在最大允許值以上，則通過(guò)改變?cè)卮笮《皇巧疃戎?來(lái)呈現(xiàn)動(dòng)畫(huà)3D圖形元素。因此，在與圖形元素的深度的減小成比例地在大小上減小圖形元 素時(shí)，對(duì)圖形元素的深度與最大允許深度值之間的深度差進(jìn)行補(bǔ)償。
[0051] 確定環(huán)繞圖形元素的包含盒將使得能夠考慮包圍盒而不是圖形元素的深度值、長(zhǎng) 度值和寬度值。能夠定義包圍盒以便不同的圖形元素一起移動(dòng)到該包圍盒的內(nèi)部，并且考 慮插入該包圍盒而不是不同的圖形元素。
[0052] 深度、長(zhǎng)度和寬度值分別是圖形元素或者包圍不同圖形元素的體積或者包圍圖形 元素的一部分的體積的深度、長(zhǎng)度和寬度值的最大值。
[0053] 圖形元素或包圍盒的深度、長(zhǎng)度和寬度值是與對(duì)應(yīng)于圖形元素的數(shù)據(jù)一起導(dǎo)入的 確定數(shù)據(jù)。
[0054] 3D元素的最大深度值對(duì)應(yīng)于表示元素的最遠(yuǎn)的點(diǎn)的像素的深度值。作為通過(guò)其長(zhǎng) 度、寬度和深度值在大小上定義的元素，計(jì)算最大深度值的變更，使得遵守圖形元素的在大 小上的比例。
[0055] 因此，如果場(chǎng)景指示圖形元素正在3D圖像中移動(dòng)，則一旦最大深度值達(dá)到指定界 限，就將與由該場(chǎng)景指示的圖形元素的深度值成比例地變更該元素的大小。
[0056] 深度值相對(duì)于將3D圖形顯示給觀眾的屏幕的3D深度是固定的。
【權(quán)利要求】
1. 一種將圖形動(dòng)畫(huà)插入到3D圖像中的方法，其中，在大小和深度上定義所述圖形動(dòng)畫(huà) 的每個(gè)3D圖形元素以便插入到所述3D圖像的確定的插入?yún)^(qū)域中， 其特征在于，所述方法包含以下步驟： 為待插入的圖形元素確定與所述確定的插入?yún)^(qū)域中的圖像的最小深度值相對(duì)應(yīng)的最 大允許深度值，使得所述圖形元素與預(yù)先確定的插入?yún)^(qū)域中的3D圖像的對(duì)應(yīng)部分不重疊； 當(dāng)所述待插入的圖形元素的深度值高于所述最大允許深度值時(shí)，用所述最大允許深度 值保持所述圖形元素的深度值；以及 在與所述圖形元素的深度的減小成比例地在大小上減小所述圖形元素時(shí)，對(duì)高于所述 最大允許深度值的所述待插入的圖形元素的深度值與所述最大允許深度值之間的深度差 進(jìn)行補(bǔ)償。
2. 如權(quán)利要求1所述的方法，其特征在于，其還包含以下步驟：確定環(huán)繞所述圖形元素 的包圍盒，使得所述包圍盒的大小和深度值替換所述圖形元素的大小和深度值。
3. 如權(quán)利要求2所述的方法，其特征在于，根據(jù)所述圖形元素的最大長(zhǎng)度和寬度值來(lái) 確定所述圖形元素的大小。
4. 如權(quán)利要求1至3所述的方法，其特征在于，所述插入應(yīng)用于后期制作環(huán)境。
5. 如權(quán)利要求1至5所述的方法，其特征在于，所述插入應(yīng)用于消費(fèi)者產(chǎn)品。
6. -種用于將圖形動(dòng)畫(huà)插入到3D圖像中的設(shè)備，其中，在大小和深度上定義所述圖形 動(dòng)畫(huà)的每個(gè)3D圖形元素以便插入到所述3D圖像的確定的插入?yún)^(qū)域中； 其特征在于，所述方法包含： 用于為待插入的圖形元素確定與所述確定的插入?yún)^(qū)域中的圖像的最小深度值相對(duì)應(yīng) 的最大允許深度值，使得所述圖形元素與預(yù)先確定的插入?yún)^(qū)域中的3D圖像的對(duì)應(yīng)部分不 重疊的部件； 用于當(dāng)所述待插入的圖形元素的深度值高于所述最大允許深度值時(shí)，用所述最大允許 深度值保持所述圖形元素的深度值的部件；以及 用于在與所述圖形元素的深度的減小成比例地在大小上減小所述圖形元素時(shí)，對(duì)高于 所述最大允許深度值的所述待插入的圖形元素的深度值與所述最大允許深度值之間的深 度差進(jìn)行補(bǔ)償?shù)牟考?br> 【文檔編號(hào)】H04N13/00GK104106263SQ201380009050
【公開(kāi)日】2014年10月15日 申請(qǐng)日期:2013年2月6日 優(yōu)先權(quán)日:2012年2月13日
【發(fā)明者】A.維迪爾, A.奧漢德, V.德拉齊克 申請(qǐng)人:湯姆遜許可公司