專利名稱：用于編輯立體圖像的程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及到對(duì)包括來自n個(gè)部分圖像i的圖像數(shù)據(jù)的立體圖像或者對(duì)按照時(shí)間 順序排列的這種圖像序列進(jìn)行編輯，其中n > 1并且i = l，. . . ，n，其中通過根據(jù)執(zhí)行順序 并且根據(jù)可變編輯參數(shù)在各個(gè)單獨(dú)的編輯模塊內(nèi)編輯所述圖像數(shù)據(jù)，對(duì)圖像的編輯(整體 上或部分地)順序地和/或并行地被實(shí)施，其中每個(gè)編輯模塊實(shí)施一個(gè)或幾個(gè)編輯步驟并 且被分配給一個(gè)節(jié)點(diǎn)；而且所述編輯順序由與節(jié)點(diǎn)的可選鏈接來確定，其中每個(gè)節(jié)點(diǎn)根據(jù) 所述編輯順序與節(jié)點(diǎn)鏈接并且能夠交換數(shù)據(jù)。本發(fā)明涉及到對(duì)三維圖像進(jìn)行高效的圖像編 輯的問題，其中與二維圖像的情況相比，必須編輯數(shù)據(jù)量更大的三維圖像。
背景技術(shù)：
在當(dāng)前現(xiàn)有技術(shù)已經(jīng)公知數(shù)種可以借助于計(jì)算機(jī)對(duì)圖像或視頻之類的圖像序列 進(jìn)行編輯的方法，其中總是表明編輯狀態(tài)。對(duì)于最簡單的圖像編輯方法，用戶必須選擇 他想要把哪個(gè)過濾器或編輯模塊應(yīng)用于圖像。例如有漫射屏模塊、銳化模塊(sharpness module)以及顏色校正模塊，這里只舉出幾個(gè)。在選擇過濾器時(shí)，該過濾器將分別被用于所 有圖像數(shù)據(jù)或者用于可自由限定的段中的圖像數(shù)據(jù)。所得到的圖像將被計(jì)算及被顯示。對(duì) 于所得到的圖像將重新計(jì)算所有圖像數(shù)據(jù)。 在當(dāng)今的圖像編輯方法中，各種各樣的編輯模塊可以被加入到編輯順序或批處理 中，并且這樣的執(zhí)行順序隨后將被顯示為優(yōu)選的圖形。在這種情況下，用戶自己可以選擇編 輯模塊并且類似于樹結(jié)構(gòu)來組裝編輯模塊。所述各編輯模塊于是對(duì)應(yīng)于各節(jié)點(diǎn)；所述各編 輯模塊或節(jié)點(diǎn)于是可以彼此鏈接，從而例如使得來自幾個(gè)在前編輯模塊的數(shù)據(jù)流向后繼編 輯模塊。例如，當(dāng)要把來自兩個(gè)不同圖像的數(shù)據(jù)組合成完整圖像時(shí)就是這種情況。在這種 情況下，還有可能自己設(shè)計(jì)編輯模塊并且將其作為所謂的插件并合到所述程序和執(zhí)行順序 中。如果有兩個(gè)鏈接的編輯模塊，則首先在執(zhí)行順序中的在前編輯模塊實(shí)施必要的編輯步 驟；隨后把至少部分地由該編輯模塊修改的全部圖像數(shù)據(jù)傳送到所述執(zhí)行順序中的在前編 輯模塊，隨后也在該處編輯所述全部圖像數(shù)據(jù)。 在對(duì)圖像序列的編輯中(例如在視頻編輯程序中)也建立了類似的圖像編輯方 法。各個(gè)單獨(dú)的圖像序列被稱作流，正如兩個(gè)圖像可以被疊加成一個(gè)圖像那樣，當(dāng)例如要給 一個(gè)圖像序列加字幕時(shí)，同樣可以把幾個(gè)流組合成一個(gè)流。在這種情況下，每個(gè)流可以獨(dú)立 于其它流被編輯。在這種情況下也可以應(yīng)用上面提到的過濾功能。 一旦完成了對(duì)這種序列 或序列組合的編輯，就將在屏幕上示出結(jié)果。即使在編輯過程中，也可能分開指示各個(gè)單獨(dú) 的步驟或各個(gè)單獨(dú)的圖像序列。 在這個(gè)處理中，如果編輯參數(shù)有任何改變(比如添加了濾色器或漫射屏)，則重新
計(jì)算所有圖像數(shù)據(jù)，并且分別根據(jù)所述樹結(jié)構(gòu)或執(zhí)行順序，從其中發(fā)生參數(shù)改變的模塊開
始或者從可全局調(diào)節(jié)的參數(shù)的開頭開始向下傳送所有圖像數(shù)據(jù)，并且根據(jù)分級(jí)結(jié)構(gòu)向下傳
送所有圖像數(shù)據(jù)。所有圖像數(shù)據(jù)都將被重新計(jì)算并且根據(jù)分級(jí)結(jié)構(gòu)被向下傳送。 在US 6，768，490中描述了允許圖形表面的用戶來編輯視頻序列的這些方法。根
3據(jù)分級(jí)樹結(jié)構(gòu)中的執(zhí)行順序圖形地編譯各編輯模塊。所述樹結(jié)構(gòu)包括在其上組合例如各種各樣的流或軌道(track)的節(jié)點(diǎn)，其它節(jié)點(diǎn)則構(gòu)成編輯模塊。所述節(jié)點(diǎn)通過所述樹結(jié)構(gòu)相連。
例如在WO 99/52276中描述了使用類似方法的裝置。在此，也對(duì)幾個(gè)數(shù)據(jù)流進(jìn)行編輯和組合，其中可以通過同時(shí)編輯幾個(gè)數(shù)據(jù)流來加速所述編輯。這樣就應(yīng)當(dāng)可以使得實(shí)時(shí)編輯成為可能，也就是說可以即時(shí)在屏幕上示出結(jié)果，并且通過同時(shí)拍攝可以把所獲得的結(jié)果無延遲地顯示在屏幕上。 在這兩種方法中以及在先前描述的處理中，所有計(jì)算都是在處理器主板上實(shí)施的。雖然所描述的方法對(duì)于二維圖像內(nèi)容而言足夠了，但是在將這些方法應(yīng)用于三維內(nèi)容時(shí)會(huì)很快達(dá)到極限，這是因?yàn)閷⒁庉嫷臄?shù)據(jù)量大許多倍。雖然在原理上取自對(duì)象的不同視角的兩個(gè)視圖就足以產(chǎn)生能夠傳達(dá)立體感的立體圖像或立體圖像序列，但是可能會(huì)大大約束觀看者在屏幕前的移動(dòng)性；通常，從不同的視角取得幾個(gè)視圖或者追溯地產(chǎn)生幾個(gè)視圖。通常使用8個(gè)視圖。根據(jù)公知的現(xiàn)有技術(shù)方法，不可能實(shí)時(shí)顯示3D視頻編輯，也就是說在實(shí)施了一個(gè)工作步驟之后，總是有一定的間隔，直到結(jié)果可以在屏幕上被示出為止。主要的問題在于應(yīng)對(duì)高數(shù)據(jù)量。 在US2003/0156822中嘗試了減小數(shù)據(jù)量。該文獻(xiàn)描述了一種編輯分別包括幾個(gè)軌道或流的圖像序列的方法。如果在編輯過程中刪除了一段這樣的軌道，則在硬盤或存儲(chǔ)介質(zhì)上將不會(huì)有任何實(shí)際的數(shù)據(jù)刪除，而是放置指向所述軌道內(nèi)的相應(yīng)位置的某些標(biāo)記(所謂的指針)。 所述軌道本身將不會(huì)受到干擾，這簡化了數(shù)據(jù)管理并且節(jié)省了編輯時(shí)間。在US2003/0156822A1中編輯的圖像序列涉及到所謂的多視圖流、即具有共同時(shí)間軸的圖像序列。但是，內(nèi)容可以是不同的。例如可以涉及到在演出期間拍攝的電視圖像，其中兩個(gè)是從不同的視角拍攝主持人，而第三個(gè)攝影機(jī)可以拍攝觀眾。 在使用這種多視圖流的情況下，有可能開發(fā)所述流來使得每個(gè)流都示出相同的場景，但是從略微不同的視角來示出。隨后可以對(duì)各種各樣的視圖的數(shù)據(jù)流進(jìn)行處理和編輯并且在適當(dāng)?shù)钠聊簧蠈⑵涫緸榱Ⅲw圖像。在W02006/049382中描述的方法之一中，對(duì)所有視圖的數(shù)據(jù)流進(jìn)行編輯。在初始的校正消除了噪聲之后，確定攝影機(jī)參數(shù)并且計(jì)算場景的模型。這種方法提供關(guān)于放置單獨(dú)對(duì)象的(從攝影機(jī)位置來看的)深度的信息。根據(jù)該信息，在另外的編輯步驟之后可以產(chǎn)生可立體呈現(xiàn)的圖像。然而由于需要編輯的數(shù)據(jù)量很大，在圖像序列上的傳送非常麻煩，并且由于必須實(shí)施許多計(jì)算，因此所述傳送是不令人滿意的。雖然為了能夠產(chǎn)生可立體呈現(xiàn)的圖像而必需這些計(jì)算，但是如果這樣的畫面或圖像序列在后面的某一階段被編輯的話則不可能使用所述畫面或圖像序列。 公知的現(xiàn)有技術(shù)方法不太適用于延誤的圖像編輯，并且特別不適用于分別用于立體顯示或多視圖流的圖像序列，其中要對(duì)圖像數(shù)據(jù)使用過濾器或功能，因?yàn)榧词故抢卯?dāng)前可得到的高效處理器也還是不可能實(shí)時(shí)產(chǎn)生編輯結(jié)果，使得觀看者必須等待一定時(shí)間才能看到其所做的任何改變(即漫射屏或顏色校正)的效果。因此，對(duì)于這種圖像內(nèi)容的編輯非常耗時(shí)且代價(jià)高昂。

發(fā)明內(nèi)容
本發(fā)明的目的是進(jìn)一步開發(fā)一種用于編輯可立體呈現(xiàn)的圖像或圖像序列的方法，使得至少接近于實(shí)時(shí)的編輯是可能的，即操作員可能在沒有任何時(shí)間延遲的情況下看到其對(duì)于調(diào)節(jié)所做的改變的效果，特別是在立體顯示方面尤其如此。 在前面描述的方法中，上述問題得以解決是在于，如果用于執(zhí)行順序中的每兩個(gè)
節(jié)點(diǎn)(其在該執(zhí)行順序中彼此鏈接)的一個(gè)或幾個(gè)編輯參數(shù)發(fā)生改變，則 (a)被分配給所述執(zhí)行順序中的在前節(jié)點(diǎn)的在前編輯模塊向被分配給該執(zhí)行順序
中的后繼節(jié)點(diǎn)的后繼編輯模塊傳送當(dāng)前圖像數(shù)據(jù)的哪些區(qū)域受到所述在前編輯模塊上的
變化的影響； (b)所述后繼編輯模塊向所述在前編輯模塊傳送要求哪些利用改變后的編輯參數(shù)重新確定的圖像數(shù)據(jù)，并且所述在前圖像模塊僅僅計(jì)算這種圖像數(shù)據(jù)并且將這些圖像數(shù)據(jù)傳送到所述后繼編輯模塊。 優(yōu)選地對(duì)應(yīng)于包括n個(gè)部分圖像i的圖像的圖像數(shù)據(jù)或者一個(gè)按時(shí)間順序排列的這種圖像序列(其中n〉 l，并且i = 1，…，n)可能已被創(chuàng)建為計(jì)算機(jī)圖形或者被記錄為拍攝了 n個(gè)部分圖像的攝影機(jī)攝影。二者的混合也是可能的，即具有部分實(shí)際拍攝以及部
分利用計(jì)算機(jī)圖形學(xué)產(chǎn)生的對(duì)象的多視圖流。為了進(jìn)行編輯，基于計(jì)算機(jī)圖形學(xué)(在市面上可買到的動(dòng)畫程序，比如Autodesk Maya或者Autodesk 3DStudio MAX)的部分圖像是合
適的；利用這些動(dòng)畫程序可以把所述部分圖像渲染為具有略微不同的攝影機(jī)位置的單獨(dú)的透視圖?？商鎿Q地，深度卡的n個(gè)部分圖像i中的一個(gè)可以與所顯示的場景相匹配。
編輯參數(shù)可能涉及到可直接在所述在前編輯模塊上調(diào)節(jié)的或者在所述在前編輯模塊之一上調(diào)節(jié)的局部編輯參數(shù)，或者涉及到影響整個(gè)執(zhí)行順序的全局編輯參數(shù)。例如如果使用兩個(gè)流，其中一個(gè)示出從左向右移動(dòng)的有色文字并且應(yīng)當(dāng)保持在前景中，而第二個(gè)流示出并不移動(dòng)的或者緩慢移動(dòng)或轉(zhuǎn)動(dòng)的背景場景，從而在所述背景上立體地顯示所述文字，于是所述第一個(gè)流的文字顏色、字體和字符串(即文字本身)就是局部編輯參數(shù)。由于這涉及到所述文字在其中從左向右移動(dòng)的圖像序列，因此例如時(shí)間t就是全局編輯參數(shù)。
例如，如果所述文字的顏色發(fā)生改變，則僅僅必須改變描繪所述文字的流。在這兩個(gè)流的組合中，只在所述文字對(duì)其有影響的圖像區(qū)段(sector)內(nèi)重新確定圖像數(shù)據(jù)。沒有必要重新計(jì)算其它圖像數(shù)據(jù)。雖然在當(dāng)前的現(xiàn)有技術(shù)中，這種處理中的數(shù)據(jù)和信息僅在一個(gè)方向上行進(jìn)(在樹中從上向下流動(dòng))，兩個(gè)鏈接的編輯模塊同樣也可以在相反的方向上進(jìn)行通信。如果編輯參數(shù)發(fā)生改變，則首先分別確定圖像和圖像數(shù)據(jù)中的該編輯參數(shù)對(duì)其有影響(即受到所述參數(shù)改變的影響)的區(qū)域，這例如對(duì)應(yīng)于存儲(chǔ)在至少二維矩陣內(nèi)的數(shù)據(jù)，該矩陣的索引對(duì)應(yīng)于所述圖像或部分圖像中的坐標(biāo)并且對(duì)應(yīng)于一個(gè)或幾個(gè)索引值組。這個(gè)區(qū)段相繼地或者甚至直接地被傳送到后繼節(jié)點(diǎn)處的所有編輯模塊。按照這種方式，每個(gè)后繼編輯模塊都能夠把被傳送到后繼節(jié)點(diǎn)的所有段編譯成一個(gè)段。所述后繼編輯節(jié)點(diǎn)本身檢查所保持的圖像數(shù)據(jù)是否對(duì)受到所述參數(shù)改變影響的區(qū)段有影響。如果文字的排版發(fā)生改變，則不必重新計(jì)算涉及背景場景的圖像數(shù)據(jù)。 所述執(zhí)行順序中的最后的編輯模塊首先檢查是否必須重新計(jì)算圖像數(shù)據(jù)，并且如果是的話則檢查為了那個(gè)目的要求哪些數(shù)據(jù)。該信息隨后被傳遞到接著實(shí)施所述檢查的在前編輯模塊。用于該在前編輯模塊的必要圖像數(shù)據(jù)可能是相同的；也可能是其它圖像數(shù)據(jù)。該數(shù)據(jù)隨后將與關(guān)于后繼編輯模塊的信息一起被繼續(xù)傳送到下一在前編輯模塊，直到按照遞歸方式找到受到所述改變的影響并且必須重新計(jì)算至少新圖像數(shù)據(jù)的第一被影響的編輯模塊(如果存在分支的話也可能是幾個(gè)第一編輯模塊)。同樣地，在其上發(fā)生所述執(zhí)行順序中的最后的重新計(jì)算的相應(yīng)的編輯模塊不一定是所述執(zhí)行順序中的最后的編輯模塊。
如果后繼編輯模塊向在前編輯模塊通知必須重新確定哪些圖像數(shù)據(jù)或通知其要求哪些具有重新確定的形式的圖像數(shù)據(jù)以使得該后繼編輯模塊可以實(shí)施其編輯步驟，則將重新計(jì)算來自所述在前編輯模塊的圖像數(shù)據(jù)，其中必須訴諸于附加的在前編輯模塊。所述重新計(jì)算過的圖像數(shù)據(jù)(并且僅有所述重新計(jì)算過的圖像數(shù)據(jù))被傳送到所述后繼編輯模塊。不需要重新計(jì)算所有圖像數(shù)據(jù)。按照這種方式，與現(xiàn)有技術(shù)相比可以節(jié)省時(shí)間和計(jì)算能力。 由于僅僅所述圖像數(shù)據(jù)的一個(gè)部分或者一區(qū)域被重新計(jì)算并被傳送到后繼編輯模塊，因此這意味著由該編輯模塊存儲(chǔ)至少該編輯模塊進(jìn)行計(jì)算所需要的初始數(shù)據(jù)。由所述編輯參數(shù)的改變而導(dǎo)致重新確定并重新傳送的圖像數(shù)據(jù)于是重寫原始圖像數(shù)據(jù)的部分并且流入到所述處理中。所述編輯模塊計(jì)算其起始值(所述編輯模塊隨后將該起始值傳送到下一后繼編輯模塊)，然后完全地或部分地更新其，但是僅僅把所請(qǐng)求的或必要的圖像數(shù)據(jù)分別傳送到后面的編輯模塊。 在本發(fā)明的功能性實(shí)施例中，并且當(dāng)對(duì)編輯參數(shù)做出了改變時(shí)，取決于在編輯模塊中采取的編輯步驟的類型，為各編輯模塊中的已經(jīng)處理過的圖像數(shù)據(jù)給出存儲(chǔ)優(yōu)選項(xiàng)。這意味著，不僅部分地存儲(chǔ)對(duì)于編輯所必需的輸入數(shù)據(jù)，而且還至少部分地存儲(chǔ)在編輯參數(shù)發(fā)生改變的情況下并不發(fā)生改變的該部分初始數(shù)據(jù)。如果針對(duì)所述圖像數(shù)據(jù)的部分的顏色值發(fā)生改變，則會(huì)意味著針對(duì)浮在背景場景前方的場景中的不同對(duì)象(例如上面已經(jīng)提到的文字)的深度信息并不發(fā)生改變。如果后繼編輯模塊確定了所述深度，則不需要重新計(jì)算這些數(shù)據(jù)。如果在各編輯模塊中采取的編輯步驟僅僅涉及到可以容易地并且快速地實(shí)施的操作，則可能有用的是放棄存儲(chǔ)圖像數(shù)據(jù)以節(jié)省存儲(chǔ)位置并且每次都重新計(jì)算這些數(shù)據(jù)。 在本發(fā)明的特別優(yōu)選的實(shí)施例中，至少部分地或優(yōu)選地在圖形卡上實(shí)施所述編輯步驟。這樣做的話，實(shí)施所述編輯模塊的編輯步驟的操作被轉(zhuǎn)化成用于所述圖形卡的圖形命令，其因此服從特殊要求。當(dāng)前這些圖形命令特別是Open GL 2.0標(biāo)準(zhǔn)，此外還必須在所述圖形卡上實(shí)現(xiàn)像素著色器模型(pixels hader Model) 3和/或Open GL著色語言(shading Language) l.O或適當(dāng)?shù)某绦?。還可以使用沒有在這里提到的高級(jí)擴(kuò)展或相關(guān)功能庫。這樣做的附加優(yōu)點(diǎn)在于，可以獨(dú)立于原始圖像格式(通常是每通道各有八位色彩深度的RGB-Alpha)實(shí)施編輯。所述圖形卡在內(nèi)部確定將要使用的計(jì)算格式。
明顯具有更高質(zhì)量的其它格式也是可能的，例如對(duì)于每個(gè)顏色通道具有十位深度的RGB-Alpha或者16/32位浮點(diǎn)格式。甚至還可以分別地使用除了 RGB之外的其它顏色空間或其它格式，例如存儲(chǔ)亮度和其它數(shù)據(jù)的那些格式。將圖形卡包括到所述計(jì)算操作中還有助于能夠幾乎實(shí)時(shí)地在屏幕上觀看所述編輯參數(shù)改變的結(jié)果，這有利于交互式編輯。如果參數(shù)改變很大并且如果為了獲得最終圖像而必須計(jì)算許多中間圖像，則還會(huì)有可能在所述計(jì)算中省去某些中間結(jié)果圖像(掉幀)。此外還合理的做法是，不把所有的計(jì)算操作轉(zhuǎn)移到圖形卡上，而是確保均等地利用圖形卡的處理器和主板上的處理器。
在屏幕上便利地顯示對(duì)各編輯模塊的處理和所述執(zhí)行順序。用戶可以立即觀看所述執(zhí)行順序，并且例如可以通過使用拖放功能添加或去除編輯模塊以及在所述執(zhí)行順序中創(chuàng)建新節(jié)點(diǎn)。 利用本發(fā)明的方法，有可能使用許多編輯參數(shù)并做出改變。這樣做可以把許多所 述編輯參數(shù)耦合到特定的編輯模塊。已經(jīng)用在圖像和視頻處理中很長時(shí)間的典型的編輯 模塊例如有擴(kuò)射透鏡或高清晰度透鏡，其中所規(guī)定的功能被分別應(yīng)用于所述圖像數(shù)據(jù)和像 素。在影響顏色的模塊(其中例如可以把像素直接分配給各種顏色或者根據(jù)所選擇的顏色 空間進(jìn)行分配)中，還可以改變顏色飽和度、灰階或色調(diào)。還可以顯示其它的編輯模塊，例 如疊加功能、混合功能以及可以顯示數(shù)學(xué)函數(shù)的模塊、可以在屏幕上按照關(guān)于排版和其它 屬性的規(guī)定方式描繪給定文字的文字渲染(text-rendering)、產(chǎn)生幾何形式或線的模塊和 最后還有從二維到三維圖像數(shù)據(jù)的變換。這些編輯模塊中的許多編輯模塊被分配給局部編 輯參數(shù)，例如色相(hue)、飽和度、基于高斯函數(shù)的漫射屏的半徑等等。其它功能參數(shù)是全局 編輯參數(shù)。 出于實(shí)用的目的，指明從區(qū)域l到n的部分圖像的索引i被用作編輯參數(shù)。在(自 動(dòng)地或通過用戶)選擇部分圖像i時(shí)，這隨后將優(yōu)選地被顯示在第一屏幕上。所述部分圖 像本身是二維的；因此適用于二維觀看的屏幕就足夠了。在這種情況下，所述部分圖像可被 視為其在與其它部分圖像組合成立體圖像之前出現(xiàn)在所述執(zhí)行順序的末尾，或者(在選擇 編輯模塊時(shí))甚至被視為其在該節(jié)點(diǎn)上被示出。 在本發(fā)明的優(yōu)選實(shí)施例中，包括n個(gè)部分圖像i的圖像被立體地顯示在第二屏幕 上。按照這種方式，用戶的眼前將總是會(huì)有總體結(jié)果。所述第二屏幕適用于三維觀看，其 可以被僅用于三維觀看，但是也可以在二維與三維觀看之間進(jìn)行切換。還可行的是把所述 第一屏幕和第二屏幕集成到一個(gè)共同的顯示器中，該顯示器至少部分地被配置用于三維顯
示。在這種情況下，所述第二屏幕適于根據(jù)一個(gè)或幾個(gè)公知的處理進(jìn)行三維顯示，例如可以
通過使用沒有眼鏡的柵欄或過濾器陣列處理m、透鏡處理(lenticular process)、基于眼鏡
的處理或者按時(shí)間順序排列的順序處理進(jìn)行顯示，這里僅舉出幾個(gè)例子。 應(yīng)用于單獨(dú)的圖像的處理在原理上同樣也應(yīng)用于諸如數(shù)字視頻之類的圖像序列。
在這種情況下，被分配給該序列中的圖像的時(shí)間t被用作編輯參數(shù)，可選的還有部分圖像
的索引i。在選擇時(shí)間t和部分圖像i時(shí)，相關(guān)的部分圖像被投影到第一屏幕上。包括n個(gè)
部分圖像i的圖像也可以在時(shí)間t被立體地呈現(xiàn)在適用于立體顯示的第二屏幕上。該屏幕
還可以在二維與三維顯示模式之間進(jìn)行切換，并且還可以與所述第一屏幕一起被集成到共
同的顯示器中。 根據(jù)本發(fā)明，優(yōu)點(diǎn)是分別顯示三維圖像或三維圖像序列，這是因?yàn)樵诟淖兯鼍?輯參數(shù)時(shí)所必需的計(jì)算操作的數(shù)目大大減少，并且優(yōu)選地將所述圖形卡用于所述編輯步驟 的計(jì)算。按照這種方式，在針對(duì)操作員的反饋方面幾乎沒有任何時(shí)間延遲。
在本發(fā)明的另一優(yōu)選實(shí)施例中，在用戶選擇編輯模塊時(shí)，由可用于該編輯模塊的 圖像數(shù)據(jù)構(gòu)造(put together)所述圖像和/或一個(gè)或幾個(gè)幀i，也就是說所顯示的不是最 終結(jié)果而是在該編輯模塊處可得到的圖像，從而掩蔽了后繼編輯步驟的效果。從而在第一 屏幕上顯示一個(gè)幀和/或幾個(gè)幀i，并且在第二屏幕上立體地顯示由所述幀i構(gòu)造的圖像。
應(yīng)當(dāng)理解的是，上面提到的以及后面描述的特征不僅可以在這里所闡述的組合被 使用，而且在不超出本發(fā)明的范圍的情況下還可以其它組合被使用或者被單獨(dú)使用。


下面將通過附圖對(duì)本發(fā)明進(jìn)行更加詳細(xì)的示例性描述，這些附圖還公開了對(duì)于本 發(fā)明而言所必需的特征。
圖1示出了可以被利用于圖像處理的裝置的結(jié)構(gòu)； 圖2示出了圖像編輯過程中的屏幕；以及 圖3示出了圖2中所示的執(zhí)行順序的互相鏈接的編輯模塊。
具體實(shí)施例方式
圖1首先示出了可以利用來編輯包括來自n個(gè)幀i的圖像數(shù)據(jù)的立體圖像或者按 照時(shí)間順序排列的這種圖像序列的裝置，其中n > 1并且i = 1，…，n。因此，可以完全地 或部分地按照順序的和/或并行的方式實(shí)施對(duì)所述圖像的編輯，其中根據(jù)執(zhí)行順序并且根 據(jù)可調(diào)節(jié)的編輯參數(shù)在各個(gè)單獨(dú)的編輯模塊中編輯所述圖像數(shù)據(jù)。這種裝置例如可以包括 計(jì)算機(jī)l，其中這例如可以是功能強(qiáng)大的PC或功能強(qiáng)大的筆記本電腦。所述計(jì)算機(jī)1包括 主板2作為必需組件，在該主板2上還設(shè)置有隨機(jī)存取存儲(chǔ)器模塊。在進(jìn)行編輯之前和之 后把所述圖像和/或圖像序列存儲(chǔ)在硬盤3上或者存儲(chǔ)在等效的可讀可寫存儲(chǔ)介質(zhì)上，例 如如果編輯狀態(tài)需要臨時(shí)存儲(chǔ)的話，在必要情況下還可以將所述硬盤3用于臨時(shí)存儲(chǔ)圖像 數(shù)據(jù)。圖形卡4是所述裝置的另一必需組件。所述圖形卡4優(yōu)選地具有用于兩個(gè)屏幕5a 和5b的出口 ，其中屏幕5a適用于二維顯示并且可選地適用于三維顯示，而屏幕5b則適用 于三維顯示。所述屏幕5a和5b通過數(shù)據(jù)線6a和6b被連接到圖形卡4的出口 。
圖2示出了一段屏幕5a。在此，與在圖1中也沒有示出通常作為計(jì)算機(jī)的部分的 附加組件類似地，沒有示出例如對(duì)于操作而言是必要的非必需圖形單元。屏幕5a被細(xì)分成 兩半，在右半屏幕7上顯示出執(zhí)行順序，在左半屏幕8上，在視窗9內(nèi)可以示出一個(gè)或幾個(gè) 幀或者整個(gè)圖像的二維或三維顯示。如果視窗9示出合成的立體圖像的話，該視窗9也可 以被顯示在屏幕5b上。 顯示在右半屏幕7上的執(zhí)行順序示出了幾個(gè)編輯模塊10、11、12、13、14、15和16。 在這些節(jié)點(diǎn)中，對(duì)圖像的編輯是總體上或部分地按照順序的和/或并行的方式發(fā)生的。從 而，根據(jù)所述執(zhí)行順序并且根據(jù)可調(diào)節(jié)的編輯參數(shù)，在各個(gè)單獨(dú)的編輯模塊中編輯所述圖 像數(shù)據(jù)。因此，每個(gè)編輯模塊實(shí)施一個(gè)或幾個(gè)編輯步驟。此外，每個(gè)編輯模塊被分配給節(jié)點(diǎn)， 并且這一分配是明確的。通過由用戶或程序根據(jù)規(guī)范鏈接各節(jié)點(diǎn)而確定所述執(zhí)行順序，其 中所述鏈接是可選擇的。 在圖2中，各節(jié)點(diǎn)和各編輯模塊類似地通過所繪制的矩形來用符號(hào)表示；根據(jù)所 繪制的連接線實(shí)施鏈接。因此，編輯模塊13例如在其輸入側(cè)與編輯模塊11和12鏈接，并 且在其出口側(cè)與編輯模塊14鏈接。另一方面，編輯模塊16不與任何其它模塊鏈接，但是用 戶可以通過交互方式將其插入到自頂?shù)降讏?zhí)行的樹結(jié)構(gòu)中。從而，用戶可以通過交互方式 選擇編輯模塊，并且隨后可以根據(jù)可用于該編輯模塊的圖像數(shù)據(jù)來構(gòu)造所述圖像和/或一 個(gè)或幾個(gè)幀i。隨后，在屏幕5a的視窗9中顯示所述一個(gè)幀i或幾個(gè)幀i，在屏幕5b上立 體地顯示所述圖像?？商鎿Q地，還有可能僅僅在所述執(zhí)行順序的末尾顯示最終的結(jié)果，在這 種情況下是在編輯模塊15的出口處顯示最終的結(jié)果。如果有按照時(shí)間順序排列的圖像序 列，則這一點(diǎn)同樣適用，其中時(shí)間t被分配給圖像并且還附加地把i用作編輯參數(shù)。如果選擇了時(shí)間t和幀i，則在視窗9中示出相應(yīng)幀，并且在屏幕5b上顯示在時(shí)間t處所得到的整 個(gè)圖像。此外，每個(gè)所述節(jié)點(diǎn)可以與其根據(jù)所述執(zhí)行順序所鏈接到的節(jié)點(diǎn)交換數(shù)據(jù)。
在本情況下，所示出的執(zhí)行順序?qū)⑾薅◤淖笙蛴医?jīng)過場景的前景的文字。因此，除 了三維顯示之外，所述文字必需以所限定的速度從左向右移動(dòng)，同時(shí)背景場景相對(duì)于特定 的沒影點(diǎn)以較慢的速度分別從右向左移動(dòng)或轉(zhuǎn)動(dòng)或保持靜止。在編輯模塊ll中確定所述 文字的必需屬性。這些屬性尤其包括所述文字本身、字體顏色、字體以及深度信息。因此由 編輯模塊ll的數(shù)據(jù)產(chǎn)生的圖像序列只示出有色文字。關(guān)于所述背景場景的信息在編輯模 塊10中可得到。編輯模塊10和ll例如都可以從硬盤讀取其數(shù)據(jù)。本實(shí)例還表示按照時(shí) 間順序排列的圖像序列，但是其被預(yù)先編輯，從而不必對(duì)該圖像序列做出改變。
編輯模塊IO將其圖像數(shù)據(jù)傳送到編輯模塊12。在該編輯模塊中，例如有可能編輯 背景的色調(diào)色彩(tinge)。隨后把來自編輯模塊12和11的圖像數(shù)據(jù)傳送到另一編輯模塊 13。在編輯模塊13中組合所述兩個(gè)編輯模塊的圖像數(shù)據(jù)，這意味著根據(jù)深度信息疊加所述 圖像數(shù)據(jù)，并且生成新的整個(gè)圖像。因此，如果觀看者僅僅選擇幀i，則在視窗9中僅顯示對(duì) 于該幀i的結(jié)果。但是由于所有幀i都互相聯(lián)系(其例如包括從不同角度捕獲的相同場景 的不同視圖或者示出相同視圖的不同深度的層圖像(layer image))，因此在任何時(shí)候都有 可能基于該信息計(jì)算整個(gè)圖像，該整個(gè)圖像隨后被顯示在屏幕5b上。因此，如果僅對(duì)某幀 做出改變，例如如果改變文字的顏色，則有可能將這些改變自動(dòng)轉(zhuǎn)移到其它幀。但是，這些 計(jì)算是在背景中進(jìn)行的并且這些計(jì)算僅僅是可選的。 在組合了所述圖像數(shù)據(jù)之后，編輯模塊13將所述圖像數(shù)據(jù)傳送到編輯模塊14，其 中例如對(duì)整個(gè)圖像應(yīng)用高斯柔焦鏡頭(soft-focuslens)，或者其中可以實(shí)施對(duì)比度加強(qiáng)、 邊緣加強(qiáng)等等。在編輯模塊14中編輯的圖像數(shù)據(jù)隨后被傳送到另一也是最后的編輯模塊 15。在編輯模塊15中，所述圖像序列的數(shù)據(jù)被寫入到硬盤上。 所描述的模塊僅僅是作為例子被選擇的；當(dāng)然還可以利用附加的編輯模塊，比如 通常被用在圖像和視頻編輯中的那些編輯模塊。還可以設(shè)想集成把二維內(nèi)容變換成三維內(nèi) 容的模塊。此外，還可以應(yīng)用所有通行的輸入和輸出格式。舉例來說，所述格式在靜止圖像 的情況下包括bmp-、 jpg-、gif-、png-、ria-、tga-、tiff-以及open-exr-格式，而在視頻文 件的情況下包括avi-、 mpeg2-以及mpeg4-格式，并且在所有情況下還作為多流格式。
如果編輯參數(shù)發(fā)生改變，則可以優(yōu)選地根據(jù)將要在編輯模塊內(nèi)實(shí)施的編輯步驟的 類型將已經(jīng)編輯過的圖像數(shù)據(jù)存儲(chǔ)在所述編輯模塊中。舉例來說，如果用戶在各幀i之間 進(jìn)行了幾次切換，則是特別有利的，這是因?yàn)槿绻l(fā)生幀間切換則不必重新計(jì)算先前編輯 過的幀的圖像數(shù)據(jù)。這同樣適用于在前節(jié)點(diǎn)處的編輯模塊如果當(dāng)前選擇的編輯模塊中的 局部編輯參數(shù)發(fā)生改變，則不需要重新計(jì)算在前編輯模塊的圖像數(shù)據(jù)。舉例來說，如果在編 輯模塊13中改變了文字的位置，則編輯模塊10、11和12維持其圖像數(shù)據(jù)，使得如果編輯模 塊13請(qǐng)求這些圖像數(shù)據(jù)的話，并不需要重新計(jì)算這些圖像數(shù)據(jù)。 圖3示出了圖2的一段執(zhí)行順序，并且其用來解釋如何優(yōu)化或最小化將要傳輸?shù)?數(shù)據(jù)量，特別是允許對(duì)顯示在屏幕5b上的3D視頻序列進(jìn)行實(shí)時(shí)編輯。各編輯模塊之間的 通信有可能雙向進(jìn)行。如果一個(gè)或幾個(gè)編輯參數(shù)發(fā)生改變，例如如果顯示時(shí)間t發(fā)生改變 或者如果另一幀i被選擇或者如果背景色調(diào)色彩在編輯模塊12中被改變，則對(duì)于每兩個(gè)在 所述執(zhí)行順序中互相鏈接的節(jié)點(diǎn)，(被分配給所述執(zhí)行順序中的在前節(jié)點(diǎn)的)在前編輯模塊向(被分配給該執(zhí)行順序中的后繼節(jié)點(diǎn)的)后繼編輯模塊傳送可用于該在前編輯模塊的 圖像數(shù)據(jù)段中的哪些受到所述編輯參數(shù)改變的影響。為了在所述后繼編輯模塊處重新確定 圖像數(shù)據(jù)，該后繼編輯模塊向所述在前編輯模塊通知其要求哪些利用改變后的(多個(gè))編 輯參數(shù)重新計(jì)算的圖像數(shù)據(jù)以用于執(zhí)行其編輯步驟。所述在前編輯模塊僅僅重新計(jì)算這個(gè) 圖像數(shù)據(jù)并且將其傳送到所述后繼編輯模塊。如果該后繼編輯模塊并不要求圖像數(shù)據(jù)，則 也就不傳送到所述在前編輯模塊。 舉例來說，如果應(yīng)當(dāng)經(jīng)過畫面前景的文字的字體顏色(作為編輯模塊ll中的編輯 參數(shù))從紅色改變到綠色，則編輯模塊11例如將向編輯模塊13通知所述文字根據(jù)編輯模 塊11而位于其中的圖像或幀的整個(gè)區(qū)域受到這一改變的影響。在編輯模塊13中重新計(jì)算 所述圖像數(shù)據(jù)的過程中或者在此之前，該編輯模塊13向編輯模塊11通知其要求重新計(jì)算 針對(duì)圖像中的所述文字的色彩說明被修改的區(qū)域的圖像數(shù)據(jù)，以便在組合圖像時(shí)正確地考 慮這一點(diǎn)。所述區(qū)域的尺寸是可變的，并且如果所述文字在編輯模塊13內(nèi)生成的合成圖像 中被部分地覆蓋，則所述區(qū)域的尺寸還可能更小。在前模塊只需要重新確定針對(duì)所請(qǐng)求的 區(qū)域的圖像數(shù)據(jù)。相應(yīng)地，編輯模塊13和14還彼此通信。在編輯模塊13已向編輯模塊14 通知了哪個(gè)區(qū)域受到所述改變的影響之后，編輯模塊14向編輯模塊13通知其將再次要求 來自該區(qū)域的哪些圖像數(shù)據(jù)(即哪個(gè)部分區(qū)域)。在本實(shí)例中，所述柔焦鏡頭影響整個(gè)圖 像數(shù)據(jù)。但是，如果不重傳所述圖像數(shù)據(jù)并且如果在編輯模塊14中不重新計(jì)算所述圖像數(shù) 據(jù)，則編輯模塊14中的文字將仍然以原始的顏色出現(xiàn)。由編輯模塊12傳送到編輯模塊13 的圖像數(shù)據(jù)并不要求重新計(jì)算。 因此，可以至少部分地在圖形卡上實(shí)施所述編輯步驟。這樣就有可能進(jìn)一步加速 所述處理，并且進(jìn)一步改進(jìn)用戶的實(shí)時(shí)感。為此，來自各編輯模塊的操作被轉(zhuǎn)化成用于所述 圖形卡的圖形指令。因此，所述圖形卡必須符合規(guī)定的標(biāo)準(zhǔn)，比如0penGL2.0標(biāo)準(zhǔn)。如果 所述圖形卡是集成的，則可以獨(dú)立于原始圖像格式( 一般來說是分別具有八位色彩深度的 RGB-Alpha)實(shí)施所述編輯步驟。為了進(jìn)行計(jì)算，可以使用以最優(yōu)水平利用所述圖形卡的結(jié) 構(gòu)并且也給予較高精度的那些格式，例如分別具有十位色彩深度的RGB-Alpha或者16/32 位浮點(diǎn)格式。例如，存儲(chǔ)亮度的格式也是可能的。因此不必在圖形卡上實(shí)施所有編輯步驟， 仍然可以在上游的、并行的或下游的處理器上實(shí)施簡單的和一般的操作，以便合理地利用 附加的計(jì)算資源。 在編輯參數(shù)發(fā)生改變之后，如果后繼節(jié)點(diǎn)處的編輯模塊并不要求來自在前節(jié)點(diǎn)的 新圖像數(shù)據(jù)，則該后繼節(jié)點(diǎn)不向所述在前節(jié)點(diǎn)處的編輯模塊發(fā)送通知，從而也不會(huì)在該在 前節(jié)點(diǎn)處重新計(jì)算圖像數(shù)據(jù)。例如，如果經(jīng)過屏幕的文字近似在中部停止，則是這種情況， 從而動(dòng)畫時(shí)間(編輯參數(shù)t)不發(fā)生改變并且不需要進(jìn)行重新計(jì)算。如果編輯參數(shù)在某模 塊內(nèi)發(fā)生改變或者發(fā)生全局改變，則每個(gè)編輯模塊都確定其所計(jì)算的哪些圖像數(shù)據(jù)將發(fā)生 改變，并且隨后遞歸地通知所有后繼編輯模塊。此后，每個(gè)后繼編輯模塊確定其要求哪些改 變后的圖像數(shù)據(jù)。所有后繼編輯模塊都遞歸地向所有在前模塊通知其要求哪些新數(shù)據(jù)。這 意味著，在每個(gè)節(jié)點(diǎn)處可得到詳細(xì)說明在前節(jié)點(diǎn)并且還詳細(xì)說明哪些在前節(jié)點(diǎn)會(huì)影響在當(dāng) 前節(jié)點(diǎn)處可用的圖像數(shù)據(jù)的信息。通過由用戶編制所述執(zhí)行順序以及通過各編輯模塊的上 述功能，自動(dòng)得出該信息。如果連同編輯模塊一起插入新的節(jié)點(diǎn)，則由相應(yīng)的編輯模塊更新 該信息。
如果編輯模塊中的編輯參數(shù)發(fā)生改變，則確定所有可能的后繼節(jié)點(diǎn)，并且在被分 配給這些節(jié)點(diǎn)的編輯模塊內(nèi)確定所述圖像數(shù)據(jù)將維持有效還是將失效。因此也可能所有圖 像數(shù)據(jù)都會(huì)失效，從而必需進(jìn)行完全重新計(jì)算。例如，當(dāng)在所述圖像序列的動(dòng)畫時(shí)間t中有 大的跳躍時(shí)就可能是這種情況。 借助于上面描述的方法，有可能對(duì)3D圖像數(shù)據(jù)和3D視頻序列進(jìn)行編輯并且實(shí)時(shí)
跟隨編輯結(jié)果或者各個(gè)單獨(dú)的編輯步驟。按照這種方式，顯著提高對(duì)可立體顯示的圖像和
圖像序列的圖像編輯效率。 附圖標(biāo)記列表 1計(jì)算機(jī) 2主板 3硬盤 4圖形卡 5a、5b屏幕 6a、6b數(shù)據(jù)線 7右半屏幕 8左半屏幕 9視窗 10-16編輯模塊
權(quán)利要求
用于對(duì)包括n個(gè)幀i的圖像數(shù)據(jù)的立體圖像或者按照時(shí)間順序排列的這種圖像序列進(jìn)行編輯的方法，其中n＞1并且i＝1，...，n，其中，-完全地或部分地按照順序的和/或并行的方式來實(shí)施對(duì)圖像的編輯，其中根據(jù)執(zhí)行順序并且根據(jù)可調(diào)節(jié)的編輯參數(shù)在各個(gè)單獨(dú)的編輯模塊內(nèi)編輯圖像數(shù)據(jù)；-其中每個(gè)編輯模塊執(zhí)行一個(gè)或幾個(gè)編輯步驟，并且所述編輯序列由編輯模塊的可選的鏈接確定；-以及其中每個(gè)編輯模塊能與根據(jù)所述執(zhí)行順序所鏈接到的編輯模塊交換數(shù)據(jù)，-其特征在于，用于每兩個(gè)在所述執(zhí)行順序中互相鏈接的編輯模塊的一個(gè)或幾個(gè)編輯參數(shù)發(fā)生改變時(shí)，(a)在前編輯模塊向后繼編輯模塊傳送所述在前編輯模塊現(xiàn)有的圖像數(shù)據(jù)的段中的哪些受到所述改變的影響；(b)所述后繼編輯模塊向所述在前編輯模塊傳送必需根據(jù)改變后的一個(gè)或多個(gè)編輯參數(shù)確定的新圖像數(shù)據(jù)中的哪些來執(zhí)行所述后繼編輯模塊的編輯步驟；(c)以及所述在前編輯模塊僅僅重新計(jì)算所述圖像數(shù)據(jù)并且將所述圖像數(shù)據(jù)傳送到所述后繼編輯模塊。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，如果編輯參數(shù)發(fā)生改變，則已經(jīng)在所述編 輯模塊中編輯過的圖像數(shù)據(jù)優(yōu)選地根據(jù)將要在編輯模塊內(nèi)實(shí)施的編輯步驟的類型而被存 儲(chǔ)。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，至少部分地在圖形卡上實(shí)施所述編輯步驟。
4. 根據(jù)前述權(quán)利要求之一所述的方法，其特征在于，所述編輯模塊和所述執(zhí)行順序在 一個(gè)屏幕上被示出。
5. 根據(jù)前述權(quán)利要求之一所述的方法，其特征在于，i被用作編輯參數(shù)，并且如果選擇 了幀i，則所述幀i被顯示在第一屏幕上。
6. 根據(jù)權(quán)利要求5所述的方法，其特征在于，由n個(gè)幀i構(gòu)造的合成圖像被立體地顯示 在第二屏幕上。
7. 根據(jù)權(quán)利要求1到4之一所述的方法，其特征在于，在按照時(shí)間順序排列的圖像序 列的情況下，被分配給一個(gè)圖像的時(shí)間t和i被用作編輯參數(shù)，并且如果選擇了時(shí)間t和幀 i，則在第一屏幕上顯示相應(yīng)的幀。
8. 根據(jù)權(quán)利要求7所述的方法，其特征在于，在時(shí)間t處的由n個(gè)幀i構(gòu)造的合成圖像 被立體地顯示在第二屏幕上。
9. 根據(jù)前述權(quán)利要求之一所述的方法，其特征在于，如果用戶選擇了編輯模塊，則由該 編輯模塊現(xiàn)有的圖像數(shù)據(jù)構(gòu)造所述圖像和/或一個(gè)或幾個(gè)幀i，其中所述幀中的一個(gè)和/或 所述幾個(gè)幀i被顯示在第一屏幕上，而所述圖像被立體地顯示在第二屏幕上。
全文摘要
本發(fā)明涉及一種用于處理由部分圖像組成的空間圖像或這種圖像的時(shí)間序列的方法，其中，通過根據(jù)執(zhí)行順序并且根據(jù)可調(diào)節(jié)的處理參數(shù)在各個(gè)單獨(dú)處理模塊內(nèi)處理所述圖像數(shù)據(jù)而完全地或部分地按照順序的或并行的方式來進(jìn)行對(duì)圖像的處理；其中每個(gè)處理模塊執(zhí)行一個(gè)或更多處理步驟，并且執(zhí)行順序由所述處理模塊的可選鏈接確定；以及其中每個(gè)處理模塊能夠與其根據(jù)所述執(zhí)行順序所鏈接到的處理模塊交換數(shù)據(jù)。如果用于兩個(gè)在所述執(zhí)行順序中互相鏈接的處理模塊的一個(gè)或更多處理參數(shù)發(fā)生改變，則(a)上游處理模塊向下游處理模塊傳送存在于該上游處理模塊處的圖像數(shù)據(jù)的哪些區(qū)域受到所述改變的影響；(b)所述下游處理模塊向所述上游處理模塊傳送其要求利用改變后的處理參數(shù)重新確定的哪些圖像數(shù)據(jù)來執(zhí)行其處理步驟。所述上游處理模塊僅僅重新計(jì)算所述圖像數(shù)據(jù)并且將其傳送到所述下游處理模塊。
文檔編號(hào)G11B27/00GK101743756SQ200880024519
公開日2010年6月16日 申請(qǐng)日期2008年6月21日 優(yōu)先權(quán)日2007年7月13日
發(fā)明者J·梅克斯納 申請(qǐng)人:視覺活動(dòng)有限責(zé)任公司