專利名稱：拓撲圖像模式的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種將一個N維第一對象的計算機表示轉(zhuǎn)換成第一對象的計算機模型的方法。
本發(fā)明也涉及將一個N維對象的計算機表示轉(zhuǎn)換成該對象的壓縮模型的壓縮方法。
本發(fā)明還涉及一種將壓縮的視頻信號解壓縮為一個N維對象的計算機表示的方法。
本發(fā)明還涉及一種將具有第一多個單元的第一單元空間模型轉(zhuǎn)換成具有第二多個單元的第二單元空間模型的方法。
本發(fā)明還涉及一種用于執(zhí)行將一個N維第一對象的計算機表示轉(zhuǎn)換成第一對象的計算機模型的方法的計算機程序。
本發(fā)明還涉及一種用于執(zhí)行將一個N維對象的計算機表示轉(zhuǎn)換成該對象的壓縮模型的壓縮方法的計算機程序。
本發(fā)明還涉及一種用于執(zhí)行將壓縮的視頻信號解壓縮為一個N維對象的計算機表示的方法的計算機程序。
本發(fā)明還涉及一種將一個N維第一對象的計算機表示轉(zhuǎn)換成對象的計算機模型的設(shè)備，該設(shè)備包括-用于獲取第一對象的計算機表示的獲取裝置；-用于轉(zhuǎn)換第一對象的計算機表示的處理裝置；以及-用于輸出計算機模型的輸出裝置。
本發(fā)明還涉及一種用于將壓縮的視頻信號解壓縮為一個N維對象的計算機表示的視頻解壓縮設(shè)備，該視頻解壓縮設(shè)備包括-用于獲取壓縮的視頻信號的獲取裝置；-用于根據(jù)壓縮的視頻信號生成計算機表示的處理裝置；以及-用于輸出計算機表示的輸出裝置。
本發(fā)明還涉及一種包括一個用于表示一個數(shù)字化的N維對象的單元空間的數(shù)據(jù)表示。
背景技術(shù)：
在M Ghanbari“視頻編碼，標準碼導論”，電子工程學會，1999，ISBN 0 85296 762 4，第46-48頁中可以知道該方法的一個例子。
在該實施例當中，計算機表示是一組二維圖像的數(shù)字化表示，該二維圖像表示在連續(xù)的時間內(nèi)，由在照相機的圖像平面中的投影在一個空間內(nèi)記錄的記錄的三維對象的記錄。圖像由像素位置矩陣構(gòu)成，在矩陣中指定了灰度值。
在已知方法的多數(shù)應用當中，例如數(shù)字電視傳輸或者在一個DVD盤上的記錄中，固定的像素塊根據(jù)某個適應模式被轉(zhuǎn)換成一個計算機模型。該應用的一個例子是使用MPEG2標準在一個DVD上記錄，其中計算機模型尤其包括為一個先前的固定像素塊計算的離散余弦變換(DCT)系數(shù)。已知系統(tǒng)的另一個應用是根據(jù)PMEG4標準的視頻應用，其允許更多的自適應改變。例如，一個2-維對象能夠以基于對象的方式，以MPEG4編碼。MPEG4標準也允許一個在時間上生動變化的人臉的三維模型作為視頻序列中的人臉的壓縮模型。目前的MPEG4壓縮系統(tǒng)的缺點在于沒有能夠自動地模擬視頻立方中的三維對象的體元表示的滿意方法。體元表示將一個三維對象表示為一組基本元素的立方，被稱為體元。體元可以被定義為與一個數(shù)字相關(guān)的三維幾何位置，該數(shù)字表示，例如一個視頻圖像中的一個像素的灰度值。視頻立方是通過將多個視頻圖像放在一起所形成的體元的立方，這些視頻圖像在時間上彼此連續(xù)，一個挨著一個。

發(fā)明內(nèi)容
尤其是，本發(fā)明的第一個目的是提供一種轉(zhuǎn)換方法，用于通過用戶友好的計算機模型來模擬N-維對象。
尤其是，本發(fā)明第二個目的是提供一種壓縮一個N-維對象的有效方法。
尤其是，本發(fā)明的第三個目的是提供一個解壓縮被有效壓縮的視頻信號的方法。
尤其是，本發(fā)明的第四個目的是提供一種將第一單元模型轉(zhuǎn)換為第二單元模型，從而能夠有效地模擬相關(guān)的N-維對象的轉(zhuǎn)換的方法。
尤其是，本發(fā)明的第五個目的是提供一種執(zhí)行轉(zhuǎn)換方法的計算機程序。
尤其是，本發(fā)明的第六個目的是提供一種執(zhí)行壓縮方法的計算機程序。
尤其是，本發(fā)明的第七個目的是提供一種執(zhí)行解壓縮方法的計算機程序。
尤其是，本發(fā)明的第八個目的是提供一種執(zhí)行轉(zhuǎn)換方法的設(shè)備。
尤其是，本發(fā)明的第九個目的是提供一種執(zhí)行解壓縮方法的設(shè)備。
尤其是，本發(fā)明的第十個目的是提供一種表示一個N-維對象的容易處理的數(shù)據(jù)表示。
本發(fā)明的第一個目的這樣來實現(xiàn)計算機模型轉(zhuǎn)換包括生成具有第一單元和第二單元的一個單元空間模型的步驟，所述的第一單元屬于具有等于N維的第一流形(manifold)，第二單元屬于位于第一流形的邊緣處的具有等于N-1的較低維的第二流形，第一單元和第二單元之間的邊界被指定了一個表示符，其表示第二流形是否形成了第一流形的邊界的一部分。
流形是具有維D的點的集合的數(shù)學名稱。一個流形的例子是一個平面。在視頻立方中的一個平面的例子是通過投射一個照相機從例如一個方塊對象的上部拾取的連續(xù)視頻圖像所建立起來的平面。在每個視頻圖像中，投射形成了一行，所有的行聯(lián)合起來形成一個平面。一個對象的上部所形成的平面當然可以是彎曲的。除了與視頻圖像和時間維相關(guān)的二維空間以外，在三維電視設(shè)備中還可以出現(xiàn)第三維空間。當再加入一個比例維時，N維的數(shù)目就等于5?？梢栽黾痈郊拥木S表示其他的參數(shù)，例如，根據(jù)對象的紋理所進行的計算。
單元空間是圖形的一個特例。圖形是一個數(shù)學概念，由單元和邊緣構(gòu)成。單元空間通常以這樣的方式建立一個單元對應于N維對象的每個流形，從形成對象內(nèi)部的N維流形開始，經(jīng)過邊緣上的所有低維流形，直到并且包含成為點的，具有零維的邊界上的流形。單元空間的特征在于，如果第二流形位于第一流形的邊界上，在與具有D維的第一流形相應的第一單元和與具有減少一維，即D-1維的較低維的第二流形相應的第二單元之間加入了一個邊界。在母對象的邊界上的所有低級維流形通過單元空間模型中的單元和邊界清楚模擬。建立一個單元圖形的例子參考圖3和4描述。在根據(jù)本發(fā)明的轉(zhuǎn)換方法中，在邊界上增加一個表示符，表示在具有D維的第一流形的邊界上的具有D-1維的第二流形是否形成了第一流形中的對象的一部分?！靶纬刹糠帧钡暮x將參照圖2描述。
在計算機圖形技術(shù)中存在多種模擬N-維對象的方法。但是，這些方法都具有一個度量特征。其中的一個例子是一個八叉樹，其中一個三維對象被分成不同維的立方，直到最小的立方接近具有給定精度的不規(guī)則外部表面。其他的模型模擬諸如一個三角網(wǎng)或者一個高斯震動模型的N維對象表面。但是，單元空間是N-維對象的拓撲表示，其允許對象構(gòu)成成分的表示，如果需要，該成分能夠通過度量模型被補充模擬。
當對于一個第二對象的計算機表示來說，在單元空間模型中增加了一個屬于第三流形的第三單元時，這是非常有利的。當兩個對象的所有流形都在一個單元空間中表示時，它們的拓撲關(guān)系非常簡單并且容易處理。屬于第一和第二單元的兩個相連的流形具有屬于第三單元的低級維的公共邊緣流形。單元空間在第三和第一單元之間具有第一邊界，在第三和第二單元之間具有第二邊界，其模擬邊界流形的邊界關(guān)系。由于邊界流形通常僅形成一個流形的一部分，因此一個邊界的表示符的值是“形成一部分”，其他邊界的表示符的值是“未形成一部分”。利用所有對象的信息，包括單元空間，很容易預測，例如對象的時間估計，或者在計算機圖形應用中對其進行改變。表示符提供了關(guān)于在視頻序列中，照相機所捕獲的三維空間中的兩個對象中的哪一個的位置最落后的事實的信息。
在一個實施例中，一個三維視頻立方由與連續(xù)時間相關(guān)的二維圖像構(gòu)成，并且逐個放置，該三維視頻立方被分成第一對象和第二對象，并且轉(zhuǎn)換生成了第一單元和第三單元，第一流形和第三流形的維數(shù)至多為3。
該實施例發(fā)生在例如二維電視應用中。根據(jù)本發(fā)明的方法的優(yōu)點在于能夠通過單元空間模型及時容易地模擬對象的幾何轉(zhuǎn)換。視頻立方中的所有體元被指定給一個對象，例如第一三維時空對象表示一個正在走動的人，第二對象是這個人所處的環(huán)境，包括所有其他的體元。當一個視頻立方包括從一個視頻序列中選擇出來的P個圖像時，這個人可能僅在P-K個圖像中出現(xiàn)，或者他可以在選定視頻立方以外的圖像中出現(xiàn)。視頻立方中的每個對象都在相同的單元空間模型中模擬。
當轉(zhuǎn)換根據(jù)從計算機表示值中導出的至少一個幾何特征的計算將一個值指定給表示符時是非常令人感興趣的。根據(jù)一個真實的視頻序列自動生成單元空間模型。視頻序列中的對象的各種特征都能夠被測量，從而能夠通過一個或者多個這些特征賦予表示符以具有確定性的正確值。
在使用表示符的一個魯棒計算的實施例中，轉(zhuǎn)換根據(jù)相對于當時視頻立方中具有二維圖像的平面的第一對象的橫截面的表面時間的變化的計算將一個值指定給一個表示符。實際上，當視頻序列中的一個對象的二維橫截面在另一個對象的橫截面之后出現(xiàn)或者消失時，由于對象中的某些像素是不可見的，因此與橫截面相關(guān)的像素數(shù)目改變。
第二個目的是通過使用一個單元空間模型進行轉(zhuǎn)換來實現(xiàn)的。除了單元空間模型以外，還生成了一個壓縮模型。壓縮模型包括度量信息，例如，有關(guān)第一對象內(nèi)部的精確形式。根據(jù)本發(fā)明的方法的優(yōu)點在于視頻立方中的對象通過三維模型壓縮，同時現(xiàn)有的MPEG4技術(shù)中的對象通過在不同的電視圖像中僅模擬和壓縮二維橫截面來二維壓縮。通過使用一個三維壓縮模型，在相同的圖像質(zhì)量下實現(xiàn)的壓縮因子高于二維壓縮。此外，在固定的壓縮因子的情況下，三維壓縮所獲得的圖像質(zhì)量高于二維壓縮。由于將一幅圖像分割成16×16的像素塊的固定模式和圖像的時間預測，MPEG-2不能完全地利用視頻立方中的對象的三維特征。對于一個有效的壓縮，必須明確考慮對象被阻塞的事實。阻塞發(fā)生在當?shù)谝粚ο笤谌S空間內(nèi)移動到先前的第二對象之后時，或者當?shù)谝粚ο笤诘诙ο蟮暮竺娉霈F(xiàn)時。
專利申請WO-A-00/64148描述了一種壓縮方法，該方法是基于匹配二維圖塊進行的。在該申請中描述的一些技術(shù)對于從一個視頻立方當中獲得一個N-維對象是有用的，本發(fā)明需要這種方法。但是，該專利申請中沒有明確使用N-維對象，僅使用了其二維投影。
第三目的是通過使用一個單元空間模型的解壓縮方法來實現(xiàn)的。單元空間模型中的對象的明確編碼允許高級壓縮和解壓縮。實際上，在再生N-維對象的過程中，這通過對像素可見的單元空間模型的方法來計算。
第四目的是通過第一多個單元與第二多個單元不同來實現(xiàn)的。例如，當?shù)谝籒-維對象與第二N-維對象相比較時，例如對于互聯(lián)網(wǎng)上的圖像材料的搜索，很容易比較它們的相關(guān)單元空間模型。在將兩個單元空間模型的單元和邊緣彼此相關(guān)之前，很容易首先轉(zhuǎn)換單元空間模型中的一個。例如，對于模擬一個質(zhì)詢中指定的房子的單元空間模型，表示一間房子的對象的屋頂是平的，并且在互聯(lián)網(wǎng)上的一幅圖像中指出第二間房子。例如，表示平形屋頂?shù)膯卧梢灾匦掠糜谥付ㄎ蓓數(shù)牡谝粋?cè)面，并且為第二側(cè)面加入一個額外的單元。同樣的技術(shù)對于計算機圖形應用是非常有益的。
第五目的是通過提供一個包括一個用于執(zhí)行轉(zhuǎn)換方法的計算機程序的計算機代碼來實現(xiàn)的。
第六目的是通過提供一個包含一個用于執(zhí)行壓縮方法的計算機程序的計算機代碼來實現(xiàn)的。
第七目的是通過提供一個包含一個用于執(zhí)行解壓縮方法的計算機程序的計算機代碼來實現(xiàn)的。
第八目的是通過一種處理裝置實現(xiàn)的，該裝置能夠生成一個具有第一單元和第二單元以及第一單元和第二單元之間的邊緣的單元空間模型，第一單元屬于具有等于N的高維數(shù)的第一流形，第二單元屬于位于第一流形邊緣的，等于N-1的低維數(shù)的第二流形，該裝置還能夠為邊緣指定一個表示符，該表示符表示第二流形是否形成了第一流形的邊緣的一部分。
第九目的是通過一種能夠訪問該單元空間模型的處理裝置來實現(xiàn)的。
第十目的是通過為單元空間的第一單元和第二單元之間的邊緣指定一個表示符來實現(xiàn)的，該表示符表示具有低維數(shù)的第二流形是否形成了具有高維數(shù)的第一流形的一部分，所述的第一和第二流形分別由第一和第二單元表示。


下面將參照附圖以實施例的方式詳細闡明根據(jù)本發(fā)明的轉(zhuǎn)換方法，壓縮方法，解壓縮方法，設(shè)備，視頻解壓縮裝置和數(shù)據(jù)表示。在這些附圖中圖1是表明將一個對象的計算機表示轉(zhuǎn)換成計算機模型的方框圖；圖2是表示一個三維場景的二維圖像；圖3是用于闡明一個單元空間模型的結(jié)構(gòu)的一個簡單的二維對象；圖4是與圖3中的對象有關(guān)的單元空間模型；圖5表明了兩個網(wǎng)狀的環(huán)形對象；圖6是與圖5中的環(huán)形對象有關(guān)的單元空間模型的簡化表示；圖7是具有兩個對象的視頻立方；圖8是解壓縮方法的方框圖；
圖9是用于生成一個N-維對象的單元空間模型的設(shè)備；圖10是一個視頻解壓縮設(shè)備；圖11是三個對象的兩個邊緣的T形連接；圖12是時間上彼此連續(xù)的圖像的符號表示；圖13是與圖12中的圓有關(guān)的三維時空對象。
在下面的附圖中，與附圖中已經(jīng)描述過的部分相應的部分用相同的參考標記表示。一個對象和相關(guān)的單元空間模型的相應對象的參考標記僅在百位有所不同。參考三維或者二維對象來描述方法和裝置是為了更為清楚地闡述。所描述的步驟可以以顯然的方式，在更高維數(shù)當中數(shù)學計算。
具體實施例方式
圖1中的轉(zhuǎn)換方法的第二步驟是獲取1計算機表示，例如一個N-維對象的體元表示。很可能分割步驟3在獲取步驟之前執(zhí)行，在分割步驟中，對象從一個視頻立方中分割。分割是將視頻立方中的每個像素僅分配一個對象。分割一個三維視頻立方的算法能夠以簡單的方式從文獻中所述的二維圖像圖塊中推導。一種可能的算法是當標準表明它們就選定的特征而言種類相同時，將例如一個8×8×8體元的立方分配給一個相同的圖塊。特征的一個例子是與體元有關(guān)的灰度值。標準的一個例子是與體元的兩個立方有關(guān)的柱狀圖絕對差GG=Σi=1M|CiK1-CiK2|/2V---[1]]]>在公式[1]中，i是柱狀圖面元(bin)的指數(shù)，其中視頻立方中的所有灰度值被分成M個面元。C是在立方體K1和K2中與一個面元i有關(guān)的灰度值的數(shù)目。立方的體積V作為標準化常數(shù)使用。當差別G很小時，根據(jù)分割算法，兩個立方屬于同一個圖塊。不同的標準是在文獻中的描述，其中的每一個都能夠使用不同的特征例如體元灰度值，體元彩色，紋理尺寸，例如通過Gabor濾波獲得的值，或者來自于一個聯(lián)合發(fā)生矩陣的值等。在文獻中，還存在不同的圖塊算法分組，例如，小圖塊到大圖塊，或者相反，分裂成大圖塊到小圖塊。
已經(jīng)根據(jù)一個給定的模型例如一個八叉樹模擬了一個對象。如果需要，八叉樹模型可以在獲取步驟過程中被轉(zhuǎn)換成一個體元表示?；蛘?，可以根據(jù)例如一個三角網(wǎng)狀表示來生成一個單元空間模型。
在圖1中的生成步驟5中，根據(jù)體元表示建立了一個單元空間。下面參考圖3和4對此進行描述。
圖3表明了具有平面511的一個簡單的二維圖形510，該圖形被一個一維的圓形邊界513和三個直線邊界514，515和516所界定。直線邊界由兩個點相連而形成，例如，第一直線邊界514被第一點520和第二點521連接而成。
圖4以圖表的方式表明了屬于圖3所示圖形的單元空間模型609。存在一個具有屬于平面511的單元維數(shù)為2的單元611。對于具有維數(shù)比2低1維的平面511的邊緣上的所有邊緣流形，在單元611和與邊緣流形相應的單元，例如單元611和與一個圓形邊界513有關(guān)的單元613之間的邊界612之間的單元空間模型609中，增加一個邊緣。在與被看作是區(qū)別大于1的維數(shù)的流形有關(guān)的單元之間不加入邊界，例如在單元611和與第一點520有關(guān)的單元620之間沒有邊界加入。為所有的邊界指定了一個表示符，為了附圖的清楚，僅表明了一個表示符625。該表示符表示圓形邊界513是否形成了平面511的一部分，或者換句話說，圓形邊界是否形成了二維圖形510的一部分，在這種情況下，例如，表示符被指定為值1。如果圓形邊界513沒有形成平面511的一部分，例如，該表示符被指定為值0。
圖2表明了“形成一部分”的含義并且顯示了一個空間上的三維場景的二維圖像，例如一個照相機所拾取的圖像或者一個計算機繪圖程序所描述的圖像。對象13位于對象15的前面空間中。對象15的平面16被四條直線，尤其是第一直線邊界17和第二直線邊界18所圍繞。為了賦予表示符一個與屬于平面16的單元和屬于直線邊界17的單元之間的邊界有關(guān)的正確值，應當詢問這樣的問題第一直線邊界17是否形成了平面16的一部分，或者，與此等價地，是否形成了對象15的一部分。當對象表明，例如，墻面上的門已經(jīng)打開，第一直線邊界17與門孔有關(guān)。因此，標準是當門孔在通過移動鏡頭照相機所拾取的連續(xù)視頻圖像上移動時，第一直線邊界17沿著門孔移動。例如，使用一個Hough轉(zhuǎn)換，在諸如Canny邊界檢測器的邊界檢測器所發(fā)現(xiàn)的邊界17上的點，一段直線以相同的速度和方向沿著門孔的紋理，例如在給定的灰度值以上的一圖塊的像素移動。如果門具有足夠的紋理信息，可以使用一個運動估計器來確定它的運動，例如在專利文件WO-A-0188852中描述的估計器。第二直線邊界18也在平面16之內(nèi)。假設(shè)第二直線邊界18形成了對象13的上邊界，并且對象15的真實邊界隱藏，例如隱藏在對象13的后面。然后，沿著對象13移動第二直線邊界18，例如當對象13是一個向左的人時，其向左移動，并且不沿著對象15移動，例如在照相機移動的影響下，其向右移動。第二直線邊界18這樣界定平面16，但是沒有形成平面16的一部分，卻形成了對象13的一部分?？梢允褂貌煌膯l(fā)通過阻塞分析的方式來定義對象的邊界與哪個對象相關(guān)。第一啟發(fā)定義，例如當連續(xù)圖像中的第一對象的橫截面減小或者增加時，同時第二伴隨對象的橫截面保持恒定，第二對象覆蓋第一對象，并且邊界流形形成第二對象的一部分。
第二啟發(fā)參照圖11描述。在邊界301和邊界303的T形接點上，與連續(xù)邊界301有關(guān)的對象305位于對象307和309的前面，并且邊界301形成了對象305的一部分。
第三啟發(fā)分析邊界移動進行哪個連接紋理。這可以受運動估計的影響。首先，能夠執(zhí)行紋理分析，例如通過計算規(guī)定參數(shù)，或者紋理的小波或者碎片分析，或者能夠執(zhí)行紋理單元的分析。還有可能將具有相同類型紋理的圖塊從圖像中分離出來并且應用一個基于圖塊的運動估計器。
如果存在第二對象，例如，與圖7所示的視頻立方201中的第一對象203在一起的第二對象204，在單元空間模型中為第二對象增加了單元。例如，在圖6中，分別為圖5中的第一環(huán)21的內(nèi)部25和第二環(huán)23的內(nèi)部27增加了單元125和127。在圖6中，由虛線表示的表示符與具有“沒有形成部分”的意思的值有關(guān)。為了圖6的清楚明了，僅表明了兩個點的相關(guān)單元。
當圖1中的生成步驟5不僅生成體元表示的單元空間模型223，模擬步驟6還生成一個度量模型222時，這是非常令人感興趣的。例如，一個三維對象的二維包絡(luò)能夠通過三角網(wǎng)狀模型或者計算機圖形技術(shù)中已知的其他模型可測量的模擬。使用測量算法生成邊界流形是非常令人感興趣的。為了定義一個對象的二維邊界表面，例如可以首先計算對象的重心，接下來和與重心距高最遠的對象有關(guān)的點被認為是重心半徑上的邊界點。在推定固體幾何技術(shù)中還已知用于確定流形的其他算法。作為所有邊界點的集合獲得的對象的彎曲的二維邊界表面可以僅利用例如平面來模擬，而不用通過與二維邊界表面的匹配計算出的平面流形來模擬，其中平面上的一個點，不是平面的流形與二維邊界上的一個點之間的距離不會大于一個預定的距離。參照圖3描述另一個例子。很明顯，僅使用一個直線邊界，例如516，描述了邊界的直線部分，但是直線邊界516可以被分成兩個更短的直線邊界，然后這兩個直線邊界分別屬于單元空間609中的兩個單元。而且，也可以為度量模型指派一個紋理功能。很可能為一個流形中的所有體元給定一個和相同的彩色。另一個可能是，例如，在三角網(wǎng)狀表示的三角中加入一個多項式紋理模型。然后可以將多項式的參數(shù)加入到壓縮模型當中。壓縮模型和單元空間給出了有效重建對象所需的全部信息。
在輸出步驟7的過程中，將單元空間模型以及度量模型222(如果應用)輸出到存儲器219，或者通過數(shù)據(jù)連接傳輸。當使用測量模型和單元空間的數(shù)據(jù)生成一個壓縮模型228，最好是一個基于對象的壓縮模型時，這是非常令人感興趣的。例如，可以使用從現(xiàn)有的壓縮技術(shù)中已知的技術(shù)，例如小波系數(shù)的量化技術(shù)，同時考慮人類的視覺特征，例如哈夫曼編碼，使用對象的一個三維小波模型作為壓縮模型。
使用單元空間模型的優(yōu)點在于能夠比僅利用度量模型更為有效地執(zhí)行壓縮和解壓縮。這將參考圖12和13進行描述。在視頻序列中，兩個對象彼此阻塞是非常常見的。方塊713在第一圖像701，第二圖像703和第三圖像705中保持在相同的位置上。但是，圓圈在方塊的后面移動，并且在第三圖像中甚至移出了圖像幀。圖13表明了圓圈在不同的圖像中的運動作為一個三維對象730。由于圓圈的各部分已經(jīng)被阻塞，即在一些圖像中已經(jīng)看不見，因此三維對象730的形狀是不規(guī)則的。例如，與圓圈的第三位置714相應的橫截面725就由于部分圓圈位于圖像之外而不圓。但是，在發(fā)生移動的三維空間內(nèi)，圓圈總是保持圓的。這樣如果阻塞也要被模擬的話，就可能使用一個圓柱的模型來模擬圓圈。這在我們的方法中是通過單元空間模型中的表示符實現(xiàn)的。在解壓縮過程中，當將根據(jù)壓縮模型生成視頻立方圖像時，將考慮阻塞。例如，當再生圖像時，落在圖像之外的內(nèi)容將被剪切。邊界是一個阻塞對象的特殊情況。圖像的再生進一步在圖8的描述中介紹。二維圖像中的對象改變可以由平移，旋轉(zhuǎn)和縮放構(gòu)成，簡單的三維對象與上述內(nèi)容有關(guān)。更為復雜的轉(zhuǎn)換模型會出現(xiàn)非線性彎曲。
例如，如果一個足球滾入了一幅圖像，紋理模擬可以選擇性地模擬足球的旋轉(zhuǎn)紋理功能，或者線性平移的靜態(tài)功能，其中在接收端足球被看作正在滑動，而不是滾動。如果紋理功能隨時間變化，例如，隨亮度的改變而變化，第一種選擇是使用非常短的三維對象僅例如用四個幀模擬對象軌跡的一小部分。另一種選擇是使用時間變化紋理功能，例如與對象耦合的參考軸系統(tǒng)中的像素的灰度值的多項式改變。
壓縮對于多數(shù)應用非常重要。能夠理解數(shù)據(jù)傳輸作為一種壓縮應用指的是例如，互聯(lián)網(wǎng)，第三和第四代移動通信，在DSL(數(shù)字用戶線)上的視頻點播以及數(shù)字電視。存儲器指的是例如，高容量記錄載體，例如數(shù)字盤DVD上的HDTV，專業(yè)視頻服務(wù)器，基于硬盤的個人視頻記錄器，在硬盤上記錄了很多節(jié)目，盡管利用的是低質(zhì)量，和在多種系統(tǒng)當中適當壓縮來記錄的。人們對于低容量存儲器，例如視頻CD的載體，小盤以及固態(tài)存儲器，也很感興趣。視頻信號可以是來自于衛(wèi)星電視到互聯(lián)網(wǎng)視頻的所有種類的源。該方法可以在提供者終端，例如在電視演播室中使用，也可以在中間終端例如電纜網(wǎng)絡(luò)公司，以及直播間中使用。
可以通過例如為每一個幀構(gòu)建一個所謂的可縮放空間來獲得大于3的維數(shù)。例如，可以利用高斯濾波器對該幀濾波，在高斯濾波器中濾波器的標準偏差σ持續(xù)增加。然后標準偏差形成了一個額外的維。與視頻立方相似，其可以通過在時間上將一幀放在另一幀之后來形成。如圖7所示，濾波的幀被認為是不同級別的幀，能夠放置在另一個之后。
單元空間模型的另一種應用是計算機想象。例如，當一個機器人必須參考照相機拾取的圖像在一個三維空間中安排一個運動軌跡時，它可以使用單元空間模型來定義該幀中的哪個流形屬于彼此從而它能夠更好的計算三維結(jié)構(gòu)和在三維空間中對象的放置。另一種應用是從另一個觀點例如三維電視或者視頻點播出發(fā)的場景再生。而且，當生成特殊效果時，單元空間模型也是非常有意思的。另一種應用是互聯(lián)網(wǎng)上的圖像的結(jié)構(gòu)分解。當必須找到具有給定對象的圖像時，這些對象可以利用單元空間模型描述。既可以為用戶給出的搜索對象的輪廓，例如一個圖像搜索程序，又可為互聯(lián)網(wǎng)上的數(shù)據(jù)庫中的圖像生成一個單元空間模型。人們對單元空間模型在醫(yī)學圖像處理應用中的使用也很感興趣。
圖8是解壓縮一個壓縮視頻信號的方框圖。首先在步驟101獲取壓縮信號，例如來自于電視分布電纜或者個人視頻記錄其的信號。如果需要，對其進行轉(zhuǎn)換從而實現(xiàn)一個可用的度量模型。例如，可以例如差別地存儲壓縮模型中的部分信息，在這種情況下，首先計算模型參數(shù)的絕對值，并將其存儲在度量模型當中。在一個優(yōu)選實施例中，應用一個單元空間模型以及一個壓縮模型，盡管在另一個實施例中是在接收端計算單元空間模型。
接下來，使用測量模型和單元空間模型生成一個計算機表示(圖8中的步驟)103，例如一個視頻立方201。在第一實施例中，直接生成一個包括P個幀的三維視頻立方。例如首先生成一個三維對象的邊界，接下來通過例如紋理模型生成其內(nèi)部?；蛘?，在第二實施例中獨立地生成每一幀。參考幅圖12和圖5描述第二實施例。
例如，當生成第二圖像703時，首先通過例如將圓圈712和方塊713的相關(guān)的三維對象投射到第二圖像703的平面上來計算它們的邊界。接下來，應用每個紋理功能從而對圓圈和方塊的像素著色。應當計算圓圈或者方塊是否在前面。由于邊界流形形成了方塊的一部分，因此方塊在前面。接下來，必須首先在圓圈的第二位置712繪出其紋理功能，并且利用方塊713的紋理功能重寫。
圖5表明了第一環(huán)21和第二環(huán)23在空間上互相連接的一個更為困難的情況。通過投射算法生成了環(huán)的一維邊界，例如邊界29和30。接下來，應用紋理功能從而對環(huán)的像素著色。為此，例如，使用一個漆匠算法。其為對象邊界內(nèi)的所有像素指定正確的值。一種選擇算法首先繪出第一環(huán)21的像素，然后繪出第二環(huán)23的像素。如果使用選擇算法，在交叉點55和分隔點56之間的區(qū)域中，第一環(huán)21的像素被第二環(huán)的像素不法重寫。而且當另一種選擇算法首先繪出第二環(huán)時，存在錯誤的像素。這是由于第一環(huán)21和第二環(huán)23都不在前面。這一問題可以通過在單元空間模型中應用一個圓形的檢測算法來解決。當檢測到一個圓時，必須加入一個額外的邊界流形，這被稱為一個交叉點，例如交叉點55。交叉點55和邊界51之間的第一環(huán)21將穿過第二環(huán)在第三繪圖相位描述。通過使用輸入交叉點和執(zhí)行額外的繪圖相位的算法，所有的像素都具有一個正確的值。
在輸出步驟105的過程中，將視頻立方寫入到例如一個存儲器271當中，或者將連續(xù)的圖像發(fā)送到例如一個圖形處理單元當中。
圖9表明了一種用于將一個計算機表示，例如一個N-維第一對象203的體元表示221轉(zhuǎn)換成對象203的計算機模型的設(shè)備211。為此，設(shè)備211包括獲取裝置215，例如一個用于獲取第一對象203的體元表示221的數(shù)據(jù)連接。在一個優(yōu)選實施例當中，體元表示221位于存儲器219當中。而且，設(shè)備211包括處理裝置213，用于根據(jù)體元表示221生成計算機模型。在一個優(yōu)選實施例當中，處理裝置213是一個處理器。用于輸出計算機模型的輸出裝置217例如是一個與存儲器219相連的數(shù)據(jù)連接，其中寫入了單元空間模型223和算法模型222。當設(shè)備211結(jié)合到一個視頻處理裝置241當中時是非常令人感興趣的。在一個實施例中，視頻處理裝置241具有一個用于接收視頻信號229的輸入端233以及一個能夠處理接收到的視頻信號的條件單元225，其能夠例如將接收到的視頻信號轉(zhuǎn)換從一個PAL信號轉(zhuǎn)換成一個視頻立方。而且，在該實施例中，提供了一個用于輸出視頻信號231的輸出端235，通過輸出處理單元227形成了視頻信號。尤其是，當輸出處理單元227生成一個壓縮模型228時是非常令人感興趣的。
圖10表明了一種視頻解壓縮裝置251，用于將包括一個壓縮模型的壓縮的視頻信號261壓縮為一個計算機表示262，例如一個三維視頻立方201。該視頻解壓縮裝置251具有一個用于接收一個壓縮視頻信號261的輸入端255和一個用于輸出一個解壓縮視頻信號263，例如一個視頻立方201的輸出端257。或者，提供一個輸出處理單元265用于將視頻立方轉(zhuǎn)換成一個PAL或者NTSC信號。在視頻解壓縮裝置251的一個優(yōu)選實施例中，用于生成計算機表示262的處理單元253連接到一個存儲器271，在該存儲器中存儲了一個單元空間模型273。
權(quán)利要求
1.一種將一個N-維第一對象的計算機表示轉(zhuǎn)換成第一對象的計算機模型的方法，特征在于計算機模型轉(zhuǎn)換包括生成具有一個第一單元和一個第二單元的一個單元空間模型的步驟，所述第一單元屬于具有維數(shù)等與于N的第一空間第一流形，所述第二單元屬于位于第一空間第一流形的邊緣處的維數(shù)等于N-1的第二空間第二流形，并且在第一單元和第二單元之間的邊界上指定了一個表示符，該表示符表示第二空間第二流形是否形成了第一空間第一流形的邊界的一部分。
2.根據(jù)權(quán)利要求1所述的一種轉(zhuǎn)換方法，特征在于在單元空間模型中增加一個屬于第三空間第三流形的第三單元，用作第二對象的計算機表示。
3.根據(jù)權(quán)利要求2所述的一種轉(zhuǎn)換方法，特征在于包括于連續(xù)時間有關(guān)并且彼此相聯(lián)前后放置的二維圖像組成的一個三維視頻立方被分割成第一對象和第二對象，并且轉(zhuǎn)換生成了第一單元和第三單元，第一空間第一流形和第三空間第三流形的維數(shù)至多為3。
4.根據(jù)權(quán)利要求3所述的一種轉(zhuǎn)換方法，特征在于轉(zhuǎn)換根據(jù)從計算機表示的值導出的值的至少一個幾何特征的計算為表示符指定一個值。
5.根據(jù)權(quán)利要求4所述的一種轉(zhuǎn)換方法，特征在于轉(zhuǎn)換根據(jù)當時在視頻序列立方中具有一個二維圖像的平面的第一對象的橫截面的表面時間改變的計算為表示符指定一個值。
6.一種將一個N-維對象的計算機表示轉(zhuǎn)換成該對象的一個壓縮模型的壓縮方法，特征在于轉(zhuǎn)換利用了單元空間模型。
7.一種將一個壓縮的視頻信號解壓縮成一個N-維對象的計算機表示的方法，特征在于解壓縮利用了單元空間模型。
8.一種將具有第一多個單元的第一單元空間模型轉(zhuǎn)換成具有第二多個單元的第二單元空間模型的方法，特征在于第一多個單元與第二多個單元不同。
9.一種用于執(zhí)行將一個N-維第一對象的計算機表示轉(zhuǎn)換成該第一對象的計算機模型的方法的計算機程序，特征在于轉(zhuǎn)換成計算機模型包括生成具有一個第一單元和第二單元的單元空間模型的步驟，所述第一單元屬于具有維數(shù)等與N的第一空間第一流形，所述第二單元屬于位于第一空間第一流形的邊緣處的維數(shù)等于N-1的第二空間第二流形，并且在第一單元和第二單元之間的邊界上指定了一個表示符，該表示符表示第二空間第二流形是否形成了第一空間第一流形的邊界的一部分。
10.一種用于執(zhí)行將一個N-維對象的計算機表示轉(zhuǎn)換成該對象的計算機模型的壓縮方法的計算機程序，特征在于轉(zhuǎn)換利用了單元空間模型。
11.一種用于執(zhí)行將一個壓縮的視頻信號解壓縮成一個N-維對象的計算機表示的方法的計算機程序，特征在于解壓縮利用了單元空間模型。
12.一種用于將一個N-維的第一對象的計算機表示轉(zhuǎn)換成該第一對象的計算機模型的裝置設(shè)備，該裝置設(shè)備包括獲取裝置，用于獲取第一對象的計算機表示，處理裝置，用于轉(zhuǎn)換第一對象的計算機表示，以及輸出裝置，用于輸出計算機模型，特征在于該處理裝置能夠生成具有一個第一單元和第二單元的單元空間模型的步驟，所述第一單元屬于具有維數(shù)等與N的第一空間第一流形，所述第二單元屬于位于第一空間第一流形的邊緣處的維數(shù)等于N-1的第二空間第二流形，并且能夠在邊界上指定一個表示符，該表示符表示第二空間第二流形是否形成了第一空間第一流形的邊界的一部分。
13.一種用于將一個壓縮的視頻信號解壓縮為一個N-維對象的計算機表示的視頻解壓縮裝置設(shè)備，該視頻解壓縮裝置設(shè)備包括獲取裝置，用于獲取壓縮的視頻信號；處理裝置，用于根據(jù)壓縮的視頻信號生成計算機表示；輸出裝置，用于輸出計算機表示，特征在于處理裝置能夠訪問一個單元空間模型。
14.一種包括一個表示一個數(shù)字化的N-維對象的單元空間的數(shù)據(jù)表示，特征在于在單元空間的第一單元和第二單元之間的邊界上指定了一個表示符，該表示符表示具有較低維數(shù)的第二空間第二流形是否形成了具有較高維數(shù)的第一空間第一流形的一部分，所述的第一和第二空間第二流形分別被第一和第二單元表示。
全文摘要
一種用于將一個N－維對象的體元表示轉(zhuǎn)換成含有一個單元空間的計算機模型的方法，所述的單元空間是圖形的一種特殊形式。在單元空間的每個邊界上附加的一個表示符，表明該邊界是否屬于一個對象。這對于視頻序列的三維壓縮以及對于互聯(lián)網(wǎng)視頻序列搜索來說非常有用。
文檔編號H04N7/26GK1666234SQ03815716
公開日2005年9月7日 申請日期2003年7月2日 優(yōu)先權(quán)日2002年7月4日
發(fā)明者C·W·A·M·范奧維德, F·E·埃恩斯特, P·-A·雷德特, R·P·A·羅德里古斯, P·維林斯基 申請人:皇家飛利浦電子股份有限公司