專利名稱：用于組合情景的方法和譯碼器的制作方法
技術領域：
本發(fā)明涉及用于組合包含多個對象的情景的方法，對象包括色度和亮度分量，色度值與至少兩個亮度值的一個組相關聯(lián)，所述方法包括使第二對象與第一對象混合從而產(chǎn)生一個混合的對象的步驟。
本發(fā)明還涉及譯碼器，所述譯碼器實施所述方法。這樣的方法例如可用于MPEG-4視頻通信系統(tǒng)。
背景技術：
可見的情景可以由諸如自然視頻、二維、三維合成圖像、圖形或文本的不同類型的對象組成。
視頻通信系統(tǒng)(例如移動電信系統(tǒng))典型地包括第一移動電話和第二移動電話，分別包括編碼器和譯碼器。為了從第一移動電話傳送可看見的情景到第二移動電話，不同的對象被第一移動電話編碼，并被獨立地傳送到第二移動電話。在譯碼器一側，通過對不同的對象進行譯碼和然后呈現(xiàn)經(jīng)譯碼的對象從而把情景重新組合。所述呈現(xiàn)通常包括幾何變換步驟，它能夠映射情景上的對象；以及包括把映射的對象混合在一起從而形成最后的情景的步驟。
對象典型地包括色度U和V，以及亮度Y分量，從而形成對象的彩色。在使對象M與當前的對象N混合的步驟期間，透明度數(shù)值Nalpha可以與對象N相關聯(lián)，所述透明度數(shù)值影響混合的對象P的色度和亮度值Pyuv，以使得Pyuv＝[(255-Nalpha)*Myuv+Nalpha_y*Nyuv]/255混合后對象的象素的透明度按照所述象素的形狀而得到。透明度允許確定在情景中哪個對象是在另一個對象的前面還是后面。形狀與情景的幀的象素相關聯(lián)。它允許知道象素是在對象的里面還是在對象的外面。如果它是在外面，則形狀具有零值，否則它具有等于1的數(shù)值。
對于具有坐標(x，y)的象素，相應于這些坐標的形狀值被取值為0或1，并把它歸因于這個象素的亮度。在其中亮度值是十字叉(crosses)的情形下，對于色度值U或V(x，y)所使用的形狀是坐標(2x-1，2y-1)的象素的形狀，即，與色度值相關聯(lián)的2×2象素的方形的右上角象素。
這個解決方案的一個不方便處是，混合后的對象的色度是錯誤的。這導致對于具有任意形狀的對象的視覺質量變壞。在由圖2a到2c的字母“e”構成的和由帶條所表示的對象的例子中可看到這個觀察結果。圖2a是原先的對象，圖2c是組合的結果而圖2b說明如何得到這個結果。每個方形代表一個象素。如果取其坐標為(4，2)的象素，則一個其形狀將被使用于色度分量的象素是象素(3，1)，如圖2b所示。這個形狀的數(shù)值是0，也就是說，它在符號“e”的外面并將不考慮其色度值，如圖2c所示，其中象素值由各點代表。該結果是錯誤的，因為色度值應當被考慮而且結果應當是與圖2a相同的。
發(fā)明概要因此，本發(fā)明的目的是提供用于組合包含多個對象的情景的方法和譯碼器，對象包括色度和亮度分量，色度值與至少兩個亮度值的一個組有關，所述方法包括使第二對象與第一對象混合從而導致產(chǎn)生一個混合的對象的步驟，這給出所述混合的對象更好的視覺質量。
為此，提供一種方法，其中混合步驟包括以下子步驟-根據(jù)第一和第二對象的相應的亮度分量和根據(jù)第一組合函數(shù)來生成混合的對象的亮度分量，以及-根據(jù)第一和第二對象的相應的色度分量和根據(jù)第二組合函數(shù)來生成混合的對象的色度分量，該第二組合函數(shù)取決于第一組合函數(shù)的一組相關聯(lián)的值。
此外，提供一個包括混合裝置的譯碼器，所述混合裝置包括-亮度生成裝置，用于根據(jù)第一和第二對象的相應的亮度分量和根據(jù)第一組合函數(shù)來生成混合的對象的亮度分量，以及-色度生成裝置，用于根據(jù)第一和第二對象的相應的色度分量和根據(jù)第二組合函數(shù)來生成混合的對象的色度分量，該第二組合函數(shù)取決于第一組合函數(shù)的一組相關聯(lián)的值。
正如我們將進一步詳細地看到的，使用對于第二組合函數(shù)的第一組合函數(shù)的一組相關聯(lián)的值會給對象的色度分量提供更好的精度。
按照第一個非限制的實施例，第一組合函數(shù)取決于形狀分量。
在這個第一非限制實施例的非限制變例中，色度值與4個亮度值和4個形狀值有關，第二組合函數(shù)是在4個相關聯(lián)的形狀值之間的‘或’函數(shù)。
按照第二個非限制的實施例，第一組合函數(shù)是基于透明度分量。
在這個第二非限制實施例的非限制變例中，色度值與4個亮度值和4個透明度值有關，該第二組合函數(shù)是4個透明度值的平均。
附圖簡述通過參考附圖和閱讀以下詳細說明，將明白本發(fā)明的另外的目的、特性和優(yōu)點，其中

圖1顯示在4:2:0格式情形下色度和亮度分量的分布，圖2a，2b，2c顯示按照現(xiàn)有技術的情景時混合的對象的色度計算的結果，以及圖3是譯碼器的框圖。
發(fā)明詳細說明本發(fā)明涉及用于組合情景的方法，所述情景包括多個對象，對象包括色度和亮度分量，一個色度值與至少兩個亮度值的一個組相關聯(lián)。
在以下的說明中，本發(fā)明是在視頻格式4:2:0的情形下描繪的，即，一個色度U或V相應于四個亮度Y值，色度在水平和垂直方向上被次采樣，但本領域技術人員將會看到，本發(fā)明可應用于任何視頻格式，在其中色度分量與亮度分量相比是次采樣的。
在以下的說明中，本領域技術人員熟知的功能和結構不作詳細描述，因為這會以不必要的細節(jié)掩蓋本發(fā)明。
圖3表示譯碼器結構的總體概觀。當對給定的進程的所有對象譯碼時，應用相同的譯碼方案。
譯碼器包括多路分解器DEMUX(31)、形狀譯碼器SHDEC(32)、運動譯碼器MDEC(33)和紋理譯碼器YUVDEX(34)，用于對亮度和色度分量進行譯碼。重建的對象是借助運動補償電路MC(35)，重建電路(36)和圖像存儲器MEM(37)按照本領域技術人員已知的原理把形狀、紋理結構和運動信息正確地組合而得到的。
在對給定的進程中不同的對象譯碼后，對于情景的每個對象施加逆仿射變換，諸如旋轉、變焦(zoom)、或減縮。為此，要使用被稱為《后向映射》的公知的技術。對于所述圖像的每個象素的坐標(x，y)施加仿射變換。當前的對象的象素的亮度、色度和透明度分量然后通過例如在圍繞具有坐標(X，Y)的逆變換的象素的四個象素之間進行的內(nèi)插，雙線性內(nèi)插而得到。
在逆仿射變換后，執(zhí)行混合步驟，也稱為組合。對象可以以預定的次序遞歸地被混合。
在這個步驟中，透明度數(shù)值與情景的每個對象相聯(lián)系。實際上，它允許看見哪個對象在另一個對象的后面或前面。每個對象具有它本身的亮度Y、色度U和V、以及透明度α數(shù)值?；旌媳豁樞虻赝瓿伞Ｍǔ?，對象的組合由情景后面的對象開始而兩個兩個地進行。例如，如果第一對象N是在第二對象M上進行的上層，生成混合的對象P?；旌虾蟮膶ο驪的YUV象素值取決于對象M和N的象素值，以及取決于當前的對象N的透明度數(shù)值。因此Py＝[(255-Nalpha_y)*My+Nalpha_y*Ny]/255Puv＝[(255-Nalpha_uv)*Muv+Nalpha_uv*Nuv]/255其中-Py和Puv分別是混合的對象P的亮度Y和色度UV分量，-My和Muv分別是第二對象M的亮度Y和色度UV分量，它例如是情景的背景，而且它在以前的混合步驟中已被計算和被存儲，-Ny和Nuv分別是正在被處理的第一對象N的亮度Y和色度UV分量，-Nalpha_y和Nalpha_uv分別是為得到Py和Puv分量而施加到對象N的象素的透明度分量，-亮度值被包括在0于255之間。
透明度分量Nalpha是三項的乘積-全局的α值，它施加到對象的所有的象素，
-一些灰度α值，一個數(shù)值與一個象素相關聯(lián)，-一些二進制形狀值，一個數(shù)值與一個象素相關聯(lián)。
應當指出，透明度和形狀分量具有與亮度相同的分辨率。
更具體地，混合的對象P的亮度分量是根據(jù)第一和第二對象N和M的相應的亮度分量和根據(jù)第一組合函數(shù)而生成的?；旌系膶ο驪的色度分量是根據(jù)第一和第二對象N和M的相應的色度分量和根據(jù)第二組合函數(shù)而生成的。
因此，亮度分量的透明度Nalpha_y是第一組合函數(shù)的函數(shù)，以及色度分量的透明度Nalpha_uv是第二組合函數(shù)的函數(shù)。有利地，第二組合函數(shù)取決于第一組合函數(shù)的相關聯(lián)的數(shù)值的一個組。它允許在計算色度分量Puv時更精確。
按照本發(fā)明的第一非限制的實施例，第一組合函數(shù)是基于二進制形狀分量，以及透明度分量Nalpha_uv是全局α值，灰度α值，和形狀值Shape_uv(x，y)的乘積。
在這種情形下，第二組合函數(shù)是相應的四個象素的形狀的OR(或值)，以使得Shape_uv(x，y)＝Shape_y(2x-1，2y-1)OR Shape_y(2x，2y-1)OR Shape_y(2x-1，2y)ORShape_y(2x，2y)，如果象素編號從1開始的話。
例如，對于其坐標是(x，y)＝(2，1)的當前的象素，第二組合函數(shù)是Shape_uv(2，1)＝shape_y(3，1)OR shape_y(4，1)OR shape_y(3，2)OR shape_y(4，2)，不同的形狀數(shù)值Shape_y()取數(shù)值0或1。因此，如果至少一個亮度值被考慮，即，屬于對象N，則該色度值被考慮。
對于這個第二組合函數(shù)，圖2c的最終得到的混合的對象“e”具有好得多的質量，好像它是原先的“e”一樣。
至于透明度Nalpha_uv的灰度α值，可以或者取當前的象素灰度α值gray_alpha_uv(x，y)＝gray_alpha_y(2x-1，2y-1)。
或者取四個相關的象素的灰度α值，以使得gray-alpha_uv(x，y)＝[gray-alpha_y(2x-1，2y-1)+gray-alpha_y(2x，2y-1)+gray-alpha_y(2x-1，2y)+gray-alpha_y(2x，2y)]/4.
按照本發(fā)明的第二非限制的實施例，第一組合函數(shù)是基于透明度分量的。
在這種情形下，第二組合函數(shù)是四個相關聯(lián)的象素的透明度的平均值，這樣Nalpha_uv(x，y)＝[Nalpha_y(2x-1，2y-1)+Nalpha_y(2x，2y-1)+Nalpha_y(2x-1，2y)+Nalpha_y(2x，2y)]/4應當指出，平均值可以以不同的方式計算，例如通過使用加權系數(shù)計算。
由于透明度數(shù)值被包括在0與255之間，其結果比起在第一實施例中只使用形狀來說會給出更好的精確度。
將會看到，本發(fā)明不限于前述的實施例，以及可以在不背離如所附權利要求規(guī)定的本發(fā)明的精神和范圍的條件下作出變化和修改。在這方面，作出以下的結束性說明。
將會看到，本發(fā)明不限于前述的、在移動電話上的視頻應用。例如，本發(fā)明可應用于電視，只要其上有某些文本消息和視頻時。
將會看到，按照本發(fā)明的方法不限于前述的實施方案。
藉助于硬件項或軟件項或二者，可以有許多實施按照本發(fā)明的方法的功能的方式，如果單一的硬件項或軟件項可以實現(xiàn)幾個功能的話。不排除硬件項或軟件項或二者的集合實現(xiàn)一個功能，因此形成單個功能，而不用修改按照本發(fā)明的用于組合情景的方法。
所述硬件項或軟件項可以以幾種不同的方式被實施，諸如分別藉助于連線的電子電路或藉助于適當編程的集成電路。集成電路可被包含在計算機或編碼器中。在第二種情形下，譯碼器包括一個亮度生成裝置，用于根據(jù)第一和第二對象的相應的亮度分量和根據(jù)第一組合函數(shù)生成混合的對象P的亮度分量；和一個色度生成裝置，用于根據(jù)第一和第二對象的相應的色度分量和根據(jù)第二組合函數(shù)生成混合的對象P的色度分量，第二組合函數(shù)取決于第一組合函數(shù)的一組數(shù)值，正如以前描述的，所述裝置是如上所述的硬件項或軟件項。
集成電路包括一組指令。因此，被包含在例如計算機編程的存儲器或譯碼器存儲器中的所述指令組可以使得計算機或譯碼器執(zhí)行本組合方法的不同的步驟。
指令組可以通過讀諸如像盤那樣的數(shù)據(jù)載體而被裝載到編程的存儲器中。服務供應商也可以使得指令組成為經(jīng)由諸如例如因特網(wǎng)那樣的通信網(wǎng)而可得到。
在以下的權利要求中的任何標號不應當看作為限制權利要求。顯然，動詞“包括”及其派生詞的使用不排除存在除了在任何權利要求中規(guī)定的那些以外的任何其它步驟或單元的存在。在元件或步驟前面的冠詞“一個”不排除多個這樣的元件或步驟的存在。
權利要求
1.一種用于組合包含多個對象的情景的方法，對象包括色度和亮度分量，色度值與至少兩個亮度值的一個組相關聯(lián)，其中所述方法包括使第二對象與第一對象混合從而導致產(chǎn)生一個混合的對象的步驟，所述步驟包括以下子步驟-根據(jù)第一和第二對象的相應的亮度分量和根據(jù)第一組合函數(shù)來生成該混合的對象的亮度分量，以及-根據(jù)第一和第二對象的相應的色度分量和根據(jù)第二組合函數(shù)來生成該混合的對象的色度分量，該第二組合函數(shù)取決于第一組合函數(shù)的一組相關聯(lián)的值。
2.如權利要求1中要求的用于組合情景的方法，其中第一組合函數(shù)是基于透明度分量的。
3.如權利要求2中要求的用于組合情景的方法，其中色度值與4個亮度值和4個透明度值相關聯(lián)，第二組合函數(shù)是4個透明度值的平均。
4.如權利要求1中要求的用于組合情景的方法，其中第一組合函數(shù)取決于形狀分量。
5.如權利要求4中要求的用于組合情景的方法，其中色度值與4個亮度值和4個形狀值有關，第二組合函數(shù)是在4個相關聯(lián)的形狀值之間的‘或’函數(shù)。
6.一種用于組合包含多個對象的情景的譯碼器，對象包括色度和亮度分量，色度值與至少兩個亮度值的一個組相關聯(lián)，所述譯碼器包括用于使第二對象與第一對象混合從而導致產(chǎn)生一個混合的對象的裝置，所述混合裝置包括-亮度生成裝置，用于根據(jù)第一和第二對象的相應的亮度分量和根據(jù)第一組合函數(shù)來生成該混合的對象的亮度分量，以及-色度生成裝置，用于根據(jù)第一和第二對象的相應的色度分量和根據(jù)第二組合函數(shù)來生成該混合的對象的色度分量，所述第二組合函數(shù)取決于第一組合函數(shù)的一組相關聯(lián)的值。
7.一種計算機程序產(chǎn)品，包括程序指令，用于當所述程序被處理器執(zhí)行時實施如權利要求1要求的組合方法。
全文摘要
本發(fā)明涉及用于組合包含多個對象的情景的方法，對象包括色度和亮度分量，色度值與至少兩個亮度值的組有關聯(lián)，其中所述方法包括用第二對象與第一對象混合而導致產(chǎn)生一個混合的對象的步驟，所述步驟包括以下子步驟根據(jù)第一和第二對象的相應的色度分量和根據(jù)第一組合函數(shù)生成混合的對象的亮度分量，以及根據(jù)第一和第二對象的相應的色度分量和根據(jù)第二組合函數(shù)生成混合的對象的色度分量，該第二組合函數(shù)取決于第一組合函數(shù)的一組相關聯(lián)的值。
文檔編號H04N7/26GK1810039SQ200480017519
公開日2006年7月26日 申請日期2004年6月8日 優(yōu)先權日2003年6月23日
發(fā)明者J·戈伯特, L·恩古延-普胡 申請人:皇家飛利浦電子股份有限公司