專利名稱：一種實(shí)現(xiàn)多畫面的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多媒體會議電視技術(shù)，特別是涉及一種實(shí)現(xiàn)多畫面的方法。
背景技術(shù)：
在會議電視中，一般都有多方參加，在以前的會議電視中，由于沒有多畫面技術(shù)，參會的一方只能看到另外一方的圖像，這樣就在一定程度上降低了會議電視的直觀性，使得參會方感覺自己和其他所有參會方的交流不是面對面的。所以，如何在一個顯示屏上看見多個參會方圖像的多畫面技術(shù)對于提高會議電視的性能，滿足用戶的需求是非常重要的。
現(xiàn)有技術(shù)中的多畫面的傳輸方案一般包括以下兩種方法第一種方法首先由MCU(Multipoint Control Unit多點(diǎn)控制單元)對來自各個終端的視頻碼流進(jìn)行解碼，得到相應(yīng)的多路解出圖像；接著將各個解出圖像縮放成合適的尺寸并組合在一起；接著對組合圖像進(jìn)行編碼，編碼后所得到的碼流被傳送給一個終端；最后該終端對組合圖像碼流解碼后所得到的解出圖像即為多畫面圖像。
第二種方法MCU對多路視頻碼流進(jìn)行基于CPM(ContinuousPresence Multipoint and Video Multiplex多路視頻碼流復(fù)用)的復(fù)用傳輸方法，該方法是H.263標(biāo)準(zhǔn)建議的多畫面解決方法。在該方法中參與多畫面組合的各個終端所編出的子碼流被賦予一個用于區(qū)分彼此的標(biāo)識，該標(biāo)識被簡稱為“SBI”(Sub-Bitstream Indicator子碼流標(biāo)識)，并被插入子碼流的圖像頭或GOB(Group of Blocks宏塊組)頭中。
在第二種方法中，MCU并不對視頻子碼流進(jìn)行解碼，而只是將各路子碼流以GOB或幀為單位組合在一起，形成多路復(fù)合碼流，接收到多路復(fù)合碼流的終端根據(jù)各個圖像頭或GOB頭中的SBI標(biāo)識將復(fù)合碼流中的各路子碼流加以區(qū)分，并分別予以解碼，最后將各路子碼流的解出圖像組合起來顯示，于是得到了多畫面圖像。
然而，上述現(xiàn)有技術(shù)卻存在許多缺點(diǎn)，具體如下第一種方法雖然可以實(shí)現(xiàn)盡可能多個子畫面的組合，但是其成本高昂，需要在MCU側(cè)開銷大量的運(yùn)算能力、內(nèi)存等資源。而第二種方法雖然成本低廉，但是，由于H.263語法規(guī)定其SBI標(biāo)識只有2個比特(BIT)，對于二進(jìn)制算法而言，該SBI標(biāo)識只能代表4個不同的值，因此第二種方法最多只能組合4路碼流，也即，該方法最多只能支持4個子畫面的組合。

發(fā)明內(nèi)容
本發(fā)明提供一種實(shí)現(xiàn)多畫面的方法，以解決現(xiàn)有技術(shù)中不能既成本低又能實(shí)現(xiàn)多于四路多畫面的問題。
為解決上述問題，本發(fā)明提供如下技術(shù)方案一種實(shí)現(xiàn)多畫面的方法，包含以下步驟a、MCU為各個終端生成一個包含有多畫面信息的標(biāo)識，并將該標(biāo)識發(fā)送至各個終端；b、各個終端接收所述標(biāo)識，根據(jù)多畫面信息標(biāo)識中的信息對源圖像進(jìn)行編碼并將該多畫面信息標(biāo)識插入子碼流發(fā)送至MCU；c、MCU收到各個終端的子碼流，組合成復(fù)合碼流，發(fā)送給顯示終端；d、顯示終端接收復(fù)合碼流，從中取出各路子碼流，根據(jù)各路子碼流的多畫面信息標(biāo)識，對各路子碼流進(jìn)行解碼并將解出的多個子畫面組合成多畫面圖像輸出。
其中，所述的標(biāo)識是指包含有多畫面模式、子畫面位置、尺寸和格式信息的ESBI(Extended Sub-Bitstream Indicator擴(kuò)展的子碼流標(biāo)識)。
所述的步驟b中將該多畫面信息標(biāo)識插入子碼流更具體是指如果MCU組合各路子碼流時是以幀為單位，則將該多畫面信息標(biāo)識插入子碼流的圖像頭中，如果MCU組合各路子碼流時是以GOB為單位，則將該多畫面信息標(biāo)識同時插入子碼流的圖像頭和GOB頭中。
所述的步驟b中根據(jù)多畫面信息標(biāo)識中的信息對源圖像進(jìn)行編碼具體是指按照該多畫面信息標(biāo)識包含的子畫面尺寸、格式信息對源圖像進(jìn)行編碼。
所述的步驟c中組合成復(fù)合碼流更具體是指以幀或GOB為單位組合成復(fù)合碼流。
所述的步驟d中從中取出各路子碼流更具體是指以幀或GOB為單位從復(fù)合碼流中取出各路子碼流。
所述的步驟d中根據(jù)各路子碼流的多畫面信息標(biāo)識更具體是指如果MCU組合各路子碼流時是以幀為單位，則是根據(jù)各路子碼流的圖像頭中的多畫面信息標(biāo)識，如果MCU組合各路子碼流時是以GOB為單位，則是根據(jù)各路子碼流的圖像頭和GOB頭中的多畫面信息標(biāo)識。
本發(fā)明通過對H.263建議的CPM/SBI語法進(jìn)行了擴(kuò)展，使得多畫面信息標(biāo)識的長度更長，而可以負(fù)載更多的信息，從而使得MCU在無需對視頻碼流進(jìn)行解碼和再編碼的情況下，能夠?qū)崿F(xiàn)盡可能多的子畫面碼流的傳輸和組合顯示，而子畫面的解碼和組合完全在終端上進(jìn)行。本發(fā)明的優(yōu)點(diǎn)在于一方面降低了成本，另一方面大大擴(kuò)展了多畫面?zhèn)鬏敽徒M合能力，能夠?qū)崿F(xiàn)盡可能多的子畫面的傳輸與組合。


圖1為本發(fā)明實(shí)施例的系統(tǒng)架構(gòu)示意圖；圖2A為本發(fā)明實(shí)施例終端顯示的2畫面模式示意圖；圖2B為本發(fā)明實(shí)施例終端顯示的3畫面模式示意圖；圖2C為本發(fā)明實(shí)施例終端顯示的4畫面模式示意圖；圖2D為本發(fā)明實(shí)施例終端顯示的6畫面模式示意圖；
圖3為本發(fā)明實(shí)施例的方法流程圖；圖4為本發(fā)明實(shí)施例ESBI標(biāo)識的比特域的字節(jié)劃分示意圖。
具體實(shí)現(xiàn)方式如圖1所示，本發(fā)明實(shí)施例的系統(tǒng)是目前使用廣泛的基于H.320和H.323標(biāo)準(zhǔn)的會議電視系統(tǒng)，該會議電視系統(tǒng)由6個終端、一個MCU、一個顯示終端組成，通過傳輸網(wǎng)絡(luò)如ISDN(Integrated ServicesDigital Network綜合服務(wù)數(shù)字網(wǎng))或LAN(Local Area Network局域網(wǎng))等，將MCU、6個終端、顯示終端連接起來。本會議電視系統(tǒng)需要將來自6個終端的子畫面通過MCU傳輸，在顯示終端輸出組合后的多畫面。
假設(shè)本實(shí)施例的會議電視系統(tǒng)所使用的產(chǎn)品可以實(shí)現(xiàn)4種模式的多畫面，如圖2A、2B、2C、2D所示，其中各子畫面左上角的數(shù)字即該子畫面的子畫面號，當(dāng)前的會議電視系統(tǒng)使用的多畫面模式為6畫面模式，如圖2D所示。
如圖3所示，本發(fā)明實(shí)施例所述的一種基于擴(kuò)展CPM語法的實(shí)現(xiàn)多畫面的方法，具體包括以下步驟第一、MCU為各個終端生成一個包含有多畫面模式、子畫面位置、尺寸和格式信息的ESBI標(biāo)識，并將該ESBI標(biāo)識發(fā)送至各個終端。
在多畫面電視會議召開以前，需要確定ESBI標(biāo)識的具體內(nèi)容。本產(chǎn)品中由于只有4種多畫面模式，可在ESBI標(biāo)識的比特域中提供2位長度用于表示多畫面模式；由于最大的子畫面號為5，用二進(jìn)制表示為“101”，可在ESBI標(biāo)識的比特域中提供3位長度用于表示子畫面號，3位長度可表示的最大子畫面號為7。
這樣ESBI比特域一共5比特長度，如圖4所示為本實(shí)施例的ESBI標(biāo)識的比特域的字節(jié)劃分情況。
其中，多畫面模式的2比特長度可指定為如下含義“00”表示2畫面模式；“01”表示3畫面模式；
“10”表示4畫面模式；“11”表示6畫面模式。
子畫面號的3比特的長度的情況比較復(fù)雜，需要和多畫面模式配合才可得到子畫面的顯示位置、尺寸和格式，當(dāng)前多畫面模式為6畫面模式，即其比特域?yàn)椤?1”時，多畫面圖像為CIF(CommonIntermediate Format通用中間格式)格式的圖像，其分辨率的象素為(352×288)，則可指定子畫面號的比特域?yàn)槿缦潞x“000”表示子畫面的顯示位置為((0，0))，格式為(CIF，120×96)；“001”表示子畫面的顯示位置為((120，0))，格式為(CIF，112×96)；“010”表示子畫面的顯示位置為((232，0))，格式為(CIF，120×96)；“011”表示子畫面的顯示位置為((0，96))，格式為(CIF，120×96)；“100”表示子畫面的顯示位置為((120，96))，格式為(CIF，232×192)；“101”表示子畫面的顯示位置為((0，192))，格式為(CIF，120×96)；“110”和″111″表示為無效值。
MCU將上述的5比特長度的ESBI標(biāo)識發(fā)送給各個終端，這些ESBI標(biāo)識都是唯一的，各個終端得到的ESBI標(biāo)識分別為終端1(″11，000″)；終端2(″11，001″)；終端3(″11，010″)；終端4(″11，011″)；終端5(″11，100″)；終端6(″11，101″)。
第二、各個終端接收該ESBI標(biāo)識，將其源圖像按照該ESBI標(biāo)識包含的子畫面尺寸、格式信息進(jìn)行編碼后，將該ESBI標(biāo)識插入子碼流發(fā)送至MCU。
以終端1為例，終端1接收到ESBI標(biāo)識“11，000”，按照該ESBI標(biāo)識包含的子畫面尺寸、格式信息，“(CIF，120×96)”，將其源圖像縮放成尺寸為120×96像素的圖像并進(jìn)行編碼成子碼流1，假設(shè)MCU對各個子碼流的組合是以GOB為單位的，并將該ESBI標(biāo)識插入到子碼流1的圖像頭和GOB頭中。
其他各個終端和終端1類似。
第三、MCU收到各個終端的子碼流，組合成復(fù)合碼流，發(fā)送給顯示終端。
MCU收到6個終端的子碼流1-6后，不須對碼流進(jìn)行解碼，只需將各個子碼流以GOB為單位組合成復(fù)合碼流，并發(fā)送給顯示終端。
第四、顯示終端接收復(fù)合碼流，從中取出各路子碼流，根據(jù)各路子碼流的ESBI標(biāo)識，得到當(dāng)前的多畫面模式、各子畫面位置和格式，完成各個子碼流的解碼，并將解出的多個子畫面組合成為所需的多畫面圖像輸出。
顯示終端收到該復(fù)合碼流后，以GOB為單位取出各路子碼流，并分解各路子碼流的ESBI標(biāo)識，如子碼流1而言，可從中分解其ESBI標(biāo)識“11,000”，從而得到當(dāng)前的多畫面模式為6畫面模式，子碼流1對應(yīng)的子畫面0的位置為“(0，0)”，子畫面0的格式為“(CIF，120×96)”。
顯示終端繼續(xù)完成各路子碼流1-6的解碼，得到相應(yīng)的子畫面0-5，然后將解出的各個子畫面組合成如圖2D所示的多畫面輸出顯示。
上述實(shí)施例ESBI標(biāo)識中的5比特長度和指定的各個字節(jié)的含義僅僅只是一種示例，不能用來限制本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種實(shí)現(xiàn)多畫面的方法，其特征在于，該方法包含以下步驟a、MCU為各個終端生成一個包含有多畫面信息的標(biāo)識，并將該標(biāo)識發(fā)送至各個終端；b、各個終端接收所述標(biāo)識，根據(jù)多畫面信息標(biāo)識中的信息對源圖像進(jìn)行編碼并將該多畫面信息標(biāo)識插入子碼流發(fā)送至MCU；c、MCU收到各個終端的子碼流，組合成復(fù)合碼流，發(fā)送給顯示終端；d、顯示終端接收復(fù)合碼流，從中取出各路子碼流，根據(jù)各路子碼流的多畫面信息標(biāo)識，對各路子碼流進(jìn)行解碼并將解出的多個子畫面組合成多畫面圖像輸出。
2.如權(quán)利要求1所述的一種實(shí)現(xiàn)多畫面的方法，其特征在于，所述的多畫面信息標(biāo)識是指包含有多畫面模式、子畫面位置、尺寸和格式信息的ESBI。
3.如權(quán)利要求2所述的一種實(shí)現(xiàn)多畫面的方法，其特征在于，所述的ESBI長度大于2個比特。
4.如權(quán)利要求1所述的一種實(shí)現(xiàn)多畫面的方法，其特征在于，所述的步驟b中根據(jù)多畫面信息標(biāo)識中的信息對源圖像進(jìn)行編碼具體是指按照該多畫面信息標(biāo)識包含的子畫面尺寸、格式信息對源圖像進(jìn)行編碼。
5.如權(quán)利要求1所述的一種實(shí)現(xiàn)多畫面的方法，其特征在于，所述的步驟b中將該ESBI標(biāo)識插入子碼流更具體是指如果MCU組合各路子碼流時是以幀為單位，則將該ESBI標(biāo)識插入子碼流的圖像頭中，如果MCU組合各路子碼流時是以GOB為單位，則將該ESBI標(biāo)識同時插入子碼流的圖像頭和GOB頭中。
6.如權(quán)利要求1所述的一種實(shí)現(xiàn)多畫面的方法，其特征在于，所述的步驟c中組合成復(fù)合碼流更具體是指以幀或GOB為單位組合成復(fù)合碼流。
7.如權(quán)利要求1所述的一種實(shí)現(xiàn)多畫面的方法，其特征在于，所述的步驟d中從中取出各路子碼流更具體是指以幀或GOB為單位從復(fù)合碼流中取出各路子碼流。
8.如權(quán)利要求1所述的一種基于擴(kuò)展CPM語法的多畫面實(shí)現(xiàn)方法，其特征在于，所述的步驟d中根據(jù)各路子碼流的多畫面信息標(biāo)識更具體是指如果MCU組合各路子碼流時是以幀為單位，則是根據(jù)各路子碼流的圖像頭中的多畫面信息標(biāo)識，如果MCU組合各路子碼流時是以GOB為單位，則是根據(jù)各路子碼流的圖像頭和GOB頭中的多畫面信息標(biāo)識。
全文摘要
本發(fā)明提出了一種實(shí)現(xiàn)多畫面的方法，包含以下步驟a.MCU為各個終端生成一個包含有多畫面信息的標(biāo)識，并將該標(biāo)識發(fā)送至各個終端；b.各個終端接收所述標(biāo)識，根據(jù)多畫面信息標(biāo)識中的信息對源圖像進(jìn)行編碼并將該多畫面信息標(biāo)識插入子碼流發(fā)送至MCU；c.MCU收到各個終端的子碼流，組合成復(fù)合碼流，發(fā)送給顯示終端；d.顯示終端接收復(fù)合碼流，從中取出各路子碼流，根據(jù)各路子碼流的多畫面信息標(biāo)識，對各路子碼流進(jìn)行解碼并將解出的多個子畫面組合成多畫面圖像輸出。其既降低了成本，又?jǐn)U展了多畫面?zhèn)鬏敽徒M合能力，能夠?qū)崿F(xiàn)多子畫面的傳輸與組合。
文檔編號H04N7/15GK1571508SQ0317839
公開日2005年1月26日 申請日期2003年7月19日 優(yōu)先權(quán)日2003年7月19日
發(fā)明者王靜, 汪小榮, 魏小霞, 郭戈 申請人:華為技術(shù)有限公司