專(zhuān)利名稱(chēng)：用于傳送在數(shù)字視頻流內(nèi)的信息和/或應(yīng)用數(shù)據(jù)的方法，以及用于生成和播放這樣的視頻 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及數(shù)字視頻內(nèi)容的產(chǎn)生和顯示。特別地，本發(fā)明涉及將視頻編碼和解碼技術(shù)用于傳送在數(shù)字視頻內(nèi)容內(nèi)的信息和/或應(yīng)用數(shù)據(jù)，以及涉及被用于生成和播放這樣的內(nèi)容的設(shè)備。本發(fā)明優(yōu)選地且有利地可應(yīng)用于數(shù)字立體視頻流的編碼和解碼，并且因此在被用于生成和播放所述立體視頻流的設(shè)備中被實(shí)施。
背景技術(shù)：
如已知的，數(shù)字格式的視頻內(nèi)容的分發(fā)需要采用編碼(壓縮)技術(shù)以便在廣播這 樣的內(nèi)容或?qū)⑦@樣的內(nèi)容存儲(chǔ)到大容量存儲(chǔ)器中之前減小比特率。為了播放這樣的內(nèi)容，用戶(hù)因而將采用合適的解碼設(shè)備，所述解碼設(shè)備將應(yīng)用解壓縮技術(shù)，所述解壓縮技術(shù)通常由與被所述編碼器執(zhí)行的那些操作相反的操作組成。所述視頻內(nèi)容可以具有不同的格式。例如，檔案材料以歷史的4:3格式為特征，而更近來(lái)的內(nèi)容可以是16:9格式的。從電影生產(chǎn)得到的內(nèi)容可以具有甚至更寬的格式?？梢栽谝圆煌钠聊桓袷綖樘卣鞯娘@示設(shè)備上播放這樣的內(nèi)容。因此，這樣的內(nèi)容在特定的傳輸網(wǎng)絡(luò)或大容量存儲(chǔ)器上的分發(fā)涉及采用顯示適配和最優(yōu)化技術(shù)，其也可以取決于觀眾的偏愛(ài)。例如，如果觀眾更喜歡觀看未變形的圖像，則通過(guò)插入兩個(gè)垂直的黑帶，可以在16:9顯示設(shè)備上顯示4:3內(nèi)容。對(duì)于能夠適當(dāng)?shù)貞?yīng)用這樣的適配和最優(yōu)化技術(shù)的顯示設(shè)備，其必須被提供有描述所接收的圖像的格式的信息。這不是僅在二維(2D)世界的內(nèi)容中是必需的，實(shí)際上，甚至關(guān)于立體內(nèi)容(3D)更感到該需求。例如，立體視頻流可以包含合成圖像，在其中右圖像和左圖像被合適地布置并且意在分別用于觀看該視頻的用戶(hù)的右眼和左眼。在“并排”格式中，所述兩個(gè)右和左圖像被水平地二次采樣且被布置為占據(jù)所述合成圖像的左半部和右半部。在“上-下”格式中，所述右和左圖像被垂直地二次采樣并且被布置在所述合成圖像的上半部和下半部中。而顯示設(shè)備采用不同的技術(shù)以顯示所述立體圖像。為了在使用中允許所述設(shè)備根據(jù)該技術(shù)正確地顯示視頻，發(fā)出要被顯示的視頻流中的合成圖像格式的信號(hào)是適當(dāng)?shù)?。?shí)際上，為了能夠重建所述右和左圖像，所述解碼器必須知道它們?cè)谒龊铣蓤D像內(nèi)被如何布置；否則，其將不能重建它們以及允許所述3D內(nèi)容被正確地顯示。目前許多方法可用于將信息和/或應(yīng)用數(shù)據(jù)輸入到視頻流中。在模擬電視中，例如，這種數(shù)據(jù)被輸入到垂直消隱間隔中。切換到數(shù)字電視，這些消隱間隔已被消除，并且所述數(shù)據(jù)由分離于視頻部分的所述視頻流的合適部分傳送。例如，已知合適的信號(hào)表被用在MPEG2傳輸流內(nèi)，所述表包含關(guān)于2D圖像的格式的信息。
還已知頭部被用于傳送編碼的數(shù)字視頻流內(nèi)的信號(hào)數(shù)據(jù)。該信息和/或應(yīng)用數(shù)據(jù)存在于且僅可用于所述編碼器與所述解碼器之間的分發(fā)鏈的該部分中。實(shí)際上，在產(chǎn)生層級(jí)，視頻內(nèi)容不被壓縮(或僅被以低的壓縮率壓縮)以便允許它們隨后被處理或播放而沒(méi)有任何品質(zhì)損失，即使在減小的頻率(慢動(dòng)作顯示)下。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供用于傳送數(shù)字視頻內(nèi)容中的信息和/或應(yīng)用數(shù)據(jù)的可替代的方法和可替代的系統(tǒng)。特別地，本發(fā)明的目的在于提供數(shù)據(jù)傳輸方法，其可以在不區(qū)分2D內(nèi)容與3D內(nèi)容的情況下被應(yīng)用。本發(fā)明的另一目的在于提供用于傳送信息和/或應(yīng)用數(shù)據(jù)的方法和系統(tǒng)，其甚至在產(chǎn)生數(shù)字視頻內(nèi)容時(shí)允許這樣的數(shù)據(jù)被使用。通過(guò)合并了在所附的權(quán)利要求中陳述的特征(其意在作為本說(shuō)明書(shū)的組成部分)·的用于在視頻流內(nèi)傳送信息和/或應(yīng)用數(shù)據(jù)的方法和系統(tǒng)(以及實(shí)施這樣的方法的設(shè)備)，本發(fā)明的這些和其它目的被實(shí)現(xiàn)。特別地，基于本發(fā)明的一個(gè)構(gòu)思是將數(shù)據(jù)，尤其是關(guān)于所述數(shù)字立體視頻流的特性的信息(例如其格式)，輸入到構(gòu)成所述視頻流的幀的一些區(qū)域中。特別地，信息和/或應(yīng)用數(shù)據(jù)被輸入到包含無(wú)有用視覺(jué)信息(即屬于要被顯示的圖像的信息)的幀行內(nèi)。以此方式，所述信息和/或應(yīng)用數(shù)據(jù)隨所述圖像(也被包含于所述幀中)一起行進(jìn)并且因此可以抵抗可能造成與所述視頻相關(guān)聯(lián)的元數(shù)據(jù)的丟失的任何傳輸系統(tǒng)變化。由于所述信息和/或應(yīng)用數(shù)據(jù)沒(méi)有與要被顯示的圖像的像素相混合，所述信息和/或應(yīng)用數(shù)據(jù)是不可見(jiàn)的并且不干擾觀眾。有利地，所述信息和/或應(yīng)用數(shù)據(jù)被輸入到所述幀的最初幾行或最后幾行內(nèi)，以便允許所述視覺(jué)信息(例如，合成圖像)易于與所述非視覺(jué)信息(信息和/或應(yīng)用數(shù)據(jù))分開(kāi)。所述將信息和/或應(yīng)用數(shù)據(jù)輸入到最初或最后八行內(nèi)的選擇尤其適合于高清晰度內(nèi)容(無(wú)論是2D還是3D)的H. 264壓縮的情況。所述H. 264編碼在ITU-T文獻(xiàn)“用于一般視聽(tīng)服務(wù)的H. 264高級(jí)視頻編碼”中被描述。根據(jù)所述H. 264編碼格式，構(gòu)成所述視頻流的每個(gè)圖像被分解為16 X 16像素大小的所謂的“宏塊”。每個(gè)宏塊包含16X16像素亮度矩陣，而覆蓋與所述亮度矩陣相同面積的8X8像素矩陣被用于兩個(gè)色度信號(hào)(其具有更低的分辨率)。因此，1920X1080像素圖像將由1920X1088像素的矩陣表示，S卩，具有被添加在底部的八行，這是必需的，因?yàn)?080不是被16整除的數(shù)字，而每個(gè)圖像必需被分解為整數(shù)的宏塊。因此，本發(fā)明使用未被實(shí)際圖像占據(jù)的八行來(lái)傳輸所述信息和/或應(yīng)用數(shù)據(jù)。從其若干實(shí)施例(其通過(guò)非限制性的例子的方式而被提供)的下面的描述，本發(fā)明的另外的目的和優(yōu)點(diǎn)將變得更加顯而易見(jiàn)。


現(xiàn)在將根據(jù)附圖通過(guò)非限制性的例子的方式來(lái)描述一些優(yōu)選的且有利的實(shí)施例，其中圖I顯示了從視頻內(nèi)容的生成到視頻內(nèi)容的享用的各個(gè)步驟的流程 圖2顯示了根據(jù)本發(fā)明的第一實(shí)施例的用于產(chǎn)生和分發(fā)立體視頻流的系統(tǒng)；
圖3a和圖3b顯示了根據(jù)本發(fā)明的用于播放立體視頻流的系統(tǒng)的兩個(gè)例子；
圖4顯示了根據(jù)本發(fā)明的第二實(shí)施例的用于產(chǎn)生和分發(fā)立體視頻流的系統(tǒng)；
圖5顯示了根據(jù)本發(fā)明的 第三實(shí)施例的用于產(chǎn)生和分發(fā)立體視頻流的系統(tǒng)；
圖6顯示了根據(jù)本發(fā)明的第四實(shí)施例的用于產(chǎn)生和分發(fā)立體視頻流的系統(tǒng)；
圖7顯示了根據(jù)本發(fā)明的第五實(shí)施例的用于產(chǎn)生和分發(fā)立體視頻流的系統(tǒng)；
圖8顯示了根據(jù)本發(fā)明的第六實(shí)施例的用于產(chǎn)生和分發(fā)立體視頻流的系統(tǒng)；
圖9顯示了根據(jù)本發(fā)明的第七實(shí)施例的用于產(chǎn)生和分發(fā)立體視頻流的系統(tǒng)。所述圖顯示了本發(fā)明的不同方面和實(shí)施例，并且在適當(dāng)之處，在所述各個(gè)圖中的相似的結(jié)構(gòu)、部件、材料和/或元件由相似的參考標(biāo)號(hào)指示。
具體實(shí)施例方式圖I示意性地顯示了數(shù)字視頻內(nèi)容從生成到享用的過(guò)程。在第一步驟100中，生成并處理所述內(nèi)容；此步驟被稱(chēng)為產(chǎn)生并且可以包括諸如下列的步驟借助于攝像機(jī)獲取圖像，通過(guò)計(jì)算機(jī)圖形創(chuàng)建視頻內(nèi)容，混合、編輯所獲取的圖像并且將它們記錄到高品質(zhì)主機(jī)(即，在無(wú)壓縮或低壓縮情況下)中。隨后，這樣產(chǎn)生的視頻內(nèi)容被編碼以便減少比特率并且允許它們被記錄用于所述用戶(hù)(例如，在諸如DVDs或藍(lán)光碟的光學(xué)介質(zhì)上)或者通過(guò)廣播或電信網(wǎng)絡(luò)而被分發(fā)。此步驟被稱(chēng)為分發(fā)，并且在圖I中由參考標(biāo)號(hào)200指示。隨后執(zhí)行最終步驟，(為了本說(shuō)明書(shū)的目的)被稱(chēng)為享用步驟300，在其中所分發(fā)的視頻內(nèi)容由合適的解碼器解碼(例如，DVD閱讀器或機(jī)頂盒)并且被顯示在屏幕上。圖2示意性地顯示了根據(jù)本發(fā)明的第一實(shí)施例的用于生成立體視頻流2的系統(tǒng)。此圖示出了有助于上面參考圖I所描述的產(chǎn)生和分發(fā)步驟的技術(shù)項(xiàng)中的一些。所述系統(tǒng)包括兩對(duì)攝像機(jī)3a和3b，當(dāng)然，此數(shù)量對(duì)的攝像機(jī)僅是非限制性的例子，因?yàn)槠浞秶梢詮淖钚?shù)量的一對(duì)攝像機(jī)到十對(duì)攝像機(jī)以及甚至更多。同樣地，所述攝像機(jī)對(duì)可以被集成到能夠獲取兩個(gè)圖像的單個(gè)設(shè)備中。對(duì)于每對(duì)，所述兩個(gè)攝像機(jī)從兩個(gè)不同的視角獲取圖像。所述攝像機(jī)隨后生成右圖像序列4和左圖像序列5，所述右圖像序列4和左圖像序列5由多路復(fù)用器6接收并且被輸入到對(duì)應(yīng)的視頻流的幀中。所述多路復(fù)用器6將屬于所述序列4和序列5的一對(duì)右圖像和左圖像組合成合成圖像C，所述合成圖像C隨后被輸出到方向混合器10。在一個(gè)實(shí)施例中，由所述多路復(fù)用器6生成的所述合成圖像C是1080X 1920像素圖像。所述混合器10的輸出信號(hào)可以被直接發(fā)送到所述編碼器8用于壓縮，或在編碼之前，其可以被記錄并且經(jīng)受進(jìn)一步的后期制作處理。因此之故，在圖2中被用于處理所述合成圖像的編輯和后期制作系統(tǒng)7由虛線指示。所述合成圖像(可能由所述系統(tǒng)7處理)被提供到編碼器8，所述編碼器8壓縮該合成圖像并且將其編碼成適合于傳輸和/或記錄的格式。在優(yōu)選的實(shí)施例中，所述編碼器8是H. 264編碼器，其被適當(dāng)?shù)匦薷囊詫?shù)據(jù)(例如信號(hào))輸入到所述視頻流中，如將在下面所詳細(xì)描述的。
所述編碼器8隨后生成包括借助于1088X1920矩陣傳輸?shù)膸蛄械囊曨l流，在其中最初的1080行包含接收的所述輸入合成圖像(CO)并且最后的八行中的一個(gè)或多個(gè)包含所述信息和/或應(yīng)用數(shù)據(jù)。在圖2的例子中，所述系統(tǒng)包括裝置9，其向所述編碼器8提供要被作為信息和/或應(yīng)用數(shù)據(jù)而輸入到所述幀中的信息。在一個(gè)實(shí)施例中，所述裝置9是允許所述信息和/或應(yīng)用數(shù)據(jù)被手動(dòng)地輸入到所述幀中的裝置；例如這樣的裝置可以是受用戶(hù)控制用于手動(dòng)地輸入要被置于所述幀中的數(shù)據(jù)的個(gè)人計(jì)算機(jī)?？商娲?，所述插入裝置9可以被限于數(shù)據(jù)輸入設(shè)備，諸如鍵盤(pán)或觸摸屏輸入外設(shè)，被合適地連接到所述編碼器8以便允許所述用戶(hù)提供將必須由所述視頻流在幀中攜帶的信息。被提供到所述編碼器8的信息可以是各種類(lèi)型的并且具有不同的功能。特別地，這樣的信息被所述解碼器用于重建所述右圖像和左圖像，并且因此其可以包括幀封裝信息 (即，所述右圖像和左圖像在所述合成圖像中的布置)。當(dāng)其從所述插入裝置9接收上述信息時(shí)，所述編碼器8輸出既包括所述輸入合成圖像也包括所述信息和/或應(yīng)用數(shù)據(jù)的視頻流，所述信息和/或應(yīng)用數(shù)據(jù)將允許所述解碼器重建所述右圖像和左圖像，以便它們可以被正確地顯示。由所述編碼器8生成的立體視頻流2隨后可以被記錄在合適的介質(zhì)(DVD、藍(lán)光碟、大容量存儲(chǔ)器、硬盤(pán)等等)上或在通信網(wǎng)絡(luò)(諸如廣播或電信網(wǎng)絡(luò))上被傳輸。在圖2的例子中根據(jù)H. 264標(biāo)準(zhǔn)的當(dāng)前規(guī)范而被編碼的輸出信號(hào)包含指示(裁剪窗口，即，界定所述圖像的窗口)，所述指示指導(dǎo)所述解碼器在解碼時(shí)適當(dāng)?shù)亟缍?裁剪)所述圖像。根據(jù)優(yōu)選的實(shí)施例，所述編碼器8將合適的信息段插入到所述元數(shù)據(jù)中以通知所述解碼器在被丟棄之前必須分析附加的行。這樣的元數(shù)據(jù)例如可以被置于合適的數(shù)據(jù)包(諸如H. 264編碼的NAL (網(wǎng)絡(luò)抽象層)單元)中?，F(xiàn)在讓我們處理所述分發(fā)鏈的另一端，S卩，接收和顯示/再現(xiàn)側(cè)。圖3a示意性地顯示了用于播放由圖2的系統(tǒng)產(chǎn)生和分發(fā)的視頻內(nèi)容的系統(tǒng)3000。所述系統(tǒng)3000包括解碼器3100，其通過(guò)獲取塊3110獲取所述視頻流2。所述獲取塊3110可以包括下列中的一個(gè)或多個(gè)調(diào)諧器，用于接收空中廣播的視頻流(例如，經(jīng)由地面或衛(wèi)星網(wǎng)絡(luò))；數(shù)據(jù)輸入，用于接收通過(guò)電纜(同軸電纜，光纖，雙股電纜等等)傳輸?shù)囊曨l流；讀取器，用于讀取在光學(xué)介質(zhì)(例如，DVD或藍(lán)光碟)上或大容量存儲(chǔ)器上被記錄為視頻號(hào)的視頻流。由所述塊3110獲取的視頻流被所述解碼塊3120 (尤其是修改的H. 264解碼器)解碼，其輸出從解碼的視頻流2提取的兩個(gè)(右和左)圖像序列。所述解碼塊3120包括單元3121，用于分析被包含在所述視頻流中的元數(shù)據(jù)、一個(gè)或多個(gè)寄存器3122，用于暫時(shí)地存儲(chǔ)接收的幀(例如，在H. 264編碼中的I、B或P類(lèi)型圖像)、幀重建單元3123，用于重建被包含在所述幀中的合成圖像并且以正確的時(shí)間順序布置它們、右和左圖像提取單元3124，用于基于被包含在接收的幀中的非可視信息(信息和/或應(yīng)用數(shù)據(jù))來(lái)提取被包含在重建的合成圖像中的右圖像和左圖像。所述解碼器3100也包括輸出接口 3130，所述輸出接口 3130向所述顯示設(shè)備3200提供從所述視頻流2提取的所述右和左圖像序列。
所述接口 3130可以是HDMI (高清晰度多媒體接口)、輸出例如兩個(gè)VGA或XVGA流的兩個(gè)視頻流(一個(gè)用于所述右圖像序列以及一個(gè)用于所述左圖像序列)的接口、或輸出兩個(gè)RGB流的接口。上面參考圖2和圖3a所描述的實(shí)施例(其中所述元數(shù)據(jù)包括一段關(guān)于在所述附加的行中存在信息和/或應(yīng)用數(shù)據(jù)的信息)提供如下優(yōu)點(diǎn)如果不存在這樣的數(shù)據(jù)，所述解碼器可以省略對(duì)它的分析。另一方面，此解決方案意味著由所述編碼器執(zhí)行的操作的增加的復(fù)雜性，以及更復(fù)雜的流解碼過(guò)程。在可替代的實(shí)施例中，所述編碼器不向所述編碼的流增加元數(shù)據(jù)，將如下留給解碼器在丟棄它們之前分析所述附加的行的內(nèi)容。此解決方案簡(jiǎn)化了編碼器和所述編碼的視頻流的結(jié)構(gòu)，但增加了由所述解碼器并且特別地由所述提取單元3124承載的計(jì)算負(fù)荷，為了提取所述右圖像和左圖像，其必須首先分析包含所述信息和/或應(yīng)用數(shù)據(jù)的所述附加行和/或列的內(nèi)容。 在不存在專(zhuān)用元數(shù)據(jù)的情況下，可以例如在不在解碼器層級(jí)重建所述圖像中共同起作用的那些幀行和/或列(如由所述元數(shù)據(jù)所指示的，諸如所述裁剪窗口元數(shù)據(jù))中搜索所述信息和/或應(yīng)用數(shù)據(jù)。在一個(gè)實(shí)施例中，在包含非均勻像素的那些附加的行和/或列中搜索所述數(shù)據(jù)。在另外的實(shí)施例(在圖3b中被顯示)中，所述解碼器3100與圖3a中示出的解碼器的不同之處在于其不包括所述提取單元3124。在此實(shí)施例中，所述解碼器僅解碼所述視頻流而不提取在合成圖像中保持多路復(fù)用的所述右圖像和左圖像。后者由接口 3131傳輸，所述接口 3131相似于所述接口 3130，但輸出單個(gè)視頻流，所述單個(gè)視頻流的幀包含解壓縮的合成圖像。在此實(shí)施例中，所述右和左圖像的提取是由所述顯示設(shè)備3200執(zhí)行的任務(wù)，其為此目的而配備有合適的裝置。下面將描述圖2的系統(tǒng)的若干變體，所有所述變體適合于根據(jù)本發(fā)明生成和分發(fā)視頻流。在圖4的例子中，所述攝像機(jī)生成由1080X1920像素組成的圖像，并且所述多路復(fù)用器60生成由1088X1920像素矩陣組成的幀Cl的序列，其中所述合成圖像占據(jù)前1080行并且最后八行的像素例如全部是黑色的或灰色的。特別地，允許所述信息和/或應(yīng)用數(shù)據(jù)被傳送的八個(gè)附加的行在所述多路復(fù)用器60的板內(nèi)被創(chuàng)建，其接收所述兩個(gè)右和左視頻流且輸出包含所述合成圖像Cl的立體視頻流。由所述系統(tǒng)的不同的多路復(fù)用器60生成的幀Cl由所述方向混合器10接收，其隨后輸出與H. 264壓縮所需的格式相適應(yīng)的1088X 1920像素大小的圖像序列。包含不將被顯示的信息的Cl的八行(即其不包含所述合成圖像)因此在產(chǎn)生階段期間被創(chuàng)建并且在此階段已被用于傳送數(shù)據(jù)，所述數(shù)據(jù)在所述混合器10的輸出處通過(guò)信號(hào)數(shù)據(jù)輸入系統(tǒng)90而被輸入。相似于圖2的裝置9，所述系統(tǒng)90允許操作者手動(dòng)地輸入(例如通過(guò)計(jì)算機(jī)或鍵盤(pán))所述信息和/或應(yīng)用數(shù)據(jù)。該數(shù)據(jù)被輸入到在多路復(fù)用階段被添加到所述合成圖像Cl的八行中的一行或多行中。所述系統(tǒng)90因此輸出1088X 1920幀Cla，其中1080行包含視覺(jué)信息，S卩，要被顯示的圖像，并且剩余的八行包含非視覺(jué)信息(即，不將被顯示)，其包括由所述系統(tǒng)90輸入的數(shù)據(jù)。由所述系統(tǒng)90輸出的圖像Cla可以由所述編輯和后期制作系統(tǒng)70 (由虛線4指示，因?yàn)槠淇梢员皇÷?處理并且被修改成圖像C2，仍保持1088X 1920像素的大小。
所述系統(tǒng)70相似于所述系統(tǒng)7，僅有的不同在于其可以管理1088 X 1920像素圖像?？赡苡伤鱿到y(tǒng)70修改成圖像C2的圖像Cla由所述編碼器80 (優(yōu)選地為H. 264類(lèi)型)接收，其壓縮它們并且生成所述立體視頻流2。不像圖2的例子(在其中當(dāng)編碼所述視頻流時(shí)，所述信息和/或應(yīng)用數(shù)據(jù)被輸入到所述幀中)，在圖4的例子中，在所述產(chǎn)生階段輸入所述數(shù)據(jù)。優(yōu)選地，如果在所述產(chǎn)生階段輸入所述信息和/或應(yīng)用數(shù)據(jù)，則此數(shù)據(jù)可以是各種種類(lèi)的并且具有不同的功能。特別地，這樣的數(shù)據(jù)由所述解碼器使用以重建所述右和左 圖像，并且因此其可以特別地包括幀封裝信息(即，關(guān)于所述右和左圖像在所述合成圖像中的布置的信息)，但其也可以包含關(guān)于攝影參數(shù)的信息。因?yàn)榭梢詫⒂蓴z像機(jī)拍攝的圖像與通過(guò)使用計(jì)算機(jī)圖形學(xué)方法而生成的圖像相組合，所述信息和/或應(yīng)用數(shù)據(jù)可以包括關(guān)于所述攝像機(jī)攝影如何被執(zhí)行的信息段，以便確保真實(shí)的圖像和人工圖像之間的適當(dāng)?shù)钠ヅ?。例如，所述信息段可以與所述兩個(gè)(右和左)攝像機(jī)之間的距離相關(guān)，其不總是等于人眼之間的平均距離；而且，所述信息段可以指示所述兩個(gè)攝像機(jī)是否是平行的或會(huì)聚的(在一些情況下，存在人眼的行為的模仿，其在聚焦近的物體時(shí)趨向于會(huì)聚)。上面所描述的信息段也適用于在來(lái)自不同的源的兩個(gè)圖像被組合在一起時(shí)驗(yàn)證哪些源可能未必是計(jì)算機(jī)而是攝像機(jī)，所得到的圖像可以說(shuō)是“相干的”，并且因此對(duì)觀看而言是令人愉快的。實(shí)際上，將用不同的攝影參數(shù)產(chǎn)生的圖像組合在一起可能導(dǎo)致奇怪的、令人不愉快的效果。圖5顯示了圖4的例子的變體，其中除使用比輸入所述合成圖像(以預(yù)定義的格式被格式化，例如1080行和1920列)所需的行更大數(shù)量的行之外，所述多路復(fù)用器600也將所述信息和/或應(yīng)用數(shù)據(jù)輸入到所述附加的行中。一個(gè)或多個(gè)數(shù)據(jù)輸入系統(tǒng)900 (在圖5的例子中僅一個(gè)，但可以提供更多，直到每個(gè)多路復(fù)用器一個(gè))被連接到所述多路復(fù)用器600并且提供信息和/或應(yīng)用數(shù)據(jù)以在所述多路復(fù)用器600的輸出處被輸入到所述幀Cla的非可視行中。此數(shù)據(jù)可以是與由圖4的系統(tǒng)90輸入的數(shù)據(jù)相同的類(lèi)型。以此方式，由所述多路復(fù)用器600輸出的幀Cla將實(shí)質(zhì)上對(duì)應(yīng)于由圖4的系統(tǒng)90輸出的那些幀，并且可以通過(guò)壓縮和可能的編輯和后期制作處理而以相同的方式被處理。在圖6的例子中，所述多路復(fù)用器6是與在圖2中顯示的多路復(fù)用器相同的類(lèi)型，其因此從所述攝像機(jī)接收所述視頻流，并且將它們組合成立體視頻流，所述立體視頻流的幀包含合成圖像。用于所述信息和/或應(yīng)用數(shù)據(jù)的八行由所述編輯和后期制作系統(tǒng)70生成，其因此生成包含所述合成圖像和所述信息和/或應(yīng)用數(shù)據(jù)兩者的幀序列。所述信息和/或應(yīng)用數(shù)據(jù)通過(guò)使用由所述裝置9000提供的信息而被生成，所述裝置9000與參考圖4而被描述的裝置90相似。如在圖2的例子中那樣，所述編碼器80壓縮幀C2的序列并且輸出它們，用于記錄和/或傳輸。在另外的實(shí)施例(未在附圖中被顯示)中，用于所述信息和/或應(yīng)用數(shù)據(jù)的八行被所述編輯系統(tǒng)添加到所述合成圖像，但所述信息和/或應(yīng)用數(shù)據(jù)在編碼器層級(jí)被輸入到這八行中，例如通過(guò)參考圖2所描述的類(lèi)型的裝置。在又另一實(shí)施例中，從與由所述攝像機(jī)生成的視頻流相關(guān)聯(lián)或與由所述多路復(fù)用器輸出的視頻流相關(guān)聯(lián)或與由所述編輯和后期制作系統(tǒng)輸出的視頻流相關(guān)聯(lián)的元數(shù)據(jù)，被用作信息和/或應(yīng)用數(shù)據(jù)的數(shù)據(jù)被自動(dòng)地獲得。此解決方案證明是特別有利的，因?yàn)槠洳恍枰謩?dòng)輸入。這樣的解決方案也看起來(lái)是有利的，因?yàn)楸挥糜谝暵?tīng)內(nèi)容的專(zhuān)業(yè)生產(chǎn)的許多工具(范圍從獲取系統(tǒng)(攝像機(jī))到傳送系統(tǒng)(文件格式，例如MXF-素材交換格式)和工作流管理/歸檔系統(tǒng)(數(shù)字資產(chǎn)管理))使用元數(shù)據(jù)來(lái)記錄和描述“本質(zhì)”(即，實(shí)際的視頻信號(hào))，因此，該元數(shù)據(jù)常?？捎糜诋a(chǎn)生所述立體流的板或可用于所述編碼器。為了更清楚并且沒(méi)有任何限制，圖7顯示了圖2的系統(tǒng)，其中與所述信息和/或應(yīng)用數(shù)據(jù)相關(guān)的信息被自動(dòng)地輸入，而不需要插入裝置9。所述編碼器800在其輸入處接收所述合成圖像C和相關(guān)聯(lián)的元數(shù)據(jù)，且隨后提取所述元數(shù)據(jù)并處理它以生成所述信息和/或應(yīng)用數(shù)據(jù)，所述信息和/或應(yīng)用數(shù)據(jù)將被輸入到被添加到所述合成圖像的八行中并且在 立體視頻流的幀中被傳輸。必須被指出的是復(fù)雜的處理活動(dòng)可以在所述產(chǎn)生環(huán)境中發(fā)生，諸如，例如，組合來(lái)自不同的源的圖像，其中一些圖像來(lái)自檔案或來(lái)自使用不同的幀封裝格式(在所述合成圖像中封裝所述兩個(gè)右和左圖像)的不同的廣播器。在此后一種情況下，格式轉(zhuǎn)換將是必需的以便將所述圖像組合在一起。如上面所提出的，在所述產(chǎn)生環(huán)境中循環(huán)的所有視頻信號(hào)上使用所述信息和/或應(yīng)用數(shù)據(jù)(其規(guī)定了幀封裝格式)允許所述轉(zhuǎn)換過(guò)程被自動(dòng)化。所得到的退出所述產(chǎn)生環(huán)境并去往所述分發(fā)環(huán)境的視頻流將具有單個(gè)幀封裝格式，所述單個(gè)幀封裝格式具有相關(guān)聯(lián)的信號(hào)。在上面所描述的例子中，由所述兩個(gè)攝像機(jī)3a或3b獲取的所述右和左圖像立即被組合成合成圖像。然而，對(duì)本發(fā)明的目的而言這不是至關(guān)重要的，并且所述右和左圖像序列可以獨(dú)立地行進(jìn)到所述編碼器。這在圖8中通過(guò)示例的方式被顯示，其中由所述攝像機(jī)對(duì)3a和3b獲取的所述右和左圖像由所述方向混合器10接收，其為所述右和左圖像輸出兩個(gè)單獨(dú)的視頻流。由所述方向混合器10選擇的右和左圖像被發(fā)送到所述編輯和后期制作系統(tǒng)7000，在那里，它們被處理，例如包括添加特殊的效果?？商娲?，所述圖像被直接發(fā)送到所述編碼器/多路復(fù)用器8000。如果存在，所述編輯和后期制作系統(tǒng)7000將單獨(dú)地將所述兩個(gè)右和左視頻流發(fā)送到所述編碼器/多路復(fù)用器8000。后者將所述輸入視頻流組合成單個(gè)立體視頻流2，所述單個(gè)立體視頻流2的幀包含合成圖像加上被置于不攜帶視覺(jué)信息(即，要被顯示的信息)的特定數(shù)量的行(特別地八行)中的信息和/或應(yīng)用數(shù)據(jù)(在此例子中從所述插入裝置9接收所述信息和/或應(yīng)用數(shù)據(jù)，但可以可替代地自動(dòng)地獲得所述信息和/或應(yīng)用數(shù)據(jù)，如上面所描述的那樣)。所述編碼器/多路復(fù)用器8000可以例如根據(jù)任何格式(上-下，并排地，等等)組合所述右和左圖像，并且隨后根據(jù)H. 264編碼來(lái)編碼它們。在另外的實(shí)施例(在此處參考圖9而被描述)中，所述編碼器8001根據(jù)在H. 264標(biāo)準(zhǔn)的附錄H中描述的MVC(多視角編碼)來(lái)編碼所述立體流。該標(biāo)準(zhǔn)為傳輸提供了基圖像(基層，例如所述右圖像)以及所述右圖像和所述左圖像之間的差異(增強(qiáng)層)，而不是生成實(shí)際的合成圖像。該技術(shù)的一個(gè)可能的例子是所謂的2D加上Delta編碼。在本實(shí)施例中，與幀封裝相關(guān)的信息和/或應(yīng)用數(shù)據(jù)不是必需的，因?yàn)椴淮嬖趲庋b。此外，H. 264壓縮的信號(hào)包含所有必需的元數(shù)據(jù)，以致使用用于輸入對(duì)所述顯示設(shè)備有用的信息的所述八個(gè)附加的行不是嚴(yán)格必需的。然而，發(fā)明者注意到在此情況下，將信號(hào)輸入到任一層或兩層的圖像中似乎是有用的并且有利的。特別地，在產(chǎn)生層級(jí)輸入信息和/或應(yīng)用數(shù)據(jù)是有利的。在圖9的例子中，由所述混合器10輸出的視頻流被數(shù)據(jù)輸入系統(tǒng)9000接收，其增加所述輸入視頻流的每個(gè)幀的行數(shù)并且將信息和/或應(yīng)用數(shù)據(jù)輸入到所添加的行中。優(yōu)選地，所述攝像機(jī)生成具有1080 X 1920像素大小的幀的視頻流，所述系統(tǒng)9000將其增加到1088X1920像素，所述信息和/或應(yīng)用數(shù)據(jù)隨后被輸入到所添加的行中。此數(shù)據(jù)可以指示被包含在所述幀中的圖像是否與意在用于右眼或左眼的圖像相關(guān)，并且可以提供關(guān)于如何獲取圖像的信息(例如，在一對(duì)的兩個(gè)攝像機(jī)之間的空間關(guān)系)、圖像格式(4:3或16:9)等等。這樣的信息優(yōu)選地也被保存在所述分發(fā)環(huán)境中，因?yàn)槿缦虑闆r常常發(fā)生在自產(chǎn)生節(jié)目 以來(lái)許多年已過(guò)去之后，高品質(zhì)的主機(jī)不再是可用的，并且因此，如果該節(jié)目要被重新獲得以用在例如所謂的“懷舊節(jié)目”中，則如下將是有用的知道攝影參數(shù)以便所述舊節(jié)目能夠與更新的內(nèi)容適當(dāng)?shù)亟M合。所述系統(tǒng)9000可以從所述輸入視頻流自動(dòng)地獲得所述數(shù)據(jù)(如上面所描述的那樣)，否則其可以從由手動(dòng)輸入所述數(shù)據(jù)的操作者控制的合適的數(shù)據(jù)輸入外設(shè)接收它。由所述數(shù)據(jù)輸入系統(tǒng)9000修改的圖像可以被發(fā)送到所述編碼器8001或者(如果存在)被發(fā)送到所述編輯和后期制作系統(tǒng)，如在圖9中所顯示的。從上面所描述的例子，如下是顯然的用根據(jù)本發(fā)明的方法所生成的立體視頻流2包括有用的視覺(jué)信息(合成圖像或MVC圖像)和被輸入到不包含任何有用的視覺(jué)信息的幀的區(qū)域中的信息和/或應(yīng)用數(shù)據(jù)。在一個(gè)實(shí)施例中，所述信息和/或應(yīng)用數(shù)據(jù)被輸入到所述立體視頻流的所有幀中。在另一實(shí)施例中，所述信息和/或應(yīng)用數(shù)據(jù)僅被輸入到所述立體視頻流的一些幀中。優(yōu)選地，在不包含任何信息和/或應(yīng)用數(shù)據(jù)的幀中，不包含任何有用的視覺(jué)信息的行被充滿(mǎn)相同顏色(尤其是灰色或黑色)的像素。同樣地，也在包含這樣的數(shù)據(jù)的那些幀中，不被用于所述數(shù)據(jù)的所述附加的行(或其一部分)優(yōu)選地包含相同顏色(尤其是黑色或灰色)的像素。所述信息和/或應(yīng)用數(shù)據(jù)(不管是被包含在所有幀中還是僅被包含在其一部分中)可以被所述解碼器使用以解碼所述信號(hào)并且正確地重建用于顯示的所述右和左圖像。當(dāng)其接收到所述立體流2 (例如根據(jù)H. 264編碼壓縮的立體流2)時(shí)，所述解碼器將其解壓縮并且從所述幀提取所述信息/應(yīng)用數(shù)據(jù)。隨后，被包含在所述數(shù)據(jù)中的信息可以被用于提取和/或重建由所述視頻流傳輸?shù)膱D像。特別地，該數(shù)據(jù)可以適用于重建所述右和左圖像，以便后者可以被供應(yīng)給顯示系統(tǒng)(例如電視接收機(jī)或視頻投影機(jī))，其將以使得觀眾可以適當(dāng)?shù)叵硎?D內(nèi)容的方式來(lái)呈現(xiàn)它們。在一個(gè)實(shí)施例中，所述解碼器知道呈現(xiàn)格式，即在所述顯示設(shè)備的輸入處所需的格式，其可以對(duì)應(yīng)于或者可以不對(duì)應(yīng)于被用于顯示的格式(例如，行交替、幀交替等等)。在此情況下，如果需要，所述解碼器可以基于被輸入到所述附加的行中的信息和/或應(yīng)用數(shù)據(jù)執(zhí)行從傳輸格式到呈現(xiàn)格式的轉(zhuǎn)換。在第一實(shí)施例中，所述解碼器知道在所述顯示設(shè)備的輸入處所需的格式，因?yàn)樵谥圃焖鼋獯a器或所述顯示設(shè)備時(shí)，該信息被編程并且被永久地輸入到例如專(zhuān)用存儲(chǔ)區(qū)域中。當(dāng)所述解碼器被內(nèi)置于所述顯示設(shè)備中并且因此是與其嚴(yán)格相關(guān)聯(lián)時(shí)，該解決方案是特別有利的。在另一實(shí)施例中，所述呈現(xiàn)格式信息被所述顯示設(shè)備傳輸?shù)剿鼋獯a器，所述解碼器將會(huì)將其加載到專(zhuān)用存儲(chǔ)區(qū)域中。無(wú)論何時(shí)所述解碼器是不同于所述顯示設(shè)備的設(shè)備且易于通過(guò)允許雙向數(shù)據(jù)交換的接口而與其相關(guān)聯(lián)時(shí)，這是特別有利的。所述3D內(nèi)容因此可以被正確地顯示，而沒(méi)有錯(cuò)誤的風(fēng)險(xiǎn)并且不需要用戶(hù)的干預(yù)。在另一實(shí)施例中，這樣的信息由用戶(hù)手動(dòng)地提供給所述解碼器。從其若干實(shí)施例的上面的描述，本發(fā)明的特征和優(yōu)點(diǎn)是顯然的，本發(fā)明的保護(hù)范圍由所附的權(quán)利要求限定。 因此，如下是清楚的本領(lǐng)域技術(shù)人員可以對(duì)上面所描述的用于在視頻流內(nèi)傳送數(shù)據(jù)和用于解碼后者的方法和系統(tǒng)進(jìn)行許多改變和變化。如下是顯然的此處所描述的系統(tǒng)也適用于其它非專(zhuān)業(yè)的裝置或模型，用于產(chǎn)生和分發(fā)2D或3D視頻內(nèi)容，如同在下面詳細(xì)描述的那些。例如，實(shí)施本發(fā)明的圖像獲取設(shè)備可以被合并到照相機(jī)、攝像機(jī)或移動(dòng)電話中，所述照相機(jī)、攝像機(jī)或移動(dòng)電話適合于捕獲視頻圖像并且將它們存儲(chǔ)到大容量存儲(chǔ)器中，用于隨后在完全相同的裝置上或不同的裝置上顯示它們。為此目的，所捕獲的視頻流可以不同的方式(例如，通過(guò)將數(shù)據(jù)存儲(chǔ)介質(zhì)從一個(gè)裝置轉(zhuǎn)移到另一裝置，通過(guò)無(wú)線或有線LAN網(wǎng)絡(luò)，經(jīng)由因特網(wǎng)，經(jīng)由藍(lán)牙，通過(guò)作為MMS在蜂窩網(wǎng)絡(luò)上傳輸，等等)被轉(zhuǎn)移到不同的再現(xiàn)和可視化裝置(例如，具有監(jiān)視器的PC，電視接收機(jī)、便攜式多媒體播放器，等等)。也在此幀中，如此處所示的由視頻內(nèi)容的產(chǎn)生、分發(fā)和享用組成的相同的示意性模型仍然適用，所解決的技術(shù)問(wèn)題是相同的，并且本發(fā)明的相同的技術(shù)方案可以?xún)H隨少量的變化而被應(yīng)用，這對(duì)本領(lǐng)域技術(shù)人員而言將是顯然的。此外，技術(shù)人員可以參考本發(fā)明的不同實(shí)施例而將上面所描述的那些中的不同的方法、系統(tǒng)和設(shè)備的特征組合在一起。特別地，如下是顯然的用于生成所述視頻流的方法的各個(gè)步驟(編輯、多路復(fù)用、編碼，等等)可以通過(guò)單獨(dú)的設(shè)備或者通過(guò)借助任何手段被集成和/或連接在一起的設(shè)備而被實(shí)現(xiàn)。例如，所述兩個(gè)攝像機(jī)和接收所獲取的視頻的多路復(fù)用器可以被包括在裝備有一個(gè)或多個(gè)鏡頭的單個(gè)立體攝像機(jī)中。更一般地，必須被強(qiáng)調(diào)的是提供用于將數(shù)據(jù)輸入到視頻流中的系統(tǒng)是可能的和有利的，其包括
輸入單元，用于接收一個(gè)或多個(gè)視頻流，
處理單元，用于生成包含所述一個(gè)或多個(gè)視頻流的圖像的幀，所述幀包含其數(shù)量大于所述源圖像的像素的數(shù)量的像素，
獲取裝置，所述獲取裝置適合于獲取要被輸入到所述幀中的信息和/或應(yīng)用數(shù)據(jù)，以及插入裝置，所述插入裝置適合于將所述信息和/或應(yīng)用數(shù)據(jù)輸入到未被所述圖像占據(jù)的所述幀的像素中。所述像素可以占據(jù)所述幀的外圍行和/或列。
此系統(tǒng)的單元和裝置也可以被集成到單個(gè)裝置中或?qū)儆诓煌难b置。必須被指出的是此處所示出的實(shí)施例涉及1920X 1080格式，即最通常的格式，其在H. 264編碼中需要增加編碼的圖像的大小。該情況可以也針對(duì)不同的圖像格式以及針對(duì)不同的編碼系統(tǒng)而出現(xiàn)以及被同樣地利用。此處已僅參考H. 264編碼描述了本發(fā)明，但其可同樣地應(yīng)用于需要增加要被供應(yīng)到所述編碼器的圖像的大小的其它視頻壓縮技術(shù)，例如因?yàn)樵即笮〔辉试S圖像被分解成完整數(shù)量的宏塊，或由于任何其它原因。這樣的情況可以出現(xiàn)于例如當(dāng)前正被研究和開(kāi)發(fā)的H. 264編碼的后繼者中(像所謂的H. 265/HVC)。如下是同樣顯然的取決于幀格式，所述信息和/或應(yīng)用數(shù)據(jù)可以被輸入到所述幀的任何行和/或列中，只要它們不包含視覺(jué)信息，即，要被顯示的圖像的像素。所述信息和/或應(yīng)用數(shù)據(jù)可以傳輸各種種類(lèi)的信息，甚至不與所述立體圖像和/ 或所述立體攝影模式的格式化有關(guān)。例如，所述信息和/或應(yīng)用數(shù)據(jù)可以被用于發(fā)送所述視頻流的預(yù)期使用的信號(hào)，以便允許其僅被位于或分布于世界的給定區(qū)域(例如僅在美國(guó)或僅在歐洲)中的解碼器解碼。所述信息和/或應(yīng)用數(shù)據(jù)可以因此攜帶任何類(lèi)型的信息，無(wú)論是否與它們被輸入到其中的圖像相關(guān)，并且例如被用于可在解碼器處或顯示設(shè)備層級(jí)執(zhí)行的應(yīng)用。此外，盡管在上面所描述的實(shí)施例中，攜帶所述信息和/或應(yīng)用數(shù)據(jù)的幀包含立體圖像，根據(jù)上面的描述，如下是清楚的本發(fā)明同樣適用于2D圖像或所謂的“多視圖”表示。實(shí)際上，信息和/或應(yīng)用數(shù)據(jù)也可以被輸入到數(shù)字2D視頻流中不包含要被顯示的圖像的任何像素的幀行/或列中。
權(quán)利要求
1.一種用于在數(shù)字視頻流內(nèi)傳送數(shù)據(jù)的方法，其中，所述數(shù)字視頻流包括不意在顯示的信息和/或應(yīng)用數(shù)據(jù)和至少一個(gè)包括要被顯示的圖像的幀，并且其中所述至少一個(gè)幀包括數(shù)量大于所述圖像的像素?cái)?shù)量的像素，所述方法的特征在于，所述信息和/或應(yīng)用數(shù)據(jù)被輸入到未被所述圖像占據(jù)的所述幀的像素中。
2.根據(jù)權(quán)利要求I所述的方法，包括下列步驟 將所述圖像插入到第一幀中， 向所述第一幀添加行和/或列以便得到大于所述第一幀的幀， 將所述信息和/或應(yīng)用數(shù)據(jù)插入到所述更大的幀中。
3.根據(jù)權(quán)利要求I或2所述的方法，其中所述行和/或列由插入所述數(shù)據(jù)的相同設(shè)備添加。
4.根據(jù)權(quán)利要求I或2所述的方法，其中所述行和/或列由除輸入所述數(shù)據(jù)的設(shè)備以外的不同的設(shè)備添加。
5.根據(jù)權(quán)利要求2或3或4所述的方法，其中，所述添加的行和/或列是所述更大的幀的外圍行和/或列。
6.根據(jù)權(quán)利要求2至5中任一項(xiàng)所述的方法，其中，所述添加的行和/或列是所述更大的幀的鄰近的行和/或列。
7.根據(jù)權(quán)利要求2至6中任一項(xiàng)所述的方法，其中，所述信息和/或應(yīng)用數(shù)據(jù)占據(jù)所述添加的行和/或列的全部或僅一部分。
8.根據(jù)權(quán)利要求2至7中任一項(xiàng)所述的方法，其中，以使其能夠被分解成完整數(shù)量的宏塊的方式確定所述更大的幀的大小，所述宏塊的大小取決于被用于編碼所述視頻流的編碼算法。
9.根據(jù)權(quán)利要求I至8中任一項(xiàng)所述的方法，其中，所述要被顯示的圖像是立體視頻流的合成圖像。
10.根據(jù)權(quán)利要求I至8中任一項(xiàng)所述的方法，其中，所述圖像是右圖像或左圖像，并且其中所述視頻流包括至少第二幀，所述至少第二幀包含所述右圖像和所述左圖像之間的差巳
11.根據(jù)權(quán)利要求2至10中任一項(xiàng)所述的方法，其中，所述行和/或列由位于壓縮所述視頻流的編碼器的上游的設(shè)備添加。
12.根據(jù)權(quán)利要求2至10中任一項(xiàng)所述的方法，其中，所述數(shù)據(jù)由壓縮所述視頻流的編碼器輸入。
13.根據(jù)權(quán)利要求12所述的方法，其中所述編碼器將元數(shù)據(jù)輸入到所述視頻流中，所述元數(shù)據(jù)包括適合于指示所述添加的行和/或列中存在數(shù)據(jù)的信息段。
14.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述數(shù)據(jù)適合于允許所述視頻流幀格式被自動(dòng)地處理和/或從傳輸格式被轉(zhuǎn)換成呈現(xiàn)格式。
15.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述數(shù)據(jù)涉及所述圖像的格式，并且特別地包含被包括在由下列組成的組中的那些中的一個(gè)或多個(gè)數(shù)據(jù)項(xiàng)指示所述圖像是2D還是3D圖像的標(biāo)識(shí)符、縱橫比、幀封裝、攝影模式。
16.根據(jù)權(quán)利要求2至15中任一項(xiàng)所述的方法，其中，所述數(shù)據(jù)被自動(dòng)地輸入。
17.根據(jù)權(quán)利要求16所述的方法，其中從與從其獲得所述圖像的視頻流相關(guān)聯(lián)的元數(shù)據(jù)獲得所述數(shù)據(jù)。
18.根據(jù)權(quán)利要求2至15中任一項(xiàng)所述的方法，其中，所述數(shù)據(jù)由操作者手動(dòng)地輸入。
19.一種用于將數(shù)據(jù)輸入到視頻流中的設(shè)備，包括 -輸入單元，所述輸入單元用于接收?qǐng)D像； -處理單元，所述處理單元用于生成所述視頻流的幀，所述幀包含所述圖像并且包括數(shù)量大于所述圖像的像素?cái)?shù)量的像素， 其特征在于，包括獲取裝置，所述獲取裝置適合于獲取要被輸入到所述視頻流中的信息和/或應(yīng)用數(shù)據(jù)，以及插入裝置，所述插入裝置適合于將所述信息和/或應(yīng)用數(shù)據(jù)輸入到未被所述圖像占據(jù)的所述幀的像素中。
20.根據(jù)權(quán)利要求19所述的設(shè)備，其中所述輸入單元適合于接收包含所述圖像的第一幀，其中所述處理單元適合于將行和/或列添加到所述第一幀以便得到大于所述第一幀的幀，并且其中所述插入裝置適合于將所述信息和/或應(yīng)用數(shù)據(jù)輸入到所述更大的幀中。
21.根據(jù)權(quán)利要求19或20所述的設(shè)備，其中，所述添加的行和/或列是所述更大的幀的外圍和/或鄰近的行和/或列。
22.根據(jù)權(quán)利要求19至21中任一項(xiàng)所述的設(shè)備，其中，所述信息和/或應(yīng)用數(shù)據(jù)占據(jù)所述添加的行和/或列的全部或僅一部分。
23.根據(jù)權(quán)利要求19至22中任一項(xiàng)所述的設(shè)備，其中，所述獲取裝置適合于從與從其獲得所述圖像的視頻流相關(guān)聯(lián)的元數(shù)據(jù)獲得所述信息和/或應(yīng)用數(shù)據(jù)。
24.根據(jù)權(quán)利要求19至23中任一項(xiàng)所述的設(shè)備，進(jìn)一步包括用于連接到手動(dòng)操作的數(shù)據(jù)輸入單元的接口。
25.根據(jù)權(quán)利要求19至24中任一項(xiàng)所述的設(shè)備，進(jìn)一步包括用于根據(jù)編碼算法來(lái)編碼所述視頻流的裝置，并且其中以使其能夠被分解成完整數(shù)量的宏塊的方式確定所述更大的幀的大小，所述宏塊的大小取決于所述編碼算法。
26.根據(jù)權(quán)利要求25所述的設(shè)備，其中，所述編碼裝置適合于將元數(shù)據(jù)輸入到所述編碼的視頻流中，所述元數(shù)據(jù)包括適合于指示所述添加的行和/或列中存在數(shù)據(jù)的信息段。
27.一種多路復(fù)用器設(shè)備，所述多路復(fù)用器設(shè)備包括根據(jù)權(quán)利要求19至26中任一項(xiàng)所述的設(shè)備。
28.一種圖像獲取裝置，特別地?cái)z像機(jī)或照相機(jī)，其包括根據(jù)權(quán)利要求19至27中任一項(xiàng)所述的設(shè)備。
29.一種數(shù)字視頻流，所述數(shù)字視頻流包括不意在顯示的信息和/或應(yīng)用數(shù)據(jù)和至少一個(gè)包括要被顯示的圖像的幀，所述至少一個(gè)幀包括數(shù)量大于所述圖像的像素?cái)?shù)量的像素，其特征在于，所述信息和/或應(yīng)用數(shù)據(jù)被分配在未被所述圖像占據(jù)的所述幀的像素中。
30.根據(jù)權(quán)利要求29所述的視頻流，其中，所述圖像是包括被多路復(fù)用在一起的右圖像和左圖像的合成圖像。
31.根據(jù)權(quán)利要求29或30所述的視頻流，其中，所述視頻流根據(jù)ITU-TH. 264編碼標(biāo)準(zhǔn)“用于一般視聽(tīng)服務(wù)的H. 264高級(jí)視頻編碼”而被編碼。
32.根據(jù)權(quán)利要求31所述的視頻流，其中，所述視頻流根據(jù)ITU-TH. 264編碼標(biāo)準(zhǔn)“用于一般視聽(tīng)服務(wù)的H. 264高級(jí)視頻編碼”的附錄H而被編碼。
33.根據(jù)權(quán)利要求29至32中任一項(xiàng)所述的視頻流，其中，所述數(shù)據(jù)被置于所述至少一個(gè)幀的外圍行和/或列中。
34.根據(jù)權(quán)利要求29至33中任一項(xiàng)所述的視頻流，進(jìn)一步包括包含適合于指示未被所述圖像占據(jù)的所述幀的所述像素中存在數(shù)據(jù)的信息段的元數(shù)據(jù)。
35.一種用于解碼視頻流的方法，其中，所述視頻流是根據(jù)權(quán)利要求29至34中任一項(xiàng)所述的視頻流，并且其中所述方法包括下列步驟 -提取所述信息和/或應(yīng)用數(shù)據(jù)， -提取所述圖像。
36.根據(jù)權(quán)利要求35所述的方法，其中通過(guò)使用被包含在輸入到所述視頻流中的元數(shù)據(jù)中的信息來(lái)提取所述信息和/或應(yīng)用數(shù)據(jù)。
37.根據(jù)權(quán)利要求36所述的方法，進(jìn)一步包括下列步驟 -特別地通過(guò)裁剪窗口信息來(lái)找到要被裁剪的所述幀的行和/或列， -在所述要被裁剪的行和/或列中搜索所述信息和/或應(yīng)用數(shù)據(jù)， -提取所述信息和/或應(yīng)用數(shù)據(jù)。
38.根據(jù)權(quán)利要求35至37中任一項(xiàng)所述的方法，其中，通過(guò)像素值來(lái)編碼所述信息和/或應(yīng)用數(shù)據(jù)，并且其中所述方法包括下列步驟 -在所述附加的行和/或列中搜索包含非均勻像素的那些， -從包含非均勻像素的所述行和/或列提取所述信息和/或應(yīng)用數(shù)據(jù)。
39.根據(jù)權(quán)利要求35至38中任一項(xiàng)所述的方法，其中，所述視頻流是立體視頻流，特別地包括至少一個(gè)合成圖像或一對(duì)右和左圖像。
40.根據(jù)權(quán)利要求35至39中任一項(xiàng)所述的方法，其中，要被解碼的所述視頻流的所述幀是處于傳輸格式，并且其中所述傳輸格式基于所述提取的數(shù)據(jù)而被確定，并且所述視頻流的所述幀的格式自動(dòng)地從所述傳輸格式被轉(zhuǎn)換成呈現(xiàn)格式。
41.一種用于解碼立體視頻流的設(shè)備，其特征在于，包括適合于實(shí)施根據(jù)權(quán)利要求35至40中任一項(xiàng)所述的方法的裝置。
42.一種用于顯示視頻流的設(shè)備，其適合于實(shí)施根據(jù)權(quán)利要求41所述的方法。
43.一種用于將輸入視頻流的幀的格式轉(zhuǎn)換成意在在顯示設(shè)備上顯示的輸出視頻流的幀的格式的設(shè)備，其特征在于，包括適合于根據(jù)權(quán)利要求I至18中任一項(xiàng)所述的方法基于被輸入到所述輸入視頻流中的信息和/或應(yīng)用數(shù)據(jù)而將所述輸入視頻流轉(zhuǎn)換成所述輸出視頻流的裝置。
44.根據(jù)權(quán)利要求43所述的設(shè)備，其中，所述設(shè)備基于在所述設(shè)備被制造或裝配時(shí)被輸入的設(shè)置來(lái)獲知要在所述顯示設(shè)備的輸入處被使用的格式。
45.根據(jù)權(quán)利要求43所述的設(shè)備，其中，所述設(shè)備基于從所述顯示設(shè)備接收的信息來(lái)獲知要在所述顯示設(shè)備的輸入處被使用的呈現(xiàn)格式。
46.根據(jù)權(quán)利要求43所述的設(shè)備，其中，所述設(shè)備基于由用戶(hù)手動(dòng)輸入的信息來(lái)獲知要在所述顯示設(shè)備的輸入處被使用的呈現(xiàn)格式。
全文摘要
本發(fā)明涉及數(shù)字視頻內(nèi)容產(chǎn)生、分發(fā)和顯示系統(tǒng)。其描述了用于在數(shù)字視頻流內(nèi)傳送數(shù)據(jù)的方法，其中，所述數(shù)字視頻流包括不意在顯示的信息和/或應(yīng)用數(shù)據(jù)和至少一個(gè)包括要被顯示的圖像的幀，并且其中所述至少一個(gè)幀包括數(shù)量大于所述圖像的像素?cái)?shù)量的像素。該方法提供用于將所述信息和/或應(yīng)用數(shù)據(jù)輸入到未被所述圖像占據(jù)的所述幀的像素中。本發(fā)明也涉及用于播放視頻流的方法，所述視頻流在其幀內(nèi)攜帶信息和/或應(yīng)用數(shù)據(jù)。
文檔編號(hào)H04N21/435GK102934452SQ201180015271
公開(kāi)日2013年2月13日 申請(qǐng)日期2011年1月19日 優(yōu)先權(quán)日2010年1月22日
發(fā)明者G.巴洛卡, P.德亞馬托, S.塞里亞 申請(qǐng)人:西斯維爾科技有限公司