解碼器400的輸出端，用于輸出格式化后的3DV內(nèi)容(例如，一個(gè)或多個(gè)2D視圖、 深度、一個(gè)或多個(gè)遮擋視圖、遮擋深度、一個(gè)或多個(gè)透明貼圖等）。
[0049] 圖3和圖4示出了特定實(shí)施方式，但是可W預(yù)見其他實(shí)施方式。例如，另一種實(shí)施方 式不具有圖3(或圖4)的一個(gè)或多個(gè)塊上的獨(dú)立輸入端。相反，單個(gè)輸入端被用來接收多個(gè) 信號(hào)。作為具體示例，比特流復(fù)用器360可W只具有一個(gè)輸入端。單個(gè)輸入端接收來自MVC/ SVC編碼器305的輸出W及來自SEI消息組成器365的輸出。另外，3D視圖分量組成器355的另 一種實(shí)施方式只具有單個(gè)輸出端，該輸出端既向SEP消息組成器365提供信號(hào)又向MVC/SVC 編碼器305提供信號(hào)?？蒞想到對(duì)于圖4W及其他附圖的實(shí)施方式W及貫穿說明書描述的實(shí) 施方式的類似適應(yīng)修改。
[0050] 圖5示出了根據(jù)本原理的實(shí)施例的可W應(yīng)用本原理的示例性視頻傳輸系統(tǒng)700。視 頻傳輸系統(tǒng)700可W是例如用于使用諸如（例如)衛(wèi)星、線纜、電話線、或者陸地廣播之類的 各種媒介中的任意一種來發(fā)送信號(hào)的頭端、或傳輸系統(tǒng)?？蒞通過互聯(lián)網(wǎng)或者一些其他網(wǎng) 絡(luò)來提供傳輸。
[0051] 視頻傳輸系統(tǒng)700能夠生成并遞送例如視頻內(nèi)容和深度。運(yùn)是通過生成一個(gè)或多 個(gè)編碼后的信號(hào)來實(shí)現(xiàn)的，其中編碼后的信號(hào)包括深度信息或者能夠被用來在可能具有例 如解碼器的接收器端合成深度信息的信息。
[0052] 視頻傳輸系統(tǒng)700包括編碼器710和能夠發(fā)送編碼后的信號(hào)的發(fā)送器720。編碼器 710接收視頻信息，并基于深度信息和/或視頻信息生成一個(gè)或多個(gè)編碼后的信號(hào)。編碼器 710可W是例如W上詳細(xì)描述的編碼器300。編碼器710可W包括子模塊，運(yùn)些子模塊包括例 如用于接收各種信息項(xiàng)并將運(yùn)些信息項(xiàng)裝配為結(jié)構(gòu)化的格式w供存儲(chǔ)或傳輸?shù)难b配單元。 各種信息項(xiàng)可W包括例如，編碼后或未編碼的視頻、編碼后或未編碼的深度信息、W及諸如 運(yùn)動(dòng)矢量、編碼模式指示符、W及語法元素之類的編碼后或未編碼的元素。
[0053] 發(fā)送器720可W被用來例如發(fā)送具有代表編碼后的畫面和/或與其有關(guān)的信息的 一個(gè)或多個(gè)比特流的節(jié)目信號(hào)。一般發(fā)送器執(zhí)行諸如提供誤差校正編碼、對(duì)信號(hào)中的數(shù)據(jù) 進(jìn)行交織、使得信號(hào)中的能量隨機(jī)化、W及將信號(hào)調(diào)制到一個(gè)或多個(gè)載波上之類的處理中 的一個(gè)或多個(gè)處理的功能。發(fā)送器可W包括天線(未示出），或者可W與天線接口。因此，發(fā) 送器720的各種實(shí)施方式可W包括或者被限制為調(diào)制器。
[0054] 圖6示出了根據(jù)本原理的實(shí)施例的可W應(yīng)用本原理的示例性視頻接收系統(tǒng)800。視 頻接收系統(tǒng)800可W被配置為通過諸如(例如)衛(wèi)星、線纜、電話線、或者陸地廣播之類的各 種媒介接收信號(hào)。運(yùn)些信號(hào)可W通過互聯(lián)網(wǎng)或者一些其他網(wǎng)絡(luò)被接收。
[0055] 視頻接收系統(tǒng)800可W是例如蜂窩電話、計(jì)算機(jī)、機(jī)頂盒、電視機(jī)、或者接收編碼后 的視頻并提供例如解碼后的視頻W供顯示給用戶或者W供存儲(chǔ)的其他設(shè)備。所W，視頻接 收系統(tǒng)800可W將其輸出提供給例如電視機(jī)的屏幕、計(jì)算機(jī)監(jiān)控器、計(jì)算機(jī)（用于存儲(chǔ)、處 理、或顯示）、或者一些其他存儲(chǔ)、處理、或顯示設(shè)備。
[0056] 視頻接收系統(tǒng)800能夠接收并處理包括視頻信息的視頻內(nèi)容。視頻接收系統(tǒng)800包 括能夠接收諸如在本申請(qǐng)的實(shí)施方式中描述的信號(hào)之類的編碼后的信號(hào)的接收器810、W 及能夠?qū)λ邮盏男盘?hào)進(jìn)行解碼的解碼器820。
[0057] 接收器810可W被用于例如接收具有代表編碼后的畫面的多個(gè)比特流的節(jié)目信 號(hào)。一般接收器執(zhí)行諸如接收調(diào)制并編碼后的數(shù)據(jù)信號(hào)、從一個(gè)或多個(gè)載波解調(diào)數(shù)據(jù)信號(hào)、 使信號(hào)中的能量去隨機(jī)化、對(duì)信號(hào)中的數(shù)據(jù)進(jìn)行解交織、W及對(duì)信號(hào)進(jìn)行誤差校正解碼中 的一個(gè)或多個(gè)處理的功能。接收器810可W包括天線(未示出），或者可W與天線相接口。接 收器810的實(shí)施方式可W包括或者被限制為解調(diào)器。
[0058] 解碼器820輸出包括視頻信息和深度信息的視頻信號(hào)。解碼器820可W是例如W上 描述的解碼器400。
[0059] 圖7示出了根據(jù)本原理的實(shí)施例的可W利用本原理的示例性視頻處理設(shè)備900。視 頻處理設(shè)備900可W是例如機(jī)頂盒、或者接收編碼后的視頻并且提供例如解碼后的視頻W 供向用戶顯示或者W供存儲(chǔ)的其他設(shè)備。所W，視頻處理設(shè)備900可W將其輸出提供給電視 機(jī)、計(jì)算機(jī)監(jiān)控器、或者計(jì)算機(jī)或其他處理設(shè)備。
[0060] 視頻處理設(shè)備900包括前端(FE)設(shè)備905和解碼器910。前端設(shè)備905可W是例如被 用來接收具有代表編碼后的畫面的多個(gè)比特流的節(jié)目信號(hào)、W及從多個(gè)比特流中選擇一個(gè) 或多個(gè)比特流W供解碼的接收器。一般接收器執(zhí)行諸如接收調(diào)制并編碼后的數(shù)據(jù)信號(hào)、對(duì) 數(shù)據(jù)信號(hào)進(jìn)行解調(diào)、對(duì)數(shù)據(jù)信號(hào)的一個(gè)或多個(gè)編碼（例如，信道編碼和/或源編碼)進(jìn)行解 碼、和/或?qū)?shù)據(jù)信號(hào)進(jìn)行誤差校正中的一個(gè)或多個(gè)處理的功能。前端設(shè)備905可W從例如 天線(未示出)接收節(jié)目信號(hào)。前端設(shè)備905向解碼器910提供所接收的數(shù)據(jù)信號(hào)。
[0061] 解碼器910接收數(shù)據(jù)信號(hào)920。數(shù)據(jù)信號(hào)920可W包括例如，一個(gè)或多個(gè)高級(jí)視頻編 碼(AVC)、可縮放視頻編碼(SVC)、或者多視角視頻編碼(MVC)兼容的流。
[0062] AVC更具體地指現(xiàn)有的國際標(biāo)準(zhǔn)化組織/國際電工委員會(huì)(ISCVIEC)移動(dòng)畫面專家 組4(MPEG-4)，部分10,高級(jí)視頻編碼(AVC)標(biāo)準(zhǔn)/國際電信聯(lián)盟，電信部口（ITU-T化.264推 薦（Intern曰tion曰1 Org曰niz曰tion for St曰nd曰rdiz曰tion/1 ηtern曰tion曰1 Electrotechnical Commission(ISO/IEC)Moving Picture Experts Group-4(MPEG-4) Part lOAdvanced Video Coding(AVC)standard/International Telecommunication Union，Telecommuni cat ion Sector (ITU-T 化.264Recommendat ion)(下文中，稱為巧.264/ MPEG-4AVC S化ndarcT或者其變型，諸如"AVC標(biāo)準(zhǔn)"或者簡(jiǎn)稱為"AVC'）。
[0063] MVC更具體地指AVC標(biāo)準(zhǔn)的多視角視頻編碼(MVC)擴(kuò)展（附件H)，被稱為H.264/ MPEG-4AVC，MVC擴(kuò)展r'MVC擴(kuò)展"或者簡(jiǎn)稱為"MVC'）。
[0064] SVC更具體地指AVC標(biāo)準(zhǔn)的可縮放視頻編碼（SVC)擴(kuò)展（附件G)，被稱為H.264/ MPEG-4AVC，SVC擴(kuò)展r'SVC擴(kuò)展"或者簡(jiǎn)稱為"SVC'）。
[0065] 解碼器910對(duì)所接收的信號(hào)920的部分或全部進(jìn)行解碼，并提供解碼后的視頻信號(hào) 930作為輸出。解碼后的視頻930被提供給選擇器950。設(shè)備900還包括接收用戶輸入970的用 戶接口 960。用戶接口 960基于用戶輸入970將畫面選擇信號(hào)980提供給選擇器950。畫面選擇 信號(hào)980和用戶輸入970指示用戶期望顯示多個(gè)畫面、序列、可縮放版本、視圖、或者可用的 編碼后數(shù)據(jù)的其他選擇中的哪一種。選擇器950提供所選擇的一個(gè)或多個(gè)畫面作為輸出 990。選擇器950使用畫面選擇信息980來選擇解碼后的視頻930中的哪些畫面作為輸出990 來提供。
[0066] 在各種實(shí)施方式中，選擇器950包括用戶接口 960,并且在其他實(shí)施方式中，由于選 擇器950直接接收用戶輸入970而不需要單獨(dú)的接口功能被執(zhí)行，所W不需要用戶接口 960。 選擇器950可W用軟件實(shí)現(xiàn)，或者可W被實(shí)現(xiàn)為例如集成電路。在一種實(shí)施方式中，選擇器 950被與解碼器910結(jié)合在一起，并且在另一種實(shí)施方式中，解碼器910、選擇器950、W及用 戶接口 960被全部集成在一起。
[0067] 在一個(gè)應(yīng)用中，前端905接收各種電視節(jié)目的廣播，并且選擇一種進(jìn)行處理。對(duì)一 個(gè)節(jié)目的選擇是W收看的期望頻道的用戶輸入為基礎(chǔ)的。盡管圖7中沒有示出對(duì)于前端設(shè) 備905的用戶輸入，但是前端設(shè)備905接收到了用戶輸入970。前端905接收廣播，通過解調(diào)廣 播頻譜的相關(guān)部分并解碼解調(diào)后的節(jié)目的任意外部編碼(outer encoding)來處理期望的 節(jié)目。前端905將解碼后的節(jié)目提供給解碼器910。解碼器910是包括設(shè)備960和950的集成單 元。所W，解碼器910接收用戶輸入，其中該用戶輸入是由用戶提供的期望收看的節(jié)目中的 視圖的指示。解碼器910對(duì)所選擇的視圖W及來自其他視圖的任意需要的參考畫面進(jìn)行解 碼，并且將解碼后的視圖990提供在電視機(jī)(未示出）上進(jìn)行顯示。
[0068] 繼續(xù)W上應(yīng)用，用戶可能期望切換所顯示的視圖，然后可W將新的輸入提供給解 碼器910。在接收到來自用戶的"視圖改變"后，解碼器910對(duì)舊視圖和新視圖、W及介于舊視 圖和新視圖之間的任意視圖進(jìn)行解碼。即，解碼器910對(duì)由物理上位于拍攝舊視圖的相機(jī)和 拍攝新視圖的相機(jī)之間的相機(jī)所拍攝的任意視圖進(jìn)行解碼。前端設(shè)備905還接收標(biāo)識(shí)舊視 圖、新視圖、W及它們之間的視圖的信息。運(yùn)種信息可W由例如，解碼器910或者具有關(guān)于視 圖位置的信息的控制器（圖7中未示出）提供。其他實(shí)施方式可W使用具有與前端設(shè)備集成 在一起的控制器的前端設(shè)備。
[0069] 解碼器910提供所有運(yùn)些解碼后的視圖作為輸出990。后處理器（圖7中未示出）在 運(yùn)些視圖之間進(jìn)行內(nèi)插W提供從舊視圖到新視圖的平滑過渡，并且將運(yùn)種過渡顯示給用 戶。在過渡到新視圖之后，后處理器(通過一個(gè)或多個(gè)未示出的通信鏈路）向解碼器910和前 端設(shè)備905通知只需要新視圖。然后，解碼器910僅提供新視圖作為輸出990。
[0070] 系統(tǒng)900還可W被用來接收一系列圖像的多個(gè)視圖，呈現(xiàn)用于顯示的單個(gè)視圖，W 及W平滑方式在各種視圖之間切換。平滑方式可W包括在視圖之間進(jìn)行內(nèi)插W移動(dòng)到另一 視圖。另外，系統(tǒng)900還允許用戶旋轉(zhuǎn)對(duì)象或場(chǎng)景，或者觀看對(duì)象或場(chǎng)景的Ξ維再現(xiàn)。對(duì)象的 旋轉(zhuǎn)例如可W對(duì)應(yīng)于從視圖到視圖的移動(dòng)、在視圖之間進(jìn)行內(nèi)插W獲得視圖之間的平滑過 渡或者簡(jiǎn)單地獲取Ξ維再現(xiàn)。也就是說，用戶可W "選擇"內(nèi)插后的視圖作為將要顯示的"視 圖"。
[0071] 應(yīng)該明白，視頻傳輸系統(tǒng)700、視頻接收系統(tǒng)800、W及視頻處理設(shè)備900全部可W 被用來與本申請(qǐng)中描述的各種實(shí)施方式一起使用。例如，系統(tǒng)700、800和900可W被用于利 用如上所述的3DV格式中的一種格式的數(shù)據(jù)進(jìn)行操作，W及利用相關(guān)聯(lián)的信令信息進(jìn)行操 作。
[0072] 實(shí)施例1:用于MVC的3DV格式沈I消息
[007引在MVC的架構(gòu)中，3DV分量序列被作為不同的"視圖"進(jìn)行編碼。所W，可W通過作為 MVC的一個(gè)特征的視圖間預(yù)測(cè)（inter-view prediction)來去除分量間冗余。例如，2D視圖 和遮擋視圖之間的冗余可W被有效去除。表1示出了根據(jù)實(shí)施例1的提議用于MVC的3DV格式 SEI消息的語法。注意，在本實(shí)施例中MVC比特流可W包括除3DV分量序列W外的更多視圖。 [0074]表 1
[0075]
[0076] 表1的語法元素的語義如下。
[0077] three_dv_format_id包括可W被用來標(biāo)識(shí)3DV格式SEI消息的使用的標(biāo)識(shí)號(hào)。該值 應(yīng)該被包含在0到的范圍中。應(yīng)該注意，從0到255W及從51巧的值可W在被本應(yīng) 用確定之后被使用。從265至化11W及從231到的值被保存W供將來使用。解碼器應(yīng)該忽 略(從比特流中去除并且丟棄)包括處于從265到511的范圍中或者從231到的范圍中的 t虹ee_dv_fo;rmat_id的值的所有3DV格式SEI消息，并且比特流不應(yīng)該包括運(yùn)些值。
[007引 t虹ee_dv_fo;rmat_flag等于l指示3DV格式SEI消息按照輸出順序消除了任意一個(gè) 先前的3DV格式SEI消息的存留。three_dv_fo;rmat_cancel_f lag等于0指示3DV格式信息跟 在后面。