個方面能由經(jīng)處理幀304、304'恢復(fù)。例如，該信息可包括一個或多個原始圖像幀302的縱 橫比和/或幀大小。附加地或可替代地，元數(shù)據(jù)328還可包括經(jīng)處理幀304、304'之間的分 辨率比（可以以F1的經(jīng)處理幀304和F2的經(jīng)處理幀304'是不同的情況存儲分辨率比）。 而且，關(guān)于圖2的步驟204之前論述的幀復(fù)用參數(shù)也可被存儲在元數(shù)據(jù)328中。
[0127] 應(yīng)該理解，可存儲在元數(shù)據(jù)區(qū)域328中的信息可被限制。結(jié)果，被編碼并被存儲為 復(fù)用幀中的元數(shù)據(jù)的信息，必須要經(jīng)過精心挑選。例如，在一些實(shí)施例中，元數(shù)據(jù)328可只 存儲表示幀類型（例如，2D或3D)的幀復(fù)用參數(shù)，而幀分量的大小、縱橫比和邊界信息可使 用圖像邊界檢測算法由解碼器預(yù)先限定或隱式派生。例如，這種邊界檢測算法可通過實(shí)施 貝葉斯后驗(yàn)估計(jì)優(yōu)化定位兩個圖像分量之間的邊界。
[0128] 應(yīng)該理解，可對原始圖像幀流中的圖像幀重復(fù)實(shí)施根據(jù)圖2的方法的用于產(chǎn)生復(fù) 用幀306的選定圖像幀302的步驟。這可產(chǎn)生能最終提供給解碼模塊146進(jìn)行解碼和恢復(fù) 的復(fù)用圖像幀流120。
[0129] 復(fù)用幀通常可與顯示設(shè)備的現(xiàn)有基礎(chǔ)設(shè)施兼容，因?yàn)閺?fù)用幀的幀格式將與原始圖 像幀的幀格式相同。復(fù)用幀通常還可受到壓縮。結(jié)果，復(fù)用幀流可使用現(xiàn)有的有限帶寬的 基礎(chǔ)設(shè)施來處理。
[0130] 將復(fù)用幀解碼為多個幀的圖像幀
[0131] 參考圖5,示出有示出根據(jù)本公開的至少一個實(shí)施例的在解碼復(fù)用幀時執(zhí)行的一 系列操作的流程圖500。為了便于解釋，同時將參考通常示出為300的、復(fù)用幀漸進(jìn)轉(zhuǎn)換成 多個輸出幀的圖6。為了更好說明在圖5示出步驟的執(zhí)行期間如何修改復(fù)用幀數(shù)據(jù)，圖5示 出的一些操作與圖6示出的（用帶圈的數(shù)字表示）是對應(yīng)的。圖5的步驟可通過圖1示出 的解碼模塊146來執(zhí)行。
[0132] 在步驟502中，顯示設(shè)備140上的解碼模塊146可接收包含多個處理幀和掩碼數(shù) 據(jù)的復(fù)用幀。復(fù)用幀306可以是從解壓縮模塊144通過有限帶寬的通信信道150傳輸?shù)膹?fù) 用圖像幀流120的一部分，復(fù)用圖像幀流120原本已被預(yù)處理設(shè)備102的編碼模塊106編 碼。
[0133] 同時參考圖6,該步驟在圈數(shù)字1中示出，并接收復(fù)用幀306。為便于說明，圖6繼 續(xù)解碼先前在圖2和3中討論的場景的實(shí)例，以解碼在圖3中產(chǎn)生的復(fù)用幀306。在該示例 場景中，多個處理幀包括隨后處理以產(chǎn)生一對輸出幀的一對經(jīng)處理幀。然而，應(yīng)該理解，復(fù) 用幀可包括能被處理以產(chǎn)生任意數(shù)量的輸出幀的任意數(shù)量的經(jīng)處理幀。
[0134] 在步驟504中，可確定復(fù)用幀中的幀打包參數(shù)（圖6中的帶圈數(shù)字2)。正如上面 所論述的，幀打包參數(shù)可表示存在于復(fù)用幀中的幀類型。例如，幀打包參數(shù)可以表明，復(fù)用 幀可以是嵌套復(fù)用幀，使得編碼成復(fù)用幀的至少一個幀是另一個復(fù)用幀。此外，在另一個實(shí) 例中，幀打包參數(shù)可以表明，復(fù)用幀包含多視點(diǎn)圖像幀（例如，立體幀對）。幀復(fù)用參數(shù)可以 以元數(shù)據(jù)328的方式被解碼并識別。根據(jù)本公開的一些實(shí)施例，幀復(fù)用參數(shù)還可由來自掩 碼數(shù)據(jù)316或元數(shù)據(jù)328的不可見水印解碼并識別。解碼水印幀可通過識別在水印中編碼 的信息所設(shè)計(jì)的特定過程來實(shí)現(xiàn)。例如，如果使用數(shù)學(xué)變換計(jì)算來編碼水印信息，那么解碼 水印幀的過程可涉及應(yīng)用逆向的數(shù)學(xué)變換計(jì)算。在各種實(shí)施例中，解碼的信息可包括與幀 打包參數(shù)有關(guān)的相關(guān)元數(shù)據(jù)或一些其他相關(guān)信息。
[0135] 在步驟506中，該方法涉及拆開復(fù)用幀306以確定在復(fù)用幀306內(nèi)的多個處理幀 和掩碼數(shù)據(jù)。在圖6的示例場景中，這可涉及確定處理幀的一個或多個幀分量（圖6中的 帶圈數(shù)字3)。
[0136] 復(fù)用幀306還可包括元數(shù)據(jù)328 (以虛線輪廓示出的附加復(fù)用幀306)，該元數(shù)據(jù) 328規(guī)定了可以如何由多個處理幀產(chǎn)生多個輸出幀。關(guān)于如何在編碼過程期間將元數(shù)據(jù) 328存儲在復(fù)用幀306中的以上論述，也可應(yīng)用在該上下文中。也就是說，在解碼過程期間， 解碼模塊146可被配置為根據(jù)如何將元數(shù)據(jù)328存儲在復(fù)用幀306內(nèi)來識別復(fù)用幀306中 的元數(shù)據(jù)328。例如，如果元數(shù)據(jù)328被存儲為復(fù)用幀306的水印，則解碼模塊146可被配 置為識別在復(fù)用幀306的水印中的元數(shù)據(jù)328。
[0137] 為了在解包步驟期間識別每個幀分量（視情況，和/或處理幀）的位置，解碼模塊 146可參考存儲在元數(shù)據(jù)328中的映射數(shù)據(jù)。如上面所論述的，映射數(shù)據(jù)可識別存儲在復(fù)用 幀306中的經(jīng)處理幀和/或幀分量的定位。例如，映射數(shù)據(jù)可確定預(yù)先限定布局，該預(yù)先限 定布局規(guī)定了在復(fù)用幀306內(nèi)的一個或多個經(jīng)處理幀和/或掩碼數(shù)據(jù)的位置。當(dāng)識別多個 經(jīng)處理幀和掩碼數(shù)據(jù)時，可使用預(yù)先限定的布局。還如上面所論述的，由于預(yù)先限定的布局 可以從多個不同的預(yù)先限定的布局中選擇，所以解碼模塊可提供對不同的預(yù)先限定布局的 訪問，預(yù)先限定可用于將圖像幀編碼成復(fù)用幀306。
[0138] 在另一個實(shí)例中，代替或附加地，參照預(yù)先限定布局來識別復(fù)用幀306中的經(jīng)處 理幀和掩碼數(shù)據(jù)，可根據(jù)復(fù)用幀的圖像邊界檢測分析來確定復(fù)用幀內(nèi)至少一個經(jīng)處理幀和 /或掩碼數(shù)據(jù)的位置。例如，這種算法中的一種通過進(jìn)行貝葉斯后驗(yàn)估計(jì)，可最佳定位任何 兩個圖像分量之間的邊界。
[0139] 在已經(jīng)識別幀分量（或經(jīng)處理幀）之后，可將在編碼期間被旋轉(zhuǎn)的復(fù)用幀中的任 何旋轉(zhuǎn)幀分量恢復(fù)到其原始的方向。這可在步驟508 (以虛線輪廓示出）執(zhí)行。在步驟508 中，該方法可包括旋轉(zhuǎn)一個或多個旋轉(zhuǎn)幀分量312、312'(圖6中的圈數(shù)字4)。由于圖5 中的步驟508是可選的，因?yàn)榭赡軟]有旋轉(zhuǎn)在復(fù)用幀306中確定的幀分量312、312'(或 作為實(shí)例可以是經(jīng)處理幀304、304')，所以其以虛線輪廓示出。在各種實(shí)施例中，元數(shù)據(jù) 328可包括指示相應(yīng)圖像數(shù)據(jù)的原始方向的數(shù)據(jù)，使得能夠根據(jù)所包括方向執(zhí)行步驟508。 附加或替代地，在圖2的編碼過程期間的旋轉(zhuǎn)步驟212可被標(biāo)準(zhǔn)化和預(yù)先定義，使得在步驟 508的解碼過程中的旋轉(zhuǎn)步驟也可被標(biāo)準(zhǔn)化和預(yù)先定義。例如，編碼模塊106可被配置為總 是順時針旋轉(zhuǎn)圖像幀或幀分量90°，使得在步驟508的旋轉(zhuǎn)總是逆時針進(jìn)行90°以在解碼 期間恢復(fù)方向。
[0140] 在步驟510,可將一個或多個幀分量312組裝在一起，以產(chǎn)生經(jīng)處理幀304'(圖 6中的帶圈數(shù)字5)。該步驟也以虛線輪廓示出，因?yàn)樗赡苁?，在各種實(shí)施例中，在編碼過 程期間經(jīng)處理幀304'可能沒被分割，致使該步驟不必要。
[0141] 如上文關(guān)于編碼過程的論述所指出的，在將經(jīng)處理幀分割成幀分量312期間，幀 分量312、312'可提供保護(hù)區(qū)314、314'，其與用于同一處理幀304、304'的其他幀分量 312、312'的部分重疊。因此，在圖6的示例場景中，保護(hù)區(qū)314可識別或預(yù)先定義F1的 旋轉(zhuǎn)幀分量312(具有標(biāo)記'F1B'）。同時，保護(hù)區(qū)314'可識別或預(yù)先定義F2的幀分量 312'(具有標(biāo)記'F2B'）。在將用于處理幀304的幀分量312組裝在一起時，可在保護(hù)區(qū)314 將幀分量312逐步混合在一起。針對用于處理幀304'的在保護(hù)區(qū)314'的幀分量3C， 也可重復(fù)該混合。正如應(yīng)該理解的，提供保護(hù)區(qū)可允許無縫混合，以便改善處理幀的重建。
[0142] 為了由多個識別的處理幀304、304'產(chǎn)生多個輸出幀，第一經(jīng)處理幀（例如，F(xiàn)1的 經(jīng)處理幀304)可首先被識別為基礎(chǔ)幀，其將是第一輸出幀。然后通過將掩碼數(shù)據(jù)316應(yīng)用 于第一輸出幀，可產(chǎn)生后續(xù)的輸出幀，然后根據(jù)掩碼數(shù)據(jù)316中的相應(yīng)的值，用后續(xù)處理圖 像的區(qū)域（例如，F(xiàn)2的經(jīng)處理幀304)覆蓋第一輸出幀。
[0143] 然而，在執(zhí)行覆蓋之前，由于重建的經(jīng)處理幀304、304'的分辨率可以是不同的， 所以任何后續(xù)經(jīng)處理幀的分辨率（例如，F(xiàn)2的處理幀304')可能會被修改，使得與基礎(chǔ)第 一輸出幀的分辨率相同。例如，在圖6不出的不例場景中，F(xiàn)1的經(jīng)處理幀304的分辨率可 高于F2的經(jīng)處理幀304'的分辨率。因此，F(xiàn)2的經(jīng)處理幀304'的分辨率可根據(jù)兩幀之間 的分辨率比（例如，F(xiàn)2的經(jīng)處理幀304'和F1的經(jīng)處理幀304之間的比率）按比例縮小。 在各種實(shí)施例中，例如，可將該分辨率比存儲在復(fù)用幀306的元數(shù)據(jù)328中。
[0144] 在步驟512中，根據(jù)掩碼數(shù)據(jù)，通過將多個經(jīng)處理幀中的一個幀與多個處理幀中 的另一個幀組合在一起可產(chǎn)生輸出幀（圖6中的帶圈數(shù)字6)。在圖6示出的示例情景中， 這可通過首先選擇F1的經(jīng)處理幀304作為基礎(chǔ)輸出幀來執(zhí)行。然后可將掩碼數(shù)據(jù)316應(yīng) 用于F1的經(jīng)處理幀304,以指示如何可以將F1的經(jīng)處理幀304與F2的經(jīng)處理幀30V組 合在一起，以產(chǎn)生對應(yīng)于F2的輸出幀。
[0145] 同時參考圖7,示出有根據(jù)掩碼數(shù)據(jù)由組合兩個經(jīng)處理幀產(chǎn)生輸出幀的圖解700。 示出的掩碼數(shù)據(jù)316對應(yīng)于圖4示出的掩碼數(shù)據(jù)316,因此，由12X8個數(shù)據(jù)網(wǎng)格組成，這表 明當(dāng)產(chǎn)生對應(yīng)于F2的輸出幀時，F(xiàn)1的經(jīng)處理幀304的相應(yīng)區(qū)域必須用F2的經(jīng)處理幀30V 的同一區(qū)域覆蓋。這在圖7中通過將掩碼數(shù)據(jù)316直接覆蓋在F1的經(jīng)處理幀304的頂部 上示出。同時參考圖4,可以看出，用F2的經(jīng)處理幀304'的相應(yīng)區(qū)域取代的區(qū)域404(即， 圖4示出的掩碼數(shù)據(jù)316的值為'1'的位置）以交叉陰影線示出。在應(yīng)用掩碼數(shù)據(jù)組合經(jīng) 處理幀304、304'之前，還可調(diào)整掩碼數(shù)據(jù)316的大小使其與F1的經(jīng)處理幀304的大小一 致。
[0146] 在將掩碼數(shù)據(jù)316應(yīng)用于F1的經(jīng)處理幀304之后，可以產(chǎn)生對應(yīng)于F2的處理幀 304'的輸出幀。仍然參考圖7,下面示出的用掩碼數(shù)據(jù)316覆蓋的F1的處理幀304是對應(yīng) 于F2的處理幀304'的結(jié)果輸出幀F(xiàn)2。如圖所示，結(jié)果輸出幀F(xiàn)2由F1的經(jīng)處理幀304產(chǎn) 生，通過掩碼數(shù)據(jù)316確定的選定區(qū)域402已經(jīng)用F2的處理幀304'的同一區(qū)域取代。由 于該具體實(shí)例的圖像幀對示出了高爾夫球朝著洞方向運(yùn)動，所以已經(jīng)取代區(qū)域402 :(i)用 于用圖像示出高爾夫球的區(qū)域表明球已不在那里了；和（ii)用于用區(qū)域示出沒有出球的 區(qū)域表明，高爾夫球已移動到了那里。
[0147] 在步驟514, 一旦已經(jīng)確定輸出幀F(xiàn)1，就已經(jīng)產(chǎn)生輸出幀F(xiàn)2,可修改輸出幀以恢復(fù) 原始圖像幀的屬性（圖6中的帶圈數(shù)字7)。正如上面所論述的，元數(shù)據(jù)528可存儲圖3示 出的原始圖像幀302的各種屬性。因此，當(dāng)執(zhí)行步驟514時，可以引用這些屬性。例如，輸 出幀602的修改可包括恢復(fù)原始圖像幀302的縱橫比，或恢復(fù)原始圖像幀302的垂直或水 平分辨率。它還可包括將空的可視數(shù)據(jù)的返回行添加到解碼處理圖像幀的頂部和底部以恢 復(fù)原始圖像幀的外觀（例如，如果解碼的處理圖像幀僅是從原始圖像幀裁剪的原始圖像幀 的一部分，例如如上所述的）。正如應(yīng)該理解的，空的可視數(shù)據(jù)可呈現(xiàn)為在輸出幀的頂部和 底部部分中的黑條。
[0148] 在步驟516,可獲得準(zhǔn)備用于顯示的輸出幀（圖6中的圈數(shù)字8)。一旦根據(jù)原始 圖像屬性已經(jīng)恢復(fù)輸出幀602,就可將輸出幀602插入到可由圖1的顯示裝置148顯示的輸 出幀流中。在各種實(shí)施例中，解碼復(fù)用圖像幀流120中的復(fù)用幀306,在將輸出幀流提供給 顯示設(shè)備之前，可直接通過解碼模塊146在顯示設(shè)備140上實(shí)時執(zhí)行。
[0149] 嵌套的復(fù)用幀
[0150] 盡管以上論述涉及直接編碼圖像幀成復(fù)用幀，然而在各種實(shí)施例中，它也可能是 編碼另一復(fù)用幀成復(fù)用幀，以致產(chǎn)生嵌套的復(fù)用幀。
[0151] 參考圖8,根據(jù)本公開的至少一個實(shí)施例，嵌套編碼方法800是將復(fù)用幀306和第 三經(jīng)處理幀802(對應(yīng)于