第三圖像幀F(xiàn)3(未示出））轉(zhuǎn)換成嵌套復(fù)用幀806。正如應(yīng)該理解 的，產(chǎn)生嵌套的復(fù)用幀的方法將類似于產(chǎn)生規(guī)律的復(fù)用圖像幀的方法，除了它是在隨后的 編碼過程中將復(fù)用圖像幀和經(jīng)處理幀組合在一起以外。
[0152] 例如，產(chǎn)生嵌套的復(fù)用幀的方法可包括識別復(fù)用幀306,其本身包括對應(yīng)于第一圖 像幀的第一經(jīng)處理幀，和對應(yīng)于第二圖像幀的第二處理幀。然后事兒別圖像幀流的第三圖 像幀F(xiàn)3。如前所述，第一復(fù)用幀306可包含：原始圖像幀F(xiàn)1的幀分量312,原始圖像幀F(xiàn)2 的幀分量312'，和復(fù)用幀306的掩碼數(shù)據(jù)；其中掩碼數(shù)據(jù)表示圖像幀F(xiàn)2和圖像幀F(xiàn)1之 間的關(guān)系。與第一復(fù)用幀相關(guān)的掩碼數(shù)據(jù)和元數(shù)據(jù)可保留在部分316中，且在圖中被稱為 "M.D. 1"。用于編碼復(fù)用幀306的中間步驟在圖3示出了，但未在圖8示出。
[0153] 圖8示出了打包或復(fù)用成嵌套復(fù)用幀806的復(fù)用幀306和第三經(jīng)處理圖像幀802。 嵌套復(fù)用幀806的第一幀分量部分812a包括標(biāo)記為'F1A'和'F2A'的處理幀分量，以及復(fù) 用幀306的掩碼數(shù)據(jù)316,它們可通過如圖所示的調(diào)整大小和旋轉(zhuǎn)被打包。同樣，嵌套復(fù)用 幀806的第二幀分量部分812b包括標(biāo)記為'F1B'和'F2B'的經(jīng)處理幀分量，它們可通過如 圖所示的調(diào)整大小和旋轉(zhuǎn)被打包。與旋轉(zhuǎn)和調(diào)整大小的相關(guān)信息，諸如用來做這兩者的方 案，可被存儲為部分816中的與嵌套復(fù)用幀806相關(guān)的元數(shù)據(jù)。
[0154] 類似于306中的復(fù)用經(jīng)處理幀分量，第三經(jīng)處理幀802的經(jīng)處理幀分量812'a和 812'b可被打包成嵌套復(fù)用幀806,其中8Ca是第三經(jīng)處理圖像幀802的第一幀分量 (具有標(biāo)記'F3A'），且其中8Cb是第三經(jīng)處理幀802的第二幀分量（具有標(biāo)記'F3B'）。 這兩個幀分量可被旋轉(zhuǎn)并插入到嵌套復(fù)用幀806中。嵌套復(fù)用幀可包含經(jīng)處理圖像幀802 的幀分量812'a和812'b，和嵌套復(fù)用幀806的掩碼和元數(shù)據(jù)816(在圖8中，標(biāo)記為 "M.D.2"）。"M.D.2"中的掩碼數(shù)據(jù)可表示圖像幀F(xiàn)3和圖像幀F(xiàn)2之間的關(guān)系。嵌套復(fù)用幀 806中的元數(shù)據(jù)可表示如何可以將第三經(jīng)處理幀802和復(fù)用幀306復(fù)用在一起。例如，嵌套 復(fù)用幀806的元數(shù)據(jù)可包括，關(guān)于當(dāng)創(chuàng)建嵌套復(fù)用幀806時如何調(diào)整并打包復(fù)用幀306內(nèi) 的幀分量和掩碼/元數(shù)據(jù)"M.D. 1"的信息。
[0155] 在進(jìn)一步的實施例中，當(dāng)嵌套復(fù)用幀本身被進(jìn)一步編碼成另一個嵌套復(fù)用幀時， 可進(jìn)一步重復(fù)嵌套復(fù)用幀806的創(chuàng)建。遞歸復(fù)用圖像幀的這種過程可繼續(xù)被重復(fù)，直到在 編碼過程期間達(dá)到處理幀中的最低量級。
[0156] 為了解碼嵌套復(fù)用圖像幀，可使用以上關(guān)于圖5-7所述的類似解碼過程。
[0157]由嵌套復(fù)用幀產(chǎn)生輸出圖像幀需要由第二經(jīng)處理幀產(chǎn)生第三輸出圖像幀；和在產(chǎn) 生第二輸出圖像幀之前，需要確定第一經(jīng)處理幀。因此，在產(chǎn)生任何輸出圖像幀之前，可能 要"解開"遞歸嵌套復(fù)用幀的多層嵌套（例如，必須解包并確定每個嵌套處理圖像幀）。
[0158] 正如應(yīng)該理解的，復(fù)用幀的解碼方法的步驟通?？深愃朴诜葱蜻M(jìn)行的編碼步驟。 在圖8示出的實例中，解碼可首先涉及確定嵌套復(fù)用幀806中幀分量812a和812b，以便能 重建初始復(fù)用幀306。解包還可涉及確定嵌套復(fù)用幀806中的幀分量812'a和812'b， 以便能重建第三處理幀802。
[0159] 為了產(chǎn)生圖8中的第三輸出幀F(xiàn)3，例如，然后將基于與初始復(fù)用幀306有關(guān)的掩碼 數(shù)據(jù)316,解碼初始復(fù)用幀306以產(chǎn)生第一和第二經(jīng)處理幀。此后，使用與下一級嵌套用幀 806相關(guān)的掩碼數(shù)據(jù)816,通過組合第二經(jīng)處理幀和第三經(jīng)處理幀以產(chǎn)生第三輸出幀。
[0160] 該過程可在出現(xiàn)進(jìn)一步嵌套復(fù)用幀的情況下繼續(xù)，直到產(chǎn)生最后嵌套復(fù)用幀的最 后輸出圖像幀。因此，所有輸出圖像幀的解碼順序發(fā)生在與編碼圖像幀相同的順序中。
[0161] 解碼方法可包括接收：嵌套復(fù)用幀，其包括第一經(jīng)處理幀和第二經(jīng)處理幀的經(jīng)處 理復(fù)用幀；第三經(jīng)處理幀；和在該嵌套復(fù)用級掩碼和元數(shù)據(jù)。解碼模塊可使用與嵌套復(fù)用 幀相關(guān)的元數(shù)據(jù)解包嵌套復(fù)用幀，以確定在較低的嵌套復(fù)用級的嵌套復(fù)用幀內(nèi)的處理復(fù)用 幀、第三處理幀、相關(guān)的掩碼數(shù)據(jù)。
[0162] 然后，該方法通過使用與嵌套復(fù)用幀相關(guān)的元數(shù)據(jù)，確定并重建復(fù)用幀，來解包嵌 套復(fù)用幀。一旦重建，就能用與復(fù)用幀相關(guān)聯(lián)的元數(shù)據(jù)解碼復(fù)用幀，以確定第一經(jīng)處理幀、 第二處理幀和掩碼數(shù)據(jù)。
[0163] 一旦產(chǎn)生處理幀，然后該方法可繼續(xù)產(chǎn)生對應(yīng)于處理幀的輸出圖像幀，即第一輸 出圖像幀、第二輸出圖像幀和第三輸出圖像幀，以便重建用于顯示的原始高幀速率圖像序 列。
[0164]多視點圖像幀復(fù)用
[0165] 在各種實施例中，本公開描述的編碼和解碼過程可應(yīng)用于多視點圖像幀流的領(lǐng)域 (例如，具有提供同一場景的不同視點的圖像幀的幀流）。
[0166]多視點圖像幀流的實例是其中提供場景的兩個視圖（例如，包含用于左眼的一個 視圖和用于右眼的另一個視圖的立體幀對）的三維（3D)電影視頻流。正如所知道的，同時 觀看不同的視圖（或快速地連續(xù)）能夠感知產(chǎn)生三維效果的景深。在這些類型的3D電影 視頻流中，可連續(xù)地示出每只眼晴的交替場景，偏振眼鏡可用于使每只眼睛僅看到它想要 看到的視圖。
[0167] 如上所述，常規(guī)電影視頻通常以24fps提供。為了允許在3D電影視頻中交替場 景的左和右視圖，將要在3D電影圖像幀流中提供兩倍的每秒幀數(shù)，以使每只眼睛保持感知 24fps的常規(guī)幀率（諸如，雖然實際幀流可以以48fps顯示，但在任何指定的秒中這些幀中 只有一半直接到每只眼睛）。因此，3D電影圖像幀流通常以48fps提供，從而可受到上述的 類似帶寬限制。因此，3D電影圖像幀流可適合本公開中描述的編碼和解碼過程。
[0168] 參考圖9,示出有根據(jù)本公開的至少一個實施例的其中將不同視點的圖像幀編碼 在一起的、將示例多視點圖像幀流轉(zhuǎn)換成復(fù)用圖像幀流的圖解900。在該特定實例中，原始 3D圖像幀流用立體對序列902、902<、902"示出，（標(biāo)記為用于視圖'0'的L。和R。;用于 視圖'1'的LdPR1;和用于視圖'2'的1^和1?2)。在該實施例中，將同一場景的多個視圖 復(fù)用在一起。因此，在通過上述的編碼過程處理3D圖像幀流之后，其結(jié)果可以是其中每個 復(fù)用幀包含立體幀對的兩個幀的復(fù)用圖像幀流。例如，如圖所示，復(fù)用幀906包括立體幀對 902的兩個幀（標(biāo)記為L。和R。的原始幀）。同樣，復(fù)用幀906'包括立體幀對902'的兩個 幀（標(biāo)記為^和^的原始幀），和復(fù)用幀906"包括立體幀對902"的兩個幀（標(biāo)記為L2 和私的原始幀）。
[0169] 對于立體幀的復(fù)用，為了更好的效率，可使掩碼數(shù)據(jù)的產(chǎn)生不同于前述實例中所 描述的。例如，對圖像的兩個不同視點之間的差異分析可以考慮場景景深和已知的或檢測 到的立體模型參數(shù)。在這種實施例中，例如，場景景深信息可被傳輸為掩碼數(shù)據(jù)的一部分。
[0170] 參考圖10,示出有編碼原始的3D圖像幀流的另一個實施例的圖解。特別是，方法 1000示出了根據(jù)本公開的至少一個實施例的、其中將同一視點的圖像幀編碼在一起的、示 例多視點圖像幀流到復(fù)用圖像幀流的轉(zhuǎn)換。與圖9類似，原始的3D圖像幀流用立體對序列 示出。然而，在該實施例中，對同一視點的序列幀進(jìn)行編碼，而不是對同一場景的不同視點 進(jìn)行編碼。由于同一視點的序列幀是在一段時間內(nèi)捕獲場景，所這可被認(rèn)為是3D圖像幀流 的時間編碼。
[0171] 如圖所示，可選擇第一多個原始圖像幀1002進(jìn)行編碼（例如，場景'0'和'1'的、 標(biāo)記為幀1^。和h的左眼視圖）以產(chǎn)生包含原始幀標(biāo)記為"和h的結(jié)果復(fù)用幀1006。同 樣，可選擇第二多個原始圖像幀1002'進(jìn)行編碼（例如，場景'0'和'1'的、標(biāo)記為幀R。和 札的右眼視圖）以產(chǎn)生包含原始幀標(biāo)記為1?。和1^的結(jié)果復(fù)用幀1006'。然后可重復(fù)執(zhí)行 在場景的每個左眼和右眼視圖的順序時間對之間改變的編碼過程。其結(jié)果將是保持3D視 頻流的特征的、以交替序列提供的左眼和右眼視圖的復(fù)用圖像幀流。
[0172]由圖9和10示出的實施例產(chǎn)生的復(fù)用圖像幀、產(chǎn)生輸出幀的過程，類似于以上關(guān) 于圖5-7所描述的過程。依據(jù)編碼3D圖像幀流的方法（例如，圖9中的視點編碼與圖10 中時間編碼），解碼模塊146可相應(yīng)地被配置為重建原始的3D圖像幀流序列。
[0173] 參考圖11，示出有編碼原始高幀速率（HFR)圖像幀流的實施例的圖解。特別是， 方法1100示出了根據(jù)本公開的至少一個實施例的、其中將連續(xù)圖像幀對編碼在一起的、示 例HFR圖像幀流到復(fù)用低幀速率圖像幀流的轉(zhuǎn)換。如圖所示，可選擇第一多個原始圖像幀 1102進(jìn)行編碼（例如，分別標(biāo)記為幀I。和^的、幀'0'的索引編號和幀'1'的索引編號） 以產(chǎn)生包含原始幀標(biāo)記為I。和I:的結(jié)果復(fù)用幀1106。同樣，可選擇第二多個原始幀1102 ^ 進(jìn)行編碼（例如，分別標(biāo)記為幀12和13的、幀'2'和'3'的索引編號）以產(chǎn)生包含原始幀 標(biāo)記為1 2和13的結(jié)果復(fù)用幀1106'。然后可重復(fù)執(zhí)行將順序時間幀對折疊成一系列復(fù)用 幀的編碼過程。其結(jié)果將是包含所有原HFR幀的，但現(xiàn)在只有一半數(shù)量的復(fù)用幀（即，復(fù)用 圖像幀流包含原始圖像幀流的幀數(shù)的一半）的復(fù)用圖像幀流，因此有效地減少了傳輸所需 的帶寬。
[0174]由圖11示出的實施例產(chǎn)生的復(fù)用圖像幀、產(chǎn)生輸出幀的過程，類似于以上關(guān)于圖 5-7所描述的過程。解碼模塊146可地被配置為重建原始HFR圖像幀序列的順序。
[0175] 參考圖12,示出有根據(jù)本公開實施例的、用于復(fù)用幀的布局的替代實施例1200。 在該替代實施例中，代替反映整個第二原始幀302的第二處理幀304'，將第二處理幀限制 為僅是在產(chǎn)生輸出幀時使用的第二原始圖像幀302的區(qū)域402。這使得第二處理幀302的 剩余部分的數(shù)據(jù)（其不用于產(chǎn)生輸出幀）能從復(fù)用幀1206中省略。由省略所產(chǎn)生的節(jié)省 帶寬，允許將區(qū)域402數(shù)據(jù)以更高的質(zhì)量（例如，更高的分辨率）添加到復(fù)用幀306。
[0176] 如圖所示，在上述的用于將一對原始圖像幀F(xiàn)1和F2打包成復(fù)用幀的示例場景中， 可將F1的幀分量312(標(biāo)記為'F1A'和'F1B'）添加到復(fù)用幀1206。而且，代替將反映整 個原始幀F(xiàn)2的用于F2的處理幀添加到復(fù)用幀1206,可只將原始第二幀F(xiàn)2的區(qū)域402(隨 后用于產(chǎn)生輸出幀）添加到復(fù)用幀1206。
[0177]掩碼數(shù)據(jù)316可以以與早期描述的類似方式產(chǎn)生，S卩，示出在產(chǎn)生輸出幀F(xiàn)2時需 要用區(qū)域402覆蓋的F1的區(qū)域。然而，為了使解碼模塊將原始幀F(xiàn)1的指定位置與特定區(qū) 域402關(guān)聯(lián)在一起，復(fù)用幀1206還包括元數(shù)據(jù)328中的是映射數(shù)據(jù)。
[0178] 由于元數(shù)據(jù)328可僅允許少量的數(shù)據(jù)被無損傳輸，在各種實施例中，F(xiàn)1的位置的 布局（例如，前面論述的12x8個數(shù)據(jù)網(wǎng)格）可以是固定的，所以，布局信息不需要以映射數(shù) 據(jù)發(fā)送。在這種情況下，映射數(shù)據(jù)可簡單提供到網(wǎng)格中的一系列索引，該網(wǎng)格指出了需要用 提供在復(fù)用幀1206中的區(qū)域402的各自序列替代的F1的位置。
[0179] 在某些實施例中，該映射數(shù)據(jù)還可通過與元數(shù)據(jù)328分離的另一種數(shù)據(jù)通道的方 式來附加或替代地提供。
[0180] 應(yīng)該理解，圖2-4示出的編碼方法的各個方面可根據(jù)選定的圖像幀的類型而變 化。用于復(fù)用幀的所有描述分量的尺寸、數(shù)量和布置都可重構(gòu)，新的配置可顯式或隱式地從 編碼模塊發(fā)送到解碼模塊。例如，對于一個多圖像幀的、復(fù)用幀30