專利名稱：基于視點合成的多視點容錯編碼框架的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻編碼和處理領(lǐng)域，具體涉及多視點視頻壓縮編碼過程中差錯控制 算法的研究。
背景技術(shù)：
多視點視頻是由攝像機陣列從不同角度拍攝同一場景得到的一組視頻信號，與單 視點視頻相比，多視點視頻能夠獲取場景的三維信息，從而更加生動地再現(xiàn)立體場景。在現(xiàn) 有的多視點編碼方案中，基于視點合成的多視點編碼方案充分利用了多視點視頻數(shù)據(jù)的相 關(guān)性以及隱含的關(guān)于場景的三維信息，提供了一種高效靈活、視點伸縮性強的多視點編碼 思想，受到了國內(nèi)學者越來越廣泛的關(guān)注。現(xiàn)有的基于視點合成的多視點編碼框架，主要以研究如何提高編碼效率、同時提 供隨機訪問性強的多視點視頻流為主，如圖1所示。此編碼框架結(jié)構(gòu)將多個視點分為了一 個基本視點、多個增強視點，以及基本視點的深度圖像。基本視點圖像和基本視點深度圖像 均采用標準的單視點編碼方法獨立編碼，如圖1中的基本視點Vl和基本視點深度圖D。增 強視點采用視點合成預(yù)測方式編碼，編碼實際內(nèi)容為增強層原始圖像與視點合成預(yù)測圖像 的殘差，殘差使用標準的編碼方式編碼。其中視點合成預(yù)測圖像是由基本視點同時刻重建 圖像和深度圖像通過投影變換獲得，如圖1中的增強視點VO和V2。此編碼結(jié)構(gòu)通過視點合成預(yù)測技術(shù)很好的利用了多視點隱含的深度信息，極大的 提高了增強視點的編碼性能，同時提供了增強視點的隨機訪問能力。但是視點合成預(yù)測技 術(shù)的使用在一定程度上犧牲了多視點視頻流的傳輸魯棒性。在有損的網(wǎng)絡(luò)傳輸環(huán)境中，一 旦基本視點出現(xiàn)傳輸差錯，差錯會通過視點合成預(yù)測編碼擴散到每個增強視點中，而從降 低整個多視點圖像質(zhì)量。鑒于現(xiàn)有技術(shù)的以上缺點，本發(fā)明的目的是提出一種基于視點合成的多視點容錯 編碼框架，使之克服現(xiàn)有技術(shù)的以上缺點，增強多視點視頻流的傳輸魯棒性，使其更好的適 應(yīng)于有損網(wǎng)絡(luò)環(huán)境下的視頻傳輸。本發(fā)明的目的是通過以下的手段實現(xiàn)的?；谝朁c合成的多視點容錯編碼框架，對一個以上視點信息進行視頻流傳輸編 碼，選擇其中一個視點編碼為基本視點，其余視點編碼為增強視點；增強視點采用視點合成 預(yù)測方式編碼，利用基本視點的深度圖，獲取增強視點的視點合成預(yù)測圖像，編碼框架中引 入基于分布式視頻編碼的差錯控制幀，具體編碼方法如下(幀內(nèi)編碼幀，記為I幀；幀間編碼幀，記為P幀；雙向幀間預(yù)測幀，記為B幀；差錯 控制幀，記為E幀)對于基本視點編碼1)基本視點視頻序列第1幀圖像編碼為I幀；2)確定基本視點其余待編碼幀是否編碼為E幀；3)基本視點的待編碼幀若為E幀，則采用基于分布式視頻編碼的幀內(nèi)編碼方式， 其邊信息是以前一幀重建圖像為參考進行運動補償獲取的幀間預(yù)測圖像；
3
4)基本視點的待編碼幀若不為E幀，則使用標準的編碼方式編碼，可以編碼為I 幀、P幀或者B幀；對于深度圖編碼采用標準的編碼方式獨立編碼，可以編碼為I幀、P幀和B幀；對于增強視點編碼1)確定增強視點待編碼幀是否編碼為E幀。如果基本視點同時刻幀為E幀，增強 視點當前幀編碼為E幀，否則使用標準的編碼方式編碼；待編碼幀原始圖像與視點合成預(yù) 測圖像的殘差，殘差可以編碼為I幀、P幀或者B幀；2)增強視點的待編碼幀若為E幀，則采用基于分布式視頻編碼理論的幀內(nèi)編碼方 式，其邊信息圖像由預(yù)測圖像疊加而成；3)增強視點的待編碼幀若不為E幀，則使用視點合成預(yù)測方式編碼首先使用基 本視點同時刻重建圖像和深度圖像通過投影變換獲取當前增強視點的視點合成預(yù)測圖像； 然后使用標準的編碼方式編碼待編碼幀原始圖像與視點合成預(yù)測圖像的殘差，殘差可編碼 為I幀、P幀或者B幀。所述具體的分布式視頻編碼方式有多種方法，可以采用基于SW理論的無損編碼， 也可以采用基于WZ理論的有損編碼。采用本發(fā)明基于視點合成的多視點容錯編碼框架，通過在基于視點合成的多視點 視頻編碼框架中引入基于分布式視頻編碼理論的差錯控制幀，比標準的幀內(nèi)編碼具有更好 的編碼效率；同時抗差錯性能強，即使邊信息(與標準視頻編碼中的參考信息類似)出現(xiàn)傳 輸差錯，它仍然能夠正確解碼，從而增強了多視點視頻流的傳輸魯棒性，充分利用分布式視 頻編碼的傳輸魯棒性特性，減小視點間合成預(yù)測引起的視點間差錯擴散對多視點視頻圖像 質(zhì)量的影響，增強多視點視頻流的傳輸魯棒性，使其更好的適應(yīng)于有損網(wǎng)絡(luò)環(huán)境下的視頻 傳輸。


如下圖1是現(xiàn)有技術(shù)基于視點合成的多視點編碼框架圖。圖2是本發(fā)明基于視點合成的多視點容錯編碼框架圖。圖3是本發(fā)明基于視點合成的多視點容錯編碼框架中增強層差錯控制幀的編碼 示意圖。圖4是本發(fā)明基于視點合成的多視點容錯編碼框架中增強層差錯控制幀的解碼 示意圖。
具體實施例方式下面結(jié)合附圖和具體的實施方式對本發(fā)明作進一步的詳細說明。圖1所示是現(xiàn)有的一種基于視點合成的多視點編碼框架，包括三個部分的編碼 基本視點圖像編碼、基本視點深度圖像編碼和增強視點圖像編碼?；疽朁c圖像采用標準 編碼方式編碼，如圖1基本視點Vi所示；基本視點深度圖像采用標準編碼方式獨立編碼，如 圖1基本視點深度圖D所示；增強視點采用標準編碼方式編碼原始圖像與視點合成預(yù)測圖 像的殘差，其中，視點合成預(yù)測圖像是由基本視點同時刻圖像與深度圖像通過投影變換獲 取，如圖1增強視點V0、V2所示。例如t+2時刻，基本視點Vl的待編碼幀編碼為P幀，記為Vl-P (t+2)，是以前一幀
4重建圖像Vl-P(t+1)為參考幀，采用基于運動估計的幀間預(yù)測方式編碼；基本視點深度圖D 的待編碼幀編碼為P幀，記為D-P (t+2)，是以前一幀重建圖像D-P (t+Ι)為參考幀，采用基于 運動估計的幀間預(yù)測方式編碼；增強視點VO的待編碼幀編碼為P幀，記為VO-P (t+2)，實際 編碼內(nèi)容是VO-P(t+2)原始圖像與視點合成預(yù)測圖像的殘差，以V0-P(t+1)重建圖像為參 考幀，采用基于運動估計的幀間預(yù)測方式編碼。其中V0-P(t+2)的視點合成預(yù)測圖像由基 本視點重建圖像Vl-P (t+2)與基本視點深度圖像D-P (t+2)通過投影變換獲得。這種編碼框架，在增強層的編碼過程中，使用了視點合成預(yù)測技術(shù)，充分利用了多 視點視頻隱藏的深度信息，有效提高了多視點的編碼效率。但是另一方面，由于視點合成預(yù) 測技術(shù)的使用，使得基本視點的傳輸差錯很容易擴散到所有的增強視點中，從而降低多視 點圖像質(zhì)量。例如t+2時刻，基本視點Vl-P(t+2)傳輸出錯，那么差錯會擴散到以它為參考 幀編碼的Vl-P (t+3)中；使用Vl-P (t+2)視點合成預(yù)測編碼的VO-P (t+2)和V2_P (t+2)中。 同理差錯還會繼續(xù)向各個視點的后續(xù)編碼幀中擴散，使得整個多視點視頻圖像質(zhì)量降低， 直到t+6時刻基本視點關(guān)鍵編碼為I幀。圖2是本發(fā)明提出的基于視點合成的多視點容錯編碼框架，通過插入基于分布式 視頻編碼理論的差錯控制幀，降低了視點合成引起的視點間差錯擴散對多視點視頻質(zhì)量的 影響，提供了一種傳輸魯棒性強的多視點視頻流。此編碼框架，在各個視點編碼中增加了基于分布式視頻編碼理論的差錯控制幀。 差錯控制幀借助分布式視頻編碼理論自身的抗傳輸差錯性能，能有效阻止傳輸差錯在視點 內(nèi)和視點間的擴散。例如t+2時刻，基本視點Vl-P(t+2)傳輸出錯，那么差錯會擴散到使用 它進行視點合成預(yù)測編碼的VO-P(t+2)和V2-P(t+2)中。在t+3時刻，基本視點編碼為差 錯控制幀Vl-E(t+3)，以Vl-P(t+2)重建圖像為參考，進行運動補償獲取的幀間預(yù)測圖像作 為解碼邊信息。根據(jù)分布式視頻編碼的抗差錯特性，即使以Vl-P(t+2)為參考獲取的邊信 息存在傳輸差錯，Vl-E (t+3)仍能正確解碼，從而阻止了基本視點內(nèi)的傳輸差錯擴散。同理 增強層V0-E(t+3)和V2-E(t+3)也能正確解碼，有效阻止了視點間和視點內(nèi)的差錯擴散。確定基本視點其余待編碼幀是否編碼為E幀的方法可采用每隔固定間隔插入差 錯控制幀，也可以根據(jù)率失真優(yōu)化模型動態(tài)選擇差錯控制幀。圖3是本發(fā)明提出的基于視點合成的多視點容錯編碼框架中增強層差錯控制幀 的編碼示意圖。差錯控制幀采用基于分布式視頻編碼理論的幀內(nèi)編碼方式編碼，包括四個 步驟首先，由差錯控制幀原始圖像減視點合成圖像獲取殘差圖像；然后，由殘差圖像和參 考圖像進行運動補償?shù)玫綆g殘差預(yù)測圖像；第三，將幀間殘差預(yù)測圖像與視點合成圖像 的疊加圖像作為差錯控制幀的邊信息；最后，結(jié)合邊信息和傳輸信道參數(shù)對差錯控制幀原 始圖像采用分布式視頻編碼理論編碼，得到編碼后的差錯控制幀視頻流。圖4是本發(fā)明提出的基于視點合成的多視點容錯編碼框架中增強層差錯控制幀 的解碼示意圖，包括三個步驟首先，由差錯控制幀視頻流中的運動向量和參考圖像進行運 動補償?shù)玫綆g殘差預(yù)測圖像；然后，將幀間殘差預(yù)測圖像與視點合成圖像的疊加圖像做 為差錯控制幀的邊信息；最后，結(jié)合邊信息對差錯控制幀視頻流采用分布式視頻編碼理論 解碼，得到解碼后的差錯控制幀圖像。根據(jù)分布式視頻編碼的傳輸魯棒性特征，即使參考圖 像存在傳輸差錯，差錯控制幀仍能被正確解碼。實施例
5
本編碼框架可以適用于多個視點，現(xiàn)以3個視點為例，記為V0-V2。3個視點分為 一個基本視點(Vl)，2個增強視點(V0、V2)。假定以每隔6幀固定使用一個差錯控制幀、每 隔6幀固定使用一個I幀。假定在t時刻為第1幀1)基本視點第1幀圖像使用幀內(nèi)編碼方式編碼，記為Vl-I (t)；2)基本視點深度圖第1幀圖像使用幀內(nèi)編碼方式編碼，記為D-I (t)；3)增強視點VO第1幀采用視點合成預(yù)測編碼首先使用Vl-I⑴和D_I⑴的重 建圖像，通過投影變換獲取增強視點VO待編碼幀的視點合成預(yù)測圖像；然后使用幀內(nèi)編碼 方式編碼原始圖像與視點合成預(yù)測圖像的殘差，記為V0-P(t)；4)增強視點V2編碼方式與VO類似首先使用Vl-I (t)和D_I (t)的重建圖像，通 過投影變換獲取增強視點V2待編碼幀的視點合成預(yù)測圖像；然后使用幀內(nèi)編碼方式編碼 原始圖像與視點合成預(yù)測圖像的殘差，記為V2-P(t)。t+1 時亥 Ij1)基本視點待編碼幀以Vl-I (t)重建圖像為參考，進行幀間預(yù)測編碼，記為 Vl-P(t+1)；2)基本視點深度圖待編碼幀以D-I (t)重建圖像為參考，進行幀間預(yù)測編碼，記為 D-P(t+1)；3)增強視點VO待編碼幀使用視點合成預(yù)測編碼首先使用Vl_P(t+l)和 D-P(t+1)的重建圖像，通過投影變換獲取增強視點VO待編碼幀的視點合成預(yù)測圖像；然后 以V0-P(t)重建圖像為參考，進行幀間預(yù)測編碼方式編碼原始圖像與視點合成預(yù)測圖像的 殘差，記為VO-P (t+Ι)；4)增強視點V2編碼方式與VO類似首先使用Vl_P(t+l)和D_P(t+l)的重建 圖像，通過投影變換獲取增強視點V2待編碼幀的視點合成預(yù)測圖像；然后以V2-P(t)重 建圖像為參考，進行幀間預(yù)測編碼方式編碼原始圖像與視點合成預(yù)測圖像的殘差，記為 V2-P(t+1)。t+2時刻編碼方式與t+Ι時刻相同t+3 時刻1)基本視點待編碼幀為差錯控制幀，使用分布式視頻編碼技術(shù)進行編碼，記為 Vl-E(t+3) 0其解碼邊信息是以Vl-P(t+2)的重建圖像為參考進行運動補償獲取的幀間預(yù) 測圖像；該幀具有很強的差錯糾正能力，即使參考幀Vl-P(t+2)出現(xiàn)傳輸差錯，它仍然能夠 正確解碼；2)基本視點深度圖待編碼幀以D-P(t+2)重建圖像為參考，進行幀間預(yù)測編碼，記 為 D-P (t+3)；3)增強視點VO待編碼幀為差錯控制幀，使用分布式視頻編碼技術(shù)進行編碼，記為 VO-E(t+3) 0其解碼邊信息是由兩個預(yù)測圖像疊加而來一是以Vl-P(t+3)和D-P(t+3)的 重建圖像通過投影變換獲取的視點合成預(yù)測圖像；二是以V0-P(t+2)的重建圖像為參考進 行運動補償獲取的幀間預(yù)測圖像；4)增強視點V2待編碼幀為差錯控制幀，編碼方式與VO類似使用分布式視頻 編碼技術(shù)進行編碼，記為V2-E(t+3)。其解碼邊信息是由兩個預(yù)測圖像疊加而來一是
6以Vl-P(t+3)和D-P(t+3)的重建圖像通過投影變換獲取的視點合成預(yù)測圖像；二是以 V2-P(t+2)的重建圖像為參考進行運動補償獲取的幀間預(yù)測圖像。t+4時刻編碼方式與t+Ι時刻相同
t+5時刻編碼方式與t+Ι時刻相同
t+6時刻編碼方式與t時刻相同。
權(quán)利要求
基于視點合成的多視點容錯編碼框架，對一個以上視點信息進行視頻流傳輸編碼，選擇其中一個視點編碼為基本視點，其余視點編碼為增強視點；增強視點采用視點合成預(yù)測方式編碼，利用基本視點的深度圖，獲取增強視點的視點合成預(yù)測圖像，其特征在于，編碼框架中引入基于分布式視頻編碼的差錯控制幀，具體編碼方法如下對于基本視點編碼1)基本視點視頻序列第1幀圖像編碼為I幀；2)確定基本視點其余待編碼幀是否編碼為E幀；3)基本視點的待編碼幀若為E幀，則采用基于分布式視頻編碼的幀內(nèi)編碼方式，其邊信息是以前一幀重建圖像為參考進行運動補償獲取的幀間預(yù)測圖像；4)基本視點的待編碼幀若不為E幀，則使用標準的編碼方式編碼，可以編碼為I幀、P幀或者B幀；對于深度圖編碼采用標準的編碼方式獨立編碼，可以編碼為I幀、P幀和B幀；對于增強視點編碼1)確定增強視點待編碼幀是否編碼為E幀。如果基本視點同時刻幀為E幀，增強視點當前幀編碼為E幀，否則使用標準的編碼方式；編碼待編碼幀原始圖像與視點合成預(yù)測圖像的殘差，殘差可以編碼為I幀、P幀或者B幀；2)增強視點的待編碼幀若為E幀，則采用基于分布式視頻編碼理論的幀內(nèi)編碼方式，其邊信息圖像由預(yù)測圖像疊加而成；3)增強視點的待編碼幀若不為E幀，則使用視點合成預(yù)測方式編碼首先使用基本視點同時刻重建圖像和深度圖像通過投影變換獲取當前增強視點的視點合成預(yù)測圖像；然后使用標準的編碼方式編碼待編碼幀原始圖像與視點合成預(yù)測圖像的殘差，殘差可編碼為I幀、P幀或者B幀。
2.根據(jù)權(quán)利要求1所述之基于視點合成的多視點容錯編碼框架，其特征在于，對于增 強視點編碼，增強視點的待編碼幀若為E幀，采用基于分布式視頻編碼的幀內(nèi)編碼方式，即 采用以下四步，1)由差錯控制幀原始圖像減視點合成圖像獲取殘差圖像；2)由殘差圖像和參考圖像進行運動補償?shù)玫綆g殘差預(yù)測圖像；3)將幀間殘差預(yù)測圖像與視點合成圖像的疊加圖像作為差錯控制幀的邊信息；4)結(jié)合邊信息和傳輸信道參數(shù)對差錯控制幀原始圖像采用分布式視頻編碼，得到編碼 后的差錯控制幀視頻流。
3.根據(jù)權(quán)利要求1所述之基于視點合成的多視點容錯編碼框架，其特征在于，所述確 定基本視點其余待編碼幀是否編碼為E幀的方法可采用每隔固定間隔插入差錯控制幀，也 可以根據(jù)率失真優(yōu)化模型動態(tài)選擇差錯控制幀。
全文摘要
本發(fā)明公開了一種基于視點合成的多視點容錯編碼框架，對一個以上視點信息進行視頻流傳輸編碼，選擇其中一個視點編碼為基本視點，其余視點編碼為增強視點；增強視點采用視點合成預(yù)測方式編碼，利用基本視點的深度圖，獲取增強視點的視點合成預(yù)測圖像，編碼框架中引入基于分布式視頻編碼理論的差錯控制幀。本發(fā)明充分利用分布式視頻編碼的傳輸魯棒性特性，減小視點間合成預(yù)測引起的視點間差錯擴散對多視點視頻圖像質(zhì)量的影響，增強多視點視頻流的傳輸魯棒性，使其更好的適應(yīng)于有損網(wǎng)絡(luò)環(huán)境下的視頻傳輸。
文檔編號H04N7/64GK101986713SQ200910059509
公開日2011年3月16日 申請日期2009年6月4日 優(yōu)先權(quán)日2009年6月4日
發(fā)明者夏旭, 張蕾, 彭強, 朱策 申請人:西南交通大學