專利名稱：一種基于深度圖和分布式視頻編碼的多視點視頻傳輸方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻傳輸領(lǐng)域，更具體的是一種多視點視頻傳輸方法。
背景技術(shù)：
隨著網(wǎng)絡(luò)多媒體相關(guān)領(lǐng)域技術(shù)的快速發(fā)展和交互式多媒體的廣泛應(yīng)用，人們已經(jīng)不滿足于單一視點的視頻節(jié)目源，服務(wù)商和用戶對于多視點視頻系統(tǒng)的關(guān)注越來越多。對多視點視頻而言，傳輸是連接多視點采集和顯示的重要環(huán)節(jié)。隨著多視點視頻的發(fā)展，如何在有限的帶寬內(nèi)傳輸高質(zhì)量的多視點視頻，即實現(xiàn)對多視點視頻的有效壓縮成為了多視點視頻傳輸?shù)年P(guān)鍵。目前主流的視頻編碼壓縮標(biāo)準(zhǔn)，如H. 26X和MPEGX系列等，都是采用基于離散余弦變換(DCT)和運動估計幀間預(yù)測技術(shù)的混合編碼框架，即在編碼端使用運動估計，充分發(fā)掘視頻信號的冗余信息。在通常情況下，編碼復(fù)雜度一般是解碼復(fù)雜度的5到10倍。而在越來越多的多媒體應(yīng)用如多媒體傳感器網(wǎng)絡(luò)等場合，其編碼端的計算能力、內(nèi)存容量和耗電量等都受限，但解碼端多為具有很高計算能力的中心服務(wù)器。

發(fā)明內(nèi)容
本發(fā)明的目的是克服現(xiàn)有技術(shù)的上述不足，提供一種能夠減少多視點視頻數(shù)據(jù)的傳輸量，降低編碼端的運算復(fù)雜度，并能提高多視點視頻經(jīng)過網(wǎng)絡(luò)的抗錯誤性能的多視點視頻傳輸方法。本發(fā)明提出的方法對視點圖和深度圖使用H. 264進(jìn)行信源壓縮編碼，并采用不平等的錯誤保護機制，能夠提高多視點視屏編碼傳輸系統(tǒng)的可靠性，獲得較高的視頻圖片質(zhì)量的多視點視頻傳輸方法。本發(fā)明的技術(shù)方案如下一種基于深度圖和分布式視頻編碼的多視點視頻傳輸方法，包括下列幾個方面(1)首先從多個視點中提取深度圖視頻序列，對深度圖視頻序列進(jìn)行編碼壓縮后， 采用信道編碼進(jìn)行保護，再投入有損信道傳輸；(2)對于視點圖信息則采用DVC編碼方式，對于DVC編碼中的K幀(關(guān)鍵幀)采用傳統(tǒng)的幀內(nèi)編碼方式并將所有編碼后的數(shù)據(jù)流直接進(jìn)行網(wǎng)絡(luò)傳輸，對于W幀(Wyner-ZiV 幀)則進(jìn)行DCT變換并量化，將量化系數(shù)熵編碼后投入有損信道，根據(jù)解碼器的反饋請求發(fā)送校驗碼作迭代糾錯解碼；此外，對模式信息和變換系數(shù)采用不等差錯保護措施，與此同時對量化系數(shù)進(jìn)行反量化，并再次粗量化后經(jīng)Turbo編碼器編碼送入有損信道；(3)解碼時，根據(jù)解碼端反饋的丟包信息，相對增加Turbo碼編碼器輸出的校驗數(shù)據(jù)傳輸速率，或通過增加信道編碼的復(fù)雜度增加對運動信息和變換系數(shù)的保護等級，對于視點圖信息進(jìn)行DVC解碼，并根據(jù)相應(yīng)的深度圖和分布式視頻解碼規(guī)則，將視點圖信息和深度圖信息結(jié)合，實現(xiàn)多視點立體視頻的解碼。本發(fā)明的基于D印th-map和DVC的多視點視頻的不等差錯保護傳輸方法，能夠根據(jù)數(shù)據(jù)的重要性進(jìn)行不等差錯保護，加強對重要數(shù)據(jù)的保護，從而提高了數(shù)據(jù)傳輸?shù)目煽啃?。同時，由于采用了分布式視頻編碼和深度圖，大大減少了多視點視頻數(shù)據(jù)的傳輸量，降低了編碼短的運算復(fù)雜度。實驗表明，本發(fā)明所提出的傳輸技術(shù)能夠提高多視點視頻編碼傳輸系統(tǒng)的可靠性，獲得較高的視頻圖像質(zhì)量。鑒于本發(fā)明是根據(jù)三個較成熟的算法綜合而成，具有很高的可實施性和實際價值。另一方面，多視點立體視頻具有廣泛的應(yīng)用前景， 該專利能夠獲得較高的市場價值。


圖1系統(tǒng)整體框圖。圖2固定丟包率下多視點視頻序列的編碼性能曲線。(a) 5%丟包率下Exit視頻的編碼性能曲線；(b) 5%丟包率下Ballroom視頻的編碼性能曲線；(c) 10%丟包率下Exit 視頻的編碼性能曲線；⑷10%丟包率下Ballroom視頻的編碼性能曲線。
具體實施例方式分布式視頻編碼是一種新的編碼框架，它的編碼復(fù)雜度低、抗誤碼性能好，適用于多終端多視點視頻編碼。。而在分布式視頻編碼中，采用分布式信源編碼，其理論基礎(chǔ)是 Slepian和Wolf提出的一種針對相關(guān)信源的無損分布式信源編碼理論，只要求傳輸傳輸速率Rx ^ H(X|Y)(1)RX+RY ^ H(X, Y)(2)就有可能得到信息的無損傳輸。此外，由于其在編碼端不需要進(jìn)行運動估計和幀間預(yù)測，編碼端的復(fù)雜度大大降低。由于多視點視頻的數(shù)據(jù)量巨大，傳輸全部視點會給網(wǎng)絡(luò)帶來很大的負(fù)擔(dān)?；谏疃葓D的多視點視頻處理系統(tǒng)與傳統(tǒng)的多視點視頻處理系統(tǒng)相比具有更大的優(yōu)越性，包括與現(xiàn)有的數(shù)字視頻廣播兼容性更好，壓縮能力更高，可以擺脫立體顯示器的特性和用戶觀看條件的制約，消除立體攝像機和顯示器之間的相互制約，具有更為靈活的適應(yīng)性等。然而， 因為深度視頻序列是由多個視點通過深度視頻生成算法得到的，深度視頻序列中包含了更多的信息。因此，深度視頻序列不僅在重建其它視點的視差估計算法中很重要，而且，對網(wǎng)絡(luò)傳輸中可能發(fā)生的錯誤也更加敏感。本發(fā)明基于分布式視頻編碼和深度圖的多視點視頻處理系統(tǒng)的優(yōu)勢，另一方面考慮到深度視頻序列的重要性，提出一種結(jié)合深度圖(Depth map)和分布式視頻編碼(DVC) 的多視點視頻傳輸方法，并在視頻編碼過程中引入UEP的方法，對重要程度不同的信息進(jìn)行不同的差錯保護，從而克服多視點視頻傳輸數(shù)據(jù)量大和對誤差敏感的問題。本發(fā)明的系統(tǒng)整體框圖如圖1所示，本通信系統(tǒng)由立體視頻讀取，深度圖提取，信源編碼，信道編碼，傳輸，信道解碼，信源解碼，立體視頻合成顯示等部分組成。本發(fā)明發(fā)明通過如下技術(shù)方案實現(xiàn)1)基于D印th-map和DVC的聯(lián)合編碼基于D印th-map和DVC的多視點視頻傳輸綜合了深度圖和分布式視頻編碼技術(shù)。 基于D印th-map編碼方案，本發(fā)明首先將深度圖信息與視點信息分離，并投入不同信道。由于深度圖信息能夠被視作灰度視頻，因而能夠得到高效的壓縮。在解碼端就能夠根據(jù)視差估計算法生成其它視點，這樣大大減少了多視點視頻數(shù)據(jù)的傳輸量。另一方面，獨立信道傳輸加強了對深度圖信息的保護。在得到了深度圖的基礎(chǔ)上，綜合分布式多視點視頻編碼技術(shù)，對每個單獨的視點使用DVC編碼技術(shù)對于關(guān)鍵幀(K幀)直接用H. 264/AVC進(jìn)行傳統(tǒng)的幀內(nèi)編碼，對于W幀則進(jìn)行DCT量化，在本發(fā)明中，和傳統(tǒng)的DVC編碼技術(shù)相比，增加了對 W幀的DCT量化、反量化，最后再次粗量化的過程。經(jīng)過粗量化的量化系數(shù)具有更高可壓縮性，同時也加強了對用于DVC編碼的校驗碼的保護，降低了編碼端的運算復(fù)雜度。此外，由于在分布式視頻編碼中使用了信道編碼，這也在一定程度上提高了多視點視頻經(jīng)過網(wǎng)絡(luò)傳輸?shù)目瑰e誤性能。2)不平等的錯誤保護傳輸機制在視點圖經(jīng)過H. 264視頻編碼壓縮的數(shù)據(jù)流中，各部分?jǐn)?shù)據(jù)對于解碼端的重要性不同，本發(fā)明對不同重要性的數(shù)據(jù)采用不同的錯誤保護方法。進(jìn)一步加強了壓縮碼流的抗錯誤性能。傳統(tǒng)的分布式多視點視頻編碼采用平等的錯誤保護機制(EEP)，為了增加碼流的抗誤碼能力，本發(fā)明對視點圖和深度圖使用H. 264進(jìn)行信源壓縮編碼，并采用不平等的錯誤保護機制(UEP)。主要基于一是在生成其他視點的視差估計算法中，深度圖較視點圖更為重要，故對編碼壓縮后的深度圖的全部數(shù)據(jù)都采用信道編碼進(jìn)行保護，在本發(fā)明中采用了 Turbo碼編碼器，再進(jìn)行網(wǎng)絡(luò)傳輸。二是在H. 264視頻壓縮編碼中，模式信息和變換系數(shù)對整個視頻的解碼至關(guān)重要，與普通數(shù)據(jù)相比，這些重要信息數(shù)據(jù)的丟失將對整個視頻的解碼產(chǎn)生更大的影響，在本發(fā)明中，為了增強系統(tǒng)的魯棒性，對(1)中提到的經(jīng)過粗量化后得到的量化系數(shù)進(jìn)行信道編碼保護，具體地說，即Turbo碼編碼。在盡量減少傳輸數(shù)據(jù)的前提下增強對于量化系數(shù)的保護。3)解碼解碼過程可以看做編碼的逆過程，同樣融合了 DVC和d印th-map解碼的特點。每一幀的丟包率根據(jù)已經(jīng)接收到的視頻信息進(jìn)行估計，然后通過實時傳輸控制協(xié)議RTCP反饋包發(fā)送給編碼端的Turbo碼編碼器。通過反饋的信道丟包率，編碼端的兩個Turbo碼編碼器調(diào)整當(dāng)前幀輸出的校驗數(shù)據(jù)速率。本發(fā)明采用的方法是，當(dāng)丟包率增加時，保證網(wǎng)絡(luò)傳輸總體數(shù)據(jù)量不變，減少其它數(shù)據(jù)流的傳輸速率，相對增加Turbo碼編碼器輸出的校驗數(shù)據(jù)傳輸速率?；蛘呒訌妼τ谶\動信息和變換系數(shù)的保護等級。下面結(jié)合具體的實施例對本發(fā)明進(jìn)行說明一、立體視頻的讀取和深度圖獲取本實施例采用兩個多視點視頻序列分別是運動比較緩慢的Exit視頻和運動比較快速的Ballroom視頻，均為八視點視頻，250幀，幀率為30fps，分辨率為640*480，分別將丟包率設(shè)為5%和10%。首先利用MPEG-C Depth-map Generation軟件對多視點視頻的多個視點序列進(jìn)行處理獲得深度視頻序列。并利用H. 264視頻編碼，基于EEP和DVC的多視點視頻編碼，和基于UEP和DVC的多視點視頻編碼，三種編碼技術(shù)分別對視頻源進(jìn)行編碼以達(dá)到對比效果。二、不平等的錯誤保護(UDP)機制由于深度圖較視點圖更為重要，故對編碼壓縮后的深度圖的全部數(shù)據(jù)都采用信道編碼進(jìn)行保護，再進(jìn)行網(wǎng)絡(luò)傳輸。而對于視點圖，采用DVC編碼方式，并在其中引入UDP保護機制，在H. 264視頻壓縮編碼以后，根據(jù)各部分?jǐn)?shù)據(jù)流的重要性不同，采用不同的錯誤保護方法對于所有編碼后的數(shù)據(jù)流，直接進(jìn)行網(wǎng)絡(luò)傳輸；對于比較重要的模式信息和變換系數(shù)，前者直接進(jìn)行Turbo碼編碼，傳輸其校驗位，權(quán)衡了重要信息的保護和碼流的節(jié)省。和后者則先進(jìn)行反量化和粗量化，再進(jìn)行Turbo碼編碼，傳輸其校驗位。從而達(dá)到了劃分錯誤保護等級的目的。三、解碼端處理解碼端利用由有損信道傳輸?shù)臄?shù)據(jù)進(jìn)行解碼。一方面，對于校驗信息利用分布式解碼器進(jìn)行解碼，得到由模式信息和變換系數(shù)構(gòu)成的輔助信息，這些輔助信息可以被應(yīng)用于H. 264解碼器的運動補償不分而作為糾錯信息，增加了信息的準(zhǔn)確性和可靠性。另一方面，根據(jù)已經(jīng)收到的視頻信息對每一幀的丟包率進(jìn)行估計，當(dāng)實施時使用實時傳輸協(xié)議 (RTP)時，通過在RTP頭部檢查序列數(shù)據(jù)即可獲知丟包情況。然后通過RTCP反饋包發(fā)送給編碼段的Turbo碼編碼器。通過反饋的信道丟包率，編碼段的兩個Turbo碼編碼器可以調(diào)整當(dāng)前幀輸出的校驗數(shù)據(jù)速率。本發(fā)明使用的Turbo碼編碼器利用刪余機制來刪除輸出的部分校驗比特以達(dá)到一定的輸出數(shù)據(jù)速率。最后，結(jié)合經(jīng)過解碼的深度視頻序列和視點序列，根據(jù)視差估計算法生成其它所需視點。從圖2的各個圖可看出，本發(fā)明的傳輸方法，具有比其他兩種方法更高的峰值信噪比(PS·)。
權(quán)利要求
1. 一種基于深度圖和分布式視頻編碼的多視點視頻傳輸方法，包括下列幾個方面(1)首先從多個視點中提取深度圖視頻序列，對深度圖視頻序列進(jìn)行編碼壓縮后，采用信道編碼進(jìn)行保護，再投入有損信道傳輸；(2)對于視點圖信息則采用DVC編碼方式，對于DVC編碼中的K幀(關(guān)鍵幀)采用傳統(tǒng)的幀內(nèi)編碼方式并將所有編碼后的數(shù)據(jù)流直接進(jìn)行網(wǎng)絡(luò)傳輸，對于W幀(Wyner-Ziv幀) 則進(jìn)行DCT變換并量化，將量化系數(shù)熵編碼后投入有損信道，根據(jù)解碼器的反饋請求發(fā)送校驗碼作迭代糾錯解碼；此外，對模式信息和變換系數(shù)采用不等差錯保護措施，與此同時對量化系數(shù)進(jìn)行反量化，并再次粗量化后經(jīng)Turbo編碼器編碼送入有損信道；(3)解碼時，根據(jù)解碼端反饋的丟包信息，相對增加Turbo碼編碼器輸出的校驗數(shù)據(jù)傳輸速率，或通過增加信道編碼的復(fù)雜度增加對運動信息和變換系數(shù)的保護等級，對于視點圖信息進(jìn)行DVC解碼，并根據(jù)相應(yīng)的深度圖和分布式視頻解碼規(guī)則，將視點圖信息和深度圖信息結(jié)合，實現(xiàn)多視點立體視頻的解碼。
全文摘要
本發(fā)明屬于視頻傳輸領(lǐng)域，涉及一種基于深度圖和分布式視頻編碼的多視點視頻傳輸方法，包括首先從多個視點中提取深度圖視頻序列，對深度圖視頻序列進(jìn)行編碼壓縮后，采用信道編碼進(jìn)行保護，再投入有損信道傳輸；對于視點圖信息則采用DVC編碼方式，對于DVC編碼中的K幀采用傳統(tǒng)的幀內(nèi)編碼方式并將所有編碼后的數(shù)據(jù)流直接進(jìn)行網(wǎng)絡(luò)傳輸，對于W幀則進(jìn)行DCT變換并量化，將量化系數(shù)熵編碼后投入有損信道，根據(jù)解碼器的反饋請求發(fā)送校驗碼作迭代糾錯解碼。本發(fā)明能夠提高多視點視頻編碼傳輸系統(tǒng)的可靠性。
文檔編號H04N7/26GK102572440SQ20121006872
公開日2012年7月11日 申請日期2012年3月15日 優(yōu)先權(quán)日2012年3月15日
發(fā)明者侯春萍, 吳 琳, 周圓, 張凌寒, 金志剛 申請人:天津大學(xué)