專利名稱：一種率失真優(yōu)化動態(tài)調整的多視點視頻傳輸差錯控制方法
技術領域：
本發(fā)明屬于視頻編碼和處理領域，具體涉及多視點視頻壓縮編碼過程中差錯控制 算法的研究。
背景技術：
傳統(tǒng)單視點視頻是由單個攝像機拍攝某一場景得到的視頻信號，攝像機的拍攝角 度在某一時刻是固定不變的。當前各種單視點編碼技術的進步雖然提高了視頻圖像的質 量和編碼效率，但仍然沒有在根本上改變場景的平面描述形式。而多視點視頻則是由攝像 機陣列從不同角度拍攝同一場景得到的一組視頻信號，與單視點視頻相比，多視點視頻能 夠獲取場景的三維信息，從而更加生動地再現(xiàn)立體場景?？梢灶A見，多視點視頻將在影視、 醫(yī)療、遠程控制、虛擬現(xiàn)實等方面擁有廣闊的應用前景。目前，多視點視頻編碼(Multiview Video Coding，MVC)已成為數(shù)字視頻技術中一個活躍的研究領域。目前，在MVC的編碼方案研究方面已經(jīng)取得了大量成果，產生了多種編碼結構。 其中，德國Heinrich-Hertz-Institut (HHI)提出一種在視點內和視點間方向上都引入 H. 264/AVC支持的分級B幀(Hierarchical B pictures)的MVC結構。由于這種結構能取 得較高的編碼效率，所以該結構也被MPEG選為一種MVC的主要參考結構，成為目前MVC的 主流結構，獲得廣泛關注。其編碼框架圖如圖1所示。在圖1中，水平方向的Ttl-T16為時域順序，垂直方向的Vtl-V7為視點順序，視點Vtl 也稱為基本視點。處于Ttl，T8，T16等時刻的幀稱為關鍵幀(Key Picture)，其余幀稱為非關 鍵幀(Nonkey Picture)。關鍵幀和其后緊隨的7個非關鍵幀構成一個圖像組(Group Of Picture, GOP)。GOP的大小是可變的，可以在編碼過程中根據(jù)需要進行調整。圖1的編碼結構在關鍵幀處采用視點間預測來減少視點間的冗余，在非關鍵幀處 采用視點間預測和時域預測來減少時域冗余和視點間冗余。這種結構充分地去掉了視點間 冗余和時/空冗余，具有較高的編碼效率，但編碼預測關系復雜，參考幀數(shù)目也比較多，抵 御傳輸差錯能力十分脆弱。因此，在實際編碼過程中，不但需要較多的緩存用于存儲參考 幀，而且編碼的復雜度也隨參考幀數(shù)目的增加而增加。為了減低編碼復雜度和編碼緩存的 需求量，以圖1結構為基礎，HHI提出了一種簡化的MVC預測結構KS_IPP，如圖2所示。KS_ IPP預測結構僅在各個視點的關鍵幀位置保留了視點間預測，可以在編碼效率下降不大的 情況下大大降低整個結構的復雜性，具有很強的實用性。雖然KS_IPP編碼結構在編碼效率 和編碼復雜度之間取的了平衡，但是這種結構依然降低了多視點視頻流的傳輸魯棒性，在 有損的傳輸環(huán)境中，絕大多數(shù)非關鍵幀傳輸出錯，差錯都會擴散到該幀所在GOP的其它一 些幀當中。更嚴重的是，一旦關鍵幀出現(xiàn)傳輸差錯，差錯不僅會在本視點的GOP中擴散，而 且還會擴散到其后的視點中，而從影響整個多視點圖像質量。檢索了與本發(fā)明相關的專利文獻 其中文獻6為文獻1的同族專利。文獻1 (同文獻6)主要解決丟包環(huán)境下編碼模式選擇問題，該方法通過編碼端獲 取當前與解碼端間信道的丟包系數(shù)；編碼端根據(jù)丟包系數(shù)以及率失真最優(yōu)方法，獲取各可 用編碼模式對應的拉格朗日代價；編碼端選擇具有最小的拉格朗日代價的編碼模式，作為 最優(yōu)的編碼模式。該專利充分應用了率失真優(yōu)化算法，將丟包系數(shù)和率失真優(yōu)化結合應用， 選擇編碼模式。但是該專利沒有考慮丟包引起的端到端失真，也未考慮到多視點編碼的結 構特點，應用在多視點編碼上不能取得很好的差錯控制效果。文獻2提出了一種碼流控制方法。該方法首先在預期的失真值附近選擇失真值D。 接下來，該系統(tǒng)利用選定的失真值D確定量化器值Q。該系統(tǒng)然后利用量化器值Q計算拉格 朗日乘子lambda。利用選定的拉格朗日乘子lambda和量化器值Q，該系統(tǒng)開始對象素模塊 進行編碼。如果系統(tǒng)檢測到潛在的緩存區(qū)溢出，則該系統(tǒng)將增加拉格朗日乘子lambda。如 果拉格朗日乘子lambda超過最大的lambda閾值，則系統(tǒng)將增加量化器值Q。如果系統(tǒng)檢測 到潛在的緩存區(qū)下溢，則系統(tǒng)將減小拉格朗日乘子lambda。如果拉格朗日乘子lambda降到 最小的lambda閾值以下，則系統(tǒng)將減小量化器值Q。該方法利用拉格朗日乘子法來進行碼 流控制，無法用于多視點視頻在有網(wǎng)絡傳輸丟包環(huán)境下的差錯控制。文獻3是在傳統(tǒng)的量化之后對所選的系數(shù)進行修正，例如將這些系數(shù)表示為零， 可以在很大程度上改善MPEG編碼的視頻信號的圖像質量。這種修正是使得對于拉格朗日 系數(shù)λ的一個給定值來說，拉格朗日值D+λ R(D是失真，R是比特速率)是最小值。其中 的λ值是根據(jù)被編碼的圖像的統(tǒng)計分析計算出的。這種統(tǒng)計分析包括以系數(shù)的幅度分布 為基礎的對RD曲線的估計。所尋找到的λ值是該曲線在所希望的比特速率處的導數(shù)。該 方法是一種只在編碼端進行優(yōu)化編碼的方法，在沒有網(wǎng)絡傳輸?shù)臅r候能獲得較好的編碼性 能，但由于失真不包含丟包引起的傳輸失真和解碼端進行差錯掩蓋時的掩蓋失真，因此不 適合于有傳輸差錯發(fā)生的環(huán)境。文獻4針對可伸縮視頻編碼，提出了一種增強層圖片執(zhí)行宏塊模式選擇的機制。 該機制包括用于每個宏塊的失真估計器，其作用于信道差錯，其中信道差錯諸如受差錯傳 播影響的視頻分段中的分組丟失或差錯；拉格朗日乘子選擇器，用于根據(jù)估計的或傳送的 信道誤碼率來選擇加權因子，以及模式判決模塊或算法，用于基于編碼參數(shù)來選擇最佳模 式。模式判決模塊配置為基于估計的編碼失真與估計的編碼率乘以加權因子的和來選擇編 碼模式。該方法將率失真優(yōu)化方法運用于可伸縮視頻編碼中，方法中用到的失真是編碼失 真，碼率為編碼比特率乘以加權因子，方法的拉格朗日乘子選擇沒有考慮端到端失真。文獻5提供了 一種視頻編碼器，該視頻編碼器自適應地進行編碼模式選擇?？梢砸远鄠€用于編碼視頻序列的當前宏塊的編碼模式進行操作。該視頻序列意圖優(yōu)選通過例如 任何電路交換或分組交換通信網(wǎng)絡的通信網(wǎng)絡被傳輸。失真估計器用于估計由于當前宏塊 的潛在錯誤傳輸而引起的預期失真值。決策模塊被安排用于基于失真值和編碼參數(shù)從多個 編碼模式中選擇最終編碼模式。進一步，提供了表，該表通過宏塊的空間位置而被引用，并 且使用累積失真值來更新。視頻編碼器被安排用于將最終編碼模式應用于編碼當前宏塊。 該方法將率失真優(yōu)化用于編碼和傳輸過程中，但對拉格朗日乘子不做調整，也沒有采用不 對等保護措施，不適用于多視點視頻編碼。

發(fā)明內容
鑒于現(xiàn)有技術的以上缺點，本發(fā)明的目的在于提出一種多視點視頻傳輸差錯控制 方法，使之能有效地減小傳輸差錯在視點間的擴散，增強多視點視頻流的傳輸魯棒性，使其 更好的適應于有損網(wǎng)絡環(huán)境下的視頻傳輸。本發(fā)明的目的是通過如下的手段實現(xiàn)的。一種率失真優(yōu)化動態(tài)調整的多視點視頻傳輸差錯控制方法，在關鍵幀進行視點預 測的KS_IPP編碼框架中，對關鍵幀和非關鍵幀的端到端失真采用不同的估計方法進行估 計對關鍵幀采用信道仿真與快速估計相結合的失真度方法進行估計；對非關鍵幀采用常 規(guī)的基于遞推的失真度估計方法，并將估計到的端到端失真和率失真優(yōu)化技術相結合；所述對關鍵幀采用信道仿真與快速估計相結合的失真度方法進行估計包含如下 步驟1)估計最經(jīng)常出現(xiàn)的丟包率ρ*下的端到端失真。2)根據(jù)丟包率與端到端失真的二次曲線經(jīng)驗關系估計其余可能出現(xiàn)的丟包率ρ 下的端到端失真。然后將估計到的端到端失真和率失真優(yōu)化技術相結合，在編碼端進行編碼模式選 擇，從而控制差錯的擴散。采用本發(fā)明方法，能有效地減小傳輸差錯在視點間的擴散，增強多視點視頻流的 傳輸魯棒性，使其更好的適應于有損網(wǎng)絡環(huán)境下的視頻傳輸。


圖IHHI提出的分級B幀MVC編碼預測結構示意圖。圖2簡化的KS_IPP預測結構示意圖，也是本發(fā)明采用的一種最常用的MVC編碼結 構示意圖。圖3視頻傳輸丟包模板示意圖。圖4丟包率和端到端失真之間的關系示意圖。圖5本發(fā)明編碼模式選擇流程圖。圖6本發(fā)明實施例20%丟包率的一種丟包模板。
具體實施例方式圖2是本發(fā)明采用的MVC編碼結構，實際上是一種簡化的KS_IPP預測結構。這種 編碼結構在編碼效率和編碼復雜度之間取的了平衡，具有很強的實用性。除了各視點的關鍵幀采用了視點間預測外，其余幀均在視點內采用分級B幀的預測結構。這種結構也有利 于采用差錯控制方法來阻止差錯在視點間的擴散。圖3是本發(fā)明采用的信道仿真模板。模板中的每個元素吞。對應一個slice出錯情 況，m表示信道編號，η為幀編號，k為slice編號。模板共N行N2列，N行分別對應N個信 道仿真器，在列方向上由N2個slice組成，其含義是每行排列N幀、每幀均分成N個slice， 共N2個slice。瓦、是通過隨機函數(shù)生成的0或1，分別表示該slice在對應信道丟失或正 確接收。圖4是本發(fā)明根據(jù)實驗經(jīng)驗確定的一種丟包率和端到端失真之間的關系。圖4中， 實際失真D (n，1)為菱形格所示區(qū)域，D*(n, 1)為丟包率為ρ*的端到端失真，Q (η, 1)為量 化失真，在圖中用小正方形所在區(qū)域表示。當丟包率為0時，端到端失真就是編碼的量化失 真。D' (η, 1)是通過線性預測得到的端到端失真，AD(n，1)是線性預測的失真與實際經(jīng) 驗得到的失真之間的變化量，為圖中用灰色標記的區(qū)域，丟包率增量Δρ為ρ*與ρ之差。本發(fā)明的實施方法具體方法如下幀內編碼幀，記為I幀；預測編碼幀，記為P幀；雙向預測編碼幀，記為B幀，可能出 現(xiàn)的視頻傳輸丟包率記為P，最經(jīng)常出現(xiàn)的丟包率記為P*。1.端到端失真估計端到端失真度估計為了兼顧到估計精度和估計復雜度，結合KS_IPP結構特點，對 關鍵幀和非關鍵幀采用不同的估計方法進行估計。1. 1關鍵幀的端到端失真度估計本發(fā)明對關鍵幀的端到端失真度采用信道仿真與快速估計相結合的失真度方法 進行估計。首先估計最經(jīng)常出現(xiàn)丟包率P*下的端到端失真，然后根據(jù)丟包率與端到端失真 的二次曲線經(jīng)驗關系，估算出其余可能丟包率下的端到端失真。具體過程如下1)估計最經(jīng)常出現(xiàn)的丟包率ρ*下的端到端失真本發(fā)明根據(jù)傳輸過程中最有可能經(jīng)常出現(xiàn)的丟包率ρ*的情況，在編碼器端采用N 個
信道仿真器仿真視頻數(shù)據(jù)包在易錯信道中的傳輸情況。數(shù)據(jù)包在信道中的傳
輸情況由圖3所示模板決定。圖3中，模板中的每個元素^^對應一個slice出錯情況，m表 示信道編號，η為幀編號，k為slice編號。模板共N行N2列，N行分別對應N個信道仿真 器，在列方向上由N2個slice組成，其含義是每行排列N幀、每幀均分成N個slice，共N2個 slice。是通過隨機函數(shù)生成的0或1，分別表示該slice在對應信道丟失或正確接收。編碼器根據(jù)各數(shù)據(jù)包的仿真情況，計算出各個信道的端到端誤差；再根據(jù)信道誤 差計算出該信道的端到端失真，取所有仿真信道的端到端失真均值作為最經(jīng)常出現(xiàn)丟包率 P*下的端到端失真；最后得到一個宏塊在丟包率P*下的端到端失真。具體計算方法如下(a)第η幀第1個宏塊的像素i在信道m(xù)的端到端誤差E (m，η, 1, i)計算方法 式(1)中，/ '表示第η幀宏塊1的第i個像素的原始值，力為該像素在編碼器的重建值，//為該像素的參考像素j在編碼器的重建值，為該像素的參考像素j在解碼器的重 建值。當像素i數(shù)據(jù)在傳輸過程中出錯時，在解碼端通過某種掩蓋算法用第χ幀第y個像 素進行掩蓋，在式(1)中用表示此掩蓋值。在計算信道端到端誤差E (m，η, 1，i)時，根據(jù)信道仿真結果，先判斷像素是否正確 接收，如果丟失，則用式(1)等號右邊第三項計算端到端誤差，如果正確接收，再判斷接收 到的像素是采用幀內還是幀間方式編碼，如果是幀內方式，則用式(1)右邊第一項計算端 到端誤差，如果是幀間方式，則用式(1)右邊第二項計算端到端誤差。(b)信道端到端失真計算方法根據(jù)信道誤差，可以計算出第η幀宏塊1的像素i在信道m(xù)中的端到端失真d(m， η, 1, i)為
(2)取N個信道的平均失真，作為第n幀宏塊l的像素i的端到端失真d(n，l，i)，即
因此，當丟包率為p*，采用N個信道仿真解碼時，第η幀宏塊1的端到端失真D*(η, 1)為 2)估計其余可能出現(xiàn)的丟包率ρ下的端到端失真當前丟包率如果是最常出現(xiàn)的p*，可以用上述公式(1)-⑷計算得到，如果是其他 的丟包率，則首先需要確定丟包率和實際端到端失真之間的關系，然后利用此關系來計算 其它丟包率下的端到端失真。實驗表明，丟包率和實際端到端失真之間并不是線性關系。根 據(jù)實驗，實際端到端失真與線性關系的失真關系如圖4所示，圖4中，實際失真D (η, 1)為菱 形格所示區(qū)域，D*(n，l)為丟包率為ρ*的端到端失真，Q(n，l)為量化失真，在圖中用小正方 形所在區(qū)域表示。當丟包率為0時，端到端失真就是編碼的量化失真。D' (η,Ι)是通過線 性預測得到的端到端失真，ΔD(η, 1)是線性預測的失真與實際經(jīng)驗得到的失真之間的變化 量，為圖中用灰色標記的區(qū)域，丟包率增量Δρ為ρ*與ρ之差。根據(jù)統(tǒng)計實驗結果，得到丟 包率增量和端到端失真增量之間呈近似二次關系，據(jù)此可以計算出第η幀宏塊1在其余丟 包率P下的端到端失真D (η，1)為D(n,l) = D'(n,l)mAD(n,l)
Γ D\n,l)-Q(n,l) ^r /Α ν,c、~~ν ^ , ν 7 χ ρ m^ α, χ(Δρ)(5)
P'=O
Γ ^ D\n,l)-QinJ) 去. = ~ν ,^v ' χ ρ m> α, χ(ρ-ρ )'
P,=ο式(5)中，當ρ*大于ρ時，“m”取“_”，否則取“ + ”。1. 2非關鍵幀的端到端失真度估計非關鍵幀的端到端失真度采用基于遞推的失真度估計方法估計。這種方法 通過在編碼端跟蹤端到端失真的擴散情況來估計端到端失真。估計方法可以采用基 于像素遞歸、宏塊加權估計等各種已有方法，具體可參考文獻Yuan Ζ, Wen G，YanL, et
7al. Joint source-channel rate-distortion optimization for H. 264 video coding overerror-prone networks[J]. IEEE Transactions on Multimedia. 2007,9(3) :445-454.2編碼模式選擇宏塊編碼模式根據(jù)率失真優(yōu)化技術來選擇。本發(fā)明采用的率失真優(yōu)化技術如式 (6)所示J(M, λ) = D(M) + A XR(M)(6)式(6)中，D(M)和R(M)分別為宏塊采用模式M編碼時的端到端失真和編碼比特 率，λ是拉格朗日乘子。本發(fā)明中，在非關鍵幀，拉格朗日乘子不變，與現(xiàn)有的標準推薦的 拉格朗日乘子相同，記為λ”其計算公式為； 式(7)中，QP為量化參數(shù)。在關鍵幀的拉格朗日乘子則根據(jù)估計的失真自適應地 改變，記為λ2，失真越大，編碼采用的拉格朗日乘子入2就越小。λ 2的一般形式如式⑶所示 式(8)中，θ為動態(tài)調整因子，由當前宏塊的估計失真和周圍相鄰宏塊的失真情 況決定。一種經(jīng)驗性的θ選擇方法為 式(9)中，D (n，I1^D(Iia2)和D(n，l3)分別表示宏塊1左方，上方，右上方已編碼 宏塊的端到端失真，如果某個相鄰宏塊不存在，則其端到端失真默認為前一幀所有宏塊端 到端失真均值。綜上所述，各宏塊的編碼模式選擇按照下述步驟進行1)根據(jù)視頻編碼結構(例如KS_IPP編碼結構)確定編碼宏塊所在幀是關鍵幀還 是非關鍵幀。2)如果是關鍵幀，則在編碼端，首先利用前述1. 1節(jié)所述信道仿真與快速估計想 結合的失真度方法估計出該宏塊的端到端失真，然后將此端到端失真和λ 2用于編碼模式 選擇的率失真優(yōu)化技術中，根據(jù)公式(6)計算出每種編碼模式的率失真代價J(M，λ 2)，選擇 J(M，λ2)最小的模式作為最佳編碼模式。3)如果是非關鍵幀，則在編碼端，首先前述1. 2利用基于遞推的失真度估計方法 估計出該宏塊的端到端失真，然后將此端到端失真和λ工用于編碼模式選擇的率失真優(yōu)化 技術中，根據(jù)公式(6)計算出每種編碼模式的率失真代價J(M，入^，選擇…，A1)最小的 模式作為最佳編碼模式。上述步驟的流程圖如圖5所示，圖中的J是當前編碼模式的率失真代價，Jmin是已 經(jīng)編碼過的模式中率失真代價的最小值。
實施例下面結合一個具體的實施方式對本發(fā)明作進一步的詳細說明。為便于說明，且不失一般性，做如下假定假定編碼圖像分辨率為640*480，則宏塊數(shù)量為40*30個，按行順序依次編號 1-1200 ；假定本實施例采用的編碼框架為圖2所示框架，且編碼幀為視點1的第2個關鍵 幀(即圖2中視點V1在T8時刻的幀)，其參考幀為視點0的第2個關鍵幀(即圖2中視點 V0在T8時刻的幀)。假定信道最經(jīng)常出現(xiàn)的丟包率為20%，當前丟包率為10%。假定掩蓋方法為同時刻視點間圖像同區(qū)域替代，即某個區(qū)域數(shù)據(jù)丟失后，采用前 一視點同一時刻關鍵幀的同一區(qū)域進行掩蓋。例如，假設視點V1在T8時刻的關鍵幀的第一 個宏塊丟失，則用視點Vtl在T8時刻的關鍵幀的第一個宏塊進行掩蓋。根據(jù)上述假定，本實施例說明了如何根據(jù)最經(jīng)常出現(xiàn)的丟包率為20%時的情況， 進行10%丟包率情況下的關鍵幀及非關鍵幀的差錯控制方法。如果當前編碼宏塊所在幀為關鍵幀，則首先利用信道仿真的快速方法估計出編碼 宏塊1的端到端失真。具體方法如下在上述假定條件下，采用的一種丟包模板如圖6所示圖中所示的丟包模板模擬 了 5個信道的丟包情況。共可以表示5幀的丟包情況，此模板可以循環(huán)，供更多編碼幀使用。本實施例以圖6所示的第2幀在信道3中的仿真情況來具體說明本發(fā)明失真的計 算方法。此時，模板第2幀的“11101”表示的是序列的視點V1在T8時刻的幀(即圖2視點 V1的第2個關鍵幀，以下簡稱“第8幀”)在信道3中的仿真情況，第4個數(shù)字為“0”，表示 這幀的第4個數(shù)據(jù)包在仿真過程中丟失；其余數(shù)字是“1”，表示其余數(shù)據(jù)包均正確接收。從 宏塊角度來說，就是編號為721-960的宏塊在仿真信道3中丟失，編號為1-720及961-1200 的宏塊均正確接收。由于所有正確接收宏塊端到端失真計算方法相同，所以以第8幀第1 個宏塊為例，說明正確接收宏塊端到端失真計算方法，即『(8，1)計算方法；所有丟失宏塊 的計算方法也相同，以第8幀第721個宏塊為例說明，即D*(8，721)計算方法。以下分別進 行詳細說明。UD*(8, 1)的計算(正確宏塊計算方法)1. 1第8幀第1個宏塊像素i在信道3中的端到端誤差E(3，8，1，i)計算因為此宏塊正確接收，當此宏塊采用幀內方式編碼時，根據(jù)式(1)可得
(10)當采用幀間方式編碼時，根據(jù)(1)可得
( 11)式(11)中的參考幀r為視點Vtl在T8時刻的幀。1. 2第8幀第1個宏塊像素i在信道3中的端到端失真d(3，8，1，i)計算根據(jù)式(10)和(11)結果，可得d(3，8，1，i) = [E(3，8，1，i)]2(12)1. 3第8幀第1個宏塊像素i端到端失真d(8，1，i)計算根據(jù)式(12)，分別計算出第8幀第1個宏塊像素i在5個信道的端到端失真d (m， 8，1，i)，m = 1，2，3，4，5，據(jù)此，d(8，l，i)可計算如下
9
1. 4第8幀第1個宏塊端到端失真D*(8，1)計算根據(jù)式(13)可得 2、礦(8，721)的計算(出錯宏塊計算方法)2. 1第8幀第721個宏塊像素i在信道3中的端到端誤差E (3，8，721，i)計算因 為此宏塊丟失，根據(jù)式(1)可得 式(15)中，乃為視點Vtl在T8時刻幀的第i個像素在仿真信道的重建值。2.2第8幀第721個宏塊像素1在信道3中的端到端失真(1(3，8，721，i)計算根 據(jù)式(15)結果，可得 2.3第8幀第721個宏塊像素1端到端失真(1(8，721，1)計算 2. 4第8幀第721個宏塊端到端失真礦(8，1)計算根據(jù)式(17)可得 利用上述方法計算出20%丟包率下第η幀宏塊1的端到端失真D*(n，1)，從編碼 過程中獲得宏塊1的量化失真Q (n，1)，再根據(jù)圖4所示關系和式(5)，令ρ等于10 %，可得 宏塊1在丟包率為10%時的端到端失真D (n，1)。 (19) 假定宏塊的當前編碼模式為Μ，將式(19)計算出的端到端失真D(n，1)，以及編碼 比特率R(n，1)，式(8)所示的關鍵幀使用的拉格朗日乘子λ2分別代入式(6)可得模式為 M的率失真代價J (Μ，λ2)為J(M, A2)= D(n, l) + A2XR(n, 1)(20)待所有模式的率失真代價J(Μ，λ 2)計算完畢后，選擇率失真代價最小的模式為該 宏塊的最佳編碼模式。如果當前編碼宏塊所在幀為非關鍵幀，則首先利用基于遞推的方法估計出 編碼宏塊1的端到端失真D(n，1)，具體方法可參考文獻Yuan Ζ, Wen G, Yan L，et al. Joint source-channel rate-distortion optimization for H. 264 video coding overerror-prone networks[J]. IEEE Transactions on Multimedia. 2007,9(3) 445-454.中的方法。再將端到端失真D(n，1)，編碼比特率R(n，1)，式(7)所示的非關鍵幀使用的拉 格朗日乘子X1分別代入式(6)中，計算出率失真代價J(M，λ)。待所有模式的率失真代 價J(M，A1)計算完畢后，選擇率失真代價最小的模式為宏塊1的最佳編碼模式。
本發(fā)明提出的多視點傳輸差錯控制方法，不局限于KS_IPP編碼結構，可擴展到類 似于KS_IPP的結構，適用于存在關鍵幀和非關鍵幀編碼、且在各關鍵幀進行視點間預測的 多視點編碼結構；它可以充分利用了 KS_IPP及類似結構特點，在幀級保護上，對會引起視 點間差錯擴散的關鍵幀采用更為合理的拉格朗日乘子從而取得更重要的保護，而對非關鍵 幀則采用普通的保護措施；在宏塊級保護上，根據(jù)端到端失真估計情況，對失真大的宏塊通 過率失真優(yōu)化技術選擇幀內方式進行編碼，控制失真的擴散。本發(fā)明在不過多降低編碼效 率的情況下，能有效減少傳輸差錯在視點間和視點內部的差錯擴散。從而提供一種傳輸魯 棒性強的多視點視頻流。
權利要求
一種率失真優(yōu)化動態(tài)調整的多視點視頻傳輸差錯控制方法，在關鍵幀進行視點預測的KS_IPP編碼框架中，對關鍵幀和非關鍵幀的端到端失真采用不同的估計方法進行估計對關鍵幀采用信道仿真與快速估計相結合的方法進行失真度估計；對非關鍵幀采用常規(guī)的基于遞推的失真度估計方法，并將估計到的端到端失真和率失真優(yōu)化技術相結合；所述對關鍵幀采用信道仿真與快速估計相結合的方法進行失真度估計包含如下步驟1)估計最經(jīng)常出現(xiàn)的丟包率p*下的端到端失真；2)根據(jù)丟包率與端到端失真的二次曲線經(jīng)驗關系估計其余可能出現(xiàn)的丟包率p下的端到端失真；將估計到的端到端失真和率失真優(yōu)化技術相結合，在編碼端進行編碼模式選擇，從而控制差錯的擴散。
2.根據(jù)權利要求1所述之率失真優(yōu)化動態(tài)調整的多視點視頻傳輸差錯控制方法，其特 征在于，所述率失真優(yōu)化技術處理時，對關鍵幀編碼的各宏塊使用動態(tài)的拉格朗日乘子，此 拉格朗日乘子根據(jù)估計到的端到端失真動態(tài)地調整大??；失真越大的宏塊，采用越小的拉 格朗日乘子進行率失真優(yōu)化；通過端到端失真的動態(tài)變化和拉格朗日乘子的動態(tài)調整來實 現(xiàn)率失真優(yōu)化的動態(tài)調整。
全文摘要
本發(fā)明公開了一種率失真優(yōu)化動態(tài)調整的多視點視頻傳輸差錯控制方法，在關鍵幀進行視點預測的KS_IPP編碼框架中，對關鍵幀和非關鍵幀的端到端失真采用不同的估計方法進行估計對關鍵幀采用信道仿真與快速估計相結合的失真度方法進行估計；對非關鍵幀采用常規(guī)的基于遞推的失真度估計方法。并將估計到的端到端失真和率失真優(yōu)化技術相結合，通過端到端失真的動態(tài)變化和拉格朗日乘子的動態(tài)調整來實現(xiàn)率失真優(yōu)化的動態(tài)調整。采用本發(fā)明方法，能有效地減小傳輸差錯在視點間的擴散，增強多視點視頻流的傳輸魯棒性，使其更好的適應于有損網(wǎng)絡環(huán)境下的視頻傳輸。
文檔編號H04N7/32GK101888561SQ20101021579
公開日2010年11月17日 申請日期2010年7月2日 優(yōu)先權日2010年7月2日
發(fā)明者張慶明, 彭強 申請人:西南交通大學