專利名稱：視頻編碼處理方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一見(jiàn)頻處理4^或，具體而言，涉及一種4見(jiàn)頻編碼處理 方法和裝置。
背景技術(shù)：
4乍為新一^^見(jiàn)頻壓縮編石馬纟示準(zhǔn)H.264/AVC的擴(kuò)展，可伸縮^L頻 編碼(Scalable Video Coding, SVC )技術(shù)已經(jīng)于2007年7月正式 標(biāo)準(zhǔn)化。目前，H.264/SVC支持了時(shí)域、空i或和質(zhì)量域三個(gè)維度上 的可伸縮性，并且基本實(shí)現(xiàn)了對(duì)于解碼器復(fù)雜性和編碼效率的平#f 設(shè)計(jì)，而其中基于視頻尺寸(空域)的分層是該技術(shù)的基本結(jié)構(gòu)。
在空域可伸縮性編碼中，H.264/SVC遵循了傳統(tǒng)的多層次編碼 的方法首先將原始尺寸的視頻序列分解(進(jìn)行下采樣)得到若干 不同空間分辨率的子序列，其中每個(gè)分辨率老卩對(duì)應(yīng)于一個(gè)空域編碼 層。由于低層是由高層通過(guò)下采樣得到的，因此在相同的時(shí)域分辨 率情況下，每一個(gè)高層幀都有與之相對(duì)應(yīng)的低層幀，兩者之間存在 著顯而易見(jiàn)的相關(guān)性，我們稱之為層間冗余。
質(zhì)量域可伸縮性主要通過(guò)對(duì)變換系數(shù)的重復(fù)量化和位平面編 碼來(lái)實(shí)現(xiàn)信噪比(Signal to Noise Ratio, SNR )的可伸縮性，主要 通過(guò)粗糙粒度可伸縮性(Coarse Grained Scalability, CGS )和中等 粒度可伸縮性(Median Grained Scalability, MGS)等4支術(shù)實(shí)現(xiàn)質(zhì)量 的可伸縮性。其基本思想為將纟見(jiàn)頻的每一幀都分為一個(gè)基本層碼流和在基本層碼流之上的增強(qiáng)層石馬流?；緦硬捎没旌暇幋a的方 法，通常碼率比4交低，只能保證最基本的質(zhì)量要求，確保解碼端有 足夠的能力接收并解碼基本層碼流。增強(qiáng)層則通過(guò)嵌入式的方式對(duì) 各增強(qiáng)層變換系數(shù)進(jìn)行子位平面編碼，以實(shí)現(xiàn)碼流可以在任意點(diǎn)截?cái)唷?br> 由于這種層次化的結(jié)構(gòu)設(shè)計(jì)，在總碼流目標(biāo)碼率相對(duì)固定的情 況下，如何對(duì)各層次的碼率進(jìn)行分配，不同的分配方案將會(huì)導(dǎo)致不
同的編碼效率。現(xiàn)有的svc技術(shù)還不支持任何視頻層次間的碼率
分配^/L制，編碼過(guò)程采用由底向上的順序性方式，即乂人最底部的基 本層(Base Layer, BL )開(kāi)始，依次根據(jù)編石馬重建后的前驅(qū)纟見(jiàn)頻層 作為編碼增強(qiáng)層(Enhancement layer, EL)的預(yù)測(cè)，每一層的目標(biāo) 碼率都是分別先-驗(yàn)設(shè)定的。
在實(shí)現(xiàn)本發(fā)明過(guò)程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有4支術(shù)中至少存在如下問(wèn) 題現(xiàn)有的空域-質(zhì)量域可伸縮視頻編碼的碼率分配方法，忽略了待 編層與參考層之間編碼的相關(guān)性，損失了 一定的編碼效率。

發(fā)明內(nèi)容
本發(fā)明旨在4是供一種一見(jiàn)頻編碼處理方法和裝置，能夠解決現(xiàn)有 技術(shù)忽略了待編層與參考層之間編碼的相關(guān)性，損失了一定的編碼 歲文率的問(wèn)題。
在本發(fā)明的實(shí)施例中，提供了一種視頻編碼處理方法，包括 在空域-質(zhì)量域可伸縮一見(jiàn)頻編碼中，分配各空i或?qū)拥氖R率；在各空i或 層中，通過(guò)分析質(zhì)量域待編層和質(zhì)量域參考層的編碼失真的關(guān)系， 建立質(zhì)量域待編層的編碼失真纟莫型；通過(guò)分4斤質(zhì)量域待編層和質(zhì)量 域參考層的碼率的關(guān)系，建立質(zhì)量i^待編層的碼率才莫型；才艮據(jù)相應(yīng)的空域?qū)拥拇a率、質(zhì)量域待編層的編碼失真才莫型和碼率模型，分配 質(zhì)量域參考層和質(zhì)量域;f寺編層的碼率。
在本發(fā)明的實(shí)施例中，還提供了一種4見(jiàn)頻編碼處理裝置，包括 空域分配模塊，用于在空域-質(zhì)量域可伸縮^L頻編碼中，分配各空域 層的碼率；質(zhì)量域失真模型建立模塊，用于在各空域?qū)又?，通過(guò)分 析質(zhì)量域4寺編層和質(zhì)量域參考層的編碼失真的關(guān)系，建立質(zhì)量域4寺 編層的編碼失真^^莫型；質(zhì)量域碼率^^型建立才莫塊，用于通過(guò)分析質(zhì) 量域4寺編層和質(zhì)量域參考層的碼率的關(guān)系，建立質(zhì)量域待編層的碼 率模型；質(zhì)量域碼率分配才莫塊，用于根據(jù)相應(yīng)的空域?qū)拥拇a率、質(zhì) 量域4寺編層的編碼失真一莫型和碼率4莫型，分配質(zhì)量域參考層和質(zhì)量 域待編層的碼率。
在本發(fā)明中，由于充分考慮了可伸縮編碼結(jié)構(gòu)引起的各編碼層 間的相關(guān)關(guān)系，通過(guò)對(duì)具有依賴關(guān)系的編碼層建立去相關(guān)的率失真 才莫型，從而將碼率分配問(wèn)題轉(zhuǎn)化為一個(gè)給定總碼率的前提下使得各 編碼層的編碼失真總和最小的優(yōu)化問(wèn)題進(jìn)^f于計(jì)算求解，最終得到各 編碼層的碼率優(yōu)化分配方案，解決了現(xiàn)有4支術(shù)忽略了待編層與參考 層之間編碼的相關(guān)性，損失了一定的編碼凌文率的問(wèn)題，實(shí)現(xiàn)了各編 碼層次間相關(guān)性基礎(chǔ)上的碼率優(yōu)化分配，能夠使得編碼效率最大 化，進(jìn)一步優(yōu)化了可伸縮編碼的編碼性能。
附圖i^明
此處所說(shuō)明的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本申 請(qǐng)的一部分，本發(fā)明的示意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明，并 不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中


圖1示出了根據(jù)本發(fā)明實(shí)施例的視頻編碼處理方法的流程12圖2示出了 4艮據(jù)本發(fā)明實(shí)施例的視頻編碼處理裝置的示意圖3示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例一的H.264/SVC中空域-質(zhì) 量域二維可伸縮編碼的關(guān)系示意圖4示出了 Foreman序列的示意圖5示出了 Mobile序列的示意圖6示出了才艮據(jù)本發(fā)明優(yōu)選實(shí)施例一的釆用Foreman序列時(shí)， 空域?qū)覵L-O與空i或?qū)覵L-1的失真關(guān)系圖7示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例一的采用Mobile序列時(shí)， 空域?qū)覵L-0與空i或?qū)覵L-1的失真關(guān)系圖8示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例一的空域可伸縮維度上具有 相關(guān)性的編碼層的編碼失真模型示意圖9示出了才艮據(jù)本發(fā)明優(yōu)選實(shí)施例一的空域可伸縮維度上具有 相關(guān)性的編碼層的碼率模型示意圖IO示出了才艮據(jù)本發(fā)明優(yōu)選實(shí)施例一的采用Foreman序列時(shí)， 空域?qū)覵L-0與空i或?qū)覵L-1的碼率關(guān)系圖11示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例一的采用Mobile序列時(shí)， 空域?qū)覵L-0與空域?qū)覵L-1的碼率關(guān)系圖12示出了4艮據(jù)本發(fā)明優(yōu)選實(shí)施例一的采用Foreman序列時(shí)， 質(zhì)量域?qū)観L-0與質(zhì)量域?qū)観L-1的碼率關(guān)系圖；圖13示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例一的采用Mobile序列時(shí)， 質(zhì)量域?qū)観L-0與質(zhì)量域?qū)観L-1的碼率關(guān)系圖14示出了才艮據(jù)本發(fā)明優(yōu)選實(shí)施例一的采用Foreman序列時(shí)， 質(zhì)量域?qū)観L-0與質(zhì)量域?qū)観L-1的碼率關(guān)系圖15示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例一的采用Mobile序列時(shí)， 質(zhì)量域?qū)観L-0與質(zhì)量域?qū)観L-1的碼率關(guān)系圖16示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例一的質(zhì)量域可伸縮維度上 具有相關(guān)性的編碼層的率失真模型示意圖。
具體實(shí)施例方式
為了解決現(xiàn)有4支術(shù)中存在忽略了4寺編層與參考層之間編碼的 相關(guān)性，損失了一定的編碼效率的問(wèn)題，本發(fā)明纟是供了一種^L頻編 碼處理方法首先，在空域可伸縮維度上，按照由高到低的順序并 考慮參考層與待編層之間的相關(guān)關(guān)系，分配各空域?qū)拥拇a率；然后， 在各空域?qū)又?，通過(guò)分析質(zhì)量域4寺編層和質(zhì)量域參考層的編碼失真 的關(guān)系，建立質(zhì)量域待編層的編碼失真才莫型；通過(guò)分析質(zhì)量域待編 層和質(zhì)量域參考層的碼率的關(guān)系，建立質(zhì)量域待編層的碼率才莫型； 根據(jù)相應(yīng)的空域?qū)拥拇a率、質(zhì)量域待編層的編碼失真模型和碼率模 型，分配質(zhì)量域參考層和質(zhì)量域4寺編層的碼率。從而最終實(shí)現(xiàn)了空 域-質(zhì)量域二維可伸縮編碼的碼率優(yōu)化分配。本發(fā)明還提供了 一種牙見(jiàn) 頻編碼處理裝置以實(shí)現(xiàn)上述的視頻編碼處理方法。本發(fā)明實(shí)現(xiàn)了各 編碼層次間相關(guān)性基礎(chǔ)上的碼率優(yōu)化分配，能夠4吏得編碼效率最大 化，進(jìn)一步優(yōu)化了可伸縮編碼的編碼性能。
下面將參考附圖并結(jié)合實(shí)施例，來(lái)詳細(xì)i兌明本發(fā)明。
14圖1示出了根據(jù)本發(fā)明實(shí)施例的視頻編碼處理方法的流程圖，
包括
步驟SIO,在空域-質(zhì)量域可伸縮視頻編碼中，分配各空域?qū)拥?碼率；
步驟S20,在各空域?qū)又?，通過(guò)分析質(zhì)量域待編層和質(zhì)量域參 考層的編碼失真的關(guān)系，建立質(zhì)量域待編層的編碼失真模型；
步驟S30,通過(guò)分析質(zhì)量域待編層和質(zhì)量域參考層的碼率的關(guān) 系，建立質(zhì)量域待編層的碼率模型；
步驟S40,根據(jù)相應(yīng)的空域?qū)拥拇a率、質(zhì)量域待編層的編碼失 真模型和碼率模型，分配質(zhì)量域參考層和質(zhì)量域待編層的碼率。
該優(yōu)選實(shí)施例由于充分考慮了可伸縮編碼結(jié)構(gòu)引起的各編碼 層間的相關(guān)關(guān)系，通過(guò)對(duì)具有依賴關(guān)系的編石馬層建立去相關(guān)的率失 真模型，從而將碼率分配問(wèn)題轉(zhuǎn)化為一個(gè)給定總碼率的前提下使得 各編碼層的編碼失真總和最小的優(yōu)化問(wèn)題進(jìn)4于計(jì)算求解，最終得到 各編碼層的碼率優(yōu)化分配方案，解決了現(xiàn)有4支術(shù)忽略了 ^f寺編層與參 考層之間編碼的相關(guān)性，損失了一定的編碼效率的問(wèn)題，實(shí)現(xiàn)了各 編碼層次間相關(guān)性基礎(chǔ)上的碼率優(yōu)化分配，能夠使得編碼效率最大 化，進(jìn)一步優(yōu)化了可伸縮編碼的編碼性能。
在該優(yōu)選實(shí)施例中，通過(guò)首先在空域可伸縮維度上優(yōu)化分配各 空域?qū)拥拇a率，然后再在質(zhì)量域可伸縮維度上優(yōu)化分配對(duì)應(yīng)各空域 層中各質(zhì)量域?qū)拥拇a率，最終實(shí)現(xiàn)空域-質(zhì)量域二維可伸縮編碼的碼 率優(yōu)化分配。優(yōu)選地，在上述的視頻編碼處理方法中，步驟S10具體包括 通過(guò)分析空域4寺編層和空域參考層的編碼失真的關(guān)系，建立空i或4寺 編層的編碼失真模型；通過(guò)分析空域待編層和空域參考層的碼率的
關(guān)系，建立空域待編層的碼率模型；根據(jù)空域待編層的編碼失真模 型和碼率，莫型，分配空域參考層和空域;降編層的碼率。
其中，空域待編層的編碼失真才莫型為
其中，e。和e,分別表示空域參考層和空域待編層的量化步長(zhǎng)，as(2。)
和W (Q /2)分別表示當(dāng)分別以量化步長(zhǎng)2。和2, /2為變?cè)獣r(shí)空域參考
層的編碼失真值，Df(e。,e,)表示當(dāng)空域參考層的量化步長(zhǎng)為a、空 域待編層的量化步長(zhǎng)為^時(shí)空域^寺編層的編碼失真值，"o和",為空
域待編層的編碼失真模型參數(shù)，"o表示當(dāng)0^^/2時(shí)空域參考層和空 域待編層之間的編碼失真關(guān)系曲線的斜率值， 表示當(dāng)2。 >0/2時(shí)空 域參考層和空域待編層之間的編碼失真關(guān)系曲線的斜率值，6和"
為參考層的編碼失真模型參數(shù)。
空域待編層的碼率模型為:其中，e。和2,分別表示空域參考層和空域待編層的量化步長(zhǎng)，《(込) 和《& /2)分別表示當(dāng)分別以量化步長(zhǎng)a和s, /2為變?cè)獣r(shí)空域參考
層的碼率，i f(a，G)表示當(dāng)空域參考層的量化步長(zhǎng)為O)、空域待編 層的量化步長(zhǎng)為g時(shí)空域待編層的碼率，空域待編層的碼率模型參 數(shù) 和n分別表示當(dāng)o^e,/2和e,固定時(shí)空域參考層和空域待編層 的碼率呈線性關(guān)系的斜率值，"和a為參考層的碼率模型參數(shù)。
根據(jù)空域待編層的編碼失真^t型和碼率沖莫型，分配空域參考層
和空域待編層的碼率具體包括4艮據(jù)空域待編層的編碼失真才莫型和
碼率模型，計(jì)算給定空域總碼率條件下，空域參考層和空域待編層
的量化步長(zhǎng)的值；才艮據(jù)量化步長(zhǎng)的值，分配空域參考層和空域待編
層的碼率。
其中，根據(jù)空域待編層的編碼失真模型和碼率模型，計(jì)算給定 空域總碼率條件下，空域參考層和空域待編層的量化步長(zhǎng)的值具體
包括根據(jù)空域待編層的編碼失真模型和碼率模型，建立給定空域 總碼率條件下，空域參考層和空域待編層的編碼失真總和最小的模 型；采用拉格朗日乘數(shù)法計(jì)算空域參考層和空域待編層的編碼失真 總和最小的模型中，空域參考層和空域待編層的量化步長(zhǎng)的值。
給定空域總碼率條件下，空域參考層和空域^f寺編層的編碼失真 總和最小的模型為
其中，0)和Q分別表示空域參考層和空域4寺編層的量化步長(zhǎng)，
q'=表示空域參考層和空域待編層的最優(yōu)量化矢量，Q表示空
域量化步長(zhǎng)的備選集合，D。s必)和"(2。，Q)分別表示空域參考層和空域待編層的編碼失真值，《(2。)和《(込，Q )分別表示空域參考層和空 域待編層的碼率，/^一,為空域總碼率。
上述優(yōu)選實(shí)施例提供了圖1所示的實(shí)施例中的步驟S10的具體
實(shí)施方案。通過(guò)對(duì)空域參考層具有依賴關(guān)系的空域待編層建立去相 關(guān)的率失真模型，從而將空域可伸縮維度上的碼率分配問(wèn)題轉(zhuǎn)化為 一個(gè)給定空域總碼率的前提下使得空域參考層和空域待編層的編 碼失真總和最小的優(yōu)化問(wèn)題進(jìn)行計(jì)算求解，最終得到各空域?qū)拥拇a 率優(yōu)化分配方案，實(shí)現(xiàn)了在空域可伸縮維度上優(yōu)化分配各空域?qū)拥?碼率。該優(yōu)選實(shí)施例實(shí)際上是一個(gè)遞歸的過(guò)禾呈，當(dāng)空域可伸縮維度
上空域?qū)拥膶訑?shù)大于兩層時(shí)，上述步驟SIO中所包括的三個(gè)步驟(即
建立空域待編層的編碼失真模型、建立空域待編層的碼率模型、分
配空域參考層和空域;降編層的碼率)實(shí)際上是一個(gè)循環(huán)。分配各空 域?qū)拥拇a率時(shí)，按照由高到低的順序依次執(zhí)行該循環(huán)過(guò)程即可。例 如當(dāng)空域?qū)訛槿龑?即由高到低依次為空域增強(qiáng)層2、空域增強(qiáng) 層l和空域基本層)、空域總碼率為i ^。,。,時(shí)，首先以空域增強(qiáng)層2 作為空域待編層，空域增強(qiáng)層1和空域基本層整體作為空域參考層， 利用上述步驟SIO中的方法計(jì)算空域增強(qiáng)層2的碼率為《、空域增 強(qiáng)層1和空域基本層整體的碼率為及f,然后以空域增強(qiáng)層1作為空 域待編層、空域基本層作為空域參考層、給定總碼率為及f，利用上 述步驟SIO中的方法計(jì)算空域增強(qiáng)層1的碼率為^、空域基本層的 碼率為i^，最終實(shí)現(xiàn)了這三個(gè)空域?qū)拥拇a率優(yōu)化分配。
優(yōu)選地，在上述的4見(jiàn)頻編碼處理方法中，空域參考層和空域待 編層分別為空域基本層和空域增強(qiáng)層。在該優(yōu)選實(shí)施例中，可利用 上述步驟10的方法實(shí)現(xiàn)空域基本層和空域增強(qiáng)層的碼率的優(yōu)化分配。
優(yōu)選地，在圖1所示的^L頻編碼處理方法 ，質(zhì)量域待編層的編碼失真模型為 "卩(M)"。.嫂(仏)
其中，《。和仏分別表示質(zhì)量域參考層和質(zhì)量域待編層的量化步長(zhǎng)， "f^。,^表示當(dāng)質(zhì)量域參考層的量化步長(zhǎng)為《。、質(zhì)量域待編層的量 化步長(zhǎng)為&時(shí)質(zhì)量域待編層的編碼失真值，嫂(《,)表示當(dāng)以量化步長(zhǎng) &為變?cè)獣r(shí)質(zhì)量域參考層的編碼失真值，質(zhì)量域4寺編層的編碼失真 模型參數(shù)&表示當(dāng)込=q時(shí)質(zhì)量域待編層和質(zhì)量域參考層的編碼失 真關(guān)系曲線的斜率值，6和々為參考層的編碼失真模型參數(shù)；
質(zhì)量域待編層的碼率才莫型為 'w(M),《(9。) + (附。-附,)《(仏)
其中，《。和仏分別表示質(zhì)量域參考層和質(zhì)量域待編層的量化步長(zhǎng)， w(《。，^)表示當(dāng)質(zhì)量域參考層的量化步長(zhǎng)為《。、質(zhì)量域待編層的量化 步長(zhǎng)為《時(shí)質(zhì)量域待編層的碼率， <(《。)和<分別表示當(dāng)分別以
量化步長(zhǎng)《。和仏為變?cè)獣r(shí)質(zhì)量域參考層的碼率，質(zhì)量域^寺編層的碼 率模型參數(shù)w。和附,分別表示當(dāng)g『^和①固定時(shí)質(zhì)量域參考層和
質(zhì)量域待編層的碼率呈線性關(guān)系的斜率值，a和a為參考層的碼率
模型參數(shù)。
優(yōu)選地，在上述的視頻編碼處理方法中，步驟S40具體包括 才艮據(jù)質(zhì)量域纟寺編層的編碼失真纟莫型和碼率才莫型，以相應(yīng)的空域?qū)拥?碼率為質(zhì)量域總碼率，計(jì)算給定質(zhì)量域總碼率條件下，質(zhì)量域參考 層和質(zhì)量域待編層的量化步長(zhǎng)的值；才艮據(jù)質(zhì)量域參考層和質(zhì)量域4寺 編層的量化步長(zhǎng)的值，分配質(zhì)量域參考層和質(zhì)量域4寺編層的碼率。其中，根據(jù)質(zhì)量域待編層的編碼失真才莫型和碼率模型，以相應(yīng) 的空域?qū)拥拇a率為質(zhì)量域總碼率，計(jì)算給定質(zhì)量域總碼率條件下，
質(zhì)量域參考層和質(zhì)量域待編層的量化步長(zhǎng)的值具體包括根據(jù)質(zhì)量 域待編層的編碼失真模型和碼率模型，建立給定質(zhì)量域總碼率條件 下，質(zhì)量域參考層和質(zhì)量域待編層的編碼失真總和最小的模型；采 用4立格朗日乘凄t法計(jì)算質(zhì)量域參考層和質(zhì)量域4寺編層的編碼失真 總和最小的^t型中，質(zhì)量域參考層和質(zhì)量域4寺編層的量化步長(zhǎng)的 值。
質(zhì)量域參考層和質(zhì)量域待編層的編碼失真總和最小的模型為 <formula>formula see original document page 20</formula>其中，《。和^分別表示質(zhì)量域參考層和質(zhì)量域待編層的量化步長(zhǎng)， q =(^,《)表示質(zhì)量域參考層和質(zhì)量域待編層的最優(yōu)量化矢量，Q表 示質(zhì)量域量化步長(zhǎng)的備選集合，嫂(《。)和Df(《。,A)分別表示質(zhì)量域參 考層和質(zhì)量域待編層的編碼失真值，W^。)和i f&。,^分別表示質(zhì)量 域參考層和質(zhì)量域待編層的碼率，iV^為質(zhì)量域總碼率，w。和^為 4又重因子，且《。+ ,=1。
上述優(yōu)選實(shí)施例4是供了在質(zhì)量域可伸縮維度上進(jìn)行碼率優(yōu)化 分配的具體實(shí)施方案。同空域可伸縮維度上的碼率優(yōu)化分配方案類 似，上述圖1所示的實(shí)施例中的步驟S20、 S30和S40也是一個(gè)遞 歸的過(guò)程，當(dāng)質(zhì)量域可伸縮維度上質(zhì)量域?qū)拥膶悠鄑大于兩層時(shí)，上 述步驟S20、 S30和S40實(shí)際上是一個(gè)循環(huán)。分配各質(zhì)量域?qū)拥拇a 率時(shí)，按照由高到低的順序依次執(zhí)行該循環(huán)過(guò)程即可。其具體的碼 率分配方案與空i或類似，此處不再贅述。優(yōu)選地，在上述的^L頻編碼處理方法中，質(zhì)量i或參考層和質(zhì)量 域待編層分別為質(zhì)量域基本層和質(zhì)量i或增強(qiáng)層。在該優(yōu)選實(shí)施例 中，可按照?qǐng)D1所示的實(shí)施例中的步驟S20、 S30和S40進(jìn)行質(zhì)量 域基本層和質(zhì)量域增強(qiáng)層的碼率優(yōu)化分配。
上述優(yōu)選實(shí)施例充分考慮了 H.264/SVC編碼^沒(méi)計(jì)中各編碼層 間的依賴性，使得在總碼率一定的情況下，各編碼層的失真關(guān)系呈 現(xiàn)此消彼長(zhǎng)的特性。在同時(shí)考慮各編碼層的編碼效率和失真特性的 基礎(chǔ)上，有效地平4釺了各編碼層間的相關(guān)性后，求取碼率的優(yōu)化分 配方案。
上述優(yōu)選實(shí)施例中^f吏用到了具有相關(guān)關(guān)系的編碼層率失真才莫 型，它區(qū)別于以往傳統(tǒng)3見(jiàn)頻編碼中碼率和失真老卩是量化步長(zhǎng)的單變 元函數(shù)。對(duì)于H.264/SVC中具有相關(guān)關(guān)系的編碼層，其碼率和失真 特性都是由參考層和待編層等多個(gè)量化步長(zhǎng)作為變?cè)暮瘮?shù)關(guān)系。 但是需要分別確定每一個(gè)參數(shù)對(duì)于失真和碼率特性的具體影響，對(duì) 多變?cè)瘮?shù)關(guān)系進(jìn)行去相關(guān)操作，從而實(shí)現(xiàn)優(yōu)化問(wèn)題的求解。而對(duì) 于具有相關(guān)性的可伸縮性編碼結(jié)構(gòu)，將多變?cè)穆适д婧瘮?shù)關(guān)系轉(zhuǎn) 化為若干個(gè)單變?cè)瘮?shù)的線性組合，將會(huì)極大地降低碼率分配優(yōu)化 問(wèn)題求解的復(fù)雜性。同時(shí)使用優(yōu)化問(wèn)題進(jìn)行數(shù)值求解，可以得到碼 率分配的優(yōu)化方案，,人而4吏得編碼效率的最大化，進(jìn)一步優(yōu)化了可 伸縮的編碼性能。
圖2示出了根據(jù)本發(fā)明實(shí)施例的視頻編碼處理裝置的示意圖， 該裝置包括空域分配模塊10,用于在空域-質(zhì)量域可伸縮視頻編 碼中，分配各空域?qū)拥拇a率；質(zhì)量域失真^^莫型建立才莫塊20,用于在 各空域?qū)又校ㄟ^(guò)分析質(zhì)量域/f寺編層和質(zhì)量域參考層的編碼失真的 關(guān)系，建立質(zhì)量域待編層的編碼失真模型；質(zhì)量域碼率模型建立模 塊30,用于通過(guò)分析質(zhì)量域待編層和質(zhì)量域參考層的碼率的關(guān)系， 建立質(zhì)量域待編層的碼率模型；質(zhì)量域碼率分配模塊40，用于根據(jù)相應(yīng)的空域?qū)拥拇a率、質(zhì)量域待編層的編碼失真纟莫型和碼率才莫型， 分配質(zhì)量域參考層和質(zhì)量域4寺編層的碼率。
在該優(yōu)選實(shí)施例中由于充分考慮了可伸縮編碼結(jié)構(gòu)引起的各 編碼層間的相關(guān)關(guān)系，通過(guò)對(duì)具有依賴關(guān)系的編碼層建立去相關(guān)的 率失真^^莫型，從而將碼率分配問(wèn)題轉(zhuǎn)化為一個(gè)給定總碼率的前"R下 使得各編碼層的編碼失真總和最小的優(yōu)化問(wèn)題進(jìn)行計(jì)算求解，最終 得到各編碼層的碼率優(yōu)化分配方案，解決了現(xiàn)有4支術(shù)忽略了〗寺編層 與參考層之間編碼的相關(guān)性，損失了一定的編碼效率的問(wèn)題，實(shí)現(xiàn) 了各編碼層次間相關(guān)性基礎(chǔ)上的碼率優(yōu)化分配，能夠使得編碼效率 最大化，進(jìn)一步優(yōu)化了可伸縮編碼的編碼性能。
優(yōu)選地，在上述的4見(jiàn)頻編碼處理裝置中，空域分配才莫塊10包 括空域失真^t型建立單元，用于通過(guò)分析空域待編層和空域參考 層的編碼失真的關(guān)系，建立空域待編層的編碼失真模型；空域碼率 模型建立單元，用于通過(guò)分析空域待編層和空域參考層的碼率的關(guān) 系，建立空域待編層的碼率才莫型；空域碼率分配單元，用于#4居空 域待編層的編碼失真模型和碼率模型，分配空域參考層和空域待編 層的碼率。
其中，空域待編層的編碼失真模型為
<formula>formula see original document page 22</formula>
其中，a和^分別表示空域參考層和空域待編層的量化步長(zhǎng)，a"2。)
和as (q/2)分別表示當(dāng)分別以量化步長(zhǎng)2。和為變?cè)獣r(shí)空域參考
層的編碼失真值，Df (e。,q )表示當(dāng)空域參考層的量化步長(zhǎng)為a 、工
域4寺編層的量化步長(zhǎng)為2,時(shí)空域4寺編層的編碼失真^直，"Q和 為空
域待編層的編碼失真模型參數(shù)，"。表示當(dāng)込=時(shí)空域參考層和空 域待編層之間的編碼失真關(guān)系曲線的斜率值，m表示當(dāng)2。 > 時(shí)空 域參考層和空域4寺編層之間的編碼失真關(guān)系曲線的4牛率值，6和〃 為參考層的編碼失真模型參數(shù)；
空域待編層的碼率模型為
<formula>formula see original document page 23</formula>
其中，O)和Q分別表示空域參考層和空域待編層的量化步長(zhǎng)，
和《(Q/2)分別表示當(dāng)分別以量化步長(zhǎng)2。和2,/2為變?cè)獣r(shí)空域參考
層的碼率，《(e。,e,)表示當(dāng)空域參考層的量化步長(zhǎng)為a、空域待編 層的量化步長(zhǎng)為G時(shí)空域待編層的碼率，空域待編層的碼率模型參
數(shù)"和^分別表示當(dāng)o^Q/2和e,固定時(shí)空域參考層和空域待編層 的碼率呈線性關(guān)系的斜率值，"和"為參考層的碼率模型參數(shù)。
空域碼率分配單元包括空域量化步長(zhǎng)計(jì)算單元，用于#4居空 域待編層的編碼失真模型和碼率模型，計(jì)算給定空域總碼率條件
下，空域參考層和空域待編層的量化步長(zhǎng)的值；空域分配單元，用
于根據(jù)量化步長(zhǎng)的值，分配空域參考層和空域待編層的碼率。
其中，空域量化步長(zhǎng)計(jì)算單元包括第一單元，用于根據(jù)空域 待編層的編碼失真模型和碼率模型，建立給定空域總碼率條件下， 空域參考層和空域待編層的編碼失真總和最小的模型；第二單元，用于采用4立格朗日乘凄t法計(jì)算空域參考層和空域^寺編層的編碼失 真總和最小的模型中，空域參考層和空域待編層的量化步長(zhǎng)的值。
給定空域總碼率條件下，空域參考層和空域待編層的編碼失真
總和最小的模型為
其中，a和Q分別表示空域參考層和空域待編層的量化步長(zhǎng)，
q'=(",")表示空域參考層和空域待編層的最優(yōu)量化矢量，q表示空 域量化步長(zhǎng)的備選集合，d。s必)和"f必,q)分別表示空域參考層和空
域待編層的編碼失真值，《(e。)和/ f (e。，q)分別表示空域參考層和空 域待編層的碼率，為空域總碼率。
上述優(yōu)選實(shí)施例提供了圖2所示的實(shí)施例中的空域分配才莫塊 io的具體實(shí)施方案。通過(guò)對(duì)空域參考層具有依賴關(guān)系的空域待編層 建立去相關(guān)的率失真才莫型，乂人而將空域可伸縮維度上的碼率分配問(wèn) 題轉(zhuǎn)化為一個(gè)給定空域總碼率的前提下使得空域參考層和空域待 編層的編碼失真總和最小的優(yōu)化問(wèn)題進(jìn)行計(jì)算求解，最終得到各空
域?qū)拥拇a率優(yōu)化分配方案，實(shí)現(xiàn)了在空i或可伸縮維度上優(yōu)化分配各
空i或?qū)拥拇a率。
優(yōu)選地，在上述的4見(jiàn)頻編碼處理裝置中，空域參考層和空域4寺 編層分別為空域基本層和空域增強(qiáng)層。在該優(yōu)選實(shí)施例中，可利用
圖2所示的實(shí)施例中的空域分配才莫塊10實(shí)現(xiàn)空域基本層和空域增 強(qiáng)層的碼率的優(yōu)化分配。
優(yōu)選地，在圖2所示的—見(jiàn)頻編碼處理裝置中，
質(zhì)量域待編層的編碼失真^t型為
24其中，《。和^分別表示質(zhì)量域參考層和質(zhì)量域待編層的量化步長(zhǎng)， "卩^。，仏)表示當(dāng)質(zhì)量域參考層的量化步長(zhǎng)為《。、質(zhì)量域待編層的量
化步長(zhǎng)為《時(shí)質(zhì)量域待編層的編碼失真值，D。e(仏)表示當(dāng)以量化步長(zhǎng)
仏為變?cè)獣r(shí)質(zhì)量域參考層的編碼失真值，質(zhì)量域4寺編層的編碼失真 模型參數(shù)&表示當(dāng)g。 =2i時(shí)質(zhì)量域待編層和質(zhì)量域參考層的編碼失
真關(guān)系曲線的斜率值，6和々為參考層的編碼失真模型參數(shù)；
質(zhì)量域待編層的碼率^^莫型為
(9。, A) = W . <) + (附o -附). )
K仏
其中，《。和仏分別表示質(zhì)量域參考層和質(zhì)量域待編層的量化步長(zhǎng)， W (《。,《)表示當(dāng)質(zhì)量域參考層的量化步長(zhǎng)為《。、質(zhì)量域待編層的量化 步長(zhǎng)為仏時(shí)質(zhì)量域待編層的碼率，< )和< (^ )分別表示當(dāng)分別以 量化步長(zhǎng)^和仏為變?cè)獣r(shí)質(zhì)量i或參考層的碼率，質(zhì)量i或4寺編層的碼
率模型參數(shù)附O和^分別表示當(dāng)《0=《1和&固定時(shí)質(zhì)量域參考層和
質(zhì)量域待編層的碼率呈線性關(guān)系的斜率值，"和"為參考層的碼率 模型參數(shù)。
優(yōu)選地，在圖2所示的^L頻編碼處理裝置中，質(zhì)量域碼率分配 才莫塊40包括質(zhì)量域量化步長(zhǎng)計(jì)算單元，用于4艮據(jù)質(zhì)量域4寺編層 的編碼失真^t型和碼率才莫型，以相應(yīng)的空域?qū)拥拇a率為質(zhì)量域總碼 率，計(jì)算給定質(zhì)量域總碼率條件下，質(zhì)量域參考層和質(zhì)量域待編層 的量化步長(zhǎng)的值；質(zhì)量域分配單元，用于才艮據(jù)質(zhì)量域參考層和質(zhì)量 域待編層的量化步長(zhǎng)的值，分配質(zhì)量域參考層和質(zhì)量域待編層的碼 率。其中，質(zhì)量域量化步長(zhǎng)計(jì)算單元包括第三單元，用于#4居質(zhì) 量域待編層的編碼失真模型和碼率模型，建立給定質(zhì)量域總碼率條 件下，質(zhì)量域參考層和質(zhì)量域待編層的編碼失真總和最小的模型； 第四單元，用于采用拉格朗日乘數(shù)法計(jì)算質(zhì)量域參考層和質(zhì)量域待
編層的編碼失真總和最小的^t型中，質(zhì)量域參考層和質(zhì)量域待編層 的量化步長(zhǎng)的值。
質(zhì)量域參考層和質(zhì)量域待編層的編碼失真總和最小的模型為 q* = ("') = A。
)+"卩(《o ， A)]
—腸/ ， -腸/
其中，《。和仏分別表示質(zhì)量域參考層和質(zhì)量域4寺編層的量化步長(zhǎng)，
q、(^,^)表示質(zhì)量域參考層和質(zhì)量域待編層的最優(yōu)量化矢量，Q表 示質(zhì)量域量化步長(zhǎng)的備選集合，^(g。)和Df(^^)分別表示質(zhì)量域參
考層和質(zhì)量域待編層的編碼失真值，/^(《。)和i f(9。,《,;)分別表示質(zhì)量 域參考層和質(zhì)量域待編層的碼率，i ^。,。,為質(zhì)量域總碼率，W和A為
4又重因子，且"。+ 1=1。
上述優(yōu)選實(shí)施例提供了圖2所示的實(shí)施例中的質(zhì)量域失真模型 建立模塊20、質(zhì)量域碼率模型建立模塊30和質(zhì)量域碼率分配模塊 40的具體實(shí)施方案。
優(yōu)選地，在上述的^L頻編碼處理裝置中，質(zhì)量域參考層和質(zhì)量 域待編層分別為質(zhì)量域基本層和質(zhì)量域增強(qiáng)層。在該優(yōu)選實(shí)施例中 可以利用圖2所示的實(shí)施例中的質(zhì)量域失真模型建立模塊20、質(zhì)量 域碼率才莫型建立才莫塊30和質(zhì)量域碼率分配才莫塊40實(shí)現(xiàn)質(zhì)量域基本 層和質(zhì)量域增強(qiáng)層的碼率優(yōu)化分配。
26上述優(yōu)選實(shí)施例充分考慮了 H.264/SVC編碼i殳計(jì)中各編碼層 間的依賴性，使得在總碼率一定的情況下，各編碼層的失真關(guān)系呈 現(xiàn)此消彼長(zhǎng)的特性。在同時(shí)考慮各編碼層的編碼效率和失真特性的 基礎(chǔ)上，有效地平衡了各編碼層間的相關(guān)性后，求取碼率的優(yōu)化分 配方案。
空域-質(zhì)量域二維可伸縮編碼的碼率優(yōu)化分S己，乂人整體上可以分 為以下兩步來(lái)實(shí)J見(jiàn)
第1步，空域可伸縮維度上的碼率優(yōu)化分配
設(shè)2&為空域?qū)拥膶訑?shù)，^為空域?qū)覵L-i的量化步長(zhǎng)，i f (a,…，Q) 和"f(2。,…,G)分別為基于圖像組的空域?qū)覵L-i的碼率模型和編碼失 真模型，該率失真模型與一組量化矢量(G)，…，g,)相關(guān)。對(duì)于一個(gè)待
編碼的圖像組，在給定目標(biāo)碼率i^—;r。fa/的情況下，各空域?qū)拥拇a率
分配問(wèn)題可以描述為
' ws-1
< w廣i
i /=0
其中，必,…,Ov「,)是A^xl向量，向量中的元素是各空域?qū)泳幋a 單元的量化步長(zhǎng)，Q、必,.,.，2;,)為各空域?qū)拥淖顑?yōu)量化矢量，Q是 空域量化步長(zhǎng)的備選集合。
在分析了各空域?qū)又g的相關(guān)性的基礎(chǔ)上，求取各空域?qū)拥拇a
率模型《必,…,Q)和編碼失真模型z^必,…，2,)的數(shù)學(xué)表達(dá)式。解決這
類最優(yōu)化問(wèn)題，通常使用拉格朗日乘數(shù)法，通過(guò)引入拉格朗日乘子
將有約束的優(yōu)化問(wèn)題轉(zhuǎn)化為無(wú)約束的優(yōu)化問(wèn)題進(jìn)行求解，即<formula>formula see original document page 28</formula>(2)
其中，A為拍4各朗日乘子。
7>式(2)的拉格朗日方程可以通過(guò)對(duì)Q求偏孩吏分的方法來(lái)計(jì) 算，使用基于梯度的方法求解偏微分方程組獲得最優(yōu)的數(shù)值解。從 而最終實(shí)現(xiàn)了基于H.264/SVC各空域?qū)娱g相關(guān)性基礎(chǔ)上的碼率優(yōu) 化分配。
第2步，質(zhì)量域可伸縮維度上的碼率優(yōu)化分配
在計(jì)算得到各空域?qū)觾?yōu)化分配的目標(biāo)碼率后，在相應(yīng)分辨率大 小的空域?qū)觾?nèi)，考慮質(zhì)量域可伸縮性維度上各質(zhì)量域?qū)拥拇a率的優(yōu)
在空域?qū)覵L-j中，設(shè)A^為質(zhì)量域?qū)拥膶訑?shù)，^為質(zhì)量域?qū)覶L-i 的量化步長(zhǎng)，《d,…,仏J和《d,…，^.)是基于圖像組的質(zhì)量域?qū)?br> TL-i的碼率和編碼失真才莫型，該率失真函數(shù)關(guān)系是與一組量化矢量 L)相關(guān)。對(duì)于一個(gè)固定分辨率尺寸(即一個(gè)空i或?qū)觾?nèi))的祠: 編碼圖像組，該空域?qū)拥拇a率(在第1步中分配的碼率)即為該空 域?qū)觾?nèi)所有質(zhì)量域?qū)拥目偞a率，設(shè)空域?qū)覵L-j的碼率為^(qj)，各
質(zhì)量域?qū)拥拇a率分配問(wèn)題亦可以描述為
<formula>formula see original document page 28</formula>其中，qj是A^xA^矩陣，向量中的元素是各質(zhì)量域?qū)泳幋a單元
的量化步長(zhǎng)，Q是質(zhì)量域量化步長(zhǎng)的備選集合，w,是權(quán)重因子，代表質(zhì)量域?qū)観L-i在總碼率A(qj)中所占的比例，且^>, =1 。
在分析了各質(zhì)量域?qū)又g的相關(guān)性的基礎(chǔ)上，求取各質(zhì)量域?qū)拥拇a率模型《d,…,^.)和編碼失真模型《如。n》的數(shù)學(xué)表達(dá)
式。同第l步類似，采用拉格朗日乘數(shù)法，通過(guò)引入拉格朗日代價(jià)
函數(shù)，將公式(3)中的有約束最優(yōu)化問(wèn)題轉(zhuǎn)化為一個(gè)等價(jià)的無(wú)約束最優(yōu)化問(wèn)題
其中，A,是拉格朗日乘子。
分別代入各層次的率失真模型，并使用拉格朗日乘數(shù)法進(jìn)行數(shù)
值求解。通過(guò)對(duì)公式(4)中的^求偏微分的方法來(lái)計(jì)算，使用基
于梯度的方法求解偏微分方程組獲得最優(yōu)的數(shù)值解。從而最終實(shí)現(xiàn)了基于H.264/SVC質(zhì)量域各層次間相關(guān)性基礎(chǔ)上碼率的優(yōu)化分配方案。
下面以一個(gè)纟會(huì)定目標(biāo)總碼率i f,，兩層空i或-兩層質(zhì)量i或可伸
縮編碼器的碼率優(yōu)化分配問(wèn)題為例，結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步地描述。
圖3示出了4艮據(jù)本發(fā)明優(yōu)選實(shí)施例一的H.264/SVC中空域-質(zhì)量域二維可伸縮編碼的關(guān)系示意圖，x、 j方向分別表征了沿質(zhì)量域和空域維度的可伸縮性。在空域-質(zhì)量域構(gòu)成的編碼關(guān)系平面中，各
29層編碼單元之間的相關(guān)關(guān)系顯著地影響了總的可伸縮碼流的編碼
效率。由于這種層次間的相關(guān)關(guān)系，每一個(gè)編碼單元o;/)的碼率和失真特性，可以用多變?cè)瘮?shù)凡v.(^),0,...，仏》和Av(w,o,...,《,v)進(jìn)4亍表示。其中^是一個(gè)編碼單元在第/個(gè)質(zhì)量域?qū)?QL-i)和第y'個(gè)空域?qū)?SL-j )的量化步長(zhǎng)。即第(/力編碼單元的率失真特性受到前(/-1)層質(zhì)量域編碼層和前(/'-l)層空域編碼層的率失真特性的影響。問(wèn)題的關(guān)鍵就在于如何將具有相關(guān)性的編碼層的率失真特性進(jìn)行化簡(jiǎn)和去相關(guān)，從而實(shí)現(xiàn)將原有復(fù)雜的多變?cè)适д姹磉_(dá)式進(jìn)4于合理地線性化分解，轉(zhuǎn)化為多個(gè)單變?cè)痶t的線性關(guān)系和。
第一步，空域可伸縮維度上的碼率優(yōu)化分配
在空域可伸縮維度上，空域?qū)佑筛叩降桶沼蛟鰪?qiáng)層(SL-1 )和空域基本層(SL-O)兩層?？沼蚓幋a層的失真特性關(guān)系，可以通過(guò)固定空域增強(qiáng)層的量化步長(zhǎng)G,在改變基本層量化步長(zhǎng)込的條件下，分析增強(qiáng)層的編碼失真與基本層的編碼失真之間的關(guān)系?？沼?br> 增強(qiáng)層的編碼失真模型可以表達(dá)為一個(gè)以込和2,為變?cè)幕緦拥木幋a失真函數(shù)A)的線性關(guān)系和。圖6和圖7分別示出了4艮據(jù)本發(fā)明優(yōu)選實(shí)施例一的采用圖4所示的Foreman序列和圖5所示的Mobile序列作為測(cè)試序列時(shí)，空域增強(qiáng)層的編碼失真Df (込,e，)與空
域基本層的編碼失真AS(2。)之間的函數(shù)關(guān)系。其中，砂為量化參數(shù)，其與量化步長(zhǎng)g相對(duì)應(yīng)(如表1所示)，則砂。與"相對(duì)應(yīng)，奶與g！對(duì)目只于應(yīng)(下同)。
表1
《p0123456"789101112
e(或0.6250.68750.81250.87511.1251.251.3751.6251.752.252.5
砂18243036424851
e(或 《)510204080160224通過(guò)分析該函數(shù)關(guān)系可以得到以下結(jié)論
(l)對(duì)于每個(gè)固定的Q值，當(dāng)"(2。)較小時(shí)，as"，2,)和W(2。)之間存在一個(gè)線性區(qū)域；
由于該線性簇的各分支線段基本保持平行，即斜率接近為一個(gè)常數(shù)，這里假設(shè)線性區(qū)域中所有分支的斜率都相同；
(3 )在經(jīng)過(guò)肌《肌-6之后，失真Df(a,Q)變得平緩，幾乎保持不變，即不再隨2。的變化而變化。當(dāng)^。-奶=6時(shí)，相應(yīng)的量化步長(zhǎng)3皮減半，即2。=0/2。直^L上，對(duì)拐點(diǎn)后的編碼失真關(guān)系曲線趨于平緩的現(xiàn)象可以做如下解釋當(dāng)Q相對(duì)于2。較小時(shí)，空域增強(qiáng)層SL-1的編碼失真^5l由其自身的量化步長(zhǎng)2,有關(guān)。
根據(jù)上述分析可以得到空域增強(qiáng)層SL-1的編碼失真模型為
q . Z)0S (G。 ) + ("。 - A). DoS (Q /2), 2。S 0 /2
其中，wo和 為空域增強(qiáng)層的編碼失真模型參數(shù)，wo是圖6和圖7中的虛線的斜率值，表示當(dāng)Wo-^產(chǎn)6即2。-Q/2時(shí)SL-O和SL-1之間的編碼失真關(guān)系， 是線性區(qū)域內(nèi)各分支線段的斜率值，表示^ o-^ ^6即込> Q/2時(shí)，SL-0和SL-1之間的失真關(guān)系，如圖8所示。
通過(guò)對(duì)大量視頻序列進(jìn)行測(cè)試，重點(diǎn)分析了空域增強(qiáng)層的碼率《(2。，Q)與空域基本層的碼率《(2。)之間的函數(shù)關(guān)系?？梢钥吹揭唤M才妄近平滑不變的直線簇，如圖10和圖11所示，即相鄰兩層之間的碼率相關(guān)性相對(duì)較低。因此，設(shè)計(jì)碼率模型為
31<formula>formula see original document page 32</formula>
其中， 和n分別表示込=和0固定時(shí)空域增強(qiáng)層和空域基
本層的碼率呈線性關(guān)系的斜率值。圖9抽象表示了該碼率模型。
而對(duì)于基本層，使用傳統(tǒng)基于圖像幀的率失真^f莫型，其碼率和
編碼失真函凄t如下
<formula>formula see original document page 32</formula>
其中，"和《為基本層的碼率模型參數(shù)，6和/ 為基本層的編碼失真模型參數(shù)。
將公式(5 )、 ( 6 )和(7 )代入公式(2 )中，得到<formula>formula see original document page 32</formula>
最后，最優(yōu)化問(wèn)題變?yōu)?br> <formula>formula see original document page 32</formula>
只于7>式(9)中各Q和;i分別求取偏樣i分，并聯(lián)立方程i且，進(jìn)4亍凄t值計(jì)算，最后求得空域碼率分配的一組優(yōu)化方案。
第二步，質(zhì)量域可伸縮維度上的碼率優(yōu)化分配
與空域可伸縮維度上的碼率優(yōu)化分配方法類似，在第 一 步中計(jì)算得到了各空域?qū)拥拇a率優(yōu)化分配方案后，在每個(gè)空域?qū)觾?nèi)進(jìn)行各質(zhì)量域?qū)拥拇a率優(yōu)化分配。每個(gè)空域?qū)觾?nèi)由高到低包括質(zhì)量域增強(qiáng)
層(QL-1)和質(zhì)量域基本層(QL-O)。圖12和圖13示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例一的質(zhì)量域增強(qiáng)層的失真特性。在固定質(zhì)量域增強(qiáng)層的量化步長(zhǎng)仏后，調(diào)整質(zhì)量域基本層的量化步長(zhǎng)《。的設(shè)置，分析
質(zhì)量域增強(qiáng)層的編碼失真與質(zhì)量域基本層的編碼失真的函數(shù)關(guān)系。可以觀察到質(zhì)量域基本層與增強(qiáng)層之間存在幾乎不變的平行于jc軸的線性關(guān)系。因此可以將QL-1的編碼失真函凄史表示為
V《(A) (10)
其中，質(zhì)量域增強(qiáng)層的編碼失真模型參數(shù)s()表示《Ar^^即《。=&時(shí)失真關(guān)系的斜率值。這一 簡(jiǎn)單關(guān)系也可以按照信號(hào)分解的原理來(lái)解釋。既然增強(qiáng)層的量化步長(zhǎng)必須比基本層的量化步長(zhǎng)更精細(xì)，否則增強(qiáng)層相對(duì)于原始幀的失真就相對(duì)獨(dú)立于基本層的量化步長(zhǎng)選擇。
質(zhì)量域?qū)拥拇a率特性相比失真特性更為復(fù)雜，需要進(jìn)一步的研究。圖14和圖15示出了才艮據(jù)本發(fā)明優(yōu)選實(shí)施例一的QL-1的碼率與QL-0的碼率的函凄t關(guān)系，其中通過(guò)調(diào)整不同的量化參凄"殳置來(lái)控制產(chǎn)生的碼率。
通過(guò)分析該函數(shù)關(guān)系可以得到以下結(jié)論
(1 )質(zhì)量域增強(qiáng)層的碼率和質(zhì)量域基本層的碼率基本成線性
比例；
(2 )對(duì)于設(shè)置相同的增強(qiáng)層量化步長(zhǎng)^ ,得到的關(guān)系直線具有同樣的斜率，即每個(gè)《,對(duì)應(yīng)的關(guān)系直線都接近于互相平行。
圖16示出了 一個(gè)抽象模型，圖中的實(shí)線表示了當(dāng)QL-0的碼率增高時(shí)，
33QL-1的碼率隨之降低。這是因?yàn)榛緦拥母叽a率減少了將要被編碼到增強(qiáng)層的信息，使得當(dāng)^固定時(shí)，增強(qiáng)層的碼率降低了。
基于以上兩個(gè)結(jié)論，將質(zhì)量域增強(qiáng)層的碼率模型設(shè)計(jì)為以參數(shù)《o和^為評(píng)價(jià)依據(jù)的質(zhì)量域基本層的碼率函數(shù)的線性和。數(shù)學(xué)表達(dá)式為
i ^o， +附,《(9o) + (附o-( 11 )
其中，參數(shù),和^分別表示當(dāng)《『^和&固定時(shí)質(zhì)量域增強(qiáng)層和質(zhì)量域基本層的碼率呈線性關(guān)系的斜率值。
將公式(10 )、 ( 11 )和(7 )代入公式(4 )中，得到
+(《)-叫 & (qj)) + & (《(仏,乂) -一 (qj)),_/ = 0,1最后，最優(yōu)化問(wèn)題變?yōu)?br> J (q,, a')= .《。J + ,v. %.《"
+A K; 《y -叫 A (1))+4 ((i+ )、'4 (13)
對(duì)公式(13)中的^求偏微分，聯(lián)立方程組，并使用基于梯度的方法求解偏樣史分方程組，求得各空域?qū)觾?nèi)的各質(zhì)量域?qū)拥拇a率分配的優(yōu)化方案。
作為所提出的率失真模型的一個(gè)應(yīng)用，上述優(yōu)選實(shí)施例一重點(diǎn)
解決了 H.264/SVC中空域-質(zhì)量域二維可伸縮性編碼的碼率優(yōu)化分配問(wèn)題。將實(shí)現(xiàn)具有相關(guān)性的各層次碼率優(yōu)化分配問(wèn)題設(shè)計(jì)為兩階段的最優(yōu)化問(wèn)題首先，當(dāng)總碼流的目標(biāo)碼率給定時(shí)，為了獲取各
層次的最佳編碼效果，編碼器必須高效地分配碼率纟合每個(gè)空域?qū)樱?br> 其次，對(duì)于每個(gè)空域?qū)樱阎谝徊街杏?jì)算出的相應(yīng)分辨率分配的
碼率值，作為該空域?qū)觾?nèi)所有質(zhì)量域?qū)拥目偞a率，在給定各質(zhì)量域
層最大的分配比例的前提下，求取使得所有質(zhì)量域?qū)拥氖д嬷妥钚〉拇a率分配方案。
上述優(yōu)選實(shí)施例一的碼率分配方法可以4艮容易地推廣到一個(gè)更多層次的場(chǎng)景中。
從以上的描述中，可以看出，本發(fā)明上述的實(shí)施例實(shí)現(xiàn)了如下才支術(shù)效果
系，通過(guò)對(duì)具有依賴關(guān)系的編碼層建立去相關(guān)的率失真才莫型，從而將碼率分配問(wèn)題轉(zhuǎn)化為一個(gè)給定總碼率的前提下^f吏得各編碼層的
編碼失真總和最小的優(yōu)化問(wèn)題進(jìn)行計(jì)算求解，最終得到各編碼層的
碼率優(yōu)化分配方案，解決了現(xiàn)有技術(shù)忽略了待編層與參考層之間編
碼的相關(guān)性，損失了一定的編碼效率的問(wèn)題，實(shí)現(xiàn)了各編碼層次間
相關(guān)性基礎(chǔ)上的碼率優(yōu)化分配，能夠使得編碼效率最大化，進(jìn)一步
伊C化了可伸縮編碼的編碼性能。
顯然，本領(lǐng)域的才支術(shù)人員應(yīng)該明白，上述的本發(fā)明的各才莫塊或各步驟可以用通用的計(jì)算裝置來(lái)實(shí)現(xiàn)，它們可以集中在單個(gè)的計(jì)算裝置上，或者分布在多個(gè)計(jì)算裝置所組成的網(wǎng)絡(luò)上，可選地，它們可以用計(jì)算裝置可執(zhí)行的程序代碼來(lái)實(shí)現(xiàn)，從而，可以將它們存儲(chǔ)
在存儲(chǔ)裝置中由計(jì)算裝置來(lái)執(zhí)行，或者將它們分別制作成各個(gè)集成電路模塊，或者將它們中的多個(gè)模塊或步驟制作成單個(gè)集成電路模塊來(lái)實(shí)現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種視頻編碼處理方法，其特征在于，包括在空域-質(zhì)量域可伸縮視頻編碼中，分配各空域?qū)拥拇a率；在所述各空域?qū)又?，通過(guò)分析質(zhì)量域待編層和質(zhì)量域參考層的編碼失真的關(guān)系，建立所述質(zhì)量域待編層的編碼失真模型；通過(guò)分析質(zhì)量域待編層和質(zhì)量域參考層的碼率的關(guān)系，建立所述質(zhì)量域待編層的碼率模型；根據(jù)相應(yīng)的空域?qū)拥乃龃a率、所述質(zhì)量域待編層的編碼失真模型和碼率模型，分配所述質(zhì)量域參考層和所述質(zhì)量域待編層的碼率。
2. 才艮據(jù)4又利要求1所述的^L頻編碼處理方法，其特征在于，在空 域-質(zhì)量域可伸縮4見(jiàn)頻編碼中，分配各空域?qū)拥拇a率具體包括通過(guò)分析空域待編層和空域參考層的編碼失真的關(guān)系， 建立所述空域待編層的編碼失真沖莫型；通過(guò)分析所述空域待編層和所述空域參考層的碼率的關(guān) 系，建立所述空域待編層的碼率^^莫型；根據(jù)所述空域待編層的編碼失真模型和碼率模型，分配 所述空域參考層和所述空域;f寺編層的碼率。
3. 才艮據(jù)4又利要求2所述的^L頻編碼處理方法，其特征在于，所述空域待編層的編碼失真^f莫型為<formula>formula see original document page 3</formula>其中，a和0分別表示空域參考層和空域待編層的量化步長(zhǎng)， as (e。)和as (Q/2)分別表示當(dāng)分別以量化步長(zhǎng)e。和g,/2為變?cè)獣r(shí)空域參考層的編碼失真值，Z)f (込,g)表示當(dāng)空域參考層的量化步長(zhǎng)為a 、空域待編層的量化步長(zhǎng)為0時(shí)空域待編層的編碼失真值，"o和&為空域待編層的編碼失真沖莫型參凄t， W()表示當(dāng)e。=2, /2時(shí)空域參考層和空域待編層之間的編碼失真關(guān)系曲 線的斜率值，Wl表示當(dāng)a^Q/2時(shí)空域參考層和空域待編層之 間的編碼失真關(guān)系曲線的斜率值，&和々為參考層的編碼失真模型參數(shù)；所述空域待編層的碼率^^莫型為<formula>formula see original document page 3</formula>其中，e。和e,分別表示空域參考層和空域待編層的量化步長(zhǎng)， 《(e。)和《(e,/2)分別表示當(dāng)分別以量化步長(zhǎng)a和g,/2為變?cè)?時(shí)空域參考層的碼率，《(a， g )表示當(dāng)空域參考層的量化步長(zhǎng) 為込、空域待編層的量化步長(zhǎng)為Q時(shí)空域待編層的碼率，空域 待編層的碼率模型參數(shù) 和^分別表示當(dāng)込-Q/2和e,固定時(shí) 空域參考層和空域待編層的碼率呈線性關(guān)系的斜率值，"和a 為參考層的碼率模型參數(shù)。
4. 根據(jù)權(quán)利要求3所述的視頻編碼處理方法，其特征在于，根據(jù) 所述空域待編層的編碼失真^f莫型和碼率^t型，分配所述空域參 考層和所述空域待編層的碼率具體包括根據(jù)所述空域待編層的編碼失真;f莫型和碼率模型，計(jì)算 給定空域總碼率條件下，所述空域參考層和所述空域待編層的 量化步長(zhǎng)的值；^4居所述量化步長(zhǎng)的所述值，分配所述空域參考層和所 述空域;降編層的碼率。
5. 根據(jù)權(quán)利要求4所述的視頻編碼處理方法，其特征在于，根據(jù) 所述空域待編層的編碼失真^f莫型和碼率^^莫型，計(jì)算給定空域總 碼率條件下，所述空域參考層和所述空域待編層的量化步長(zhǎng)的 值具體包括根據(jù)所述空域待編層的編碼失真才莫型和碼率模型，建立 給定空域總碼率條件下，所述空域參考層和所述空域待編層的 編碼失真總和最小的沖莫型；采用拉格朗日乘數(shù)法計(jì)算所述空域參考層和所述空域待 編層的編碼失真總和最小的模型中，所述空域參考層和所述空 域待編層的量化步長(zhǎng)的值。
6. 一艮據(jù)權(quán)利要求5所述的一見(jiàn)頻編碼處理方法，其特征在于，給定 空域總碼率條件下，所述空域參考層和所述空域待編層的編碼 失真總和最小的模型為<formula>formula see original document page 4</formula> 其中，e。和q分別表示空域參考層和空域待編層的量化步長(zhǎng)，Q、必,")表示空域參考層和空域待編層的最優(yōu)量化矢量，Q表示空域量化步長(zhǎng)的備選集合，"必)和Df必,Q)分別表示空 域參考層和空域待編層的編碼失真值，《(e。)和< Q )分別表示空域參考層和空域待編層的碼率，A,。,為空域總碼率。
7. 根據(jù)權(quán)利要求2至6任一項(xiàng)所述的視頻編碼處理方法，其特征 在于，所述空域參考層和所述空域4寺編層分別為空域基本層和 空域增強(qiáng)層。
8. 4艮據(jù)4又利要求1所述的^見(jiàn)頻編碼處理方法，其特征在于，所述質(zhì)量域待編層的編碼失真模型為<formula>formula see original document page 5</formula>其中，g。和仏分別表示質(zhì)量域參考層和質(zhì)量域待編層的量化步 長(zhǎng)，Z^(^,仏)表示當(dāng)質(zhì)量域參考層的量化步長(zhǎng)為9。、質(zhì)量域待 編層的量化步長(zhǎng)為仏時(shí)質(zhì)量域待編層的編碼失真值，嫂(^表 示當(dāng)以量化步長(zhǎng)9,為變?cè)獣r(shí)質(zhì)量域參考層的編碼失真值，質(zhì)量域待編層的編碼失真模型參數(shù)&表示當(dāng)込=Q時(shí)質(zhì)量域待編層 和質(zhì)量域參考層的編碼失真關(guān)系曲線的斜率值，6和々為參考 層的編碼失真模型參數(shù)；所述質(zhì)量域待編層的碼率;f莫型為 <formula>formula see original document page 5</formula>其中，g。和仏分別表示質(zhì)量域參考層和質(zhì)量域待編層的量化步 長(zhǎng)，i^(《。A)表示當(dāng)質(zhì)量域參考層的量化步長(zhǎng)為《。、質(zhì)量域待 編層的量化步長(zhǎng)為&時(shí)質(zhì)量域^f寺編層的碼率， < (《。)和^ (《,)分別表示當(dāng)分別以量化步長(zhǎng)《。和仏為變?cè)獣r(shí)質(zhì)量域參考層的碼率，質(zhì)量i或4寺編層的石馬率才莫型參凄t wo和m分別表示當(dāng)《0=^ 和^固定時(shí)質(zhì)量域參考層和質(zhì)量域待編層的碼率呈線性關(guān)系 的斜率值，"和《為參考層的碼率模型參數(shù)。
9. 根據(jù)權(quán)利要求8所述的視頻編碼處理方法，其特征在于，根據(jù) 相應(yīng)的空域?qū)拥乃龃a率、所述質(zhì)量域待編層的編碼失真模型 和碼率沖莫型，分配所述質(zhì)量域參考層和所述質(zhì)量域待編層的碼率具體包括根據(jù)所述質(zhì)量域待編層的編碼失真模型和碼率模型，以 所述相應(yīng)的空域?qū)拥乃龃a率為質(zhì)量域總碼率，計(jì)算給定所述 質(zhì)量域總碼率條件下，所述質(zhì)量域參考層和所述質(zhì)量域待編層 的量化步長(zhǎng)的值；#4居所述質(zhì)量域參考層和所述質(zhì)量域待編層的量化步長(zhǎng) 的值，分配所述質(zhì)量i或參考層和所述質(zhì)量域纟寺編層的碼率。
10. 根據(jù)權(quán)利要求9所述的視頻編碼處理方法，其特征在于，根據(jù) 所述質(zhì)量域待編層的編碼失真模型和碼率模型，以所述相應(yīng)的 空域?qū)拥乃龃a率為質(zhì)量域總碼率，計(jì)算給定所述質(zhì)量域總碼 率條件下，所述質(zhì)量域參考層和所述質(zhì)量域待編層的量化步長(zhǎng) 的值具體包4舌根據(jù)所述質(zhì)量域待編層的編碼失真模型和碼率模型，建 立給定所述質(zhì)量域總碼率條件下，所述質(zhì)量域參考層和所述質(zhì) 量域待編層的編碼失真總和最小的^f莫型；采用拉格朗日乘凄t法計(jì)算所述質(zhì)量域參考層和所述質(zhì)量 域待編層的編碼失真總和最小的模型中，所述質(zhì)量域參考層和 所述質(zhì)量域待編層的量化步長(zhǎng)的值。
11. 才艮據(jù)4又利要求10所述的^L頻編碼處理方法，其特4正在于，所 述質(zhì)量域參考層和所述質(zhì)量域待編層的編碼失真總和最小的 模型為<formula>formula see original document page 7</formula>其中，《。和A分別表示質(zhì)量i或參考層和質(zhì)量域4寺編層的量化步長(zhǎng)，q' =(^,<)表示質(zhì)量域參考層和質(zhì)量^ 待編層的最優(yōu)量化矢量，Q表示質(zhì)量域量化步長(zhǎng)的備選集合，W(《。)和Df(^^)分別 表示質(zhì)量域參考層和質(zhì)量域待編層的編碼失真值，i f^。)和^&。,仏)分別表示質(zhì)量域參考層和質(zhì)量域待編層的碼率， 為質(zhì)量域總碼率，^和w,為^又重因子，且《。+ 1=1。
12. 4艮據(jù)片又利要求8至11任一項(xiàng)所述的3見(jiàn)頻編碼處理方法，其特 征在于，所述質(zhì)量域參考層和所述質(zhì)量i或待編層分別為質(zhì)量域 基本層和質(zhì)量域增強(qiáng)層。
13. —種視頻編碼處理裝置，其特征在于，包括空域分配模塊，用于在空域-質(zhì)量i或可伸縮碎見(jiàn)頻編碼中， 分配各空域?qū)拥拇a率；質(zhì)量域失真模型建立才莫塊，用于在所述各空域?qū)又?，?過(guò)分析質(zhì)量域待編層和質(zhì)量域參考層的編碼失真的關(guān)系，建立 所述質(zhì)量域待編層的編碼失真模型；質(zhì)量域碼率模型建立纟莫塊，用于通過(guò)分析質(zhì)量域待編層 和質(zhì)量域參考層的碼率的關(guān)系，建立所述質(zhì)量域待編層的碼率 模型；質(zhì)量域碼率分配才莫塊，用于根據(jù)相應(yīng)的空域?qū)拥乃龃a 率、所述質(zhì)量域待編層的編碼失真^t型和碼率^t型，分配所述 質(zhì)量域參考層和所述質(zhì)量域待編層的碼率。
14. 4艮據(jù)一又利要求13所述的一見(jiàn)頻編碼處理裝置，其特4正在于，所述空域分配^莫塊包4舌空域失真模型建立單元，用于通過(guò)分析空域待編層和空 域參考層的編碼失真的關(guān)系，建立所述空域待編層的編碼失真 模型；空域碼率模型建立單元，用于通過(guò)分析所述空域待編層 和所述空域參考層的碼率的關(guān)系，建立所述空域;降編層的碼率 模型；空域碼率分配單元，用于才艮據(jù)所述空i或4寺編層的編碼失 真才莫型和碼率模型，分配所述空域參考層和所述空域待編層的 碼率。
15. 根據(jù)權(quán)利要求14所述的視頻編碼處理裝置，其特征在于，所 述空域碼率分配單元包括空域量化步長(zhǎng)計(jì)算單元，用于才艮據(jù)所述空域待編層的編 碼失真模型和碼率模型，計(jì)算給定空域總碼率條件下，所述空 域參考層和所述空域待編層的量化步長(zhǎng)的值；空域分配單元，用于根據(jù)所述量化步長(zhǎng)的所述值，分配 所述空域參考層和所述空域待編層的碼率。
16. 4艮據(jù)一又利要求15所述的纟見(jiàn)頻編碼處理裝置，其特4正在于，所 述空域量化步長(zhǎng)計(jì)算單元包4舌第一單元，用于根據(jù)所述空域待編層的編碼失真模型和 碼率模型，建立給定空域總碼率條件下，所述空域參考層和所述空域待編層的編碼失真總和最小的才莫型；第二單元，用于采用拍:4各朗日乘凄t法計(jì)算所述空域參考層和所述空域待編層的編碼失真總和最小的模型中，所述空域 參考層和所述空域4寺編層的量化步長(zhǎng)的值。
17. 根據(jù)權(quán)利要求14所述的視頻編碼處理裝置，其特征在于，所 述質(zhì)量域碼率分配才莫塊包4舌質(zhì)量域量化步長(zhǎng)計(jì)算單元，用于4艮據(jù)所述質(zhì)量域待編層 的編碼失真^t型和碼率模型，以所述相應(yīng)的空域?qū)拥乃龃a率 為質(zhì)量域總碼率，計(jì)算給定所述質(zhì)量域總碼率條件下，所述質(zhì) 量域參考層和所述質(zhì)量域4寺編層的量^b步長(zhǎng)的4直；質(zhì)量域分配單元，用于才艮據(jù)所述質(zhì)量域參考層和所述質(zhì) 量域待編層的量化步長(zhǎng)的4直，分配所述質(zhì)量域參考層和所述質(zhì) 量域待編層的碼率。
18. 根據(jù)權(quán)利要求17所述的視頻編碼處理裝置，其特征在于，所 述質(zhì)量域量化步長(zhǎng)計(jì)算單元包括第三單元，用于根據(jù)所述質(zhì)量域待編層的編碼失真模型 和碼率模型，建立給定所述質(zhì)量域總碼率條件下，所述質(zhì)量域參考層和所述質(zhì)量域待編層的編碼失真總和最小的模型；第四單元，用于采用^i格朗日乘凄t法計(jì)算所述質(zhì)量域參 考層和所述質(zhì)量域待編層的編碼失真總和最小的模型中，所述 質(zhì)量域參考層和所述質(zhì)量i或4寺編層的量化步長(zhǎng)的 <直。
全文摘要
本發(fā)明提供了一種視頻編碼處理方法，包括在空域-質(zhì)量域可伸縮視頻編碼中，分配各空域?qū)拥拇a率；在各空域?qū)又?，通過(guò)分析質(zhì)量域待編層和質(zhì)量域參考層的編碼失真的關(guān)系，建立質(zhì)量域待編層的編碼失真模型；通過(guò)分析質(zhì)量域待編層和質(zhì)量域參考層的碼率的關(guān)系，建立質(zhì)量域待編層的碼率模型；根據(jù)相應(yīng)的空域?qū)拥拇a率、質(zhì)量域待編層的編碼失真模型和碼率模型，分配質(zhì)量域參考層和質(zhì)量域待編層的碼率。本發(fā)明還提供了一種視頻編碼處理裝置。本發(fā)明實(shí)現(xiàn)了各編碼層次間相關(guān)性基礎(chǔ)上的碼率優(yōu)化分配，能夠使得編碼效率最大化，進(jìn)一步優(yōu)化了可伸縮編碼的編碼性能。
文檔編號(hào)H04N7/24GK101562740SQ20091008514
公開(kāi)日2009年10月21日 申請(qǐng)日期2009年6月2日 優(yōu)先權(quán)日2009年6月2日
發(fā)明者劉家瑛, 品 呂, 郭宗明 申請(qǐng)人:北京大學(xué);北大方正集團(tuán)有限公司;北京北大方正電子有限公司