一種用于hevc的編碼模式選擇方法
【專利摘要】本發(fā)明公開(kāi)了一種用于HEVC的編碼模式選擇方法，根據(jù)當(dāng)前編碼圖像內(nèi)容的空時(shí)域特征，對(duì)HEVC編碼中CTU劃分、CU編碼模式和PU幀間編碼模式進(jìn)行預(yù)判，減小HEVC框架中模式選擇的遍歷數(shù)量。從而在不影響圖像編碼質(zhì)量的前提下，提高HEVC的編碼效率。本發(fā)明方法輸出的碼流符合HEVC標(biāo)準(zhǔn)，且可進(jìn)一步結(jié)合人眼視覺(jué)感知特性，實(shí)現(xiàn)編碼模式選擇，提高編碼圖像的主觀質(zhì)量。
【專利說(shuō)明】—種用于HEVC的編碼模式選擇方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于視頻編碼和處理領(lǐng)域，具體涉及HEVC (High Efficiency VideoCoding,高效視頻編碼)編碼模式選擇方法的研究。
【背景技術(shù)】
[0002]傳統(tǒng)視頻編碼技術(shù)，如H.264等在高清(1080P)及超高清(2K、4K)視頻編碼需求下，其編碼生成的數(shù)據(jù)率急劇增長(zhǎng)，這給視頻數(shù)據(jù)的存儲(chǔ)、網(wǎng)絡(luò)傳輸帶來(lái)了巨大沖擊，現(xiàn)有的編碼技術(shù)已經(jīng)難以適應(yīng)。因此具有更好壓縮率的編碼技術(shù)的提出勢(shì)在必行。為解決這一問(wèn)題，JCT-VC (Joint Collaborative Team on Video Coding)工作組制定了具有更高的壓縮效率的新一代視頻壓縮HEVC (High Efficiency Video Coding)。HEVC視頻編碼框架，在編碼效率等方面已經(jīng)取得了極大提高。與現(xiàn)有編碼標(biāo)準(zhǔn)H.264/AVC相比，在重建圖像客觀質(zhì)量相同的情況下，HEVC的編碼碼率可以節(jié)省50%左右。
[0003]雖然HEVC編碼框架具備了優(yōu)秀的壓縮效率，但是其編碼效率的提高是通過(guò)對(duì)現(xiàn)有編碼框架中的全部編碼模塊進(jìn)行技術(shù)改進(jìn)或創(chuàng)新，累加每個(gè)編碼模塊的效率，從而最終實(shí)現(xiàn)了整體編碼效率的大幅提升。編碼器必須在眾多靈活的編碼參數(shù)中進(jìn)行優(yōu)化選擇，才能充分發(fā)揮編碼工具的壓縮效率。而HEVC編碼框架中采用了搜索式的率失真優(yōu)化模式選擇方法，其遍歷搜索過(guò)程帶來(lái)了巨大的計(jì)算復(fù)雜度。另一方面，傳統(tǒng)視頻壓縮方法主要基于信息論，從預(yù)測(cè)結(jié)構(gòu)的角度出發(fā)，減少視頻中的時(shí)間、空間冗余，但沒(méi)有充分考慮過(guò)人眼的視覺(jué)冗余，隨著對(duì)人眼視覺(jué)感知特性認(rèn)識(shí)的深入和相關(guān)計(jì)算模型準(zhǔn)確性的提高，視頻中的主觀視覺(jué)冗余不斷被發(fā)現(xiàn)。因此如何設(shè)計(jì)高效的HEVC模式選擇方法，并進(jìn)一步結(jié)合感知的視頻編碼方法，將其有效地與基于信息論的混合編碼框架結(jié)合，實(shí)現(xiàn)在保證視頻主觀質(zhì)量前提下降低編碼復(fù)雜度、提高編碼圖像主觀質(zhì)量，是目前視頻編碼領(lǐng)域極有潛力的應(yīng)用方向之一。

【發(fā)明內(nèi)容】

[0004]鑒于上述情況，本發(fā)明的目的是提出一種用于HEVC的編碼模式選擇方法，使之改善現(xiàn)有技術(shù)的不足，在減少編碼復(fù)雜度的同時(shí)提高視頻編碼主觀質(zhì)量。本發(fā)明的目的是通過(guò)以下手段實(shí)現(xiàn)的。
[0005]一種用于HEVC的編碼模式選擇方法，根據(jù)當(dāng)前編碼圖像內(nèi)容的空時(shí)域特征，對(duì)HEVC編碼中CTU劃分、CU編碼模式和I3U幀間編碼模式進(jìn)行預(yù)判，減小HEVC框架中模式選擇的遍歷數(shù)量。從而在不影響圖像編碼質(zhì)量的前提下，提高HEVC的編碼效率。所述實(shí)現(xiàn)方法具體包括包含:
[0006]A.根據(jù)當(dāng)前編碼圖像內(nèi)容的空時(shí)域特征，建立編碼模式預(yù)判模型；
[0007]B.根據(jù)步驟A的編碼模式預(yù)判模型，對(duì)當(dāng)前CTU的四叉樹(shù)CU劃分進(jìn)行篩選，確定其候選的劃分方式；
[0008]C.根據(jù)步驟A的編碼模式預(yù)判模型，對(duì)步驟B中CU候選劃分方式中所有CU依次執(zhí)行編碼模式選擇，包括:CU、PU預(yù)測(cè)編碼模式篩選；基于率失真優(yōu)化的編碼模式遍歷擇優(yōu)；基于率失真優(yōu)化的TU劃分、變換與量化；
[0009]D.根據(jù)步驟C中各CU的最佳編碼結(jié)果，對(duì)當(dāng)前CTU進(jìn)行基于率失真優(yōu)化的最佳⑶劃分選擇。
[0010]E.根據(jù)步驟C和D中CU和CTU的最佳編碼模式，更新步驟A的編碼模式預(yù)判模型參數(shù)；
[0011]步驟A的具體方法為，根據(jù)輸入圖像紋理、亮度、時(shí)域運(yùn)動(dòng)信息，建立編碼模式預(yù)判模型，然后將圖像劃分為多個(gè)等大小CTU。其中編碼模式預(yù)判模型既可以采用傳統(tǒng)圖像紋理梯度等傳統(tǒng)客觀特征信息，又可采用結(jié)合人眼主觀感知特性的特征信息，如:恰可知失真(Just Noticeable Distortion, JND)或結(jié)構(gòu)相似度(Structural Similarity, SSIM)等。
[0012]步驟B的具體方法為，根據(jù)步驟A中所述編碼模式預(yù)判模型，對(duì)CTU的四叉樹(shù)劃分方式進(jìn)行篩選，得到當(dāng)前一種或多種候選劃分方式，并開(kāi)始CTU四叉樹(shù)劃分遍歷過(guò)程，其實(shí)現(xiàn)方法既可采用統(tǒng)計(jì)學(xué)方法實(shí)現(xiàn)，亦可采用機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)。
[0013]步驟C的具體方法為，根據(jù)步驟B中得到的CTU候選CU劃分，首先根據(jù)步驟A的編碼模式預(yù)判模型，對(duì)當(dāng)前CU劃分的預(yù)測(cè)編碼模式進(jìn)行篩選，其篩選范圍是該CU的候選預(yù)測(cè)模式范圍，具體包括:幀間預(yù)測(cè)、幀內(nèi)預(yù)測(cè)、PCM編碼，在該篩選范圍內(nèi)確定其候選的編碼模式；然后遍歷當(dāng)前CU的候選預(yù)測(cè)編碼模式，通過(guò)率失真優(yōu)化選擇最佳的預(yù)測(cè)編碼結(jié)果。當(dāng)采用幀間非SKIP模式預(yù)測(cè)時(shí)，先根據(jù)步驟A中的編碼模式預(yù)判模型對(duì)劃分進(jìn)行篩選，篩選范圍為CU所有可能的PU劃分方法與所有參考幀，確定候選的PU劃分范圍與參考幀遍歷候選范圍，然后在候選劃分中進(jìn)行基于率失真優(yōu)化的遍歷擇優(yōu)；當(dāng)采用幀內(nèi)、幀間SKIP、或PCM模式，直接采用基于率失真優(yōu)化的遍歷擇優(yōu)；最后根據(jù)當(dāng)前CU率失真優(yōu)化的預(yù)測(cè)結(jié)果得到其預(yù)測(cè)殘差圖像，并對(duì)殘差進(jìn)行基于率失真優(yōu)化的TU劃分、變換與量化。
[0014]步驟C與步驟D中 涉及到了兩次率失真優(yōu)化過(guò)程，第一次為預(yù)測(cè)編碼時(shí)，第二次為T(mén)U變換編碼時(shí)，可進(jìn)一步結(jié)合人眼感知特性，在預(yù)測(cè)編碼時(shí)使基于感知的預(yù)測(cè)編碼
?心丨 J"pred，perceptual
替代原有基于SAD或SATD的預(yù)測(cè)編碼代價(jià)Jpred,
SAD、Jpred, SATD 進(jìn)行優(yōu)化選
擇，并且在量化編碼時(shí)采用基于感知的模式選擇代價(jià)Jimperceptual替代傳統(tǒng)基于SSE的模式選擇代價(jià)Jmmte進(jìn)行率失真優(yōu)化。
[0015]以上未提及的編碼過(guò)程均按照標(biāo)準(zhǔn)HEVC規(guī)定實(shí)現(xiàn)，包括:步驟2)中所述對(duì)⑶進(jìn)行幀內(nèi)編碼、PCM編碼、幀間SKIP編碼過(guò)程，步驟3)中殘差塊的四叉樹(shù)TU劃分遍歷、變換，及量化編碼過(guò)程。
[0016]與現(xiàn)有技術(shù)相比，采用本發(fā)明的HEVC編碼模式選擇方法，在保證編碼碼流符合HEVC標(biāo)準(zhǔn)的前提下，對(duì)CTU四叉樹(shù)劃分、CU的PU劃分及編碼模式選擇、I3U幀間編碼模式選擇等進(jìn)行了優(yōu)化，極大減小了 HEVC框架中遍歷選擇的計(jì)算復(fù)雜度，并且在所有編碼過(guò)程中均可進(jìn)一步結(jié)合基于主觀率失真代價(jià)的編碼模式選擇方法，從而提高編碼主觀質(zhì)量。本發(fā)明模式選擇方法能夠比HEVC框架的模式選擇方法提供更快的編碼速度，更好的視頻圖像主觀質(zhì)量。
[0017]【專利附圖】

【附圖說(shuō)明】如下:
[0018]圖1是現(xiàn)有HEVC的編碼框架圖
[0019]圖2是本發(fā)明HEVC模式選擇方法的編碼框架圖[0020]圖3是HEVC的CTU迭代編碼流程
[0021 ] 圖4是本發(fā)明HEVC模式選擇方法的CTU迭代編碼流程
【具體實(shí)施方式】
[0022]下面結(jié)合附圖和具體的實(shí)施方式對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明。
[0023]圖1所示是現(xiàn)有的HEVC編碼框架，其采用了基于塊的混合編碼框架。待編碼圖像首先被劃分為編碼樹(shù)單元(CTU)，然后依次對(duì)每個(gè)CTU進(jìn)行:CTU四叉樹(shù)劃分方式選擇、CU編碼模式遍歷選擇、TU劃分方式選擇以及變換/量化、率失真優(yōu)化計(jì)算、熵編碼等編碼過(guò)程。最后輸出編碼后的二進(jìn)制比特流。這種編碼框架在上述編碼過(guò)程中每一步都有大量的編碼模式可以選擇，每種劃分方式下均需要進(jìn)行運(yùn)動(dòng)預(yù)測(cè)并計(jì)算其失真代價(jià)?？梢?jiàn)，標(biāo)準(zhǔn)HEVC編碼框架的遍歷式編碼模式搜索給編碼器帶來(lái)了沉重的計(jì)算復(fù)雜度。
[0024]圖2是本發(fā)明HEVC模式選擇方法的編碼框架，此編碼框架下在每一幀或每個(gè)CTU開(kāi)始編碼前，首先需對(duì)其紋理、亮度、運(yùn)動(dòng)等信息進(jìn)行分析，建立編碼模式預(yù)判模型。針對(duì)CTU靈活劃分、CU編碼、TU編碼等過(guò)程中不再遍歷所有可能的編碼參數(shù)組合，而是預(yù)先對(duì)所有參數(shù)組合進(jìn)行篩選，在獲得一個(gè)或多個(gè)參數(shù)組合形成的小集合中再進(jìn)行遍歷選擇，并且采用結(jié)合基于人眼感知特性的失真度量方式，進(jìn)一步進(jìn)行基于感知的率失真性能優(yōu)化，從而在相同碼率下獲得更佳的主觀圖像編碼質(zhì)量。
[0025]圖3所示是標(biāo)準(zhǔn)HEVC的CTU迭代編碼流程，因?qū)嶋H編碼過(guò)程中，CTU四叉樹(shù)劃分、PU預(yù)測(cè)編碼、TU量化編碼等過(guò)程混合在一個(gè)迭代過(guò)程中實(shí)現(xiàn)，因此需要進(jìn)一步詳細(xì)說(shuō)明本發(fā)明編碼CTU的CU劃分方式篩選的編碼步驟。HEVC框架中，對(duì)于當(dāng)前劃分深度的CTU，需要依次對(duì)幀間SKIP編碼、幀間非SKIP編碼、幀內(nèi)編碼、PCM編碼的率失真代價(jià)進(jìn)行遍歷，并在遍歷結(jié)束后才能得到當(dāng)前深度下CTU最小率失真代價(jià)的編碼模式，然后才進(jìn)行下一個(gè)深度的CTU四叉樹(shù)劃分，并重復(fù)上述遍歷過(guò)程。其中Early_SKIP滿足條件為:Inter_2Nx2N劃分方式下，當(dāng)前深度CTU的幀間預(yù)測(cè)得到的運(yùn)動(dòng)矢量預(yù)測(cè)差值為(0，0)，同時(shí)此模式下對(duì)應(yīng)的TU變換系數(shù)不含有非零值。Early_CU滿足條件為:結(jié)束CTU當(dāng)前深度CU的預(yù)測(cè)模式遍歷后，幀間SKIP模式為最佳臨時(shí)編碼模式。
[0026]圖4所示是本發(fā)明HEVC模式選擇方法的CTU迭代編碼流程，在進(jìn)行CTU當(dāng)前深度CU劃分方式的預(yù)測(cè)模式遍歷前，判斷當(dāng)前深度是否屬于由候選深度，其中候選深度為編碼模式預(yù)判模型得到的該CTU候選CU劃分方式。如果滿足，則繼續(xù)當(dāng)前深度CU劃分方式的預(yù)測(cè)模式遍歷，否則直接判斷是否需要進(jìn)行下一深度CU劃分方式的預(yù)測(cè)模式遍歷。同時(shí)在預(yù)測(cè)模式遍歷過(guò)程中對(duì)當(dāng)前CU劃分的預(yù)測(cè)編碼模式進(jìn)行篩選，其篩選范圍是該CU的候選預(yù)測(cè)模式范圍，具體包括:幀間預(yù)測(cè)、幀內(nèi)預(yù)測(cè)、PCM編碼。當(dāng)采用幀間非SKIP模式預(yù)測(cè)時(shí)，先根據(jù)步驟A中的編碼模式預(yù)判模型對(duì)劃分進(jìn)行篩選，篩選范圍為CU所有可能的劃分方法與所有參考幀，確定候選的PU劃分范圍與參考幀遍歷候選范圍，然后在候選劃分中進(jìn)行基于率失真優(yōu)化的遍歷擇優(yōu)；當(dāng)采用幀內(nèi)、幀間SKIP、或PCM模式，直接采用基于率失真優(yōu)化的遍歷擇優(yōu)。通過(guò)上述方法，極大降低在各編碼層次中因依次遍歷各種編碼模式所帶來(lái)的計(jì)算復(fù)雜度。
[0027]實(shí)施例
[0028]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0029]本說(shuō)明書(shū)(包括任何附加權(quán)利要求和摘要)中公開(kāi)的任一特征，除非特別敘述，均可被其他等效或者具有類似目的的替代特征加以替換。即，除非特別敘述，每個(gè)特征只是一系列等效或類似特征中的一個(gè)例子而已。
[0030]采用圖2所示的本發(fā)明HEVC模式選擇方法的編碼框架，其輸出碼流可適用于任何標(biāo)準(zhǔn)HEVC解碼器?，F(xiàn)以某個(gè)視頻序列的某一幀圖像編碼過(guò)程為例，其編碼步驟依次是:
[0031]I)根據(jù)當(dāng)前編碼圖像內(nèi)容的空時(shí)域特征，建立編碼模式預(yù)判模型。本實(shí)施例中，采用基于JND模型的失真度估計(jì)模型為基礎(chǔ)的編碼模式預(yù)判模型，因此需要首先建立編碼模式失真度估計(jì)模型，具體方法為:
[0032]a.首先根據(jù)人眼主觀感知JND模型給出視覺(jué)敏感度計(jì)算模型估計(jì)當(dāng)前待編碼圖像的視覺(jué)敏感度ω (i, j)模型。
【權(quán)利要求】
1.一種用于HEVC的編碼模式選擇方法,其特征在于,包含: A.根據(jù)當(dāng)前編碼圖像內(nèi)容的空時(shí)域特征，建立編碼模式預(yù)判模型； B.根據(jù)步驟A的編碼模式預(yù)判模型，對(duì)當(dāng)前CTU的四叉樹(shù)CU劃分進(jìn)行篩選，確定其候選的劃分方式； C.根據(jù)步驟A的編碼模式預(yù)判模型，對(duì)步驟B中CU候選劃分方式中所有CU依次執(zhí)行編碼模式選擇，包括:cu、ro預(yù)測(cè)編碼模式篩選；基于率失真優(yōu)化的編碼模式遍歷擇優(yōu)；基于率失真優(yōu)化的TU劃分、變換與量化； D.根據(jù)步驟C中各CU的最佳編碼結(jié)果，對(duì)當(dāng)前CTU進(jìn)行基于率失真優(yōu)化的最佳CU劃分選擇； E.根據(jù)步驟C和D中CU和CTU的最佳編碼模式，更新步驟A的編碼模式預(yù)判模型參數(shù)。
2.根據(jù)權(quán)利要求1所述的一種用于HEVC的編碼模式選擇方法，其特征在于，步驟A中所述編碼模式預(yù)判模型，具體為通過(guò)統(tǒng)計(jì)圖像紋理、亮度、時(shí)域運(yùn)動(dòng)等空時(shí)域特征信息，并結(jié)合編碼配置參數(shù)信息，采用機(jī)器學(xué)習(xí)或統(tǒng)計(jì)學(xué)方法建模得到。
3.根據(jù)權(quán)利要求2所述的一種用于HEVC的編碼模式選擇方法，其特征在于，圖像空時(shí)域特征信息既可以采用傳統(tǒng)圖像紋理梯度等傳統(tǒng)客觀特征信息，又可采用結(jié)合人眼主觀感知特性的特征信息，如:恰可知失真Just Noticeable Distortion, JND或結(jié)構(gòu)相似度Structural Similarity, SSIM0
4.根據(jù)權(quán)利要求3所述的一種用于HEVC的編碼模式選擇方法，其特征在于，可采用結(jié)合基于人眼感知特性的失真度量方式，進(jìn)一步進(jìn)行基于感知的率失真性能優(yōu)化，從而在相同碼率下獲得更佳的主觀圖像編碼質(zhì)量。
5.根據(jù)權(quán)利要求1所述的一種用于HEVC的編碼模式選擇方法，其特征在于，步驟B中所述CTU的四叉樹(shù)CU劃分方式篩選方法，具體篩選內(nèi)容為該CTU的候選劃分方式。
6.根據(jù)權(quán)利要求1所述的一種用于HEVC的編碼模式選擇方法，其特征在于，步驟C的具體方法為:1)根據(jù)步驟A的編碼模式預(yù)判模型，對(duì)當(dāng)前CU劃分的預(yù)測(cè)編碼模式進(jìn)行篩選，確定其候選的編碼模式；2)遍歷當(dāng)前CU的候選預(yù)測(cè)編碼模式，通過(guò)率失真優(yōu)化選擇最佳的預(yù)測(cè)編碼結(jié)果；當(dāng)采用幀間非SKIP模式預(yù)測(cè)時(shí)，先根據(jù)步驟A中的編碼模式預(yù)判模型對(duì)PU劃分進(jìn)行篩選，確定一種或多種候選劃分模式；然后在候選劃分中進(jìn)行基于率失真優(yōu)化的遍歷擇優(yōu)；當(dāng)采用幀內(nèi)、幀間SKIP、或PCM模式，直接采用基于率失真優(yōu)化的遍歷擇優(yōu)；3)根據(jù)當(dāng)前CU率失真優(yōu)化的預(yù)測(cè)結(jié)果得到其預(yù)測(cè)殘差圖像，并對(duì)殘差進(jìn)行基于率失真優(yōu)化的TU劃分、變換與量化。
7.根據(jù)權(quán)利要求6所述的一種用于HEVC的編碼模式選擇方法，其特征在于，步驟I)中所述CU的預(yù)測(cè)編碼模式篩選方法，具體篩選內(nèi)容為該CU的候選預(yù)測(cè)模式范圍，具體包括:幀間預(yù)測(cè)、幀內(nèi)預(yù)測(cè)、PCM編碼；其步驟2)中所述的CU的PU劃分方式篩選方法，具體篩選內(nèi)容為候選PU劃分方法與參考巾貞遍歷候選范圍。
8.根據(jù)權(quán)利要求1所述的一種用于HEVC的編碼模式選擇方法，其特征在于，所述編碼過(guò)程均按照標(biāo)準(zhǔn)HEVC規(guī)定實(shí)現(xiàn)，包括:步驟2)中所述對(duì)⑶進(jìn)行幀內(nèi)編碼、PCM編碼、幀間SKIP編碼過(guò)程，步驟3)中殘差塊的四叉樹(shù)TU劃分遍歷、變換，及量化編碼過(guò)程。
【文檔編號(hào)】H04N19/109GK103873861SQ201410062799
【公開(kāi)日】2014年6月18日 申請(qǐng)日期:2014年2月24日 優(yōu)先權(quán)日:2014年2月24日
【發(fā)明者】閆川, 彭強(qiáng), 劉翔凱, 任健鵬, 蔡成能 申請(qǐng)人:西南交通大學(xué)