專利名稱：一種樹形塊結(jié)構(gòu)及多幀參考的運(yùn)動估計(jì)方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼技術(shù)領(lǐng)域，特別是一種樹形塊結(jié)構(gòu)及多幀參考的運(yùn)動估計(jì)方法和裝置。
背景技術(shù)：
隨著多媒體技術(shù)的飛速發(fā)展和廣泛應(yīng)用，各種視頻數(shù)據(jù)得到越來越廣泛的應(yīng)用。由于原始視頻數(shù)據(jù)所需帶寬極大，同時(shí)又具有很大的冗余性，因此通常通過編碼壓縮后再存儲或傳輸。視頻編碼計(jì)算復(fù)雜度龐大，要求對編碼過程采用加速算法。
視頻編碼從80年代末開始，從MPEG-1、H.261到現(xiàn)在的MPEG-4、H.264已經(jīng)有很長的研究歷史，提出了很多國際標(biāo)準(zhǔn)，但是基本思想仍然是分塊壓縮和運(yùn)動估計(jì)。由于軟件編碼速度慢的劣勢，在實(shí)時(shí)性要求高的環(huán)境下多采用硬件編碼，針對視頻編碼的特點(diǎn)已提出了很多硬件的優(yōu)化加速算法。但是H.264樹形塊結(jié)構(gòu)及多幀參考的運(yùn)動估計(jì)的提出，在提高編碼效率的同時(shí)，也增大了計(jì)算復(fù)雜度，在大畫面情況下傳統(tǒng)的硬件加速算法已不能滿足實(shí)時(shí)性的要求，因此需要提出新的硬件優(yōu)化加速算法，降低計(jì)算復(fù)雜度，提高視頻編碼速度。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種樹形塊結(jié)構(gòu)及多幀參考的運(yùn)動估計(jì)方法和裝置。
一種H.264樹形塊結(jié)構(gòu)及多幀參考的運(yùn)動估計(jì)方法和裝置，它能通過計(jì)算每一個(gè)4×4樣本塊對應(yīng)于某一運(yùn)動矢量(MVMotion Vector)的失真值(Distortion)，然后采用樹形結(jié)構(gòu)計(jì)算出4×4以上(8×4、4×8、8×8、16×8、8×16和16×16)形狀樣本塊對應(yīng)于該運(yùn)動矢量的失真值，通過比較選擇最佳匹配的塊形狀及對應(yīng)的運(yùn)動矢量，在不損失精度的前提下減少H.264樹形塊形狀運(yùn)動估計(jì)的計(jì)算量，提高運(yùn)動估計(jì)速度，從而提高視頻編碼速度，并且通過可伸縮特性支持并行多幀參考運(yùn)動估計(jì)。
本發(fā)明包括以下特征步驟1.對H.264樹形塊結(jié)構(gòu)及多幀參考的特征，將16×16的宏塊劃分+為16個(gè)4×4樣本塊；如圖2所示；2.計(jì)算每一個(gè)4×4塊對應(yīng)于某一運(yùn)動矢量的失真值；3.使用4×4塊的失真值通過樹形結(jié)構(gòu)來計(jì)算4×4以上(8×4、4×8、8×8、16×8、8×16和16×16)形狀樣本塊對應(yīng)于該運(yùn)動矢量的失真值，由4×4塊失真值計(jì)算8×4、4×8和8×8形狀樣本塊失真值的樹狀結(jié)構(gòu)如圖6所示，包括鎖存Latch0、Latch1、Latch2，4×4塊失真值計(jì)算單元Block4×4-0、Block4×4-1、Block4×4-2、Block4×4-3，8×4塊失真值計(jì)算單元Block8×4-0、Block8×4-1，4×8塊失真值計(jì)算單元Block4×8-0、Block4×8-1，8×8塊失真值計(jì)算單元Block8×8，Latch0、Latch1、Latch2依次相連傳遞運(yùn)動矢量MV，Block4×4-0、Block4×4-1輸出的失真值輸入至Block8×4-0，Block4×4-2、Block4×4-3輸出的失真值輸入至Block8×4-1，Block4×4-0、Block4×4-2輸出的失真值輸入至Block4×8-0，Block4×4-1、Block4×4-3輸出的失真值輸入至Block4×8-1，Block8×4-0、Block8×4-1(或Block4×8-0、Block4×8-1，虛線表示)輸出的失真值輸入至Block8×8，由8×8塊失真值計(jì)算16×8、8×16和16×16形狀樣本塊失真值的樹狀結(jié)構(gòu)如圖8所示，與圖6類似；4.通過比較選擇最佳匹配的塊形狀及對應(yīng)的運(yùn)動矢量；5.通過可伸縮特性支持并行多幀參考運(yùn)動估計(jì)；6.運(yùn)動矢量在搜索范圍內(nèi)以光柵掃描或“之”字型掃描依次計(jì)算；7.與全搜索相比不損失預(yù)測精度。
該裝置包括計(jì)算4×4樣本塊失真值的單元；計(jì)算4×4以上形狀樣本塊失真值的樹形結(jié)構(gòu)單元；比較各種塊形狀選擇最佳匹配的單元；擴(kuò)展支持并行多幀參考的單元。在計(jì)算樣本塊失真的單元中同時(shí)比較選擇本樣本塊的最佳匹配。


圖1是運(yùn)動估計(jì)示意圖。
圖2是H.264中宏塊樹形結(jié)構(gòu)示意圖。
圖3是多幀參考示意圖。
圖4是宏塊劃分層次示意圖。
圖5是4×4形狀樣本塊運(yùn)算單元示意圖。
圖6是8×8形狀樣本塊樹狀計(jì)算結(jié)構(gòu)示意圖。
圖7是8×8形狀樣本塊最佳匹配單元示意圖。
圖8是16×16宏塊樹狀計(jì)算結(jié)構(gòu)示意圖。
圖9是16×16宏塊最佳匹配選擇單元示意圖。
圖10是多幀參考運(yùn)動估計(jì)示意圖。
圖11是運(yùn)動矢量掃描方式示意圖。(a)光柵掃描方式(b)“之”字型方式。
具體實(shí)施例方式
圖1為運(yùn)動估計(jì)示意圖。當(dāng)對大小為N×N的當(dāng)前樣本塊做運(yùn)動估計(jì)，搜索范圍為R時(shí)，以當(dāng)前樣本塊左上角的樣本坐標(biāo)為原點(diǎn)，水平向左為X坐標(biāo)正方向，垂直向下為Y坐標(biāo)正方向，從(-R，-R)至(N+R，N+R)的范圍內(nèi)選擇一個(gè)N×N的參考樣本最佳匹配塊，使得當(dāng)前樣本塊與參考樣本塊之間的失真最小，或者在進(jìn)行率失真優(yōu)化的情況下選擇編碼效率最高的參考樣本塊。圖1中兩個(gè)粗黑線方塊分別為對應(yīng)運(yùn)動矢量為(R，R)和(-R，-R)的參考樣本塊。
圖2為H.264中宏塊樹形結(jié)構(gòu)示意圖。如(a)所示，一個(gè)16×16的宏塊可以采用16×16、16×8、8×16和8×8四種運(yùn)動估計(jì)模式。在16×8、8×16兩種模式下每一子塊單獨(dú)進(jìn)行運(yùn)動估計(jì)。在8×8模式下，如(b)所示，每一子塊又可分別采用8×8、8×4、4×8和4×4四種運(yùn)動估計(jì)模式。
圖3為多幀參考示意圖。n為當(dāng)前幀，n-1、n-2、n-3、n-4為參考幀。每一16×16的宏塊可使用不同的參考幀進(jìn)行運(yùn)動估計(jì)，并且在一個(gè)16×16的宏塊中，每一子塊也可使用不同的參考幀進(jìn)行運(yùn)動估計(jì)，但在8×8模式下每一個(gè)8×8子塊內(nèi)必須采用相同的參考幀。
由以上說明可以看出，H.264標(biāo)準(zhǔn)中的運(yùn)動估計(jì)十分復(fù)雜，若在硬件編碼中采用傳統(tǒng)的全搜索算法，在只使用單幀參考的情況下，每種塊形狀搜索一次，需要經(jīng)過7次循環(huán)才能得到最優(yōu)匹配，也就是計(jì)算時(shí)間要增加7倍。若使用多幀參考，則計(jì)算時(shí)間更加成倍增加。但是實(shí)際上，4×4以上樣本塊的失真值可以通過該塊包含的4×4樣本塊的失真值累加得到，在循環(huán)中做了大量的重復(fù)計(jì)算。本發(fā)明提出了一種基于樹狀計(jì)算結(jié)構(gòu)的運(yùn)動估計(jì)方法和裝置，可以消除重復(fù)計(jì)算，從而提高編碼速度。
本發(fā)明的計(jì)算過程可分為以下幾個(gè)步驟1.如圖4所示，將一個(gè)16×16宏塊劃分為4個(gè)8×8樣本塊，再將每一個(gè)8×8樣本塊分為4個(gè)4×4子樣本塊，從而將一個(gè)16×16宏塊劃分為16個(gè)4×4子樣本塊。
2.如圖5所示，對應(yīng)4×4子樣本塊的運(yùn)算單元輸入為4×4子塊的16個(gè)當(dāng)前樣本值Current Pixel、運(yùn)動矢量MV及對應(yīng)的16個(gè)參考樣本值Reference Pixel，輸出為當(dāng)前樣本和參考樣本間的失真值，以及開始計(jì)算以來與對應(yīng)4×4形狀樣本塊最佳匹配的運(yùn)動矢量和對應(yīng)的失真值。
3.如圖6所示，使用4個(gè)步驟2中描述的運(yùn)算單元分別對應(yīng)4個(gè)4×4子塊，計(jì)算得出各4×4子塊對應(yīng)于運(yùn)動矢量MV的失真值。Block4×4-0、Block4×4-1、Block4×4-2、Block4×4-3分別表示一個(gè)圖5中的4×4形狀樣本塊運(yùn)算單元，MV輸入至鎖存Latch0。
4.如圖6所示，根據(jù)4×4形狀樣本塊的失真值分別計(jì)算得出8×4、4×8形狀樣本塊的失真值，Block4×8-0的失真值為Block4×4-00和Block4×4-01失真值之和，其余類似。Latch0中保存的MV輸入至鎖存Latch1，使其與4×4塊運(yùn)算單元輸出的失真值保持同步。在計(jì)算8×4、4×8形狀樣本塊的失真值的同時(shí)，比較得出開始計(jì)算以來與對應(yīng)樣本塊最佳匹配的運(yùn)動矢量和對應(yīng)的失真值。
5.如圖6所示，根據(jù)4×8形狀樣本塊(或8×4形狀樣本塊)的失真值計(jì)算得出8×8形狀樣本塊的失真值，Latch1中保存的MV輸入至鎖存Latch2，使其與4×8塊運(yùn)算單元輸出的失真值保持同步。在計(jì)算8×8形狀樣本塊的失真值的同時(shí)，比較得出開始計(jì)算以來與對應(yīng)樣本塊最佳匹配的運(yùn)動矢量和對應(yīng)的失真值。樹形結(jié)構(gòu)計(jì)算單元由鎖存器Latch和塊失真值計(jì)算單元Block組成，鎖存器Latch和塊失真值計(jì)算單元Block采用流水線分級傳遞，當(dāng)前幀圖像和參考幀圖像信號分別輸入到第一級塊失真值計(jì)算單元Block，MV信號輸入到第一級鎖存器Latch，每一級塊失真值計(jì)算單元Block的輸出相互組合輸入到下一級塊失真值計(jì)算單元Block，同時(shí)MV信號傳遞到下一級Latch。
6.如圖7所示，選擇8×8塊的最佳匹配。最佳匹配選擇單元的輸入為圖6中4個(gè)4×4形狀塊運(yùn)算單元輸出的最佳匹配、2個(gè)4×8形狀塊輸出的最佳匹配、2個(gè)8×4形狀塊輸出的最佳匹配和8×8形狀塊輸出的最佳匹配，輸出為該8×8塊最佳匹配的塊形狀(4×4、4×8、8×4或8×8)，對應(yīng)的運(yùn)動矢量及失真值。
7.如圖8所示，在計(jì)算8×8形狀樣本塊失真值的基礎(chǔ)上，通過與8×8形狀樣本塊樹狀計(jì)算結(jié)構(gòu)類似的計(jì)算結(jié)構(gòu)，與步驟4、5類似的計(jì)算步驟，計(jì)算出8×16、16×8和16×16形狀樣本塊的失真值。Block8×8-0、Block8×8-1、Block8×8-2、Block8×8-3分別表示一組圖6中的8×8形狀樣本塊樹狀計(jì)算結(jié)構(gòu)和圖7中的8×8形狀樣本塊最佳匹配選擇單元。
8.如圖9所示，選擇16×16宏塊的最佳匹配。最佳匹配選擇單元的輸入為圖8中4個(gè)8×8最佳匹配選擇單元輸出的最佳匹配、2個(gè)8×16形狀塊輸出的最佳匹配、2個(gè)16×8形狀塊輸出的最佳匹配和16×16形狀塊輸出的最佳匹配，輸出為該16×16宏塊最佳匹配的運(yùn)動估計(jì)模式(8×8、8×16、16×8或16×16)，對應(yīng)的運(yùn)動矢量及失真值，以及最佳匹配模式為8×8模式時(shí)各8×8子塊的塊形狀及對應(yīng)運(yùn)動矢量。
9.如圖10所示，以圖8中的16×16宏塊樹狀計(jì)算結(jié)構(gòu)為基本模塊，每一模塊對應(yīng)一個(gè)參考幀，對圖9中的最佳匹配選擇單元進(jìn)行修改，輸入中增加參考幀號，輸出增加最佳匹配對應(yīng)的參考幀號，則得到在多幀參考的情況下宏塊的運(yùn)動估計(jì)結(jié)果。樹形塊結(jié)構(gòu)及多幀參考的運(yùn)動估計(jì)裝置，由多個(gè)樹形結(jié)構(gòu)計(jì)算單元和最佳匹配選擇單元組成，樹形結(jié)構(gòu)計(jì)算單元連接于最佳匹配選擇單元，當(dāng)前幀和多個(gè)參考幀圖像信號輸入到樹形結(jié)構(gòu)計(jì)算單元，經(jīng)過計(jì)算處理后輸出到最佳匹配選擇單元。
選擇單元裝置是輸入塊形狀、運(yùn)動矢量和對應(yīng)的失真值，根據(jù)最小失真或率失真優(yōu)化原則選擇最佳運(yùn)動估計(jì)，輸出最佳運(yùn)動估計(jì)的塊形狀、運(yùn)動矢量和對應(yīng)失真值的單元裝置。
10.如圖11所示，為減少對存儲帶寬的要求，增加數(shù)據(jù)復(fù)用率，運(yùn)動矢量以光柵掃描方式或“之”字型方式在搜索范圍內(nèi)依次計(jì)算。圖9(a)為光柵掃描方式，在每一行內(nèi)從一個(gè)運(yùn)動矢量變化到下一個(gè)運(yùn)動矢量只需更新一列16個(gè)參考樣本點(diǎn)，但在從一行變換到下一行時(shí)需要更新全部256個(gè)參考樣本點(diǎn)。圖9(b)為“之”字型方式，在每一行內(nèi)與光柵掃描方式相同，在從一行變換到下一行時(shí)只需要更新一行16個(gè)參考樣本點(diǎn)，比光柵掃描方式下的數(shù)據(jù)復(fù)用率高，相應(yīng)的控制也更加復(fù)雜。
本發(fā)明適用于H.264及其它采用樹形塊結(jié)構(gòu)及多幀參考運(yùn)動估計(jì)的視頻編碼設(shè)計(jì)。
權(quán)利要求
1.一種H.264樹形塊結(jié)構(gòu)及多幀參考的運(yùn)動估計(jì)方法，它能通過計(jì)算每一個(gè)4×4樣本塊對應(yīng)于某一運(yùn)動矢量的失真值，然后采用樹形結(jié)構(gòu)計(jì)算出4×4以上(8×4、4×8、8×8、16×8、8×16和16×16)形狀樣本塊對應(yīng)于該運(yùn)動矢量的失真值，在不損失精度的前提下減少H.264樹形塊形狀運(yùn)動估計(jì)的計(jì)算量，提高運(yùn)動估計(jì)速度，從而提高視頻編碼速度，并且通過可伸縮特性支持并行多幀參考運(yùn)動估計(jì)，包括以下特征步驟1)針對H.264樹形塊結(jié)構(gòu)及多幀參考的特征，將16×16的宏塊劃分為16個(gè)4×4樣本塊；2)計(jì)算每一個(gè)4×4樣本塊對應(yīng)于某一運(yùn)動矢量的失真值；3)使用4×4塊的失真值通過樹形結(jié)構(gòu)來計(jì)算4×4以上(8×4、4×8、8×8、16×8、8×16和16×16)形狀樣本塊對應(yīng)于該運(yùn)動矢量的失真值；4)通過比較選擇最佳匹配的塊形狀及對應(yīng)的運(yùn)動矢量；5)通過可伸縮特性支持并行多幀參考運(yùn)動估計(jì)；6)運(yùn)動矢量在搜索范圍內(nèi)以光柵掃描或“之”字型掃描依次計(jì)算；7)與全搜索相比不損失預(yù)測精度。
2.根據(jù)權(quán)利要求1所述的運(yùn)動估計(jì)方法，其特征在于將16×16的宏塊劃分為16個(gè)4×4樣本塊。
3.根據(jù)權(quán)利要求1所述的運(yùn)動估計(jì)方法，其特征在于計(jì)算每一個(gè)4×4樣本塊對應(yīng)于某一運(yùn)動矢量的失真值。
4.根據(jù)權(quán)利要求1所述的運(yùn)動估計(jì)方法，其特征在于使用4×4樣本塊的失真值通過樹形結(jié)構(gòu)來計(jì)算4×4以上(8×4、4×8、8×8、16×8、8×16和16×16)形狀樣本塊對應(yīng)于該運(yùn)動矢量的失真值。
5.根據(jù)權(quán)利要求1所述的運(yùn)動估計(jì)方法，其特征在于通過比較選擇最佳匹配的塊形狀及對應(yīng)的運(yùn)動矢量。
6.根據(jù)權(quán)利要求1所述的運(yùn)動估計(jì)方法，其特征在于通過可伸縮特性支持并行多幀參考運(yùn)動估計(jì)。
7.根據(jù)權(quán)利要求1所述的運(yùn)動估計(jì)方法，其特征在于運(yùn)動矢量在搜索范圍內(nèi)以光柵掃描或“之”字型掃描依次計(jì)算。
8.根據(jù)權(quán)利要求1所述的運(yùn)動估計(jì)方法，其特征在于與全搜索相比不損失預(yù)測精度。
9.根據(jù)權(quán)利要求1所述的運(yùn)動估計(jì)方法設(shè)計(jì)的樹形塊結(jié)構(gòu)及多幀參考的運(yùn)動估計(jì)裝置，包括計(jì)算4×4樣本塊失真值的單元；計(jì)算4×4以上形狀樣本塊失真值的樹形結(jié)構(gòu)單元；比較各種塊形狀選擇最佳匹配的單元；擴(kuò)展支持并行多幀參考的單元。
10.一種樹形塊結(jié)構(gòu)及多幀參考的運(yùn)動估計(jì)裝置，其特征在于，由多個(gè)樹形結(jié)構(gòu)計(jì)算單元和最佳匹配選擇單元組成，樹形結(jié)構(gòu)計(jì)算單元連接于最佳匹配選擇單元，當(dāng)前幀和多個(gè)參考幀圖像信號信號輸入到樹形結(jié)構(gòu)計(jì)算單元，經(jīng)過計(jì)算處理后輸出到最佳匹配選擇單元。
11.根據(jù)權(quán)利要求10的樹形塊結(jié)構(gòu)及多幀參考的運(yùn)動估計(jì)裝置，其特征在于，計(jì)算裝置是樹形結(jié)構(gòu)計(jì)算單元由鎖存Latch和塊失真值計(jì)算單元Block組成，鎖存器Latch和塊失真值計(jì)算單元Block采用流水線分級傳遞，當(dāng)前幀和參考幀信號分別輸入到第一級塊失真值計(jì)算單元Block，MV信號輸入到第一級鎖存器Latch，每一級塊失真值計(jì)算單元Block的輸出相互組合輸入到下一級塊失真值計(jì)算單元Block，同時(shí)MV信號傳遞到下一級Latch。
12.根據(jù)權(quán)利要求10的樹形塊結(jié)構(gòu)及多幀參考的運(yùn)動估計(jì)裝置，其特征在于，選擇單元裝置是輸入塊形狀、運(yùn)動矢量和對應(yīng)的失真值，根據(jù)最小失真或率失真優(yōu)化原則選擇最佳運(yùn)動估計(jì)，輸出最佳運(yùn)動估計(jì)的塊形狀、運(yùn)動矢量和對應(yīng)失真值的單元裝置。
全文摘要
本發(fā)明涉及視頻編碼技術(shù)領(lǐng)域，提出一種樹形塊結(jié)構(gòu)及多幀參考的運(yùn)動估計(jì)方法和裝置。包括1)對H.264樹形塊結(jié)構(gòu)及多幀參考的特征，將16×16的宏塊劃分為16個(gè)4×4樣本塊；2)計(jì)算每一個(gè)4×4樣本塊對應(yīng)于某一運(yùn)動矢量的失真值；3)使用4×4塊的失真值通過樹形結(jié)構(gòu)來計(jì)算4×4以上(8×4、4×8、8×8、16×8、8×16和16×16)形狀樣本塊對應(yīng)運(yùn)動矢量的失真值；4)通過比較選擇最佳匹配的塊形狀及對應(yīng)的運(yùn)動矢量；5)通過可伸縮特性支持并行多幀參考運(yùn)動估計(jì)；6)運(yùn)動矢量在搜索范圍內(nèi)以光柵掃描或“之”字型掃描依次計(jì)算；7)與全搜索相比不損失預(yù)測精度。包括樹形結(jié)構(gòu)計(jì)算單元和最佳匹配選擇單元。
文檔編號G06T7/20GK1581978SQ20041004327
公開日2005年2月16日 申請日期2004年5月17日 優(yōu)先權(quán)日2004年5月17日
發(fā)明者彭聰, 黃晁, 李錦濤 申請人:中國科學(xué)院計(jì)算技術(shù)研究所