專利名稱：一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字視頻編解碼技術(shù)領(lǐng)域，ー種基于宏塊分類的快速高效編轉(zhuǎn)碼方法。
背景技術(shù)：
視頻編轉(zhuǎn)碼技術(shù)是數(shù)字視頻處理的關(guān)鍵技術(shù)，針對未壓縮或已壓縮視頻文件，通過高性能、快速的編轉(zhuǎn)碼算法，可以將較大的視頻文件壓縮為占用空間更小的ニ進制文件。視頻編轉(zhuǎn)碼技術(shù)在實際中都有著廣泛的應用。例如視頻會議，視頻錄制，數(shù)字視頻在復雜帶寬下傳輸，各種終端設備上自適應播放視頻以及不同視頻格式之間相互轉(zhuǎn)換等。眾多實際應用更加凸顯了視頻編轉(zhuǎn)碼技術(shù)的重要性，同時視頻的應用要求編轉(zhuǎn)碼技術(shù)的快速、實時、 多路超實時編轉(zhuǎn)碼。因而，快速高效的視頻編轉(zhuǎn)碼技術(shù)成為越來越急需的實用技木。一般的視頻編轉(zhuǎn)碼算法通過快速模式?jīng)Q策、快速運動搜索算法對未壓縮視頻文件進行快速編碼，或者通過利用現(xiàn)有已壓縮的視頻文件中編碼信息，來大幅減少再次轉(zhuǎn)壓縮的復雜度。當前主流的快速編轉(zhuǎn)碼技術(shù)包含幀間、幀內(nèi)的快速模式?jīng)Q策，運動搜索簡化等。然而視頻背景內(nèi)容中包含有利于提高編轉(zhuǎn)碼效率的信息，一般的編轉(zhuǎn)碼算法沒有充分的利用視頻背景內(nèi)容信息。最近發(fā)展的視頻編轉(zhuǎn)碼技術(shù)證明，基于視頻內(nèi)容的背景建模編轉(zhuǎn)碼技術(shù)，相比不利用視頻背景信息的一般的編轉(zhuǎn)碼算法，可以實現(xiàn)較大的性能増益。針對視頻背景特性，基于解碼重建圖像進行訓練得到背景圖像用于預測編碼(黃鐵軍，張賢國，梁路宏，黃倩，高文.一種基于背景建模的靜態(tài)攝像機視頻壓縮方法與系統(tǒng).專利申請?zhí)?01010034117. 3)，該方法可以獲得較高的性能提升，相比一般的編轉(zhuǎn)碼方式可以節(jié)省一半以上的碼率。雖然基于視頻內(nèi)容的背景建模編轉(zhuǎn)碼技術(shù)可以獲得較高的性能提升，但是編轉(zhuǎn)碼的復雜度并沒有降低，而且視頻的背景信息也未被用于降低編轉(zhuǎn)碼復雜度。所以將視頻的背景內(nèi)容應用于提升編轉(zhuǎn)碼速度成為研究的熱點。

發(fā)明內(nèi)容
本發(fā)明解決的技術(shù)問題在于如何縮減編碼或轉(zhuǎn)碼復雜度，并且保持顯著的壓縮效率。為了解決以上問題，本發(fā)明提出了ー種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，該方法利用視頻圖像塊不同的特征信息，將圖像內(nèi)所有圖像塊進行分類，對不同類別的圖像塊使用不同的優(yōu)化加速策略。本發(fā)明提出的快速高效編轉(zhuǎn)碼方法，其主要步驟包括a)視頻信息獲取步驟如果輸入為原始數(shù)據(jù)，則直接進行數(shù)字化采樣得到原始數(shù)據(jù)；如果輸入為已壓縮視頻，則應首先對壓縮視頻解碼獲取視頻信息，包括每個圖像塊的解碼結(jié)果和編碼工具使用情況信息；b)背景圖像獲取步驟編碼時利用解碼圖像、輸入原始圖像或者重建圖像進行訓練，得到背景圖像，或由外部輸入已有的背景圖像；c)背景圖像選擇性的編入位流步驟根據(jù)背景圖像的獲取方法來選擇是否將背景圖像編入位流；d)編轉(zhuǎn)碼優(yōu)化步驟對圖像塊進行分類，并將分類信息用于編碼或轉(zhuǎn)碼優(yōu)化中，解碼得到的工具使用情況信息會被重用于再編碼過程。進ー步，作為ー種優(yōu)選方案，在視頻信息獲取步驟中，如果輸入為已壓縮視頻，提取的編碼工具使用情況信息包括參考幀索引號、尺寸模式，變換方法，預測方式，量化參數(shù)，環(huán)路濾波方式，熵編碼方法，位寬度信息，位寬度擴展情況，深度信息和運動向量信息。進ー步，作為ー種優(yōu)選方案，背景圖像獲取步驟中所使用的背景圖像獲取方法包含a)如果輸入為未壓縮視頻，則利用輸入原始圖像進行背景建模，或 b)如果輸入為已壓縮視頻，則利用解碼圖像進行背景建模，或c)利用重建圖像進行背景建模，或d)由外部直接輸入已有的背景圖像。進ー步，作為ー種優(yōu)選方案，背景圖像選擇性的編入位流步驟中，使用了輸入原始圖像、解碼圖像訓練或者外部輸入得到的背景圖像需要被編入位流，僅由重建圖像訓練得到的背景圖像不會編入位流。進ー步，作為ー種優(yōu)選方案，所述編轉(zhuǎn)碼優(yōu)化步驟包括以下步驟a)類別劃分步驟利用背景圖像，將當前圖像內(nèi)的所有圖像塊進行分類，劃分為不同特性的圖像塊類別，b)基于分類的編轉(zhuǎn)碼優(yōu)化步驟將分類信息應用于編碼或轉(zhuǎn)碼優(yōu)化中，對不同類別的圖像塊或區(qū)域采用不同的編碼或轉(zhuǎn)碼優(yōu)化過程。進一歩，作為ー種優(yōu)選方案，編轉(zhuǎn)碼優(yōu)化步驟中在對圖像塊進行分類時，采用至少一種如下的分類策略a)按照圖像塊的前背景屬性進行劃分，劃分成前景、背景或者前背景邊緣塊，或b)按照圖像塊的運動屬性進行劃分，劃分成大幅運動圖像塊，靜止圖像塊或小幅運動圖像塊，或c)按照圖像塊的內(nèi)容進行劃分劃分為若干類別的感興趣塊和若干類別的非感興趣塊，相同類別的感興趣塊組成一種類別的感興趣區(qū)域，相同類別的非感興趣塊組成一種類別的非感興趣區(qū)域。進ー步，作為ー種優(yōu)選方案，編轉(zhuǎn)碼優(yōu)化步驟所包含的類別劃分步驟中，在按照前背景屬性進行劃分時，通過當前圖像和背景圖像進行殘差計算，通過殘差與閾值的判別將當前圖像內(nèi)所有圖像塊分類為背景圖像塊、前景圖像塊和前景邊緣圖像塊。進ー步，作為ー種優(yōu)選方案，編轉(zhuǎn)碼優(yōu)化步驟所包含的類別劃分步驟中，在按照運動屬性進行劃分時，使用當前圖像在背景圖像或已編碼的圖像中進行全局運動搜索，通過對運動信息的判別將當前圖像內(nèi)所有圖像塊分類為大幅運動圖像塊，靜止圖像塊或小幅運動圖像塊。進ー步，作為ー種優(yōu)選方案，編轉(zhuǎn)碼優(yōu)化步驟所包含的類別劃分步驟中的按照前背景屬性進行劃分時，殘差判別的方法包含
a)使用整個圖像塊的殘差矩陣進行判別，計算整個圖像塊的殘差矩陣與閾值進行判斷當前圖像塊的類別，或b)將整個圖像塊的殘差矩陣劃分為多個小子塊，先進行小子塊與閾值的判斷，然后再利用判別為前景的小子塊個數(shù)，進ー步將當前圖像塊進行分類，或

c)對殘差矩陣進行變換計算，將殘差映射到變換域，由殘差變換矩陣與閾值的判別結(jié)果決定當前圖像塊的類別。進ー步，作為ー種優(yōu)選方案，編轉(zhuǎn)碼優(yōu)化步驟所包含的類別劃分步驟中的圖像區(qū)域的分類結(jié)果被編入碼流。分類結(jié)果包括如下至少ー種背景、前景屬性；感興趣區(qū)域、非感興趣區(qū)域?qū)傩?；運動特性屬性。進一歩，作為ー種優(yōu)選方案，編轉(zhuǎn)碼優(yōu)化步驟所包含的基于分類的編轉(zhuǎn)碼優(yōu)化步驟至少包含ー種以下方法a)參考幀的選取；b)運動搜索范圍的自適應縮減；c)候選模式的優(yōu)化；d)量化參數(shù)的調(diào)整；e)編碼方式的選擇。進一歩，作為ー種優(yōu)選方案，編轉(zhuǎn)碼優(yōu)化步驟所包含的基于分類的編轉(zhuǎn)碼優(yōu)化步驟中的參考幀的選取至少包含ー種以下方法a)對于背景圖像塊或非感興趣區(qū)域，使用較少的參考幀，b)對于包含前景的圖像塊或感興趣區(qū)域，使用靈活的參考幀選取方式。此外在轉(zhuǎn)碼應用中，解碼獲取的參考幀索引信息所對應的參考幀也被選取。進一歩，作為ー種優(yōu)選方案，編轉(zhuǎn)碼優(yōu)化步驟所包含的基于分類的編轉(zhuǎn)碼優(yōu)化步驟中的運動搜索范圍的自適應縮減方法至少包含ー種以下方法a)在編碼應用中，背景圖像塊或非感興趣區(qū)域，運動搜索限制在小范圍內(nèi)；包含前景的圖像塊或感興趣區(qū)域捜索范圍有條件選擇性的縮減或強制性的限制在某ー范圍內(nèi)；b)在轉(zhuǎn)碼應用中，背景圖像塊或非感興趣區(qū)域的運動搜索限制在小范圍內(nèi)；而包含前景的圖像塊或感興趣區(qū)域，運動搜索時對于每個解碼圖像塊內(nèi)的每個子塊模式，計算其運動向量和當前編碼預測向量之間在橫軸和縱軸的最大差值，井根據(jù)得到的最大差值自適應的縮減當前模式的運動搜索范圍。進一歩，作為ー種優(yōu)選方案，編轉(zhuǎn)碼優(yōu)化步驟所包含的基于分類的編轉(zhuǎn)碼優(yōu)化步驟中的候選模式的優(yōu)化步驟至少包含ー種如下方法a)對背景圖像塊、靜態(tài)圖像塊或非感興趣區(qū)域，候選模式只包含整個圖像塊尺寸和較大尺寸的塊模式，其它小尺寸的塊模式不使用；b)對前景圖像塊、大幅運動圖像塊或感興趣區(qū)域，在編碼應用中，有條件選擇性的選擇或強制性的選擇候選模式；在轉(zhuǎn)碼應用中候選模式只包含，模式尺寸大于或等于解碼時獲取的最小的塊模式，小于最小尺寸的塊模式將被排除在候選模式之外；c)對前景邊緣圖像塊、小幅運動圖像塊或一般感興趣區(qū)域，在編碼應用中，有條件選擇性的選擇或強制性的選擇候選模式；在轉(zhuǎn)碼應用中候選模式包含，模式尺寸大于或等于解碼時獲取的最小的塊模式，并且要根據(jù)解碼的模式添加其它的候選模式。進一歩，作為ー種優(yōu)選方案，編碼碼優(yōu)化步驟所包含的基于分類的編轉(zhuǎn)碼優(yōu)化步驟中的量化參數(shù)調(diào)整方法至少包含ー種如下方法a)對背景圖像塊、靜態(tài)圖像塊或非感興趣區(qū)域，使用較大量化參數(shù)，b)對前景圖像塊、大幅運動圖像塊或感興趣區(qū)域，在編碼應用中，有條件選擇性的選擇或強制性的選擇量化參數(shù)；在轉(zhuǎn)碼應用中根據(jù)解碼的量化參數(shù)自適應的調(diào)整量化參數(shù)，
c)對前景邊緣圖像塊、小幅運動圖像塊或一般感興趣區(qū)域，在編碼應用中，有條件選擇性的選擇或強制性的選擇量化參數(shù)；在轉(zhuǎn)碼應用中根據(jù)解碼的量化參數(shù)自適應的調(diào)整
量化參數(shù)。進一歩，作為ー種優(yōu)選方案，編轉(zhuǎn)碼優(yōu)化步驟所包含的基于分類的編轉(zhuǎn)碼優(yōu)化步驟中的編碼方法的選擇過程中至少包含ー種如下方法a)對背景圖像塊、靜態(tài)圖像塊或非感興趣區(qū)域，選擇使用基于長期背景幀的背景預測編碼方法以及近期參考圖像進行幀間預測編碼，b)對前景圖像塊、大幅運動圖像塊或感興趣區(qū)域，使用近期參考圖像進行幀間預測編碼，c)對前景邊緣圖像塊、小幅運動圖像塊或一般感興趣區(qū)域，使用近期參考圖像進行幀間預測編碼和基于背景幀的可選差分預測編碼方法。進一歩，作為ー種優(yōu)選方案，對編碼或轉(zhuǎn)碼所生成位流在解碼端的解碼過程中包括以下步驟a)解碼輸入圖像解碼位流直接得到與背景無關(guān)的解碼圖像；b)選擇性的獲取分類信息如果解碼過程與快速轉(zhuǎn)碼信息相關(guān)，則需要獲取與編轉(zhuǎn)碼端相對應的用于快速高效轉(zhuǎn)碼的信息；否則，不需要解碼這些信息；c)獲取背景圖像解碼端獲取背景圖像；d)生成所有解碼圖像根據(jù)已經(jīng)獲得的解碼圖像和背景圖像以及快速高效轉(zhuǎn)碼信息生成所有解碼圖像。進ー步，作為ー種優(yōu)選方案，對編轉(zhuǎn)碼所生成位流在解碼端的解碼過程中，在解碼端背景圖像獲取的方式至少包含ー種以下方法a)從編轉(zhuǎn)碼后的位流中直接解碼背景圖像的位流獲得，或b)在解碼端解碼過程中，由所有解碼圖像或一部分解碼圖像進行訓練得到，或c)由已經(jīng)生成好的背景圖像作為外部數(shù)據(jù)直接輸入解碼器。進ー步，作為ー種優(yōu)選方案，對編轉(zhuǎn)碼所生成位流在解碼端的解碼過程中，在解碼端解碼已編入碼流的用于快速高效轉(zhuǎn)碼的信息，包括圖像塊的前背景屬性信息、運動屬性信息或者感興趣區(qū)域?qū)傩孕畔?。進ー步，作為ー種優(yōu)選方案，對編轉(zhuǎn)碼所生成位流在解碼端的解碼過程中，在解碼端獲取的分類信息包含ー種以下方法a)按照圖像塊的前背景屬性劃分的前景、背景或者前背景邊緣塊分類信息，或b)按照圖像塊的運動屬性劃分的大幅運動圖像塊，靜止圖像塊或小幅運動圖像塊分類信息，或
c)按照圖像塊的內(nèi)容劃分的若干類別的感興趣塊和若干類別的非感興趣塊分類信息。進ー步，作為ー種優(yōu)選方案，對編轉(zhuǎn)碼所生成位流在解碼端的解碼過程中，在解碼端獲取分類信息的方式包括a)解碼位流中的標志位得到分類信息；b)由重建圖像或者圖像塊的編碼信息在解碼端計算分類信息。相對現(xiàn)有技術(shù)而言，本發(fā)明具有以下有益效果第一，視頻序列中的背景內(nèi)容信息被應用在編碼或轉(zhuǎn)碼加速過程中。第二，通過利用背景圖像或設置不同感興趣程度的圖像區(qū)域，將圖像區(qū)域進行分類，對不同類別的圖像塊給予不同的編轉(zhuǎn)碼過程，可以最大程度的削減編轉(zhuǎn)碼復雜度。第三，背景預測技術(shù)帶來的編轉(zhuǎn)碼高性能得以保持。


當結(jié)合附圖考慮時，通過參照下面的詳細描述，能夠更完整更好地理解本發(fā)明以及容易得知其中許多伴隨的優(yōu)點，但此處所說明的附圖用來提供對本發(fā)明的進ー步理解，構(gòu)成本發(fā)明的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當限定，其中圖I是本發(fā)明提出的編碼或轉(zhuǎn)碼應用算法框架圖；圖2是本發(fā)明提出的編轉(zhuǎn)碼方法的實施步驟流程圖；圖3是本發(fā)明提出的編轉(zhuǎn)碼優(yōu)化步驟實施流程圖；圖4是本發(fā)明提出的分類編轉(zhuǎn)碼優(yōu)化實施步驟流程圖；圖5是本發(fā)明提出的參考幀精簡算法框架圖；圖6是本發(fā)明提出的自適應縮減運動搜索范圍算法框架圖；圖7是本發(fā)明提出的候選模式優(yōu)化算法框架圖；圖8是本發(fā)明提出的量化參數(shù)調(diào)整的算法框架圖。
具體實施例方式以下參照圖1-8對本發(fā)明的實施例進行說明。為使上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結(jié)合附圖和具體實施方式
對本發(fā)明作進ー步詳細的說明。本發(fā)明提出了ー種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，算法框架如圖I所示，它通過背景建模技術(shù)或者外部輸入獲取背景圖像，并利用背景圖像，將當前圖像塊劃分為不同運動特性的圖像塊類別；或者根據(jù)感興趣的不同程度，將當前圖像劃分為不同類別的圖像區(qū)域。對不同類別的圖像或圖像區(qū)域使用不同的編轉(zhuǎn)碼優(yōu)化加速過程，以此實現(xiàn)在保持高性能的基礎(chǔ)上，最大程度削減復雜度。參照圖2，圖2是本發(fā)明提出的ー種基于宏塊分類的快速高效編轉(zhuǎn)碼方法實施步驟流程圖，如圖所示編轉(zhuǎn)碼步驟包括視頻信息獲取步驟SI :如果是未壓縮視頻，接受輸入原始圖像；如果是已壓縮視頻，則接受解碼提取得到的每個塊信息和編碼工具信息，傳輸給編轉(zhuǎn)碼優(yōu)化步驟S4。如果是已壓縮視頻，視頻信息獲取步驟SI對當前解碼圖像中所有塊的解碼信息進行提取，取得每個塊范圍內(nèi)用到的所有參考幀信息、每個子塊的運動向量信息和解碼的最小尺寸的塊模式。背景圖像獲取步驟S2 :從輸入視頻源文件或者解碼過程得到當前圖像的數(shù)據(jù)，并將訓練生成的背景圖像傳輸給背景圖像選擇性的編入位流步驟S3和編轉(zhuǎn)碼優(yōu)化步驟S4。背景圖像獲取步驟S2，如果是未壓縮視頻，使用輸入圖像；如果是已壓縮視頻則使用解碼過程中解碼圖像；也可以使用重建圖像進行背景建模，背景圖像可以周期性的更新，以此保持最新的背景信息。背景圖像獲取的方法可以包含但不限于(I)如果是未壓縮視頻利用輸入圖像進行背景建模，可以使用一部分最近的輸入圖像進行建模，也可以使用全部的輸、入圖像進行建模，建模的算法可以是均值法、中值法和混合高斯模型。(2)如果是已壓縮視頻利用輸入位流的解碼圖像進行背景建模，可以使用一部分最近的解碼圖像進行建摸，也可以使用全部的解碼圖像進行建模，建模的算法可以是均值法、中值法和混合高斯模型。
(3)利用重建圖像進行背景建模，可以使用一部分重建圖像或者全部重建圖像進行背景建模，建模的算法可以是均值法、中值法和混合高斯模型算法。(4)周期性的從外部輸入已有的背景圖像。背景圖像選擇性的編入位流步驟S3 :接受背景圖像獲取步驟S2傳輸?shù)谋尘皥D像。獲取的背景圖像會根據(jù)獲取的方式選擇性的編入位流由輸入圖像、解碼圖像訓練或者外部輸入時可以將背景圖像編入位流，由重建圖像訓練得到背景圖像時可以不編入位流。如圖3所示，編轉(zhuǎn)碼優(yōu)化步驟S4 :接受背景圖像獲取步驟S2傳輸?shù)谋尘皥D像，此外如果是已壓縮視頻還接受由視頻信息獲取步驟SI傳輸?shù)囊曨l信息。編轉(zhuǎn)碼優(yōu)化步驟S4主要通過兩個步驟來實現(xiàn)類別劃分步驟S41和基于分類的編轉(zhuǎn)碼優(yōu)化步驟S42。類別劃分步驟S41，接受當前圖像和背景圖像的數(shù)據(jù)，向基于分類的編轉(zhuǎn)碼優(yōu)化步驟S42傳輸圖像塊或區(qū)域的分類信息。類別劃分步驟S41可以劃分圖像塊的方法包含但不限于(1)根據(jù)圖像的前背景屬性來劃分當前圖像內(nèi)的所有圖像塊。(2)依據(jù)圖像的運動屬性來劃分當前圖像內(nèi)的所有圖像塊。(3)根據(jù)視頻內(nèi)容將所有圖像塊劃分為不同感興趣區(qū)域的圖像塊類別。類別劃分步驟S41依據(jù)前背景屬性將當前圖像中的所有圖像塊進行分類時，通過判別將圖像塊劃分為背景圖像塊、前景圖像塊和前景邊緣圖像塊。圖像塊劃分的方法可以包含但不限于(I)通過當前圖像與背景圖像對應位置圖像塊的殘差值和閾值進行判斷的方式，直接計算殘差的絕對值、方差和均方差與閾值進行判定，依據(jù)整個圖像塊殘差矩陣的計算結(jié)果來判斷當前圖像塊的類別。(2)當前圖像與背景圖像對應位置圖像塊的殘差矩陣劃分為多個小子塊，并對子塊進行判斷，以子塊的判別結(jié)果來最終決策當前圖像塊類別的方式。對子塊的判別方法可以是計算殘差的絕對值、方差和均方差與閾值進行判斷。(3)當前圖像與背景圖像對應位置圖像塊的殘差矩陣在變換域進行判斷的方式，將殘差通過變換映射到變換域，在變換域利用變換后殘差矩陣的特征，或者變換后殘差矩陣內(nèi)4X4的零塊的個數(shù)進行當前圖像塊的類別判定。最終當前圖像的所有圖像塊被劃分為多個類別，包含但不限于背景圖像塊、前景圖像塊和前景邊緣圖像塊。經(jīng)類別劃分步驟S41后，圖像塊的分類信息、屬性可以被編入碼流。如圖4所示，基于分類的編轉(zhuǎn)碼優(yōu)化步驟S42接受類別劃分步驟S41傳輸?shù)膱D像塊或區(qū)域分類信息，此外如果是已壓縮視頻還接受由視頻信息獲取步驟Si傳輸?shù)慕獯a信息?；诜诸惖木庌D(zhuǎn)碼優(yōu)化步驟S42對不同類別的圖像塊或區(qū)域，使用不同程度的編碼或轉(zhuǎn)碼優(yōu)化過程，以此在編碼或轉(zhuǎn)碼性能損失微弱的情況下，最大程度的減少編碼或轉(zhuǎn)碼復雜度。基于分類的編轉(zhuǎn)碼優(yōu)化過程包含但不限于(I)參考幀選取步驟S421，(2)運動搜索范圍自適應縮減步驟S422，(3)候選模式優(yōu)化步驟S423，(4)量化參數(shù)的調(diào)整步驟S424和
(5)編碼方式的選擇S425。參考幀選取步驟S421 (算法框架如圖5所示)接受類別劃分步驟S41傳輸?shù)膱D像塊或區(qū)域分類信息，此外如果是已壓縮視頻還接受由視頻信息獲取步驟SI傳輸?shù)膮⒖紟饕栃畔?，并最終輸出優(yōu)化選取的參考幀。參考幀選取步驟S421中背景圖像塊或區(qū)域只使用最近的ー幀參考幀和背景圖像作為參考幀，而包含前景的圖像塊或區(qū)域采用靈活的參考幀精筒。如果是未壓縮視頻，可以強制性的選取最近的兩幀參考幀和背景圖像將被作為參考幀，其它幀可以有條件選擇性的補充。如果是已壓縮視頻對前景和前景邊緣圖像塊或區(qū)域，最近的兩幀參考幀和背景圖像將被作為參考幀，同時解碼得到的參考幀索引對應的參考幀也是候選的參考幀。最終對不同類別的圖像塊或區(qū)域選取不同的參考幀(如表I所示)，可以保證性能損失微弱的條件下，減少運動搜索時的復雜度。 表I不同圖像塊或區(qū)域類別精簡后的候選參考幀
背景圖像塊或區(qū)前景圖像塊或
類別信息前景逵緣圈像塊或E域
域區(qū)域
最近的ー幀參考最近的兩幀參考幢、背景幀和在轉(zhuǎn)碼應用中
候選參考幀
禎、背景幀解碼得到的參考《索引對應的參考賴運動搜索范圍自適應縮減步驟S422(算法框架如圖6所示)接受類別劃分步驟S41傳輸?shù)膱D像塊或區(qū)域分類信息，此外如果是已壓縮視頻還接受由視頻信息獲取步驟Si傳輸?shù)倪\動向量信息，并最終輸出自適應縮減后的運動搜索范圍。運動搜索范圍自適應縮減步驟S422中不同運動特性類別的圖像塊或區(qū)域?qū)⑹褂貌煌姆椒ㄟM行自適應縮減，縮減的方法包含但不限于(I)對于基本維持不動的背景圖像塊或區(qū)域，其運動搜索范圍可以限制在較小的范圍內(nèi)。(2)如果是未壓縮視頻，前景邊緣和前景圖像塊或區(qū)域，其運動搜索范圍可以各自強制性的設置限制范圍，也可以有條件的選擇限制范圍。(3)如果是已壓縮視頻，前景邊緣和前景圖像塊或區(qū)域其范圍可以根據(jù)解碼運動向量(MVde。)的大小，自適應的縮減搜索范圍。對于一個解碼的宏塊，得到的ー個或多個MVde。，和當前模式編碼時的預測運動向量(PMV)分別計算差值(PMVD)大小，如公式I所示PMVDi (X，Y) = (PMVi ⑴-MVdec ⑴，PMVi ⑴-MVdec ⑴)公式 I然后計算所有PMVD在橫和縱軸方向的最大距離PMVDmax (X)和PMVDniax⑴，如公式2和3所示PMVDmax (X) =MAX (PMVD0 (X)，PMVD1 (X),)公式 2PMVDmax (Y) =MAX (PMVD0 (Y)，PMVD1 (Y)，· · · ·)公式 3得到的最大距離PMVDmax (X)和PMVDmax(Y)各自再加上一個浮動的距離dl和d2作為最終縮減后的運動搜索范圍，浮動的距離為整數(shù)值。前景邊緣圖像塊或區(qū)域浮動距離為dl,前景圖像塊或區(qū)域浮動距離為dl+d2, dl和d2的值均設置為2。上述的轉(zhuǎn)碼應用中最大距離加浮動距離的計算過程如下所示
權(quán)利要求
1.一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，其特征在于，利用視頻圖像塊不同的特征信息，將圖像內(nèi)所有圖像塊進行分類，對不同類別的圖像塊使用不同的優(yōu)化加速策略。
2.如權(quán)利要求I所述的一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，其特征在于，進一步包括以下步驟 視頻信息獲取步驟如果輸入為原始數(shù)據(jù)，則直接進行數(shù)字化采樣得到原始數(shù)據(jù)；如果輸入為已壓縮視頻，則首先對壓縮視頻解碼獲取視頻信息，包括每個圖像塊的解碼結(jié)果和編碼工具使用情況信息； 背景圖像獲取步驟編碼時利用解碼圖像、輸入原始圖像或者重建圖像進行訓練，得到背景圖像，或由外部輸入已有的背景圖像；背景圖像選擇性的編入位流步驟根據(jù)背景圖像的獲取方法來選擇是否將背景圖像編入位流； 編轉(zhuǎn)碼優(yōu)化步驟對圖像塊進行分類，并將分類信息用于編碼或轉(zhuǎn)碼優(yōu)化中，解碼得到的工具使用情況信息會被重用于再編碼過程。
3.如權(quán)利要求2所述的一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，其特征還在于，所述視頻信息獲取步驟中，如果輸入為已壓縮視頻，提取的編碼工具使用情況信息包括參考幀索引號和/或尺寸模式和/或變換方法和/或預測方式和/或量化參數(shù)和/或環(huán)路濾波方式和/或熵編碼方法和/或位寬度信息和/或位寬度擴展情況和/或深度信息和/或運動向量信息。
4.如權(quán)利要求2所述的一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，其特征還在于，所述背景圖像獲取步驟中所使用的背景圖像獲取方法包含 如果輸入為未壓縮視頻，則利用輸入原始圖像進行背景建模，或如果輸入為已壓縮視頻，則利用解碼圖像進行背景建模，或利用重建圖像進行背景建模，或 由外部直接輸入已有的背景圖像。
5.如權(quán)利要求2所述的一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，其特征還在于，所述背景圖像選擇性的編入位流步驟中，使用了輸入原始圖像、解碼圖像訓練或者外部輸入得到的背景圖像需要被編入位流，僅由重建圖像訓練得到的背景圖像不會編入位流。
6.如權(quán)利要求2所述的一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，其特征還在于，所述編轉(zhuǎn)碼優(yōu)化步驟包括以下步驟 類別劃分步驟利用背景圖像，將當前圖像內(nèi)的所有圖像塊進行分類，劃分為不同特性的圖像塊類別； 基于分類的編轉(zhuǎn)碼優(yōu)化步驟將分類信息應用于編碼或轉(zhuǎn)碼優(yōu)化中，對不同類別的圖像塊或區(qū)域采用不同的編碼或轉(zhuǎn)碼優(yōu)化過程。
7.如權(quán)利要求6所述的一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，其特征還在于，所述編轉(zhuǎn)碼優(yōu)化步驟中在對圖像塊進行分類時，采用至少一種如下的分類策略 按照圖像塊的前背景屬性進行劃分，劃分成前景、背景或者前背景邊緣塊，或 按照圖像塊的運動屬性進行劃分，劃分成大幅運動圖像塊，靜止圖像塊或小幅運動圖像塊，或 按照圖像塊的內(nèi)容進行劃分劃分為若干類別的感興趣塊和若干類別的非感興趣塊，相同類別的感興趣塊組成一種類別的感興趣區(qū)域，相同類別的非感興趣塊組成一種類別的非感興趣區(qū)域。
8.如權(quán)利要求7所述的一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，其特征還在于，所述編轉(zhuǎn)碼優(yōu)化步驟所包含的類別劃分步驟中，在按照前背景屬性進行劃分時，通過當前圖像和背景圖像進行殘差計算，通過殘差與閾值的判別將當前圖像內(nèi)所有圖像塊分類為背景圖像塊、前景圖像塊和前景邊緣圖像塊。
9.如權(quán)利要求7所述的一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，其特征還在于，所述編轉(zhuǎn)碼優(yōu)化步驟所包含的類別劃分步驟中，在按照運動屬性進行劃分時，使用當前圖像在背景圖像或已編碼的圖像中進行全局運動搜索，通過對運動信息的判別將當前圖像內(nèi)所有圖像塊分類為大幅運動圖像塊，靜止圖像塊或小幅運動圖像塊。
10.如權(quán)利要求8所述的一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，其特征還在于，所述編轉(zhuǎn)碼優(yōu)化步驟所包含的類別劃分步驟中的按照前背景屬性進行劃分時，殘差判別的方法包含 使用整個圖像塊的殘差矩陣進行判別，計算整個圖像塊的殘差矩陣與閾值進行判斷當前圖像塊的類別，或 將整個圖像塊的殘差矩陣劃分為多個小子塊，先進行小子塊與閾值的判斷，然后再利用判別為前景的小子塊個數(shù)，進一步將當前圖像塊進行分類，或 對殘差矩陣進行變換計算，將殘差映射到變換域，由殘差變換矩陣與閾值的判別結(jié)果決定當前圖像塊的類別。
11.如權(quán)利要求6所述的一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，其特征還在于，所述編轉(zhuǎn)碼優(yōu)化步驟所包含的類別劃分步驟中的圖像區(qū)域的分類結(jié)果被編入碼流，；分類結(jié)果包括如下至少一種 背景、前景屬性；感興趣區(qū)域、非感興趣區(qū)域?qū)傩裕贿\動特性屬性。
12.如權(quán)利要求6所述的一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，其特征還在于，所述編轉(zhuǎn)碼優(yōu)化步驟所包含的基于分類的編轉(zhuǎn)碼優(yōu)化步驟至少包含一種以下方法 a)參考幀的選?。? b)運動搜索范圍的自適應縮減； c)候選模式的優(yōu)化； d)量化參數(shù)的調(diào)整； e)編碼方式的選擇。
13.如權(quán)利要求12所述的一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，其特征還在于，所述編轉(zhuǎn)碼優(yōu)化步驟所包含的基于分類的編轉(zhuǎn)碼優(yōu)化步驟中的參考幀的選取至少包含一種以下方法 對于背景圖像塊或非感興趣區(qū)域，使用較少的參考幀，對于包含前景的圖像塊或感興趣區(qū)域，使用靈活的參考幀選取方式。此外在轉(zhuǎn)碼應用中，解碼獲取的參考幀索引信息所對應的參考幀也被選取。
14.如權(quán)利要求12所述一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，其特征還在于，所述編轉(zhuǎn)碼優(yōu)化步驟所包含的基于分類的編轉(zhuǎn)碼優(yōu)化步驟中的運動搜索范圍的自適應縮減方法至少包含一種以下方法 在編碼應用中，背景圖像塊或非感興趣區(qū)域，運動搜索限制在小范圍內(nèi)；包含前景的圖像塊或感興趣區(qū)域搜索范圍有條件選擇性的縮減或強制性的限制在某一范圍內(nèi)；在轉(zhuǎn)碼應用中，背景圖像塊或非感興趣區(qū)域的運動搜索限制在小范圍內(nèi)；而包含前景的圖像塊或感興趣區(qū)域，運動搜索時對于每個解碼圖像塊內(nèi)的每個子塊模式，計算其運動向量和當前編碼預測向量之間在橫軸和縱軸的最大差值，并根據(jù)得到的最大差值自適應的縮減當前模式的運動搜索范圍。
15.如權(quán)利要求12所述的一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，其特征還在于，所述編轉(zhuǎn)碼優(yōu)化步驟所包含的基于分類的編轉(zhuǎn)碼優(yōu)化步驟中的候選模式的優(yōu)化步驟至少包含一種如下方法 對背景圖像塊、靜態(tài)圖像塊或非感興趣區(qū)域 ，候選模式只包含整個圖像塊尺寸和較大尺寸的塊模式，其它小尺寸的塊模式不使用； 對前景圖像塊、大幅運動圖像塊或感興趣區(qū)域，在編碼應用中，有條件選擇性的選擇或強制性的選擇候選模式；在轉(zhuǎn)碼應用中候選模式只包含，模式尺寸大于或等于解碼時獲取的最小的塊模式，小于最小尺寸的塊模式將被排除在候選模式之外； 對前景邊緣圖像塊、小幅運動圖像塊或一般感興趣區(qū)域，在編碼應用中，有條件選擇性的選擇或強制性的選擇候選模式；在轉(zhuǎn)碼應用中候選模式包含，模式尺寸大于或等于解碼時獲取的最小的塊模式，并且要根據(jù)解碼的模式添加其它的候選模式。
16.如權(quán)利要求12所述的一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，其特征還在于，所述編碼碼優(yōu)化步驟所包含的基于分類的編轉(zhuǎn)碼優(yōu)化步驟中的量化參數(shù)調(diào)整方法至少包含一種如下方法 對背景圖像塊、靜態(tài)圖像塊或非感興趣區(qū)域，使用較大量化參數(shù)； 對前景圖像塊、大幅運動圖像塊或感興趣區(qū)域，在編碼應用中，有條件選擇性的選擇或強制性的選擇量化參數(shù)；在轉(zhuǎn)碼應用中根據(jù)解碼的量化參數(shù)自適應的調(diào)整量化參數(shù)； 對前景邊緣圖像塊、小幅運動圖像塊或一般感興趣區(qū)域，在編碼應用中，有條件選擇性的選擇或強制性的選擇量化參數(shù)；在轉(zhuǎn)碼應用中根據(jù)解碼的量化參數(shù)自適應的調(diào)整量化參數(shù)。
17.如權(quán)利要求12所述的一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，其特征還在于，所述編轉(zhuǎn)碼優(yōu)化步驟所包含的基于分類的編轉(zhuǎn)碼優(yōu)化步驟中的編碼方法的選擇過程中至少包含一種如下方法 對背景圖像塊、靜態(tài)圖像塊或非感興趣區(qū)域，選擇使用基于長期背景幀的背景預測編碼方法以及近期參考圖像進行幀間預測編碼； 對前景圖像塊、大幅運動圖像塊或感興趣區(qū)域，使用近期參考圖像進行幀間預測編碼； 對前景邊緣圖像塊、小幅運動圖像塊或一般感興趣區(qū)域，使用近期參考圖像進行幀間預測編碼和基于背景幀的可選差分預測編碼方法。
18.如權(quán)利要求2所述的一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，其特征還在于，所述對編碼或轉(zhuǎn)碼所生成位流在解碼端的解碼過程中包括以下步驟 解碼輸入圖像解碼位流直接得到與背景無關(guān)的解碼圖像；選擇性的獲取分類信息如果解碼過程與快速轉(zhuǎn)碼信息相關(guān)，則需要獲取與編轉(zhuǎn)碼端相對應的用于快速高效轉(zhuǎn)碼的信息；否則，不需要解碼這些信息； 獲取背景圖像解碼端獲取背景圖像；生成所有解碼圖像根據(jù)已經(jīng)獲得的解碼圖像和背景圖像以及快速高效轉(zhuǎn)碼信息生成所有解碼圖像。
19.如權(quán)利要求18所述的一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，其特征還在于對編轉(zhuǎn)碼所生成位流在解碼端的解碼過程中，在解碼端背景圖像獲取的方式至少包含一種以下方法 從編轉(zhuǎn)碼后的位流中直接解碼背景圖像的位流獲得，或在解碼端解碼過程中，由所有解碼圖像或一部分解碼圖像進行訓練得到，或 由已經(jīng)生成好的背景圖像作為外部數(shù)據(jù)直接輸入解碼器。
20.如權(quán)利要求18所述的一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，其特征還在于，所述對編轉(zhuǎn)碼所生成位流在解碼端的解碼過程中，在解碼端解碼已編入碼流的用于快速高效轉(zhuǎn)碼的信息，包括圖像塊的前背景屬性信息、運動屬性信息或者感興趣區(qū)域?qū)傩孕畔ⅰ?br> 21.如權(quán)利要求18所述的一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，其特征還在于，所述對編轉(zhuǎn)碼所生成位流在解碼端的解碼過程中，在解碼端獲取的分類信息包含一種以下方法 按照圖像塊的前背景屬性劃分的前景、背景或者前背景邊緣塊分類信息，或 按照圖像塊的運動屬性劃分的大幅運動圖像塊，靜止圖像塊或小幅運動圖像塊分類信息，或 按照圖像塊的內(nèi)容劃分的若干類別的感興趣塊和若干類別的非感興趣塊分類信息。
22.如權(quán)利要求18所述的一種基于宏塊分類的快速高效編轉(zhuǎn)碼方法，其特征還在于，所述對編轉(zhuǎn)碼所生成位流在解碼端的解碼過程中，在解碼端獲取分類信息的方式包括 解碼位流中的標志位得到分類信息； 由重建圖像或者圖像塊的編碼信息在解碼端計算分類信息。
全文摘要
本發(fā)明公開了一種基于宏塊分類的編轉(zhuǎn)碼方法，它基于背景建模技術(shù)，將當前圖像內(nèi)具有不同特性的圖像塊進行劃分，形成不同類別的圖像塊，隨后對不同類別的圖像塊采用不同的編碼或轉(zhuǎn)碼過程。在編碼應用中，可以有條件選擇性的或者強制性的對不同類別的圖像塊進行編碼優(yōu)化；在轉(zhuǎn)碼應用中，利用解碼得到的信息，完成參考幀選擇，運動搜索過程中的搜索范圍自適應縮減、候選模式的優(yōu)化精簡、量化參數(shù)調(diào)整和編碼模式選擇算法。與傳統(tǒng)編碼或轉(zhuǎn)碼方法相比，這種方法可以極大幅度的縮減編碼或轉(zhuǎn)碼復雜度，并且保持顯著的壓縮效率。
文檔編號H04N7/32GK102665077SQ20121013578
公開日2012年9月12日 申請日期2012年5月3日 優(yōu)先權(quán)日2012年5月3日
發(fā)明者張賢國, 田永鴻, 耿銘超, 高文, 黃鐵軍 申請人:北京大學