用于預(yù)測編碼的使用可變分區(qū)的視頻編碼的方法和設(shè)備以及用于預(yù)測編碼的使用可變分 ...的制作方法
【專利說明】用于預(yù)測編碼的使用可變分區(qū)的視頻編碼的方法和設(shè)備從及 用于預(yù)測編碼的使用可變分區(qū)的視頻解碼的方法和設(shè)備
[0001] 本申請是申請日為2011年1月14日、申請?zhí)枮?01180014086.8、題為"用于預(yù)測編 碼的使用可變分區(qū)的視頻編碼的方法和設(shè)備W及用于預(yù)測編碼的使用可變分區(qū)的視頻解 碼的方法和設(shè)備"的專利申請的分案申請。
技術(shù)領(lǐng)域
[0002] 本發(fā)明設(shè)及對視頻進(jìn)行編碼和解碼。
【背景技術(shù)】
[0003] 隨著用于再現(xiàn)和存儲高清晰度或高質(zhì)量視頻內(nèi)容的硬件的發(fā)展和供應(yīng)，對有效地 對高清晰度或高質(zhì)量視頻內(nèi)容進(jìn)行編碼或解碼的視頻編解碼器的需求正在增加。在現(xiàn)有視 頻編解碼器中，基于具有預(yù)定尺寸的宏塊根據(jù)有限的編碼方法來對視頻進(jìn)行編碼。
[0004] 視頻壓縮使用空間相關(guān)性和時間相關(guān)性。一般來說，W特定尺寸數(shù)據(jù)的單元（例 如，16 X 16宏塊)執(zhí)行帖間預(yù)測。當(dāng)具有特定尺寸的宏塊被劃分為兩個、四個或更多個運(yùn)動 區(qū)域并且隨后對每個運(yùn)動區(qū)域執(zhí)行帖間預(yù)測時，會發(fā)生與原始圖像相關(guān)的恢復(fù)的圖像的失 真，并且會產(chǎn)生用于發(fā)送帖間預(yù)測的結(jié)果的開銷。當(dāng)用于帖間預(yù)測的運(yùn)動區(qū)域被精細(xì)劃分 時，與原始圖像相關(guān)的恢復(fù)的圖像的失真減少，但開銷增加。因此，在帖間預(yù)測中，存在與原 始圖像相關(guān)的恢復(fù)的圖像的失真和用于發(fā)送帖間預(yù)測結(jié)果的開銷之間的權(quán)衡關(guān)系。

【發(fā)明內(nèi)容】

[0005] 技術(shù)問題
[0006] 本發(fā)明提供使用用于預(yù)測編碼的具有可變形狀和可變尺寸的分區(qū)的視頻編碼和 視頻解碼。
[0007] 解決方案
[000引根據(jù)本發(fā)明的一方面，提供了一種使用可變分區(qū)的視頻編碼方法，實(shí)施視頻編碼 方法包括:通過使用基于第一分區(qū)模式和分區(qū)等級確定的分區(qū)，W作為用于對畫面進(jìn)行編 碼的數(shù)據(jù)單元的編碼單元為單位執(zhí)行預(yù)測編碼，W便從確定的分區(qū)中選擇將輸出編碼結(jié)果 的分區(qū)，其中，第一編碼模式表示作為用于對編碼單元執(zhí)行預(yù)測編碼的數(shù)據(jù)單元的分區(qū)的 形狀和方向性，并且分區(qū)等級表示編碼單元被劃分為用于詳細(xì)的運(yùn)動預(yù)測的分區(qū)的程度； W及對表示選擇的分區(qū)的第一分區(qū)模式和分區(qū)等級的分區(qū)信息進(jìn)行編碼和輸出。
[0009] 有益效果
[0010] 不僅可確定具有與現(xiàn)有宏塊相同的尺寸的分區(qū)、具有現(xiàn)有宏塊的一半尺寸的分區(qū) 和具有現(xiàn)有宏塊的四分之一尺寸的分區(qū)，還可確定能夠預(yù)測紋理的方向性和位置的改變W 及詳細(xì)的運(yùn)動的分區(qū)。由于可基于編碼單元的尺寸對允許分區(qū)的詳細(xì)運(yùn)動被預(yù)測的分區(qū)的 形狀和方向進(jìn)行調(diào)整，因此可充分考慮圖像特性來執(zhí)行預(yù)測編碼和預(yù)測解碼。
【附圖說明】
[0011] 圖1是根據(jù)本發(fā)明的實(shí)施例的使用可變分區(qū)的視頻編碼設(shè)備的框圖；
[0012] 圖2是根據(jù)本發(fā)明的實(shí)施例的使用可變分區(qū)的視頻解碼設(shè)備的框圖；
[0013] 圖3是示出根據(jù)本發(fā)明的實(shí)施例的具有分層結(jié)構(gòu)的編碼單元的示圖；
[0014] 圖4示出根據(jù)本發(fā)明的實(shí)施例的由第一分區(qū)模式和分區(qū)等級定義的具有樹形結(jié)構(gòu) 的分區(qū)；
[0015] 圖5示出根據(jù)本發(fā)明的實(shí)施例的第一分區(qū)模式、分區(qū)等級和第二分區(qū)模式之間的 關(guān)系；
[0016] 圖6是根據(jù)本發(fā)明的實(shí)施例的使用可變分區(qū)的視頻編碼方法的流程圖；
[0017] 圖7是根據(jù)本發(fā)明的實(shí)施例的使用可變分區(qū)的視頻解碼方法的流程圖；
[0018] 圖8是根據(jù)本發(fā)明的實(shí)施例的使用基于具有樹形結(jié)構(gòu)的編碼單元進(jìn)行預(yù)測編碼的 可變分區(qū)的視頻編碼設(shè)備的框圖；
[0019] 圖9是根據(jù)本發(fā)明的實(shí)施例的使用基于具有樹形結(jié)構(gòu)的編碼單元進(jìn)行預(yù)測編碼的 可變分區(qū)的視頻解碼設(shè)備的框圖；
[0020] 圖10是用于描述根據(jù)本發(fā)明的實(shí)施例的編碼單元的概念的示圖；
[0021] 圖11是根據(jù)本發(fā)明的實(shí)施例的基于編碼單元的圖像編碼器的框圖；
[0022] 圖12是根據(jù)本發(fā)明的實(shí)施例的基于編碼單元的圖像解碼器的框圖；
[0023] 圖13是示出根據(jù)本發(fā)明的實(shí)施例的根據(jù)深度的較深層編碼單元和分區(qū)的示圖；
[0024] 圖14是用于描述根據(jù)本發(fā)明的實(shí)施例的編碼單元和變換單元之間的關(guān)系的示圖；
[0025] 圖15是用于描述根據(jù)本發(fā)明的實(shí)施例的與編碼深度相應(yīng)的編碼單元的編碼信息 的示圖；
[0026] 圖16是根據(jù)本發(fā)明的實(shí)施例的根據(jù)深度的較深層編碼單元的示圖；
[0027] 圖17、圖18和圖19是用于描述根據(jù)本發(fā)明的實(shí)施例的編碼單元、預(yù)測單元和變換 單元之間的關(guān)系的示圖；
[0028] 圖20是用于描述根據(jù)表2的編碼模式信息的編碼單元、預(yù)測單元或分區(qū)和變換單 元之間的關(guān)系的示圖；
[0029] 圖21是根據(jù)本發(fā)明的實(shí)施例的使用基于具有樹形結(jié)構(gòu)的編碼單元的可變分區(qū)的 視頻編碼方法的流程圖；
[0030] 圖22是根據(jù)本發(fā)明的實(shí)施例的使用基于具有樹形結(jié)構(gòu)的編碼單元的可變分區(qū)的 視頻解碼方法的流程圖。
【具體實(shí)施方式】
[0031] 最佳模式
[0032] -種根據(jù)本發(fā)明的實(shí)施例的使用可變分區(qū)的視頻編碼方法包括:通過使用基于第 一分區(qū)模式和分區(qū)等級確定的多個分區(qū)，W作為用于對畫面進(jìn)行編碼的數(shù)據(jù)單元的編碼單 元為單位執(zhí)行預(yù)測編碼，W便從確定的多個分區(qū)中選擇將輸出編碼結(jié)果的分區(qū)，其中，所述 第一分區(qū)模式表示作為用于對所述編碼單元執(zhí)行預(yù)測編碼的數(shù)據(jù)單元的分區(qū)的形狀和方 向性，所述分區(qū)等級表示所述編碼單元被劃分為用于詳細(xì)的運(yùn)動預(yù)測的多個分區(qū)的程度； 對表示選擇的分區(qū)的第一分區(qū)模式和分區(qū)等級的分區(qū)信息進(jìn)行編碼和輸出。
[0033] -種根據(jù)本發(fā)明的實(shí)施例的使用可變分區(qū)的視頻解碼方法包括:從接收到的比特 流提取包括第一分區(qū)模式和分區(qū)等級的分區(qū)信息，其中，所述提取W作為用于對畫面進(jìn)行 編碼的數(shù)據(jù)單元的編碼單元為單位被執(zhí)行，第一分區(qū)模式表示作為用于對編碼單元執(zhí)行預(yù) 測解碼的數(shù)據(jù)單元的分區(qū)的形狀和方向性，分區(qū)等級表示編碼單元被劃分為用于詳細(xì)的運(yùn) 動預(yù)測的多個分區(qū)的程度;通過使用基于提取的分區(qū)信息的第一分區(qū)模式和分區(qū)等級確定 的多個分區(qū)執(zhí)行預(yù)測解碼來恢復(fù)所述畫面。
[0034] -種根據(jù)本發(fā)明的實(shí)施例的使用可變分區(qū)的視頻編碼設(shè)備包括:編碼器，通過使 用基于第一分區(qū)模式和分區(qū)等級確定的多個分區(qū)，W作為用于對畫面進(jìn)行編碼的數(shù)據(jù)單元 的編碼單元為單位執(zhí)行預(yù)測編碼，W便從確定的多個分區(qū)中選擇將輸出編碼結(jié)果的分區(qū)， 并對所述畫面進(jìn)行編碼W便確定編碼單元的編碼模式，其中，第一分區(qū)模式表示作為用于 對編碼單元執(zhí)行預(yù)測編碼的數(shù)據(jù)單元的分區(qū)的形狀和方向性，分區(qū)等級表示編碼單元被劃 分為用于詳細(xì)的運(yùn)動預(yù)測的多個分區(qū)的程度;輸出單元，對表示選擇的分區(qū)的第一分區(qū)模 式和分區(qū)等級的分區(qū)信息、關(guān)于選擇的分區(qū)的預(yù)測模式的信息W及包括關(guān)于編碼模式的信 息的編碼信息進(jìn)行編碼和輸出，并對選擇的分區(qū)的運(yùn)動矢量和殘差數(shù)據(jù)進(jìn)行編碼和輸出。
[0035] -種根據(jù)本發(fā)明的實(shí)施例的使用可變分區(qū)的視頻解碼設(shè)備包括:提取器，從接收 到的比特流提取包括第一分區(qū)模式和分區(qū)等級的分區(qū)信息、關(guān)于分區(qū)的預(yù)測模式的信息、 包括關(guān)于編碼模式的信息的編碼信息W及分區(qū)的運(yùn)動矢量和殘差數(shù)據(jù)，其中，所述第一分 區(qū)模式表示作為用于對作為用于對畫面進(jìn)行編碼的數(shù)據(jù)單元的編碼單元執(zhí)行預(yù)測編碼的 數(shù)據(jù)單元的分區(qū)的形狀和方向性，分區(qū)等級表示編碼單元被劃分為用于詳細(xì)的運(yùn)動預(yù)測的 多個分區(qū)的程度，其中，所述提取針對每個編碼單元被執(zhí)行;解碼器，根據(jù)基于提取的分區(qū) 信息的第一分區(qū)模式和分區(qū)等級確定的多個分區(qū)的預(yù)測模式，對所述確定的多個分區(qū)執(zhí)行 預(yù)測解碼，并根據(jù)編碼模式恢復(fù)所述畫面。
[0036] 本發(fā)明包括一種記錄有用于執(zhí)行所述視頻編碼方法的程序的計(jì)算機(jī)可讀記錄介 質(zhì)。
[0037] 本發(fā)明包括一種記錄有用于執(zhí)行所述視頻解碼方法的程序的計(jì)算機(jī)可讀記錄介 質(zhì)。
[003引本發(fā)明的模式
[0039] W下，"圖像"可表示視頻的靜止圖像或運(yùn)動圖像（即，視頻本身KW下，"數(shù)據(jù)單 元"可表示構(gòu)成視頻的多份數(shù)據(jù)中落入預(yù)定范圍之內(nèi)的多份數(shù)據(jù)的集。
[0040] 現(xiàn)將參照圖1至圖7描述根據(jù)本發(fā)明的實(shí)施例的使用用于預(yù)測編碼的可變分區(qū)的 視頻的編碼和解碼。稍后將參照圖8至圖22描述根據(jù)本發(fā)明的實(shí)施例的使用基于具有樹形 結(jié)構(gòu)的編碼單元進(jìn)行預(yù)測編碼的可變分區(qū)的視頻的編碼和解碼。
[0041] 圖1是根據(jù)本發(fā)明的實(shí)施例的使用用于預(yù)測編碼的可變分區(qū)的視頻編碼設(shè)備10的 框圖。
[0042] 參照圖1，使用可變分區(qū)的視頻編碼設(shè)備10包括編碼器11和輸出單元12。為便于解 釋，W下使用可變分區(qū)的視頻編碼設(shè)備10將被簡稱為視頻編碼設(shè)備10。
[0043] 視頻編碼設(shè)備10接收視頻的畫面序列，通過對所述畫面序列的每個畫面執(zhí)行帖間 預(yù)測、帖內(nèi)預(yù)測、變換、量化和賭編碼來對所述畫面序列進(jìn)行編碼，并輸出編碼的視頻數(shù)據(jù) (即，編碼的結(jié)果）W及包括關(guān)于編碼模式的信息的編碼信息。
[0044] 視頻編碼設(shè)備10可將當(dāng)前畫面劃分為多個數(shù)據(jù)單元(每個數(shù)據(jù)單元均具有預(yù)定尺 寸），并可對每個數(shù)據(jù)單元執(zhí)行編碼，W有效地對當(dāng)前畫面進(jìn)行編碼。W下，用于對畫面進(jìn)行 編碼的數(shù)據(jù)單元被稱為"編碼單元"。編碼器11可確定編碼單元和將對每個編碼單元執(zhí)行的 編碼方法。針對每個編碼單元確定的編碼方法被稱為編碼模式。
[0045] 數(shù)據(jù)冗余會發(fā)生在視頻的時間連續(xù)的多個圖像中，或發(fā)生在視頻的圖像的空間相 鄰區(qū)域中。在視頻壓縮編碼期間，參考空間/時間相鄰數(shù)據(jù)區(qū)域執(zhí)行編碼的預(yù)測編碼技術(shù)被 執(zhí)行，W去除空間/時間相鄰的數(shù)據(jù)區(qū)域中的數(shù)據(jù)冗余而減少編碼數(shù)據(jù)的尺寸。
[0046] 在預(yù)測編碼技術(shù)中，基于具有預(yù)定尺寸和預(yù)定形狀的數(shù)據(jù)單元捜索具有冗余數(shù)據(jù) 的相鄰數(shù)據(jù)區(qū)域，因此可對捜索的冗余數(shù)據(jù)單元之間的差距（即，運(yùn)動）W及原始數(shù)據(jù)和捜 索的冗余數(shù)據(jù)單元的冗余數(shù)據(jù)之間的差值(即，殘差數(shù)據(jù))進(jìn)行編碼。
[0047] 編碼器11可確定作為將與相鄰數(shù)據(jù)的運(yùn)動進(jìn)行比較的數(shù)據(jù)單元的分區(qū)，W對每個 編碼單元執(zhí)行預(yù)測編碼。分區(qū)的尺寸可小于或等于編碼單元的尺寸。編碼器11可根據(jù)使用 確定的分區(qū)的預(yù)測編碼輸出通過從每個分區(qū)去除冗余數(shù)據(jù)而獲得的殘差數(shù)據(jù)。
[0048] 編碼器11通過使用基于第一分區(qū)模式和分區(qū)等級確定的分區(qū)執(zhí)行預(yù)測編碼，來選 擇用于輸出編碼結(jié)果的分區(qū)。
[0049] 編碼器11可通過使用具有多種形狀、方向性和尺寸的分區(qū)對每個編碼單元執(zhí)行預(yù) 測編碼，并從多個分區(qū)中選擇一分區(qū)，殘差數(shù)據(jù)最終將通過該分區(qū)被輸出。分區(qū)的方向性表 示所述分區(qū)從編碼單元被劃分的方向。編碼器11可通過根據(jù)多種分區(qū)確定并比較編碼效率 來選擇產(chǎn)生最高編碼效率的用于預(yù)測編碼的分區(qū)。
[0050] 可考慮原始數(shù)據(jù)和恢復(fù)的數(shù)據(jù)之間的誤差、在解碼之后產(chǎn)生的開銷等來確定編碼 效率。可使用基于拉格朗日乘子化agrangian multipliers)的率失真最優(yōu)化來測量根據(jù)預(yù) 測編碼的編碼效率。
[0051] 可基于第一分區(qū)模式和分區(qū)等級定義根據(jù)本發(fā)明的實(shí)施例的分區(qū)。根據(jù)本發(fā)明的 實(shí)施例的第一分區(qū)模式指示分區(qū)的形狀和方向性。
[0052] 例如，可根據(jù)第一分區(qū)模式的類型定義分區(qū)類型（矩形分區(qū)、正方形分區(qū)、非矩形 分區(qū)等）。例如，可定義根據(jù)第一編碼模式的劃分編碼單元的方向性，其中，編碼單元被劃分 的示例包括：i)編碼單元被垂直地，水平地，垂直并水平地均分為多個分區(qū)，或?qū)堑貏澐?為多個分區(qū)；ii)編碼單元沿著偏向編碼單元的左端、右端、上端或下端的劃分線被劃分為 多個分區(qū)；或iii)通過從寬度到對面寬度，從高度到對面高度，從寬度到相鄰高度，和從高 度到相鄰寬度對編碼單元進(jìn)行劃分而獲得多個分區(qū)。
[0053] 根據(jù)本發(fā)明的實(shí)施例的分區(qū)等級表示為了精細(xì)運(yùn)動預(yù)測將編碼單元劃分為多個 分區(qū)的程度?？筛鶕?jù)分區(qū)等級的值確定分區(qū)的寬度(高度)相對于編碼單元的寬度(高度)的 劃分比率。
[0054] 例如，隨著根據(jù)實(shí)施例的劃分等級增加，可確定通過對編碼單元的寬度和高度進(jìn) 行精細(xì)劃分而獲得的多個分區(qū)。例如，可基于編碼單元的寬度或高度變?yōu)閚等份的劃分確定 Wl:(n-l)、2:(n-2)、…、(n-2):2和(n-l):l對編碼單元的寬度或高度進(jìn)行劃分而獲得的多 個分區(qū)。
[0055] 然而，根據(jù)實(shí)施例的分區(qū)的最小尺寸是有限的，也就是說，編碼單元無法被無限劃 分。因此，可基于根據(jù)分層樹形結(jié)構(gòu)確定的當(dāng)前編碼單元的尺寸確定分區(qū)的分區(qū)等級的上 限、下限、或上限和下限兩者。可由系統(tǒng)設(shè)置或用戶設(shè)置來限制分區(qū)等級的值。
[0056] 分區(qū)的寬度和高度可增加或減少，其中，所述分區(qū)的形狀和方向基于根據(jù)實(shí)施例 的第一分區(qū)模式被確定?？筛鶕?jù)第二分區(qū)模式定義分區(qū)的寬度和高度，其中，所述分區(qū)的形 狀和方向基于第一分區(qū)模式被確定。換句話說，第二分區(qū)模式可從根據(jù)第一分區(qū)模式的允 許的多個分區(qū)中確定詳細(xì)的分區(qū)類型。
[0057] 第一分區(qū)模式的多個分區(qū)的形狀和方向根據(jù)第一分區(qū)模式被確定，并且分區(qū)的寬 度、高度、或?qū)挾然蚋叨葍烧咴黾踊驕p少為根據(jù)分區(qū)等級確定的分區(qū)的最小寬度或最小高 度的一倍或多倍。因此，第二分區(qū)模式可被定義，W便指示第一分區(qū)模式的多個分區(qū)中的每 個。
[0058] 例如，當(dāng)分區(qū)的最小寬度和最小高度根據(jù)分區(qū)等級被確定為編碼單元的寬度和高 度的1/n，第二分區(qū)模式指示所述編碼單元的寬度或高度Wl:(n-l)、2:(n-2)、…、（n-2):2 和(n-l):l被劃分的多個分區(qū)中的每個。
[0059] 因此，編碼器11還可根據(jù)第一分區(qū)模式確定第二分區(qū)模式，并且第二分區(qū)模式的 類型或數(shù)量可根據(jù)第一分區(qū)模式和分區(qū)等級被確定。
[0060] 輸出單元12可對表示由編碼器11選擇的分區(qū)的第一分區(qū)模式和分區(qū)等級的模式 信息進(jìn)行編碼和輸出。分區(qū)信息還可根據(jù)第一分區(qū)模式包括第二分區(qū)模式。分區(qū)信息可包 括用于確定分區(qū)等級的下限或上限的分區(qū)等級限制信息。
[0061] 輸出單元12可輸出分區(qū)的運(yùn)動矢量和殘差數(shù)據(jù)，其中，已通過使用由編碼器11確 定的分區(qū)進(jìn)行預(yù)測編碼產(chǎn)生所述分區(qū)。輸出單元12還可對關(guān)于預(yù)測模式的信息W及包括關(guān) 于編碼模式的信息的編碼信息進(jìn)行編碼和輸出，其中，所述預(yù)測模式表示使用由編碼器11 確定的分區(qū)的預(yù)測編碼方法。根據(jù)本發(fā)明的實(shí)施例的編碼信息可被插入到序列參數(shù)集 (SPS)。根據(jù)實(shí)施例的編碼信息可W W數(shù)據(jù)單元(諸如，序列、畫面、帖、像條、最大編碼單元 等)的每個單位被編碼并被插入輸出比特流。
[0062] 圖2是根據(jù)本發(fā)明的實(shí)施例的使用用于預(yù)測編碼的可變分區(qū)的視頻解碼設(shè)備20的 框圖。
[0063] 參照圖2,使用用于預(yù)測編碼的可變分區(qū)的視頻解碼設(shè)備20包括提取器21和解碼 器22。為便于解釋，使用用于預(yù)測編碼的可變分區(qū)的視頻解碼設(shè)備20W下將被簡稱為視頻 解碼設(shè)備20。
[0064] 視頻解碼設(shè)備20可接收比特流(其中，視頻的畫面序列已被編碼為比特流），并通 過相對于每個編碼的畫面數(shù)據(jù)的賭解碼、反量化、逆變換、帖間預(yù)測/補(bǔ)償和帖內(nèi)預(yù)測，從而 恢復(fù)畫面。
[0065] 提取器21可對接收到的比特流進(jìn)行解析W提取編碼的畫面數(shù)據(jù)和運(yùn)動矢量。提取 器21可對接收到的比特流進(jìn)行解析W提取編碼的殘差數(shù)據(jù)。
[0066] 提取器21可對接收到的比特流進(jìn)行W提取編碼信息。提取器21可從編碼信息讀取 關(guān)于編碼模式的信息、分區(qū)信息和關(guān)于預(yù)測模式的信息?？蓮姆謪^(qū)信息讀取編碼單元的分 區(qū)的第一分區(qū)模式和分區(qū)等級。
[0067] 由提取器21提取的分區(qū)信息可包括關(guān)于分區(qū)的形狀和方向的信息，所述分區(qū)是具 有由第一分區(qū)模式和分區(qū)等級形成的分層樹形結(jié)構(gòu)的分區(qū)中提供最高編碼效率的分區(qū)。
[0068] 解碼器22可基于由提取器21提取并讀取的分區(qū)信息確定用于針對畫面進(jìn)行預(yù)測 編碼的分區(qū)。解碼器22可通過使用由提取器21提取的預(yù)測模式和運(yùn)動矢量對編碼的殘差數(shù) 據(jù)進(jìn)行預(yù)測解碼。
[0069] 解碼器22可基于分區(qū)信息確定每個編碼單元的分區(qū)。解碼器22可基于包括在分區(qū) 信息中的第一分區(qū)模式確定分區(qū)的形狀和編碼單元被劃分為多個分區(qū)的方向性。解碼器22 可基于包括在分區(qū)信息中的分區(qū)等級確定編碼單元被精細(xì)地劃分為