專利名稱：視頻編碼和解碼中模板匹配預(yù)測(cè)(tmp)的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本原理一般涉及視頻編碼和解碼，尤其涉及視頻編碼和解碼中模板匹配預(yù)測(cè) (TMP)的方法和裝置。
背景技術(shù)：
用在視頻編碼和解碼中的模板匹配預(yù)測(cè)(TMP)通過避免運(yùn)動(dòng)向量/位移向量的傳 輸，可以在幀間預(yù)測(cè)和/或幀內(nèi)預(yù)測(cè)的編碼效率方面獲益。但是，模板匹配預(yù)測(cè)的預(yù)測(cè)性能 高度依賴于目標(biāo)塊與它的相應(yīng)模板之間的關(guān)聯(lián)性。在技術(shù)上眾所周知，如圖1所示，使用在 頂部和/或左側(cè)圍繞目標(biāo)塊的重構(gòu)像素。轉(zhuǎn)到圖1，涉及模板匹配預(yù)測(cè)的隱性(implicit) 運(yùn)動(dòng)估計(jì)方案的一個(gè)例子用標(biāo)號(hào)100總體表示。隱性運(yùn)動(dòng)估計(jì)方案100涉及含有搜索區(qū) 111的重構(gòu)參考幀110，搜索區(qū)111內(nèi)的預(yù)測(cè)112，和與預(yù)測(cè)112有關(guān)的鄰居113。隱性運(yùn)動(dòng) 估計(jì)方案100還涉及含有目標(biāo)塊151的當(dāng)前幀150，與目標(biāo)塊151有關(guān)的模板152，和重構(gòu) 區(qū)153。但是，以這樣的方式利用模板匹配預(yù)測(cè)降低了編碼器和解碼器性能，尤其當(dāng)模板與 目標(biāo)信號(hào)之間具有較弱關(guān)聯(lián)性時(shí)。幀間預(yù)測(cè)在視頻編碼中，幀間預(yù)測(cè)廣泛應(yīng)用于降低目標(biāo)幀與參考幀之間的時(shí)間冗余。運(yùn)動(dòng) 估計(jì)和補(bǔ)償是幀間預(yù)測(cè)的組成部分。一般說來，我們可以將運(yùn)動(dòng)模型和相應(yīng)運(yùn)動(dòng)估計(jì)技術(shù) 分類成兩類。第一類是所謂的顯性(explicit)運(yùn)動(dòng)估計(jì)，或顯性運(yùn)動(dòng)模型，其中顯性地傳 輸運(yùn)動(dòng)向量。第二類是所謂的隱性運(yùn)動(dòng)估計(jì)，其中根據(jù)重構(gòu)像素估計(jì)運(yùn)動(dòng)信息，以便無需傳 輸運(yùn)動(dòng)向量。在像，例如，國際標(biāo)準(zhǔn)化組織/國際電工委員會(huì)(IS0/IEC)運(yùn)動(dòng)圖形專家組 4(MPEG-4)第10部分高級(jí)視頻編碼(AVC)標(biāo)準(zhǔn)/國際電信聯(lián)盟，電信部門(ITU-T)H. 264 建議(下文稱為“MPEG-4AVC標(biāo)準(zhǔn)”)那樣的當(dāng)前視頻編碼標(biāo)準(zhǔn)中很好地采用了如圖2所示 的基于塊匹配技術(shù)的第一類。轉(zhuǎn)到圖2，涉及塊匹配的顯性運(yùn)動(dòng)估計(jì)方案的一個(gè)例子用標(biāo) 號(hào)200總體表示。顯性運(yùn)動(dòng)估計(jì)方案200涉及含有搜索區(qū)201的重構(gòu)參考幀210和搜索區(qū) 201內(nèi)的預(yù)測(cè)202。顯性運(yùn)動(dòng)估計(jì)方案200還涉及含有目標(biāo)塊251和重構(gòu)區(qū)252的當(dāng)前幀 250。運(yùn)動(dòng)向量MV用于表示目標(biāo)塊251與預(yù)測(cè)202之間的運(yùn)動(dòng)。第一類通常分兩步進(jìn)行。 估計(jì)目標(biāo)(當(dāng)前)塊與參考幀之間的運(yùn)動(dòng)向量。然后編碼運(yùn)動(dòng)信息并顯性地將其發(fā)送給解 碼器。在解碼器上，解碼運(yùn)動(dòng)信息并將其用于從在前解碼重構(gòu)參考幀中預(yù)測(cè)目標(biāo)塊。第二類指的是在位流中不顯性地編碼運(yùn)動(dòng)信息的運(yùn)動(dòng)估計(jì)方法的類別。取而代 之，在解碼器上進(jìn)行與在編碼器上所進(jìn)行相同的運(yùn)動(dòng)信息導(dǎo)出。一種實(shí)用的隱性運(yùn)動(dòng)估計(jì) 方案是使用空時(shí)自回歸模型，其中應(yīng)用了最小二乘預(yù)測(cè)(LSP)。另一種常用的和流行的手段是使用像顯示在圖1中的模板匹配預(yù)測(cè)手段那樣的基于小塊(patch-based)模型。一般說來，顯性運(yùn)動(dòng)估計(jì)可以更精確，尤其對(duì)于快速和不自然運(yùn)動(dòng)，但以運(yùn)動(dòng)向量 的編碼位為代價(jià)。隱性運(yùn)動(dòng)估計(jì)更適用于緩慢的和自然的運(yùn)動(dòng)，但給解碼器帶來復(fù)雜性的 負(fù)擔(dān)，因?yàn)楸仨毾窬幋a器那樣計(jì)算運(yùn)動(dòng)信息。MPEG-4AVC標(biāo)準(zhǔn)幀間預(yù)測(cè)MPEG-4AVC標(biāo)準(zhǔn)使用樹結(jié)構(gòu)分層宏塊分區(qū)。幀間編碼16 X 16像素宏塊可以分解成 尺寸為16X8、8X16或8X8的宏塊分區(qū)。8X8像素的宏塊分區(qū)也稱為子宏塊。子宏塊也 可以分解成尺寸為8X4、4X8和4X4的子宏塊分區(qū)。編碼器可以根據(jù)特定宏塊的特性選 擇如何將宏塊劃分成分區(qū)和子宏塊分區(qū)，以便使壓縮效率和主觀質(zhì)量最高?？梢詫⒍鄠€(gè)參考畫面用于幀間預(yù)測(cè)，參考畫面索引被編碼成指示使用多個(gè)參考畫 面的哪一個(gè)。對(duì)于P畫面(或P切片)，只使用單向預(yù)測(cè)，并在序列0中管理允許參考畫面。 在B畫面(或B切片)中，管理參考畫面的兩個(gè)序列，即序列0和序列1。在B畫面(或B 切片)中，允許使用序列0或序列1任一個(gè)的單向預(yù)測(cè)，或允許使用序列0和序列1兩者的 雙向預(yù)測(cè)。當(dāng)使用雙向預(yù)測(cè)時(shí)，一起對(duì)序列0和序列1的預(yù)測(cè)值求平均以形成最終預(yù)測(cè)值。每個(gè)宏塊分區(qū)可以具有獨(dú)立的參考畫面索引、預(yù)測(cè)類型(序列0，序列1，雙向預(yù) 測(cè))、和獨(dú)立的運(yùn)動(dòng)向量。每個(gè)子宏塊分區(qū)可以具有獨(dú)立的運(yùn)動(dòng)向量，但同一子宏塊中的所 有子宏塊分區(qū)使用相同的參考畫面索引和預(yù)測(cè)類型。在MPEG-4AVC標(biāo)準(zhǔn)聯(lián)合模型(JM)參考軟件中，將率失真優(yōu)化(RDO)框架用于模式 決定。對(duì)于幀間模式，與模式?jīng)Q定分開考慮運(yùn)動(dòng)估計(jì)。首先對(duì)所有塊類型的幀間模式進(jìn)行 運(yùn)動(dòng)估計(jì)，然后通過比較每種幀間模式和幀內(nèi)模式的成本作出模式?jīng)Q定。選擇成本最小的 模式作為最佳模式。如下模式分別涉及P幀和B幀
^八^” 諷TRA4x4，INTRA、6x\6, SKIP, }p to MODE e <L
隊(duì)[\6x\6,16x8，8x16, 8jc8, 8jc4，4*8,4x4J'
'INTRA 4x4，INTRA 16x16, DIRECT, }6xl6L0,l6x8L0,8xi6L0, SxBLOt 8x410， 4x8L0, 4x4L0,16xl6Ll, 16xSL1, 8*16X1, 8*8X1, 8jc4U, 4x811, 4x4L\,16x]6BI, 16x8BI,8x16BI, 8X8BI, SxABI, 4jc857, 4^45/模板匹配模板匹配預(yù)測(cè)是一種不發(fā)送運(yùn)動(dòng)向量地預(yù)測(cè)目標(biāo)像素的方式。給定一幀的一個(gè)目 標(biāo)塊，通過從一組參考樣本中找出一個(gè)最佳像素確定該塊中的目標(biāo)像素，其中最佳像素的 相鄰像素與目標(biāo)像素的那些相鄰像素之間具有最高關(guān)聯(lián)性。目標(biāo)像素的那些相鄰像素被叫 做模板?，F(xiàn)有技術(shù)表明，如圖1所示，模板總是取自目標(biāo)像素的重構(gòu)周圍像素。模板匹配預(yù) 測(cè)可以應(yīng)用于幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)兩者。在幀間預(yù)測(cè)的情況下，模板匹配過程可以看作解碼器方的運(yùn)動(dòng)向量搜索。這里，與 傳統(tǒng)運(yùn)動(dòng)估計(jì)技術(shù)非常類似地進(jìn)行模板匹配。通過對(duì)參考幀中的相應(yīng)位移模板狀區(qū)域計(jì)算 成本函數(shù)估計(jì)運(yùn)動(dòng)向量。然后將模板的最佳運(yùn)動(dòng)向量用于預(yù)測(cè)目標(biāo)區(qū)。對(duì)于搜索，只訪問 已經(jīng)存在重構(gòu)或至少存在預(yù)測(cè)信號(hào)的圖像的那些區(qū)域。因此，解碼器能夠執(zhí)行模板匹配過 B^ MODEe程，并且無需附加輔助信息地預(yù)測(cè)目標(biāo)區(qū)。模板匹配可以無需傳輸運(yùn)動(dòng)向量地預(yù)測(cè)目標(biāo)塊中的像素。如果目標(biāo)塊與它的模板 之間的關(guān)聯(lián)性高，預(yù)計(jì)模板匹配預(yù)測(cè)的預(yù)測(cè)性能與塊匹配預(yù)測(cè)的預(yù)測(cè)性能相當(dāng)。在現(xiàn)有技 術(shù)中，模板總是取自目標(biāo)像素的重構(gòu)空間相鄰像素。相鄰像素有時(shí)與目標(biāo)像素之間具有低 關(guān)聯(lián)性，因此，模板匹配預(yù)測(cè)的性能可以低于傳統(tǒng)塊匹配方案。多假設(shè)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)(MCP)多假設(shè)是多個(gè)預(yù)測(cè)候選者的組合，以使目標(biāo)塊的預(yù)測(cè)信號(hào)更低噪，或與目標(biāo)塊更 關(guān)聯(lián)。雙向預(yù)測(cè)是多假設(shè)的更常見情況。在現(xiàn)有技術(shù)中，多假設(shè)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)可以與顯性 預(yù)測(cè)和隱性預(yù)測(cè)一道分類成兩類，在第一類中，對(duì)于每個(gè)假設(shè)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，顯性地傳輸所 有運(yùn)動(dòng)向量。在第二類中，像模板匹配求平均那樣，在位流中不嵌入運(yùn)動(dòng)向量。第一種手段 的缺點(diǎn)是運(yùn)動(dòng)的位速率開銷。第二種手段的缺點(diǎn)是因?yàn)槠ヅ溥^程基于相鄰像素，所以由可 能涉及的外圍者(outlier)引起的不精確。

發(fā)明內(nèi)容
現(xiàn)有技術(shù)的這些和其它缺陷和缺點(diǎn)通過以視頻編碼和解碼中模板匹配預(yù)測(cè)(TMP) 的方法和裝置為目的的本原理來解決。按照本原理的一個(gè)方面，提供了一種裝置。所述裝置包括編碼器，用于通過確定目 標(biāo)塊的至少一個(gè)預(yù)測(cè)值并且分別將至少一個(gè)預(yù)測(cè)值用作模板來搜索目標(biāo)塊的至少一個(gè)另 外預(yù)測(cè)值，編碼畫面中的目標(biāo)塊。按照本原理的另一個(gè)方面，提供了一種方法。所述方法包括通過確定目標(biāo)塊的至 少一個(gè)預(yù)測(cè)值并且分別將至少一個(gè)預(yù)測(cè)值用作模板來搜索目標(biāo)塊的至少一個(gè)另外預(yù)測(cè)值， 編碼畫面中的目標(biāo)塊。按照本原理的又一個(gè)方面，提供了一種裝置。所述裝置包括解碼器，用于通過確定 目標(biāo)塊的至少一個(gè)預(yù)測(cè)值并且分別將至少一個(gè)預(yù)測(cè)值用作模板來搜索目標(biāo)塊的至少一個(gè) 另外預(yù)測(cè)值，解碼畫面中的目標(biāo)塊。按照本原理的再一個(gè)方面，提供了一種方法。所述方法包括通過確定目標(biāo)塊的至 少一個(gè)預(yù)測(cè)值并且分別將至少一個(gè)預(yù)測(cè)值用作模板來搜索目標(biāo)塊的至少一個(gè)另外預(yù)測(cè)值， 解碼畫面中的目標(biāo)塊。本原理的這些和其它方面、特征和優(yōu)點(diǎn)可以從要結(jié)合附圖閱讀的示范性實(shí)施例的 如下詳細(xì)描述中明顯看出。


可以依照如下示范性附圖更好地理解本原理，在附圖中圖1是示出涉及模板匹配預(yù)測(cè)的隱性運(yùn)動(dòng)估計(jì)方案的一個(gè)例子的圖形；圖2是示出涉及塊匹配的顯性運(yùn)動(dòng)估計(jì)方案的一個(gè)例子的圖形；圖3是示出依照本原理一個(gè)實(shí)施例、可以應(yīng)用本原理的示范性視頻編碼器的方塊 圖；圖4是示出依照本原理一個(gè)實(shí)施例、可以應(yīng)用本原理的示范性視頻解碼器的方塊 圖5是示出依照本原理一個(gè)實(shí)施例、結(jié)合單次預(yù)測(cè)(單預(yù)測(cè)(uni-predictor))的 模板匹配預(yù)測(cè)(TMP)方案的一個(gè)例子的圖形；圖6是示出依照本原理一個(gè)實(shí)施例、使用結(jié)合單次參考序列預(yù)測(cè)(單預(yù)測(cè))的模 板匹配預(yù)測(cè)的一種視頻編碼方法的流程圖；圖7是示出依照本原理一個(gè)實(shí)施例、使用結(jié)合單次參考序列預(yù)測(cè)(單預(yù)測(cè))的模 板匹配預(yù)測(cè)的一種視頻解碼方法的流程圖；圖8是示出依照本原理一個(gè)實(shí)施例、結(jié)合雙預(yù)測(cè)的模板匹配預(yù)測(cè)的一個(gè)例子的圖 形；圖9是示出依照本原理一個(gè)實(shí)施例、使用結(jié)合雙預(yù)測(cè)的模板匹配預(yù)測(cè)的一種視頻 編碼方法的流程圖；圖10是示出依照本原理一個(gè)實(shí)施例、使用結(jié)合雙預(yù)測(cè)的模板匹配預(yù)測(cè)的一種視 頻解碼方法的流程圖；圖11是示出依照本原理一個(gè)實(shí)施例、使用結(jié)合雙預(yù)測(cè)的模板匹配預(yù)測(cè)的另一種 視頻編碼方法的流程圖；圖12是示出依照本原理一個(gè)實(shí)施例、使用結(jié)合雙預(yù)測(cè)的模板匹配預(yù)測(cè)的另一種 視頻解碼方法的流程圖；圖13是示出依照本原理一個(gè)實(shí)施例、結(jié)合多個(gè)參考畫面的模板匹配預(yù)測(cè)的一個(gè) 例子的圖形；圖14是示出依照本原理一個(gè)實(shí)施例、使用結(jié)合多個(gè)參考畫面的模板匹配預(yù)測(cè)的 一種視頻編碼方法的流程圖；圖15是示出依照本原理一個(gè)實(shí)施例、使用結(jié)合多個(gè)參考畫面的模板匹配預(yù)測(cè)的 一種視頻解碼方法的流程圖；圖16是示出依照本原理一個(gè)實(shí)施例、將模板匹配預(yù)測(cè)用于幀內(nèi)預(yù)測(cè)的另一種視 頻編碼方法的流程圖；以及圖17是示出依照本原理一個(gè)實(shí)施例、使用結(jié)合多個(gè)參考畫面的模板匹配預(yù)測(cè)的 另一種視頻解碼方法的流程圖。
具體實(shí)施例方式本原理針對(duì)視頻編碼和解碼中模板匹配預(yù)測(cè)(TMP)的方法和裝置。本描述將舉例說明本原理。因此，應(yīng)該懂得，本領(lǐng)域的普通技術(shù)人員能夠設(shè)想出盡 管未明確描述或顯示在本文中，但體現(xiàn)本原理和包括在它的精神和范圍之內(nèi)的各種安排。本文闡述的所有例子和條件語言都是以教授為目的，以幫助讀者理解本原理以及 本發(fā)明人為促進(jìn)技術(shù)進(jìn)步而貢獻(xiàn)的概念，并且應(yīng)該理解成不局限于這樣的具體闡述例子和 條件。此外，本文闡述本原理的各個(gè)原理、方面和實(shí)施例及其特定例子的所有語句旨在 包含其結(jié)構(gòu)和功能等效物兩者。另外，這樣的等效物旨在包括當(dāng)前已知的等效物以及未來 開發(fā)的等效物，即與結(jié)構(gòu)無關(guān)，開發(fā)出來執(zhí)行相同功能的任何元件。因此，例如，本領(lǐng)域的普通技術(shù)人員應(yīng)該懂得，本文所表示的方塊圖代表體現(xiàn)本原 理的例示性電路的概念圖。類似地，應(yīng)該懂得，任何過程圖、流程圖、狀態(tài)轉(zhuǎn)變圖、偽碼等代表基本上可以表示在計(jì)算機(jī)可讀媒體中，因此可以由計(jì)算機(jī)或處理器執(zhí)行的各種進(jìn)程，無 論這樣的計(jì)算機(jī)或處理器是否明確顯示出來。顯示在圖中的各種元件的的功能可以通過使用專用硬件以及能夠與適當(dāng)軟件相 聯(lián)系執(zhí)行軟件的硬件來提供。當(dāng)通過處理器提供時(shí)，這些功能可以由單個(gè)專用處理器、由單 個(gè)共享處理器、或由一些可以共享的多個(gè)單獨(dú)處理器提供。此外，術(shù)語“處理器”或“控制 器”的顯性使用不應(yīng)該理解成排他地指能夠執(zhí)行軟件的硬件，而是可以隱性地包括，但不局 限于，數(shù)字信號(hào)處理器(“DSP”)硬件、存儲(chǔ)軟件的只讀存儲(chǔ)器(“ROM”)、隨機(jī)訪問存儲(chǔ)器 (“RAM”)以及非易失性存儲(chǔ)器。也可以包括傳統(tǒng)的和/或定制的其它硬件。類似地，顯示在圖中的開關(guān)只是概念 性的。它們的功能可以通過程序邏輯的運(yùn)算、通過專用邏輯、通過程序控制和專用邏輯的 交互、或甚至人工地實(shí)現(xiàn)，正如從上下文中更具體了解到的那樣，特定的技術(shù)可由實(shí)現(xiàn)者選 擇。在其權(quán)利要求書中，表達(dá)成執(zhí)行特定功能的裝置的任何元件旨在包含執(zhí)行那種功 能的任何方式，例如，包括a)執(zhí)行那種功能的電路元件的組合，或b)任何形式的軟件，因此 包括與執(zhí)行那種軟件的適當(dāng)電路結(jié)合執(zhí)行該功能的固件、微碼等。如這樣的權(quán)利要求書定 義的本原理在于以權(quán)利要求書要求的方式組合和匯集各種所述裝置提供的功能。因此，應(yīng) 該認(rèn)為可以提供那些功能的任何裝置都等效于本文所示的那些裝置。在說明書中提到本原理的“一個(gè)實(shí)施例”或“實(shí)施例”以及它的各種變體意味著結(jié) 合該實(shí)施例所述的特征、結(jié)構(gòu)、特性等包括在本原理的至少一個(gè)實(shí)施例中。因此，出現(xiàn)在整 個(gè)說明書中的各個(gè)地方的措詞“在一個(gè)實(shí)施例中”或“在實(shí)施例中”以及任何其它變體的出 現(xiàn)未必都指同一實(shí)施例。應(yīng)該懂得，如下“/”、“和/或”、和“至少一個(gè)”的任何一種的使用，例如，在“A/B”、 “A和/或B”、和“A和B的至少一個(gè)”的情況下，旨在包含只有第一所列選項(xiàng)㈧的選擇，或 只有第二所列選項(xiàng)(B)的選擇，或兩個(gè)選項(xiàng)(A和B)的選擇。作為進(jìn)一步的例子，在“A、B、 和/或C”和“A、B、和C的至少一個(gè)”的情況下，這樣的措詞旨在包含只有第一所列選項(xiàng)(A) 的選擇，或只有第二所列選項(xiàng)(B)的選擇，或只有第三所列選項(xiàng)(C)的選擇，或只有第一和 第二所列選項(xiàng)(A和B)的選擇，或只有第一和第三所列選項(xiàng)(A和C)的選擇，或只有第二和 第三所列選項(xiàng)(B和C)的選擇，或所有三個(gè)選項(xiàng)(A、B和C)的選擇。本領(lǐng)域的普通技術(shù)人 員容易明白，對(duì)于列出的許多項(xiàng)目，可以依此類推。此外，應(yīng)該懂得，雖然本文針對(duì)MPEG-4AVC標(biāo)準(zhǔn)來描述本原理的一個(gè)或多個(gè)實(shí)施 例，但本原理不只局限于這種標(biāo)準(zhǔn)，因此，可以在保持本原理的精神的同時(shí)，針對(duì)其其它視 頻編碼標(biāo)準(zhǔn)、建議和外延，包括MPEG-4AVC標(biāo)準(zhǔn)的外延，來使用本原理。并且，應(yīng)該懂得，術(shù)語“預(yù)測(cè)”、“預(yù)測(cè)值”、和“假設(shè)”在本文中可交換使用。此外，應(yīng)該懂得，如本文使用的術(shù)語“塊”指的是宏塊、宏塊分區(qū)、子宏塊、和子宏塊 分區(qū)的任何一種。此外，術(shù)語“塊”也可以指，例如，從宏塊、宏塊分區(qū)、子宏塊、和子宏塊分 區(qū)的任何一種中分割出來的楔塊(wedge)。另外，應(yīng)該懂得，措詞“顯性編碼”和“顯性解碼”分別指進(jìn)行編碼或解碼使得與編 碼或解碼有關(guān)的相應(yīng)語法包括在位流(例如，包括語法對(duì)應(yīng)于的視頻內(nèi)容的位流或分立位 流)中的情況。相反，措詞“隱性編碼”和“隱性解碼”分別指進(jìn)行編碼或解碼使得與編碼或解碼有關(guān)的相應(yīng)語法不包括在位流(例如，包括語法對(duì)應(yīng)于的視頻內(nèi)容的位流或分立位 流)中的情況。更確切地，可以從其它語法等中推出相應(yīng)語法，等。轉(zhuǎn)到圖3，可以應(yīng)用本原理的示范性視頻編碼器用標(biāo)號(hào)300總體表示。該視頻編碼器300包括幀排序緩沖器310，它含有與組合器385的非反相輸入端信 號(hào)通信的輸出端。組合器385的輸出端被連接成與變換和量化器325的第一輸入端信號(hào)通 信。變換和量化器325的輸出端被連接成與熵編碼器345的第一輸入端和逆變換和逆量化 器350的第一輸入端信號(hào)通信。熵編碼器345的輸出端被連接成與組合器390的第一非反 相輸入端信號(hào)通信。組合器390的輸出端被連接成與輸出緩沖器335的第一輸入端信號(hào)通編碼器控制器305的第一輸出端被連接成與幀排序緩沖器310的第二輸入端、逆 變換和逆量化器350的第二輸入端、畫面類型判定模塊315的輸入端、宏塊類型(MB類型) 判定模塊320的第一輸入端、幀內(nèi)預(yù)測(cè)模塊360的第二輸入端、分塊濾波器365的第二輸入 端、運(yùn)動(dòng)補(bǔ)償和模板匹配預(yù)測(cè)器370的第一輸入端、運(yùn)動(dòng)估計(jì)器375的第一輸入端、和參考 畫面緩沖器380的第二輸入端信號(hào)通信。編碼器控制器305的第二輸出端被連接成與補(bǔ)償增強(qiáng)信息(SEI)插入器330的第 一輸入端、變換和量化器325的第二輸入端、熵編碼器345的第二輸入端、輸出緩沖器335 的第二輸入端、以及序列參數(shù)組(SPQ和畫面參數(shù)組(PPQ插入器340的輸入端信號(hào)通信。SEI插入器330的輸出端被連接成與組合器390的第二非反相輸入端信號(hào)通信。畫面類型判定模塊315的第一輸出端被連接成與幀排序緩沖器310的第三輸入端 信號(hào)通信。畫面類型判定模塊315的第二輸出端被連接成與宏塊類型判定模塊320的第二 輸入端信號(hào)通信。序列參數(shù)組(SPQ和畫面參數(shù)組(PPQ插入器340的輸出端被連接成與組合器 390的第三非反相輸入端信號(hào)通信。逆變換和逆量化器350的輸出端被連接成與組合器319的第一非反相輸入端信號(hào) 通信。組合器319的輸出端被連接成與幀內(nèi)預(yù)測(cè)模塊360的第一輸入端和分塊濾波器365 的第一輸入端信號(hào)通信。分塊濾波器365的輸出端被連接成與參考畫面緩沖器380的第一 輸出端信號(hào)通信。參考畫面緩沖器380的輸出端被連接成運(yùn)動(dòng)估計(jì)器375的第二輸入端、 運(yùn)動(dòng)補(bǔ)償和模板匹配預(yù)測(cè)器370的第三輸入端、和模板搜索器344的第一輸出端信號(hào)通信。 模板搜索器344的輸出端被連接成與運(yùn)動(dòng)補(bǔ)償和模板匹配預(yù)測(cè)器370的第四輸入端信號(hào)通 信。運(yùn)動(dòng)估計(jì)器375的第一輸出端被連接成與運(yùn)動(dòng)補(bǔ)償和模板匹配預(yù)測(cè)器370的第二輸入 端信號(hào)通信。運(yùn)動(dòng)估計(jì)器375的第二輸出端被連接成與熵編碼器345的第三輸入端信號(hào)通 信。運(yùn)動(dòng)估計(jì)器375的第三輸出端被連接成與模板搜索器344的第二輸入端信號(hào)通信。編 碼器控制器305的第三輸出端被連接成與模板搜索器344的第三輸入端信號(hào)通信。運(yùn)動(dòng)補(bǔ)償和模板匹配預(yù)測(cè)器370的輸出端被連接成與開關(guān)397的第一輸入端信號(hào) 通信。幀內(nèi)預(yù)測(cè)模塊360的輸出端被連接成與開關(guān)397的第二輸入端信號(hào)通信。宏塊類型 判定模塊320的輸出端被連接成與開關(guān)397的第三輸入端信號(hào)通信。開關(guān)397的第三輸入 端確定開關(guān)的“數(shù)據(jù)”輸入(如與控制輸入，即，第三輸入相比)由運(yùn)動(dòng)補(bǔ)償和模板匹配預(yù) 測(cè)器370提供還是由幀內(nèi)預(yù)測(cè)模塊360提供。開關(guān)397的輸出端被連接成與組合器319的 第二非反相輸入端信號(hào)通信以及與組合器385的反相輸入端信號(hào)通信。
幀排序緩沖器310的第一輸入端和編碼器控制器305的輸入端可作為編碼器100 的輸入端用于接收輸入畫面。此外，補(bǔ)充增強(qiáng)信息(SEI)插入器330的第二輸入端可作為 編碼器300的輸入端用于接收元數(shù)據(jù)。輸出緩沖器335的輸出端可作為編碼器300的輸出 端用于輸出位流。轉(zhuǎn)到圖4，可以應(yīng)用本原理的示范性視頻解碼器用標(biāo)號(hào)400總體表示。該視頻解碼器400包括輸入緩沖器410，它含有連接成與熵解碼器445的第一輸 入端信號(hào)通信的輸出端。熵解碼器445的第一輸出端被連接成與逆變換和逆量化器450的 第一輸入端信號(hào)通信。逆變換和逆量化器450的輸出端被連接成與組合器425的第二非反 相輸入端信號(hào)通信。組合器425的輸出端被連接成與分塊濾波器465的第二輸入端和幀內(nèi) 預(yù)測(cè)模塊460的第一輸入端信號(hào)通信。分塊濾波器465的第二輸出端被連接成與參考畫面 緩沖器480的第一輸入端信號(hào)通信。參考畫面緩沖器480的輸出端被連接成與模板搜索器 444的第一輸入端信號(hào)通信。模板搜索器444的輸出端被連接成與運(yùn)動(dòng)補(bǔ)償和模板匹配預(yù) 測(cè)器470的第二輸入端信號(hào)通信。熵解碼器445的第二輸出端被連接成與運(yùn)動(dòng)補(bǔ)償和模板匹配預(yù)測(cè)器470的第三輸 入端、分塊濾波器465的第一輸入端、和模板搜索器444的第二輸入端信號(hào)通信。熵解碼器 445的第三輸出端被連接成與解碼器控制器405的輸入端信號(hào)通信。解碼器控制器405的 第一輸出端被連接成與熵解碼器445的第二輸入端信號(hào)通信。解碼器控制器405的第二輸 出端被連接成與逆變換和逆量化器450的第二輸入端信號(hào)通信。解碼器控制器405的第三 輸出端被連接成與分塊濾波器465的第三輸入端信號(hào)通信。解碼器控制器405的第四輸出 端被連接成與幀內(nèi)預(yù)測(cè)模塊460的第二輸入端、運(yùn)動(dòng)補(bǔ)償和模板匹配預(yù)測(cè)器470的第一輸 入端、參考畫面緩沖器480的第二輸入端、和模板搜索器444的第三輸入端信號(hào)通信。運(yùn)動(dòng)補(bǔ)償和模板匹配預(yù)測(cè)器470的輸出端被連接成與開關(guān)497的第一輸入端信號(hào) 通信。幀內(nèi)預(yù)測(cè)模塊460的輸出端被連接成與開關(guān)497的第二輸入端信號(hào)通信。開關(guān)497 的輸出端被連接成與組合器425的第一非反相輸入端信號(hào)通信。輸入緩沖器410的輸入端可作為解碼器400的輸入端用于接收輸入位流。分塊濾 波器465的第一輸出端可作為解碼器400的輸出端用于輸出輸出畫面。如上所述，本原理針對(duì)視頻編碼和解碼中模板匹配預(yù)測(cè)(TMP)的方法和裝置。此外，如上所述，模板匹配預(yù)測(cè)的預(yù)測(cè)性能高度依賴于目標(biāo)塊與它的相應(yīng)模板之 間的關(guān)聯(lián)性。在技術(shù)上眾所周知，如圖1所示，使用在頂部和/或左側(cè)圍繞目標(biāo)塊的重構(gòu)像 素。但是，以這樣的方式利用模板匹配預(yù)測(cè)降低了編碼器和解碼器性能，尤其當(dāng)模板與目標(biāo) 信號(hào)之間具有較弱關(guān)聯(lián)性時(shí)。我們認(rèn)識(shí)到了這種局限性，因此為隱性運(yùn)動(dòng)推算假定了模板匹配預(yù)測(cè)的改進(jìn)方 法。因此，我們將描述多假設(shè)幀內(nèi)預(yù)測(cè)的新模板匹配技術(shù)，其中一些假設(shè)的運(yùn)動(dòng)信息通過模 板匹配推出。這樣，模板匹配預(yù)測(cè)和顯性運(yùn)動(dòng)預(yù)測(cè)的協(xié)同組合是有效的。這減少了運(yùn)動(dòng)信 息的位速率開銷，因此提高了編碼效率。應(yīng)該懂得，雖然本文主要以幀間預(yù)測(cè)為背景描述本 原理的實(shí)施例，但給定本文提供的本原理的教導(dǎo)，本領(lǐng)域的普通技術(shù)人員容易理解，本原理 也可以應(yīng)用于幀內(nèi)預(yù)測(cè)。因此，依照本原理，我們將描述解決模板匹配預(yù)測(cè)的局限性以及顯性和隱性多假 設(shè)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的局限性的方法和裝置。此外，尤其，我們描述使用模板匹配預(yù)測(cè)進(jìn)行聯(lián)合隱性和顯性預(yù)測(cè)來改善多假設(shè)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。在以前的解決方案中，模板取自目標(biāo)像素/ 塊的重構(gòu)周圍像素。周圍像素有時(shí)無法代表目標(biāo)像素，因此模板匹配預(yù)測(cè)的性能可以低于 傳統(tǒng)塊匹配方案。但是，依照本原理的一個(gè)或多個(gè)實(shí)施例，我們描述如圖5所示，模板可以 是目標(biāo)像素/塊的預(yù)測(cè)的方法和裝置。轉(zhuǎn)到圖5，結(jié)合單次預(yù)測(cè)(單預(yù)測(cè))的模板匹配預(yù) 測(cè)(TMP)方案的一個(gè)例子用標(biāo)號(hào)500總體表示。結(jié)合單次預(yù)測(cè)的模板匹配預(yù)測(cè)方案500涉 及當(dāng)前幀510、序列0中的參考幀520、和序列1中的參考幀530。當(dāng)前幀510包括目標(biāo)塊 511。序列0中的參考幀520包括預(yù)測(cè)521(也指定為“P。”)。序列1中的參考幀530包括 預(yù)測(cè)531(也指定為“P/’)。運(yùn)動(dòng)向量MVO用于表示目標(biāo)塊511與預(yù)測(cè)521之間的運(yùn)動(dòng)。如 果預(yù)測(cè)Ptl非常接近目標(biāo)塊，根據(jù)預(yù)測(cè)Ptl生成模板可以使模板匹配預(yù)測(cè)的執(zhí)行非常有效。在 一個(gè)實(shí)施例中，模板可以是當(dāng)前塊的幀間預(yù)測(cè)。在第二實(shí)施例中，模板可以是當(dāng)前塊的幀內(nèi) 預(yù)測(cè)。我們可以發(fā)送一些輔助信息來指示我們使用的確切預(yù)測(cè)，或者，我們可以假定一些默 認(rèn)預(yù)測(cè)。例如，在第一實(shí)施例中，我們可以假定幀間預(yù)測(cè)總是被取作從運(yùn)動(dòng)向量預(yù)測(cè)值推出 的那個(gè)，或從跳躍或直接模式中推出的運(yùn)動(dòng)向量中推出的那個(gè)，或者，我們可以顯性地發(fā)送 預(yù)測(cè)的運(yùn)動(dòng)向量信息。在第二實(shí)施例中，我們可以總是假定使用DC幀內(nèi)預(yù)測(cè)，或我們可以 發(fā)送輔助信息來指示使用MPEG-4AVC標(biāo)準(zhǔn)下的哪個(gè)幀內(nèi)預(yù)測(cè)。在第三實(shí)施例中，我們可以 使用來自空間相鄰像素的模板搜索來填充目標(biāo)塊的模板。使用模式匹配的多假設(shè)在這種方案中，模板通過幀內(nèi)預(yù)測(cè)和顯性運(yùn)動(dòng)估計(jì)獲得。運(yùn)動(dòng)向量可以從像在 MPEG4-AVC標(biāo)準(zhǔn)中的運(yùn)動(dòng)向量預(yù)測(cè)值中推出，或可以顯性地在位流中發(fā)送。然后，我們可以 使用模板來搜索可用參考畫面，以獲取更多運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。這樣，我們可以利用顯性運(yùn)動(dòng)估 計(jì)和隱性運(yùn)動(dòng)估計(jì)兩者。由于我們可以不引起更多開銷地從相同或不同參考畫面中獲取多 個(gè)預(yù)測(cè)，因此我們可以利用這種方法實(shí)現(xiàn)任意個(gè)假設(shè)。在下文中，我們將描述使用模板匹配預(yù)測(cè)來改善多假設(shè)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的四個(gè)不同 實(shí)施例。前兩個(gè)實(shí)施例把注意力集中在B幀上。第三個(gè)實(shí)施例從多個(gè)參考畫面的角度來討 論。本原理也可應(yīng)用于P幀。在第四實(shí)施例中，我們描述這種方法如何也可以用于幀內(nèi)畫 面編碼。第1實(shí)施例結(jié)合單次參考序列預(yù)測(cè)(單預(yù)測(cè))的TMP在這個(gè)實(shí)施例中，對(duì)一個(gè)參考序列進(jìn)行顯性運(yùn)動(dòng)估計(jì)，以獲取目標(biāo)塊的預(yù)測(cè)數(shù)據(jù) (Po)，然后將它用作模板在其它參考序列中搜索以獲取預(yù)測(cè)數(shù)據(jù)(Pi)。然后，最終預(yù)測(cè)(P) 是Pc^PP1的加權(quán)平均。權(quán)重可以是簡單平均(權(quán)重等于0.5)或基于一些失真測(cè)量、到當(dāng) 前畫面的參考距離等的其它權(quán)重。該例子例示在圖5中。這種手段可以容易地與像，例如，但不局限于，模式MXNLO或MXNLl那樣 MPEG-4AVC標(biāo)準(zhǔn)中的單預(yù)測(cè)模式結(jié)合，其中，M，N = 16，8，4，LO和Ll代表分別來自序列0或 序列1的預(yù)測(cè)。我們可以在宏塊水平或子宏塊水平上加上標(biāo)志，以指示將單預(yù)測(cè)還是結(jié)合 模板匹配預(yù)測(cè)的雙預(yù)測(cè)用于這種模式。bi_tmp_flag等于1規(guī)定應(yīng)用使用單預(yù)測(cè)和模板匹配預(yù)測(cè)的雙預(yù)測(cè)。bi_tmp_flag 等于0規(guī)定應(yīng)用單預(yù)測(cè)。依照一個(gè)實(shí)施例的16 X 16L0的一個(gè)示范性編碼過程例示如下(1)對(duì)參考序列0中的16X 16宏塊進(jìn)行運(yùn)動(dòng)估計(jì)以獲取P。，并對(duì)P。計(jì)算RDcost。
(2)將Ptl用作模板在參考序列1中搜索以獲取P1,并對(duì)0. 5 (VP1)計(jì)算RDcost。(3)比較來自(1)和(2)的 RDcost 并設(shè)置 bi_tmp_f lag。如果(2)的 RDcost 小 于(1)的 RDcost，那么設(shè)置 bi_tmp_flag = 1 ；否則，設(shè)置 bi_tmp_flag = 0。依照一個(gè)實(shí)施例的16X 16L0的相應(yīng)解碼過程例示如下(1)分析和解碼bi_tmp_flag的語法以及16X 16L0的運(yùn)動(dòng)向量；(2)對(duì)參考序列0中的16X 16宏塊進(jìn)行運(yùn)動(dòng)補(bǔ)償以獲取P。；(3)如果 bi_tmp_flag = 0，則停止；否則，(4)將Ptl用作模板在參考序列1中搜索以獲取P1，并獲取像0. 5 (PfP1)那樣的最 終預(yù)測(cè)。我們應(yīng)該注意到，對(duì)于模板搜索，模板尺寸可以不同于Ptl的尺寸。例如，我們可以 取代16X16塊尺寸，將8X8塊尺寸用于具有16X16L0 WP1的搜索來進(jìn)行模板匹配預(yù)測(cè)。 可替代地，我們可以使用我們可以通過并入Pq的周圍像素使模板的尺寸增大的20X20來 進(jìn)行模板匹配預(yù)測(cè)。轉(zhuǎn)到圖6，使用結(jié)合單次參考序列預(yù)測(cè)(單預(yù)測(cè))的模板匹配預(yù)測(cè)的一種視頻編碼 方法用標(biāo)號(hào)600總體表示。該方法600包括將控制交給判定塊606的開始?jí)K603。判定塊 606確定當(dāng)前模式是否是模板匹配預(yù)測(cè)(TMP)模式。如果是，則將控制交給判定塊609。否 則，將控制交給功能塊663。判定塊609確定顯性運(yùn)動(dòng)估計(jì)方向(向前LO還是向后Li)。如果顯性運(yùn)動(dòng)估計(jì)方 向是向后，則將控制交給功能塊612。否則，將控制交給功能塊627。功能塊612進(jìn)行參考序列1中的運(yùn)動(dòng)估計(jì)，以獲取預(yù)測(cè)P1和運(yùn)動(dòng)向量Mv，并將控 制交給功能塊615。功能塊615根據(jù)P1進(jìn)行參考序列0中的模板匹配以獲取Ptl，并將控制 交給功能塊618。功能塊618計(jì)算P= (PJP1)/2，并將控制交給判定塊621。判定塊621確 SP1的率失真成本，即Rd(P1)是否小于P的率失真成本，即Rd(P)。如果是，則將控制交給 功能塊624。否則，將控制交給功能塊657。功能塊6 設(shè)置bi_tmp_flag = 0，設(shè)置I^rediction = P1,并將控制交給功能塊 642。功能塊642計(jì)算殘差，并將控制交給功能塊645。功能塊645計(jì)算預(yù)測(cè)的率失真， 即Rd(Prediction)，并將控制交給功能塊648。功能塊648進(jìn)行模式選擇，并將控制交給功 能塊651。功能塊651編碼運(yùn)動(dòng)向量Mv和其它語法，并將控制交給功能塊654。功能塊654 編碼殘差，并將控制交給結(jié)束塊699。功能塊657設(shè)置bi_tmp_flag = 1，設(shè)置I^rediction = P，并將控制交給功能塊 642。功能塊627進(jìn)行參考序列0中的運(yùn)動(dòng)估計(jì)以獲取預(yù)測(cè)Ptl和運(yùn)動(dòng)向量Mv，并將控制 交給功能塊630。功能塊630根據(jù)Ptl進(jìn)行參考序列1中的模板匹配，以獲取P1，并將控制交 給功能塊633。功能塊633計(jì)算P= (PfP1)/2，并將控制交給判定塊636。判定塊636確 定Ptl的率失真成本，即Rd(Ptl)是否小于P的率失真成本，即Rd(P)。如果是，則將控制交給 功能塊639。否則，將控制交給功能塊660。功能塊639設(shè)置bi_tmp_flag = 0,設(shè)置I^rediction = P0,并將控制交給功能塊 642。
功能塊660設(shè)置bi_tmp_flag = 1，設(shè)置I^rediction = P，并將控制交給功能塊 642。功能塊663使用非TMP模式編碼，并將控制交給功能塊648。轉(zhuǎn)到圖7，使用結(jié)合單次參考序列預(yù)測(cè)(單預(yù)測(cè))的模板匹配預(yù)測(cè)的一種視頻解 碼方法用標(biāo)號(hào)700總體表示。該方法700包括將控制交給功能塊706的開始?jí)K703。功能 塊706分析語法，并將控制交給判定塊709。判定塊709確定當(dāng)前模式是否是模板匹配預(yù)測(cè) (TMP)模式。如果是，則將控制交給功能塊712。否則，將控制交給功能塊751。功能塊712解碼運(yùn)動(dòng)向量Mv、殘差和bi_tmp_flag，并將控制交給判定塊715。判 定塊715確定顯示運(yùn)動(dòng)估計(jì)方向。如果顯示運(yùn)動(dòng)估計(jì)方向是向后(BAK)，則將控制交給功能 塊718。否則，將控制交給功能塊730。功能塊718利用Mv獲取參考序列1中的P1,并將控制交給判定塊721。判定塊721 確定bi_tmp_flag= 1是否成立。如果是，則將控制交給功能塊724。否則，將控制交給功 能塊745。功能塊7M根據(jù)P1進(jìn)行參考序列0中的模板匹配以獲取Ptl，并將控制交給功能塊 727。功能塊727計(jì)算!Prediction = (VP1)/2,并將控制交給功能塊742。功能塊742將殘差加入預(yù)測(cè)中，補(bǔ)償當(dāng)前塊，并將控制交給結(jié)束塊799。功能塊745設(shè)置!Prediction = P0,并將控制交給功能塊742。功能塊730利用Mv獲取參考序列0中的Ptl，并將控制交給判定塊733。判定塊733 確定bi_tmp_flag= 1是否成立。如果是，則將控制交給功能塊736。否則，將控制交給功 能塊748。功能塊736根據(jù)Ptl進(jìn)行參考序列1中的模板匹配以獲取P1,并將控制交給功能塊 739。功能塊739計(jì)算Prediction = (VP1)/2，并將控制交給功能塊742。功能塊748設(shè)置!Prediction = P0,并將控制交給功能塊742。功能塊751使用非TMP模式解碼，并將控制交給結(jié)束塊799。第2實(shí)施例結(jié)合雙預(yù)測(cè)的TMP在一個(gè)實(shí)施例中，進(jìn)行傳統(tǒng)雙預(yù)測(cè)，然后針對(duì)一個(gè)參考序列中的每個(gè)預(yù)測(cè)，我們可 以在其它參考序列中找到它的相應(yīng)模板匹配預(yù)測(cè)。最終結(jié)束可以是3或4個(gè)假設(shè)預(yù)測(cè)。我 們應(yīng)該注意到，在這種手段中，當(dāng)啟用多個(gè)參考畫面時(shí)，我們不將模板匹配預(yù)測(cè)限制在與用 于顯性預(yù)測(cè)的參考畫面相同的參考畫面。圖8示出了這樣的例子。轉(zhuǎn)到圖8，結(jié)合雙預(yù)測(cè)的 模板匹配預(yù)測(cè)的一個(gè)例子用標(biāo)號(hào)800總體表示。結(jié)合雙預(yù)測(cè)的模板匹配預(yù)測(cè)800涉及當(dāng)前 幀810、序列0中的參考幀1 820、序列0中的參考幀0 830、和序列1中的參考幀840。當(dāng) 前幀810包括目標(biāo)塊811，序列0中的參考幀1 820包括預(yù)測(cè)821 (也指定為“P3”)，序列0 中的參考幀0 830包括預(yù)測(cè)831(也指定為“P/，)和預(yù)測(cè)832(也指定為“P?！?，以及序列1 中的參考幀840包括預(yù)測(cè)841 (也指定為“P/，)和預(yù)測(cè)842(也指定為“P2”)。我們首先進(jìn) 行參考序列0中的運(yùn)動(dòng)估計(jì)以獲取Ptl和參考序列1中的運(yùn)動(dòng)估計(jì)以獲取P1，然后我們將Ptl 用作模板在參考序列1中搜索以獲取P2，并將P1用作模板在參考序列0中搜索以獲取P3。 當(dāng)使用多個(gè)參考畫面時(shí)，P3和P。無需處在同一參考畫面中。運(yùn)動(dòng)向量MVO用于表示目標(biāo)塊 811與預(yù)測(cè)832之間的運(yùn)動(dòng)，和運(yùn)動(dòng)向量MVl用于表示目標(biāo)塊811與預(yù)測(cè)841之間的運(yùn)動(dòng)。這種手段可以容易地與像，例如，但不局限于，模式MXNBI或直接模式的MPEG-4AVC標(biāo)準(zhǔn)的雙預(yù)測(cè)模式結(jié)合，其中，M，N = 16，8，4，和BI代表雙預(yù)測(cè)。我們可以在宏 塊水平或子宏塊水平上加上標(biāo)志，以規(guī)定當(dāng)將模板匹配預(yù)測(cè)用于這種模式時(shí)進(jìn)行多少種假設(shè)。multi_tmp_mode等于0規(guī)定應(yīng)用傳統(tǒng)雙預(yù)測(cè)。multi_tmp_mode等于1規(guī)定應(yīng)用 3種假設(shè)，并且進(jìn)行傳統(tǒng)雙預(yù)測(cè)，以及將序列0的預(yù)測(cè)用作模板和在序列1中搜索的模板匹 配預(yù)測(cè)。mUlti_tmp_mode等于2規(guī)定應(yīng)用3種假設(shè)，并且進(jìn)行傳統(tǒng)雙預(yù)測(cè)，以及將序列1的 預(yù)測(cè)用作模板和在序列0中搜索的模板匹配預(yù)測(cè)。mUlti_tmp_mode等于3規(guī)定應(yīng)用4種 假設(shè)，并且進(jìn)行傳統(tǒng)雙預(yù)測(cè)，以及將序列1的預(yù)測(cè)用作模板和在序列0中搜索的模板匹配預(yù) 測(cè)、和將序列0的預(yù)測(cè)用作模板和在序列1中搜索的模板匹配預(yù)測(cè)。依照一個(gè)實(shí)施例的16X 16BI的一個(gè)示范性編碼過程例示如下(1)對(duì)參考序列0中的16X16宏塊進(jìn)行運(yùn)動(dòng)估計(jì)以獲取Ptl，對(duì)參考序列1中的 16X16宏塊進(jìn)行運(yùn)動(dòng)估計(jì)以獲取P1，并對(duì)(PJP1)/^計(jì)算RDcost。(2)將P。用作模板在參考序列1中搜索以獲取P2，并對(duì)(Pa+Pi+P^/3計(jì)算RDcost。(3)將P1用作模板在參考序列0中搜索以獲取P3，并對(duì)(Pc^PAP3)A計(jì)算RDcost。(4)對(duì)(PQ+Pi+PjPs) /4 計(jì)算 RDcost。(5)比較來自(1)、(2)、(3)和(4)的 RDcost,如果(1)的RDcost 最小，則將 multi_tmp_mode 設(shè)置成 O。如果O)的 RDcost 最小，則將 multi_tmp_mode 設(shè)置成 1。如果(3)的RDcost 最小，則將 multi_tmp_mode 設(shè)置成 2。如果的 RDcost 最小，則將 multi_tmp_mode 設(shè)置成 3。依照一個(gè)實(shí)施例的16X 16BI的相應(yīng)解碼過程例示如下(1)分析和解碼multi_tmp_mode的語法以及16X 16BI的運(yùn)動(dòng)向量；(2)對(duì)參考序列O中的16X16宏塊進(jìn)行運(yùn)動(dòng)補(bǔ)償以獲取P。，并且對(duì)參考序列1中 的16 X 16宏塊進(jìn)行運(yùn)動(dòng)補(bǔ)償以獲取P1 ；(3)如果 multi_tmp_m0de = 0，那么，最終預(yù)測(cè)是(Pc^P1)/2 ；否則，(4)如果multi_tmp_m0de = 1，那么，將P。用作模板在參考序列1中搜索以獲取 P2，并獲取像(Po+Pi+Pd/3那樣的最終預(yù)測(cè)；(5)如果multi_tmp_m0de = 2，那么，將P1用作模板在參考序列O中搜索以獲取 P3，并獲取像(Pc^PJP3)A那樣的最終預(yù)測(cè)；以及(6)否則，獲取像$###3)/4那樣的最終預(yù)測(cè)。轉(zhuǎn)到圖9，使用結(jié)合雙預(yù)測(cè)的模板匹配預(yù)測(cè)的一種視頻編碼方法用標(biāo)號(hào)900總體 表示。該方法900包括將控制交給判定塊906的開始?jí)K903。判定塊906確定當(dāng)前模式是 否是模板匹配預(yù)測(cè)(TMP)模式。如果是，則將控制交給功能塊909。否則，將控制交給功能 Ife 954 ο功能塊909進(jìn)行參考序列O中的運(yùn)動(dòng)估計(jì)，以獲取預(yù)測(cè)Ptl和運(yùn)動(dòng)向量ΜνΟ，并將 控制交給功能塊912。功能塊912進(jìn)行參考序列1中的運(yùn)動(dòng)估計(jì)，以獲取預(yù)測(cè)P1和運(yùn)動(dòng)向 量Mvl，并將控制交給功能塊915。功能塊915根據(jù)Ptl進(jìn)行參考序列1中的模板匹配以獲 取P2,并將控制交給功能塊918。功能塊918根據(jù)P1進(jìn)行參考序列O中的模板匹配以獲取 P3，并將控制交給功能塊921。功能塊921計(jì)算I^redO = (VP1)^jPredl = (VPjP2)/3，Pred2 = (Pa+Pi+P^/3 和 ft~ed3 = (Pc^PAPjP3)/4，并將控制交給判定塊 924。判定塊 924 確定I^redO、PredU Pred2和Pred3當(dāng)中的哪個(gè)預(yù)測(cè)提供最小率失真(Rd)。如果PredO提 供最小Rd，則將控制交給功能塊927。如果Predl提供最小Rd，則將控制交給功能塊930。 如果Pred2提供最小Rd，則將控制交給功能塊933。如果Pred3提供最小Rd，則將控制交給 功能塊936。功能塊927設(shè)置Multi_TMP_Mode = O,并將控制交給功能塊939。功能塊930設(shè)置Multi_TMP_Mode = 1，并將控制交給功能塊939。功能塊933設(shè)置Multi_TMP_Mode = 2，并將控制交給功能塊939。功能塊936設(shè)置Multi_TMP_Mode = 3，并將控制交給功能塊939。功能塊939計(jì)算殘差，并將控制交給功能塊942。功能塊942計(jì)算預(yù)測(cè)的率失真 成本，即Rd(Prediction)，并將控制交給功能塊945。功能塊945進(jìn)行模式選擇，并將控制 交給功能塊948。功能塊948編碼運(yùn)動(dòng)向量和其它語法，并將控制交給功能塊951。功能塊 951編碼殘差，并將控制交給結(jié)束塊999。功能塊％4使用非TMP模式編碼，并將控制交給功能塊945。轉(zhuǎn)到圖10，使用結(jié)合雙預(yù)測(cè)的模板匹配預(yù)測(cè)的一種視頻解碼方法用標(biāo)號(hào)1000總 體表示。該方法1000包括將控制交給功能塊1006的開始?jí)K1003。功能塊1006分析語法， 并將控制交給判定塊1009。判定塊1009確定當(dāng)前模式是否是模板匹配預(yù)測(cè)(TMP)模式。 如果是，則將控制交給功能塊1012。否則，將控制交給功能塊1045。功能塊1012進(jìn)行運(yùn)動(dòng)補(bǔ)償以獲取序列0中的Ptl和序列1中的P1,并將控制交給 判定塊1015。判定塊1015確定哪一種Multi_TMP_Mode。如果Multi_TMP_Mode是模式0， 則將控制交給功能塊1018。如果Multi_TMP_Mode是模式1，則將控制交給功能塊1021。如 果Multi_TMP_Mode是模式2，則將控制交給功能塊1027。如果Multi_TMP_Mode是模式3， 則將控制交給功能塊1033。功能塊1018計(jì)算= (PfP1)/2，并將控制交給功能塊1042。功能塊1021根據(jù)Ptl進(jìn)行參考序列1中的模板匹配以獲取P2,并將控制交給功能 塊1024.功能塊1024計(jì)算Pred = (VP^P2)/2,并將控制交給功能塊1042。功能塊1027根據(jù)P1進(jìn)行參考序列0中的模板匹配以獲取P3,并將控制交給功能 塊1030。功能塊1030計(jì)算Pred = (VP^P3)/2,并將控制交給功能塊1042。功能塊1033根據(jù)Ptl進(jìn)行參考序列1中的模板匹配以獲取P2,并將控制交給功能 塊1036。功能塊1036根據(jù)P1進(jìn)行參考序列0中的模板匹配以獲取P3,并將控制交給功能 塊1039。功能塊1039計(jì)算I^red = (Pc^PAPjP3)/2，并將控制交給功能塊1042。功能塊1042將殘差加入預(yù)測(cè)，補(bǔ)償當(dāng)前塊，并將控制交給結(jié)束塊1099。功能塊1045使用非TMP模式解碼，并將控制交給結(jié)束塊1099。在另一個(gè)實(shí)施例中，我們?nèi)匀皇褂胋i_tmp-flag，其中bi_tmp_flag等于1規(guī)定最 大(多達(dá)4個(gè))不同運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的多假設(shè)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。在又一個(gè)實(shí)施例中，我們推廣來自第一實(shí)施例的概念，但我們將模板設(shè)置成兩個(gè) 預(yù)測(cè)值的平均值& = (PfP1)/2，然后我們使用這個(gè)模板從兩個(gè)序列中的參考畫面中搜索 模板匹配預(yù)測(cè)P3。最后，我們求模板和模板匹配預(yù)測(cè)的平均(P2+P3)/2。轉(zhuǎn)到圖11，使用結(jié)合雙預(yù)測(cè)的模板匹配預(yù)測(cè)的另一種視頻編碼方法用標(biāo)號(hào)1100總體表示。該方法1100包括將控制交給判定塊1106的開始?jí)K1103。判定塊1106確定當(dāng) 前模式是否是模板匹配預(yù)測(cè)(TMP)模式。如果是，則將控制交給功能塊1109。否則，將控制 交給功能塊1145。功能塊1109進(jìn)行參考序列0中的運(yùn)動(dòng)估計(jì)，以獲取預(yù)測(cè)P。和運(yùn)動(dòng)向量MvO，并將控 制交給功能塊1112。功能塊1112進(jìn)行參考序列1中的運(yùn)動(dòng)估計(jì)，以獲取預(yù)測(cè)P1和運(yùn)動(dòng)向量 Mvl，并將控制交給功能塊1115。功能塊1115設(shè)置模板P2= (PfP1)/2，進(jìn)行兩個(gè)參考序列 中的模板匹配以獲取P3,并將控制交給功能塊1118。功能塊1118計(jì)算ft~edO= (VP1)/2 和= (P2+P3)/2，并將控制交給判定塊1121。判定塊1121確定哪個(gè)預(yù)測(cè)提供最小率 失真(Rd)。如果I^redO提供最小Rd，則將控制交給功能塊11M。如果I^redl提供最小Rd， 則將控制交給功能塊1127。功能塊IlM設(shè)置bi_tmp_flag = 0，并將控制交給功能塊1130。功能塊1130計(jì)算殘差，并將控制交給功能塊1133。功能塊1133計(jì)算預(yù)測(cè)的率失 真，即RdO^ediction)，并將控制交給功能塊1136。功能塊1136進(jìn)行模式選擇，并將控制 交給功能塊1139。功能塊1139編碼運(yùn)動(dòng)向量和其它語法，并將控制交給功能塊1142。功 能塊1142編碼殘差，并將控制交給結(jié)束塊1199。功能塊1127設(shè)置bi_tmp_fag = 1，并將控制交給功能塊1130。功能塊1145使用非TMP模式編碼，并將控制交給功能塊1136。轉(zhuǎn)到圖12，使用結(jié)合雙預(yù)測(cè)的模板匹配預(yù)測(cè)的另一種視頻解碼方法用標(biāo)號(hào)1200 總體表示。該方法包括將控制交給功能塊1210的開始?jí)K1205。功能塊1210分析語法，并 將控制交給判定塊1215。判定塊1215確定當(dāng)前模式是否是TMP模式。如果是，則將控制交 給功能塊1220。否則，將控制交給功能塊1250。功能塊1220進(jìn)行運(yùn)動(dòng)補(bǔ)償以獲取序列0中的Ptl和序列1中的P1,并將控制交給判 定塊1225。判定塊1225確定bi_tmp_flag的當(dāng)前值等于0還是1。如果bi_tmp_flag的 當(dāng)前值等于0，則將控制交給功能塊1230。否則，將控制交給功能塊1235。功能塊1230計(jì)算= (PfP1)/2，并將控制交給功能塊1245。功能塊1245將殘差加入預(yù)測(cè)中，補(bǔ)償當(dāng)前塊，并將控制交給結(jié)束塊1299。功能塊1235設(shè)置模板P2 = (PfP1) /2，進(jìn)行兩個(gè)參考序列中的模板匹配以獲取P3, 并將控制交給功能塊1M0。功能塊1240計(jì)算= (P2+P3) /2，并將控制交給功能塊1M5。功能塊1250使用非TMP模式解碼，并將控制交給結(jié)束塊1299。類似地，我們可以利用這種方法獲取一個(gè)或多個(gè)模板匹配預(yù)測(cè)。此外，在另一個(gè) 實(shí)施例中，可以通過如下平均獲取最終預(yù)測(cè)=(Pc^PJP3)At5另外的實(shí)施例可以考慮N個(gè)與 P2最相似的小塊的平均，和除了其它可能性之外，最終預(yù)測(cè)值可以是如下平均(P2+P3+··· +PN)/(N-I)或(PQ+Pi+PA'.+PNVN。我們應(yīng)該注意到，在這個(gè)實(shí)施例中，如果模板匹配預(yù)測(cè)與運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)相同，我們 無需多加任何模板匹配預(yù)測(cè)，即所有多假設(shè)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)都應(yīng)該不同。第3實(shí)施例結(jié)合多個(gè)參考畫面的模板匹配預(yù)測(cè)在MPEG-4AVC標(biāo)準(zhǔn)中，可以應(yīng)用多個(gè)參考畫面來進(jìn)一步提高編碼效率。因此，我們 無需將本發(fā)明限制在上面針對(duì)第1實(shí)施例和第2實(shí)施例所述的不同參考序列上。我們可以 從一個(gè)參考畫面中獲取模板，然后在同一參考畫面或處在或未處在同一畫面序列中的其它
17參考畫面中進(jìn)行模板匹配預(yù)測(cè)搜索。這可以使我們利用一個(gè)參考序列實(shí)現(xiàn)本發(fā)明。也可以 使我們對(duì)任意個(gè)假設(shè)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)實(shí)現(xiàn)本發(fā)明。轉(zhuǎn)到圖13，結(jié)合多個(gè)參考畫面的模板匹配 預(yù)測(cè)的一個(gè)例子用標(biāo)號(hào)1300總體表示。結(jié)合多個(gè)參考畫面的模板匹配預(yù)測(cè)1300涉及當(dāng)前 幀1310、序列0中的參考幀1 1320、和序列0中的參考幀0 1330。當(dāng)前幀1310包括目標(biāo)塊 1311，序列0中的參考幀1 1320包括預(yù)測(cè)1321(也指定為"P1 ”)，以及序列0中的參考幀0 1330包括預(yù)測(cè)1331(也指定為“P?！?。運(yùn)動(dòng)向量1340用于表示目標(biāo)塊1311與預(yù)測(cè)1331 之間的運(yùn)動(dòng)。我們首先進(jìn)行運(yùn)動(dòng)估計(jì)以獲取參考序列0中的參考幀0中的Ρ『然后我們將 P0用作模板在參考序列0中的其它參考畫面(參考幀1)中搜索以獲取Pp當(dāng)使用多個(gè)參考畫面時(shí)，這種手段可以容易地與MPEG-4AVC標(biāo)準(zhǔn)的P畫面中的預(yù) 測(cè)模式結(jié)合。例如，該手段可以用于MXN模式或跳躍模式，其中，M或N可以等于16，8，的 4的任何一個(gè)。我們可以在宏塊水平或子宏塊水平上加上標(biāo)志，以指示當(dāng)將模板匹配預(yù)測(cè)用 于這種模式時(shí)進(jìn)行多少種假設(shè)。bi_tmp_flag等于1規(guī)定應(yīng)用使用單預(yù)測(cè)和模板匹配預(yù)測(cè)的雙預(yù)測(cè)。bi_tmp_flag 等于0規(guī)定應(yīng)用單預(yù)測(cè)。依照一個(gè)實(shí)施例的16 X 16的一個(gè)示范性編碼過程例示如下(1)對(duì)參考序列0中的16X 16宏塊進(jìn)行運(yùn)動(dòng)估計(jì)以獲取Ptl，并對(duì)Ptl計(jì)算RDcost。(2)將P。用作模板在參考序列0的其它參考畫面中搜索以獲取P1，并對(duì)(PfP1)/2 計(jì)算 RDcost。(3)比較來自(1)和(2)的 RDcost 并設(shè)置 bi_tmp_f lag。如果(2)的 RDcost 小 于(1)的 RDcost，那么設(shè)置成 bi_tmp_flag = 1 ；否則，設(shè)置成 bi_tmp_flag = 0。依照一個(gè)實(shí)施例的16 X 16的相應(yīng)解碼過程例示如下(1)分析和解碼bi_tmp_flag的語法以及16X 16的運(yùn)動(dòng)向量；(2)對(duì)參考序列0中的16X 16宏塊進(jìn)行運(yùn)動(dòng)補(bǔ)償以獲取P。；(3)如果 bi_tmp_flag = 0，則停止；否則，(4)將Ptl用作模板在參考序列0的其它參考畫面中搜索以獲取P1，并獲取像 O-S(VP1)那樣的最終預(yù)測(cè)。轉(zhuǎn)到圖14，使用結(jié)合多個(gè)參考畫面的模板匹配預(yù)測(cè)的一種視頻編碼方法用標(biāo)號(hào) 1400總體表示。該方法1400包括將控制交給判定塊1410的開始?jí)K1405。判定塊1410確 定當(dāng)前模式是否是TMP模式。如果是，則將控制交給功能塊1415。否則，將控制交給功能塊 1470。功能塊1415進(jìn)行參考序列0中的運(yùn)動(dòng)估計(jì)，以獲取預(yù)測(cè)Ptl和運(yùn)動(dòng)向量Mv，并將控 制交給功能塊1420。功能塊1420根據(jù)Ptl進(jìn)行序列0的其它參考畫面中的模板匹配以獲取 P1,并將控制交給功能塊1425。功能塊1425計(jì)算P = (VP1)/2,并將控制交給判定塊1430。 判定塊1430確定預(yù)測(cè)Ptl的率失真成本是否小于預(yù)測(cè)P的率失真成本，即Rd(Ptl) < Rd(P) 是否成立。如果是，則將控制交給功能塊1435。否則，將控制交給功能塊1465。功能塊1435設(shè)置bi_tmp_flag = 0，設(shè)置I^rediction = P0,并將控制交給功能塊 1440。功能塊1440計(jì)算殘差，并將控制交給功能塊1445。功能塊1445計(jì)算 Rd(Prediction)，并將控制交給功能塊1450。功能塊1450進(jìn)行模式選擇，并將控制交給功能塊1455。功能塊1455編碼運(yùn)動(dòng)向量Mv和其它語法，并將控制交給功能塊1460。功能塊 1460編碼殘差，并將控制交給結(jié)束塊1499。功能塊1465設(shè)置bi_tmp_fag = 1，設(shè)置I^rediction = P，并將控制交給功能塊 1440。功能塊1470使用非TMP模式編碼，并將控制交給功能塊1450。轉(zhuǎn)到圖15，使用結(jié)合多個(gè)參考畫面的模板匹配預(yù)測(cè)的一種視頻解碼方法用標(biāo)號(hào) 1500總體表示。該方法1500包括將控制交給功能塊1510的開始?jí)K1505。功能塊1510分 析語法，并將控制交給判定塊1515。判定塊1515確定當(dāng)前模式是否是TMP模式。如果是， 則將控制交給功能塊1520。否則，將控制交給功能塊1555。功能塊1520解碼運(yùn)動(dòng)向量Mv、殘差和bi_tmp_flag，并將控制交給功能塊1525。 功能塊1525利用運(yùn)動(dòng)向量Mv獲取參考序列0中的Ptl，并將控制交給判定塊1530。判定塊 1530確定Bi_TMP_Flag是否等于1。如果是，則將控制交給功能塊1535。否則，將控制交給 功能塊1550。功能塊1535根據(jù)Ptl進(jìn)行序列0的其它參考畫面中的模板匹配以獲取P1，并將控制 交給功能塊1540。功能塊1540計(jì)算!Prediction = (Pc^P1)/2，并將控制交給功能塊巧45。功能塊1545將殘差加入預(yù)測(cè)中，補(bǔ)償當(dāng)前塊，并將控制交給結(jié)束塊1599。功能塊1550設(shè)置!Prediction = P0,并將控制交給功能塊1545。功能塊1555使用非TMP模式解碼，并將控制交給結(jié)束塊1599。第4實(shí)施例對(duì)于幀內(nèi)畫面編碼結(jié)合定向幀內(nèi)預(yù)測(cè)或位移幀內(nèi)預(yù)測(cè)的TMP在這個(gè)實(shí)施例中，對(duì)于幀內(nèi)畫面編碼，我們可以使用MPEG-4AVC標(biāo)準(zhǔn)中的定向幀 內(nèi)預(yù)測(cè)，或使用位移幀內(nèi)預(yù)測(cè)(DIP)填充目標(biāo)塊的模板。然后，我們通過結(jié)合模板搜索預(yù)測(cè) 和定向/位移幀內(nèi)預(yù)測(cè)應(yīng)用多假設(shè)預(yù)測(cè)。轉(zhuǎn)到圖16，將模板匹配預(yù)測(cè)用于幀內(nèi)預(yù)測(cè)的另一種視頻編碼方法用標(biāo)號(hào)1600總 體表示。該方法1600包括將控制交給判定塊1610的開始?jí)K1605。判定塊1610確定當(dāng)前 模式是否是TMP模式。如果是，則將控制交給判定塊1615。否則，將控制交給功能塊1675。判定塊1615確定是否允許定向/位移幀內(nèi)預(yù)測(cè)(DIP)。如果是，則將控制交給功 能塊1620。否則，將控制交給功能塊1680。功能塊1620進(jìn)行幀內(nèi)運(yùn)動(dòng)估計(jì)以獲取P。，并將控制交給功能塊1625。功能塊1625根據(jù)Ptl進(jìn)行幀內(nèi)模板匹配(即，從當(dāng)前幀的重構(gòu)區(qū)中搜索模板)以 獲取P1,并將控制交給功能塊1630。功能塊1630計(jì)算P= (Pc^P1)/2，并將控制交給判定 塊1635。判定塊1635確定預(yù)測(cè)Ptl的率失真成本是否小于預(yù)測(cè)P的率失真成本，即Rd(Ptl) < Rd(P)是否成立。如果是，則將控制交給功能塊1640。否則，將控制交給功能塊1670。功能塊1640設(shè)置bi_tmp_flag = 0，設(shè)置I^red = P0,并將控制交給功能塊1645。功能塊1645計(jì)算殘差，并將控制交給功能塊1650。功能塊1650計(jì)算Rd(Pred)， 并將控制交給功能塊1655。功能塊1655進(jìn)行模式選擇，并將控制交給功能塊1660。功能 塊1660編碼預(yù)測(cè)模式、運(yùn)動(dòng)向量和其它語法，并將控制交給功能塊1665。功能塊1665編碼 殘差，并將控制交給結(jié)束塊1699。功能塊1670設(shè)置bi_tmp_flag = 1，設(shè)置I^red = P，并將控制交給功能塊1645。功能塊1675使用非TMP模式編碼，并將控制交給功能塊1655。
轉(zhuǎn)到圖17，使用結(jié)合多個(gè)參考畫面的模板匹配預(yù)測(cè)的另一種視頻解碼方法用標(biāo)號(hào) 1700總體表示。該方法1700包括將控制交給功能塊1710的開始?jí)K1705。功能塊1710分 析語法，并將控制交給判定塊1715。判定塊1715確定當(dāng)前模式是否是TMP模式。如果是， 則將控制交給功能塊1720。否則，將控制交給功能塊1760。功能塊1720確定是否啟用定向/位移幀內(nèi)預(yù)測(cè)(DIP)。如果是，則將控制交給功 能塊1725。否則，將控制交給功能塊1750。功能塊1725進(jìn)行幀內(nèi)運(yùn)動(dòng)補(bǔ)償以獲取P。，并將控制交給判定塊1730。判定塊1730確定bi_tmp_flag = 1是否成立。如果是，則將控制交給功能塊1735。 否則，將控制交給功能塊1755。功能塊1735根據(jù)Ptl進(jìn)行幀內(nèi)模板匹配以獲取P1,并將控制交給功能塊1740。功 能塊1740計(jì)算P = (PJP1)/2，并將控制交給功能塊1745。功能塊1745將殘差加入P中，補(bǔ)償當(dāng)前塊，并將控制交給結(jié)束塊1799。功能塊1750進(jìn)行幀內(nèi)預(yù)測(cè)以獲取Ptl，并將控制交給判定塊1730。功能塊1755設(shè)置P = P0,并將控制交給功能塊1745。功能塊1760使用非TMP模式幀內(nèi)解碼，并將控制交給結(jié)束塊1799。模板搜索簡化依照本原理的一個(gè)實(shí)施例，在編碼器和解碼器兩者上進(jìn)行模板搜索。這種直截了 當(dāng)?shù)姆椒ㄊ鞘褂猛耆?強(qiáng)制)搜索。但是，這種方法的計(jì)算復(fù)雜性相當(dāng)高。為了降低復(fù)雜 性，我們將描述和建議幾種簡化搜索算法的方法。在一個(gè)這樣的實(shí)施例中，我們使用像，例 如，菱形搜索、對(duì)數(shù)搜索、增強(qiáng)預(yù)測(cè)帶搜索(EPZQ等那樣的快速搜索算法。在這樣實(shí)施例的 第二實(shí)施例中，假定運(yùn)動(dòng)是線性的，我們可以從模板使用的運(yùn)動(dòng)向量中推出模板搜索預(yù)測(cè) 值，并按照從參考畫面到目標(biāo)畫面的距離和方向縮放模板搜索預(yù)測(cè)值。然后，我們將這個(gè)預(yù) 測(cè)值用作中心并進(jìn)行細(xì)小改進(jìn)。對(duì)其它編碼塊的影響TMP的運(yùn)動(dòng)向量在MPEG-4AVC標(biāo)準(zhǔn)中，從相鄰塊預(yù)測(cè)當(dāng)前塊的運(yùn)動(dòng)向量。因此，當(dāng)前塊的運(yùn)動(dòng)向量 的值將影響將來相鄰塊。由于我們具有顯性運(yùn)動(dòng)向量和模板搜索運(yùn)動(dòng)向量，所以在我們應(yīng) 該使用哪個(gè)運(yùn)動(dòng)向量方面引起了與模板搜索塊有關(guān)的問題。在第一實(shí)施例中，在完成了模 板搜索之后，我們可以檢索該模板的顯性運(yùn)動(dòng)向量。將這個(gè)運(yùn)動(dòng)向量用于將來運(yùn)動(dòng)向量預(yù) 測(cè)。在第二實(shí)施例中，我們假定運(yùn)動(dòng)向量是像0，或當(dāng)前塊的中間預(yù)測(cè)值那樣的某預(yù)測(cè)值。分塊濾波對(duì)于分塊濾波，在第一實(shí)施例中，我們可以與顯性運(yùn)動(dòng)估計(jì)塊相同地對(duì)待模板匹 配預(yù)測(cè)塊，并像上述那樣將運(yùn)動(dòng)向量用于模板匹配預(yù)測(cè)。然后，不改變分塊過程。在第二實(shí) 施例中，由于模板匹配預(yù)測(cè)具有與顯性運(yùn)動(dòng)估計(jì)塊不同的特性，所以我們可以相應(yīng)調(diào)整塊 長、濾波類型、和/或?yàn)V波長度。獨(dú)立分析為了將分析與解碼過程分開，我們不能在分析時(shí)進(jìn)行模板搜索。因此，在分析過程 中，對(duì)于模板匹配預(yù)測(cè)的運(yùn)動(dòng)向量推出，如果使用TMP的運(yùn)動(dòng)向量的第1實(shí)施例(如上所 述)，那么，我們可以將第2實(shí)施例用于涉及通過其運(yùn)動(dòng)向量預(yù)測(cè)值設(shè)置第二運(yùn)動(dòng)向量的分
20析，并且將第1實(shí)施例用于真正解碼。表1示出了依照本原理一個(gè)實(shí)施例的示范性切片首標(biāo)語法。表2示出了依照本原 理一個(gè)實(shí)施例的示范性宏塊層語法。表權(quán)利要求
1.一種裝置，包含編碼器(300)，用于通過確定目標(biāo)塊的至少一個(gè)預(yù)測(cè)值并且分別將至少一個(gè)預(yù)測(cè)值用 作模板來搜索目標(biāo)塊的至少一個(gè)另外預(yù)測(cè)值，編碼畫面中的目標(biāo)塊。
2.如權(quán)利要求1所述的裝置，其中至少一個(gè)預(yù)測(cè)值是幀內(nèi)預(yù)測(cè)值、幀間預(yù)測(cè)值、或它們 的組合。
3.如權(quán)利要求2所述的裝置，其中至少一個(gè)預(yù)測(cè)值的輔助信息是隱性編碼和顯性編碼 的至少一種。
4.如權(quán)利要求1所述的裝置，其中使用模板匹配預(yù)測(cè)過程和多假設(shè)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)過程 獲取至少一個(gè)另外預(yù)測(cè)值。
5.如權(quán)利要求4所述的裝置，其中使用顯性運(yùn)動(dòng)估計(jì)過程來確定至少一個(gè)預(yù)測(cè)值，以 及使用模板匹配預(yù)測(cè)過程對(duì)多個(gè)參考序列搜索至少一個(gè)另外預(yù)測(cè)值。
6.如權(quán)利要求5所述的裝置，其中顯性運(yùn)動(dòng)估計(jì)過程局限于多個(gè)參考序列的特定一 個(gè)，和模板匹配預(yù)測(cè)過程局限于多個(gè)參考序列的不同一個(gè)。
7.如權(quán)利要求5所述的裝置，其中至少一個(gè)預(yù)測(cè)值包含通過分別對(duì)多個(gè)參考序列當(dāng)中 的第一參考序列和第二參考序列應(yīng)用顯性運(yùn)動(dòng)估計(jì)過程和隱性運(yùn)動(dòng)估計(jì)過程而獲取的第 一預(yù)測(cè)值和第二預(yù)測(cè)值，和其中至少一個(gè)另外預(yù)測(cè)值包含關(guān)于第二參考序列和第一參考序 列在模板匹配預(yù)測(cè)過程中分別利用第一預(yù)測(cè)值和第二預(yù)測(cè)值而獲取的第一另外預(yù)測(cè)值和 第二另外預(yù)測(cè)值。
8.如權(quán)利要求7所述的裝置，其中第一預(yù)測(cè)值和第二另外預(yù)測(cè)值處在不同參考畫面中。
9.如權(quán)利要求5所述的裝置，其中顯性運(yùn)動(dòng)估計(jì)過程用在與多個(gè)參考序列的特定一個(gè) 相對(duì)應(yīng)的特定一個(gè)參考畫面中，而模板匹配預(yù)測(cè)過程用在特定一個(gè)參考畫面或與多個(gè)參考 序列的不同一個(gè)相對(duì)應(yīng)的不同參考畫面中。
10.如權(quán)利要求4所述的裝置，其中使用運(yùn)動(dòng)向量預(yù)測(cè)值推出或估計(jì)至少一個(gè)預(yù)測(cè)。
11.一種方法，包含通過確定目標(biāo)塊的至少一個(gè)預(yù)測(cè)值并且分別將至少一個(gè)預(yù)測(cè)值用作模板來搜索(615， 630,915,918,1115,1420,1625)目標(biāo)塊的至少一個(gè)另外預(yù)測(cè)值，編碼畫面中的目標(biāo)塊。
12.如權(quán)利要求11所述的方法，其中至少一個(gè)預(yù)測(cè)值是幀內(nèi)預(yù)測(cè)值(1620，1680)、幀間 預(yù)測(cè)值(612，627，909，912，1109，1112，1415)、或它們的組合(1115)。
13.如權(quán)利要求12所述的方法，其中至少一個(gè)預(yù)測(cè)值的輔助信息是隱性編碼和顯性編 碼(651，948，1139，1455，1660)的至少一種。
14.如權(quán)利要求11所述的方法，其中使用模板匹配預(yù)測(cè)過程和多假設(shè)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)過 程(618,633,921,1118,1425,1630)獲取至少一個(gè)另外預(yù)測(cè)值。
15.如權(quán)利要求14所述的方法，其中使用顯性運(yùn)動(dòng)估計(jì)過程(612，627，909，912，1109， 1112,1415)來確定至少一個(gè)預(yù)測(cè)值，以及使用模板匹配預(yù)測(cè)過程(615，630，915，918， 1115，1420，1625)對(duì)多個(gè)參考序列搜索至少一個(gè)另外預(yù)測(cè)值。
16.如權(quán)利要求15所述的方法，其中顯性運(yùn)動(dòng)估計(jì)過程(612,627,909,912,1109, 1112,1415)局限于多個(gè)參考序列的特定一個(gè)，和模板匹配預(yù)測(cè)過程(615,630,915,918, 1115，1625)局限于多個(gè)參考序列的不同一個(gè)。
17.如權(quán)利要求15所述的方法，其中至少一個(gè)預(yù)測(cè)值包含通過分別對(duì)多個(gè)參考序列當(dāng) 中的第一參考序列和第二參考序列應(yīng)用顯性運(yùn)動(dòng)估計(jì)過程(612，627，909，912，1109，1112， 1415)和隱性運(yùn)動(dòng)估計(jì)過程(615,630,915,918,1115,1625)而獲取的第一預(yù)測(cè)值和第二預(yù) 測(cè)值，和其中至少一個(gè)另外預(yù)測(cè)值包含關(guān)于第二參考序列和第一參考序列在模板匹配預(yù)測(cè) 過程(615，630，915，918，1115，1625)中分別利用第一預(yù)測(cè)值和第二預(yù)測(cè)值而獲取的第一 另外預(yù)測(cè)值和第二另外預(yù)測(cè)值。
18.如權(quán)利要求17所述的方法，其中第一預(yù)測(cè)值和第二另外預(yù)測(cè)值處在不同參考畫面 (1420)中。
19.如權(quán)利要求15所述的方法，其中顯性運(yùn)動(dòng)估計(jì)過程(612,627,909,912,1109, 1112,1415)用在與多個(gè)參考序列的特定一個(gè)相對(duì)應(yīng)的特定一個(gè)參考畫面中，而模板匹配預(yù) 測(cè)過程(615,630,915,918,1115,1420,1625)用在特定一個(gè)參考畫面或與多個(gè)參考序列的 不同一個(gè)相對(duì)應(yīng)的不同參考畫面中。
20.如權(quán)利要求14所述的方法，其中使用運(yùn)動(dòng)向量預(yù)測(cè)值推出或估計(jì)至少一個(gè)預(yù)測(cè)。
21.一種裝置，包含解碼器(400)，用于通過確定目標(biāo)塊的至少一個(gè)預(yù)測(cè)值并且分別將至少一個(gè)預(yù)測(cè)值用 作模板來搜索目標(biāo)塊的至少一個(gè)另外預(yù)測(cè)值，解碼畫面中的目標(biāo)塊。
22.如權(quán)利要求21所述的裝置，其中至少一個(gè)預(yù)測(cè)值是幀內(nèi)預(yù)測(cè)值、幀間預(yù)測(cè)值、或它 們的組合。
23.如權(quán)利要求22所述的裝置，其中至少一個(gè)預(yù)測(cè)值的輔助信息是推出和顯性解碼的 至少一種。
24.如權(quán)利要求21所述的裝置，其中使用模板匹配預(yù)測(cè)過程和多假設(shè)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)過 程獲取至少一個(gè)另外預(yù)測(cè)值。
25.如權(quán)利要求24所述的裝置，其中使用顯性運(yùn)動(dòng)估計(jì)過程來確定至少一個(gè)預(yù)測(cè)值， 以及使用模板匹配預(yù)測(cè)過程對(duì)多個(gè)參考序列搜索至少一個(gè)另外預(yù)測(cè)值。
26.如權(quán)利要求25所述的裝置，其中顯性運(yùn)動(dòng)估計(jì)過程局限于多個(gè)參考序列的特定一 個(gè)，和模板匹配預(yù)測(cè)過程局限于多個(gè)參考序列的不同一個(gè)。
27.如權(quán)利要求25所述的裝置，其中至少一個(gè)預(yù)測(cè)值包含通過分別對(duì)多個(gè)參考序列當(dāng) 中的第一參考序列和第二參考序列應(yīng)用顯性運(yùn)動(dòng)估計(jì)過程和隱性運(yùn)動(dòng)估計(jì)過程而獲取的 第一預(yù)測(cè)值和第二預(yù)測(cè)值，和其中至少一個(gè)另外預(yù)測(cè)值包含關(guān)于第二參考序列和第一參考 序列在模板匹配預(yù)測(cè)過程中分別利用第一預(yù)測(cè)值和第二預(yù)測(cè)值而獲取的第一另外預(yù)測(cè)值 和第二另外預(yù)測(cè)值。
28.如權(quán)利要求27所述的裝置，其中第一預(yù)測(cè)值和第二另外預(yù)測(cè)值處在不同參考畫面中。
29.如權(quán)利要求25所述的裝置，其中顯性運(yùn)動(dòng)估計(jì)過程用在與多個(gè)參考序列的特定一 個(gè)相對(duì)應(yīng)的特定一個(gè)參考畫面中，而模板匹配預(yù)測(cè)過程用在特定一個(gè)參考畫面或與多個(gè)參 考序列的不同一個(gè)相對(duì)應(yīng)的不同參考畫面中。
30.如權(quán)利要求24所述的裝置，其中使用運(yùn)動(dòng)向量預(yù)測(cè)值推出或估計(jì)至少一個(gè)預(yù)測(cè)。
31.一種方法，包含通過確定目標(biāo)塊的至少一個(gè)預(yù)測(cè)值并且分別將至少一個(gè)預(yù)測(cè)值用作模板來搜索目標(biāo)塊的至少一個(gè)另外預(yù)測(cè)值(724，736，1021，1027，1235，1535，1735)，解碼畫面中的目標(biāo)塊。
32.如權(quán)利要求31所述的方法，其中至少一個(gè)預(yù)測(cè)值是幀內(nèi)預(yù)測(cè)值(1725，1750)、幀間 預(yù)測(cè)值(718，730，1012，1220，1525)、或它們的組合。
33.如權(quán)利要求32所述的方法，其中至少一個(gè)預(yù)測(cè)值的輔助信息是推出和顯性解碼 (709,712,721,733,1009，1015，1215，1225，1515，1520，1715，1730)的至少一種。
34.如權(quán)利要求31所述的方法，其中使用模板匹配預(yù)測(cè)過程(724，736，1021，1027， 1235，1535，1735)和多假設(shè)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)過程(727，739，1018，1024，1030，1039，1230， 1240，1540，1740)獲取至少一個(gè)另外預(yù)測(cè)值。
35.如權(quán)利要求34所述的方法，其中使用顯性運(yùn)動(dòng)估計(jì)過程(718，730，1012，1220， 1525)來確定至少一個(gè)預(yù)測(cè)值，以及使用模板匹配預(yù)測(cè)過程(724，736，1021，1027，1235， 1735)對(duì)多個(gè)參考序列搜索至少一個(gè)另外預(yù)測(cè)值。
36.如權(quán)利要求35所述的方法，其中顯性運(yùn)動(dòng)估計(jì)過程(718，730，1012，1220，1525)局 限于多個(gè)參考序列的特定一個(gè)，和模板匹配預(yù)測(cè)過程(724，736，1021，1027，1235，1735)局 限于多個(gè)參考序列的不同一個(gè)。
37.如權(quán)利要求35所述的方法，其中至少一個(gè)預(yù)測(cè)值包含通過分別對(duì)多個(gè)參考序列當(dāng) 中的第一參考序列和第二參考序列應(yīng)用顯性運(yùn)動(dòng)估計(jì)過程(718，730，1012，1220，1525)和 隱性運(yùn)動(dòng)估計(jì)過程(724，736，1021，1027，1235，1735)而獲取的第一預(yù)測(cè)值和第二預(yù)測(cè)值， 和其中至少一個(gè)另外預(yù)測(cè)值包含關(guān)于第二參考序列和第一參考序列在模板匹配預(yù)測(cè)過程 (724，736，1021，1027，1235，1735)中分別利用第一預(yù)測(cè)值和第二預(yù)測(cè)值而獲取的第一另外 預(yù)測(cè)值和第二另外預(yù)測(cè)值。
38.如權(quán)利要求37所述的方法，其中第一預(yù)測(cè)值和第二另外預(yù)測(cè)值處在不同參考畫面 (1535)中。
39.如權(quán)利要求35所述的方法，其中顯性運(yùn)動(dòng)估計(jì)過程(718，730，1012，1220，1525)用 在與多個(gè)參考序列的特定一個(gè)相對(duì)應(yīng)的特定一個(gè)參考畫面中，而模板匹配預(yù)測(cè)過程(724， 736，1021，1027，1235，1535，1735)用在特定一個(gè)參考畫面或與多個(gè)參考序列的不同一個(gè)相 對(duì)應(yīng)的不同參考畫面中。
40.如權(quán)利要求34所述的方法，其中使用運(yùn)動(dòng)向量預(yù)測(cè)值推出或估計(jì)至少一個(gè)預(yù)測(cè)。
41.一種含有編碼在上面的視頻信號(hào)數(shù)據(jù)的存儲(chǔ)媒體，包含畫面中通過確定目標(biāo)塊的至少一個(gè)預(yù)測(cè)值并且分別將至少一個(gè)預(yù)測(cè)值用作模板來搜 索目標(biāo)塊的至少一個(gè)另外預(yù)測(cè)值編碼的目標(biāo)塊。
全文摘要
本發(fā)明提供了視頻編碼和解碼中模板匹配預(yù)測(cè)的方法和裝置。該裝置包括編碼器(300)，用于通過確定目標(biāo)塊的至少一個(gè)預(yù)測(cè)值并且分別將至少一個(gè)預(yù)測(cè)值用作模板來搜索目標(biāo)塊的至少一個(gè)另外預(yù)測(cè)值，編碼畫面中的目標(biāo)塊。
文檔編號(hào)H04N7/26GK102067601SQ200980122299
公開日2011年5月18日 申請(qǐng)日期2009年4月7日 優(yōu)先權(quán)日2008年4月11日
發(fā)明者喬爾·索爾, 奧斯卡·迪沃拉埃斯科達(dá), 尹澎, 鄭云飛 申請(qǐng)人:湯姆森特許公司