專利名稱：用于視頻信號的層間預(yù)測方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于在編碼/解碼視頻信號時進行層間預(yù)測的方法。
2.
背景技術(shù)：
可升降級視頻編解碼器(svc)將視頻編碼成具有最高圖像質(zhì)量的畫面序
列，同時確保經(jīng)編碼的畫面序列的部分(具體地是，從整個幀序列中間歇地選 出的部分幀序列)能夠被解碼并用于以低圖像質(zhì)量來表現(xiàn)該視頻。
盡管可通過接收和處理根據(jù)可升降級方案編碼的畫面序列的部分來表現(xiàn) 低圖像質(zhì)量視頻，但仍然存在如果比特率降低則圖像質(zhì)量顯著下降的問題。該 問題的一種解決方案是提供低比特率的輔助畫面序列——例如具有小屏幕尺 寸和/或低幀率的畫面序列——作為階層結(jié)構(gòu)中的至少一層。
當假設(shè)提供兩個序列時，輔助(下)畫面序列被稱為基層，而主(上)畫面序 列被稱為增強或加強層。基層和增強層的視頻信號具有冗余性，因為相同的視 頻信號源被編碼成兩層。為了提高增強層的編解碼效率，增強層的視頻信號使 用基層的經(jīng)編解碼的信息(運動信息或紋理信息)來編解碼。
盡管可如圖la所示將單個視頻源1編碼成具有不同傳遞率的多個層，但 也可如圖lb所示將包含相同內(nèi)容2a的不同掃描模式下的多個視頻源2b編碼 成相應(yīng)各層。同樣，在這種情況下，編碼上層的編碼器可通過利用下層的經(jīng)編 碼的信息執(zhí)行層間預(yù)測來提高編解碼增益，因為兩個源2b提供相同的內(nèi)容2a。
因此，需要提供一種在將不同源編碼成相應(yīng)各層時把視頻信號的掃描模式 納入考慮的層間預(yù)測方法。當編碼隔行視頻時，它可被編碼成偶場和奇場，并 且也可被編碼成一幀中的奇和偶宏塊對。相應(yīng)地，對于層間預(yù)測還必須考慮用 于編解碼隔行視頻信號的畫面類型。
一般而言，增強層提供分辨率高于基層分辨率的畫面。相應(yīng)地，如果在將 不同的源編碼成相應(yīng)各層時諸層的畫面具有不同的分辨率，則還需要執(zhí)行內(nèi)插來提高畫面分辨率(g卩，畫面大小)。因為對于預(yù)測編解碼而言在層間預(yù)測中使 用的基層畫面的圖像越接近于增強層畫面的圖像，編解碼率就越高，所以需要 提供一種將諸層的視頻信號的掃描模式納入考慮的內(nèi)插方法。
3.

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種在兩層中至少有一層具有隔行視頻信號分量的 狀況下執(zhí)行層間預(yù)測的方法。
本發(fā)明的另一個目的是提供一種根據(jù)畫面類型執(zhí)行對具有不同空間分辨 率(可升降級性)的畫面的諸層的層間運動預(yù)測的方法。
本發(fā)明的又一個目的是提供一種執(zhí)行對具有不同空間和/或時間分辨率(可 升降級性)的畫面的諸層的層間紋理預(yù)測的方法。
—種根據(jù)本發(fā)明的層間運動預(yù)測方法包括將內(nèi)模式宏塊的運動相關(guān)信息 設(shè)置成間模式宏塊的運動相關(guān)信息，該內(nèi)模式和間模式宏塊是基層的兩個垂直 毗鄰的宏塊；然后基于這兩個垂直毗鄰的宏塊獲得垂直毗鄰宏塊對的運動信息 用于層間運動預(yù)測。
另一種根據(jù)本發(fā)明的層間運動預(yù)測方法包括將作為基層的兩個垂直毗鄰 的內(nèi)模式和間模式宏塊之一的內(nèi)模式宏塊設(shè)置成具有0運動相關(guān)信息的間模式 塊；然后基于這兩個垂直毗鄰的宏塊獲得垂直毗鄰宏塊對的運動信息用于層間 運動預(yù)測。
另一種根據(jù)本發(fā)明的層間運動預(yù)測方法包括從基層的垂直毗鄰幀宏塊對 的運動信息推導(dǎo)單個宏塊的運動信息；以及將所推導(dǎo)出的運動信息用作當前層
中的場宏塊的運動信息或當前層中的場宏塊對的各自的運動信息的預(yù)測信息。 另一種根據(jù)本發(fā)明的層間運動預(yù)測方法包括從基層的單個場宏塊的運動 信息或選自基層的垂直毗鄰場宏塊對的單個場宏塊的運動信息推導(dǎo)兩個宏塊
各自的運動信息；以及將所推導(dǎo)出的各自的運動信息用作當前層的幀宏塊對各 自的運動信息的預(yù)測信息。
一種根據(jù)本發(fā)明用于具有不同分辨率的畫面的諸層的層間運動預(yù)測方法
包括通過根據(jù)畫面的類型和畫面中宏塊的類型選擇性地使用變換成幀宏塊的
預(yù)測方法將下層的畫面變換成相同分辨率的幀畫面；升采樣該幀畫面以使其具有與上層的分辨率相同的分辨率；然后應(yīng)用適用于此經(jīng)升采樣的幀畫面中的幀 宏塊的類型和上層畫面中的宏塊類型的層間預(yù)測方法。
另一種根據(jù)本發(fā)明用于具有不同分辨率的畫面的諸層的層間運動預(yù)測方 法包括標識出下層和上層的畫面的類型和/或包括在這些畫面中的宏塊的類 型；根據(jù)標識出的結(jié)果對下層畫面應(yīng)用從單個場宏塊預(yù)測幀宏塊對的方法以構(gòu) 造具有與上層畫面的縱橫比相同的縱橫比的虛擬畫面；升采樣該虛擬畫面；然
后利用此經(jīng)升釆樣的虛擬畫面對上層應(yīng)用層間運動預(yù)測。
另一種根據(jù)本發(fā)明用于具有不同分辨率的畫面的諸層的層間運動預(yù)測方 法包括標識出下層和上層的畫面的類型和/或包括在這些畫面中的宏塊的類 型；根據(jù)標識出的結(jié)果對下層畫面應(yīng)用從單個場宏塊預(yù)測幀宏塊對的方法以構(gòu) 造具有與上層畫面的縱橫比相同的縱橫比的虛擬畫面；以及利用所構(gòu)造出的虛
擬畫面對上層的畫面應(yīng)用層間運動預(yù)測。
另一種根據(jù)本發(fā)明用于具有不同分辨率的畫面的諸層的層間運動預(yù)測方 法包括標識出下層和上層畫面的類型；如果下層畫面的類型是場且上層畫面 的類型是逐行，則拷貝下層畫面中的塊的運動信息以構(gòu)造虛擬畫面；升釆樣該 虛擬畫面；以及在此經(jīng)升釆樣的虛擬畫面和上層畫面之間應(yīng)用幀宏塊-宏塊運 動預(yù)測方法。
另一種根據(jù)本發(fā)明用于具有不同分辨率的畫面的諸層的層間運動預(yù)測方 法包括標識出下層和上層畫面的類型；如果下層畫面的類型是場且上層畫面 的類型是逐行，則拷貝下層的塊的運動信息以構(gòu)造虛擬畫面；以及使用該虛擬 畫面來對上層畫面應(yīng)用層間運動預(yù)測。
在本發(fā)明的實施例中，在層間運動預(yù)測中順序地預(yù)測劃分模式、參考索引、 和運動向量。
在本發(fā)明的另一個實施例中，順序地預(yù)測參考索引、運動向量、和劃分模 式。 -
在本發(fā)明的另一個實施輛中，要用于層間運動預(yù)測的虛擬基層的場宏塊對 的運動信息是從基層的幀宏塊對的運動信息推導(dǎo)出的。
在本發(fā)明的另一個實施例中，要用于層間運動預(yù)測的虛擬基層的偶或奇場 畫面中的場宏塊的運動信息是從基層的幀宏塊對的運動信息推導(dǎo)出的。在本發(fā)明的另一個實施例中，從基層的場宏塊對中選擇宏塊，且要用于層 間運動預(yù)測的虛擬基層的幀宏塊對的運動信息是從所選宏塊的運動信息推導(dǎo) 出的。
在本發(fā)明的另一個實施例中，要用于層間運動預(yù)測的虛擬基層的幀宏塊對 的運動信息是從基層的偶或奇場畫面中的場宏塊的運動信息推導(dǎo)出的。
在本發(fā)明的另一個實施例中，基層的偶或奇場畫面中的場宏塊的信息被拷 貝以另外構(gòu)造虛擬場宏塊，且要用于層間運動預(yù)測的虛擬基層的幀宏塊對的運 動信息是從以此方式構(gòu)造出的場宏塊對的運動信息推導(dǎo)出的。
一種根據(jù)本發(fā)明的層間紋理預(yù)測方法包括由基層的垂直毗鄰幀宏塊對構(gòu) 造場宏塊對；以及將所構(gòu)造出的場宏塊對各自的紋理信息用作當前層的場宏塊 對各自的紋理預(yù)測信息。
另一種根據(jù)本發(fā)明的層間紋理預(yù)測方法包括由基層的垂直毗鄰幀宏塊對 構(gòu)造單個場宏塊；以及將所構(gòu)造出的單個場宏塊的紋理信息用作當前層的場宏 塊的紋理預(yù)測信息。
另一種根據(jù)本發(fā)明的層間紋理預(yù)測方法包括由基層的單個場宏塊或垂直 毗鄰場宏塊對構(gòu)造幀宏塊對；以及將所構(gòu)造出的幀宏塊對各自的紋理信息用作 當前層的幀宏塊對各自的紋理預(yù)測信息。
.另一種根據(jù)本發(fā)明的層間紋理預(yù)測方法包括由基層的垂直毗鄰場宏塊對 構(gòu)造N對幀宏塊，其中N是大于1的整數(shù)；以及將所構(gòu)造出的N對幀宏塊各 自的紋理信息用作當前層中位于不同時間位置的N對幀宏塊各自的紋理預(yù)測
"f曰息o
另一種根據(jù)本發(fā)明的層間紋理預(yù)測方法包括將下層的每一幀分成多個場 畫面以允許下層具有與上層相同的時間分辨率；在垂直方向上升采樣每一個所 分離出的場畫面以在垂直方向上擴展每一個所分離出的場畫面；然后將每一個 經(jīng)升采樣的場畫面用于上層的每一幀的層間紋理預(yù)測。
另一種根據(jù)本發(fā)明的層間紋理預(yù)測方法包括在垂直方向上升采樣下層的 每一個場畫面以在垂直方向上擴展每一個場畫面；以及將每一個經(jīng)升采樣的場 畫面用于上層的每一幀的層間紋理預(yù)測。
另一種根據(jù)本發(fā)明的層間紋理預(yù)測方法包括將上層的每一幀分成多個場畫面；降采樣下層的畫面以在垂直方向上縮小下層的畫面；然后將經(jīng)降采樣的 畫面用于上層的分離出的場畫面的層間紋理預(yù)測。
一種根據(jù)本發(fā)明利用層間預(yù)測編碼視頻信號的方法包括確定在層間紋理 預(yù)測中是使用通過交替地選擇基層的任意性畫面中的2N塊的行然后以選擇的 次序編排所選行來構(gòu)造的2N塊各自的紋理信息，還是使用通過內(nèi)插選自基層 的2N塊的一個塊來構(gòu)造的2N塊各自的紋理信息；并將指示該確定的信息納
入到編碼的信息中。
一種根據(jù)本發(fā)明利用層間預(yù)測來解碼視頻信號的方法包括檢查特定指示 信息是否被包括在接收到的信號中；并基于所檢査出的結(jié)果確定在層間紋理預(yù) 測中是使用通過交替地選擇基層的任意性畫面中的2N塊的行然后按選擇的次 序編排所選行來構(gòu)造的2N塊各自的紋理信息，還是使用通過內(nèi)插選自基層的 2N塊的一個塊來構(gòu)造的2N塊各自的紋理信息。
在本發(fā)明的實施例中，上層或下層的每一幀被分成兩個場畫面。
在本發(fā)明的實施例中，如果特定指示信息未被包括在所接收到的信號中， 則將該情況視為與接收到包括已被設(shè)為0的指示信息的信號且確定了其各自紋 理信息將用于層間預(yù)測的塊的情況相同。
一種根據(jù)本發(fā)明將基層的視頻信號用于層間紋理預(yù)測的方法包括將基層 的隔行視頻信號分成偶和奇場分量;在垂直和/或水平方向上將偶和奇場分量各 自放大；然后將經(jīng)放大的偶和奇場分量組組合用于層間紋理預(yù)測。
另一種根據(jù)本發(fā)明將基層的視頻信號用于層間紋理預(yù)測的方法包括將基 層的逐行視頻信號分成偶行組和奇行組；在垂直和/或水平方向上將偶和奇行組 各自放大；將經(jīng)放大的偶和奇行組組合并用于層間紋理預(yù)測。
另一種根據(jù)本發(fā)明將基層的視頻信號用于層間紋理預(yù)測的方法包括在垂 直和/或水平方向上放大基層的隔行視頻信號以使其具有與上層的逐行視頻信 號相同的分辨率；以及基于經(jīng)放大的視頻信號執(zhí)行上層的視頻信號的層間紋理預(yù)測。
另一種根據(jù)本發(fā)明將基層的視頻信號用于層間紋理預(yù)測的方法包括在垂 直和/或水平方向上放大基層的逐行視頻信號以使其具有與上層的隔行視頻信 號相同的分辨率；以及基于經(jīng)放大的視頻信號執(zhí)行上層的視頻信號的層間紋理預(yù)測。
在本發(fā)明的一個實施例中，視頻信號分離和放大是在宏塊級別(或即在宏 塊的基礎(chǔ)上)執(zhí)行的。
在本發(fā)明的另一個實施例中，視頻信號分離和放大是在畫面級別上執(zhí)行的。
在本發(fā)明的另一個實施例中,如果要對其應(yīng)用層間紋理預(yù)測的兩個層的畫 面格式不同，即如果一層包括逐行畫面而另一層包括隔行畫面，則執(zhí)行視頻信 號分離和放大。
在本發(fā)明的另一個實施例中，如果要對其應(yīng)用層間紋理預(yù)測的兩層的畫面 都是隔行的，則執(zhí)行視頻信號分離和放大。
4.附圖簡述
圖la和lb示出將單個視頻源編碼成多個層的方法；
圖2a和2b簡要示出應(yīng)用根據(jù)本發(fā)明的層間預(yù)測方法的視頻信號編碼裝置 的配置；
圖2c和2d示出用于編碼隔行視頻信號的畫面序列的類型； 圖3a和3b示意性示出根據(jù)本發(fā)明的實施例的其中為層間紋理預(yù)測構(gòu)造基
層畫面并執(zhí)行解塊濾波的過程；
圖4a至4f示意性示出根據(jù)本發(fā)明的實施例的其中要用于MBAFF幀中場
宏塊的層間運動預(yù)測的虛擬基層的場宏塊的運動信息利用幀宏塊的運動信息
來推導(dǎo)的過程；
圖4g示意性示出根據(jù)本發(fā)明的實施例的其中宏塊對的紋理信息被用于 MBAFF幀中的場宏塊對的紋理預(yù)測的程序；
圖4h示出根據(jù)本發(fā)明的實施例將幀宏塊對變換成場宏塊對的方法； 圖5a和5b示出根據(jù)本發(fā)明的另一個實施例的參考索引和運動信息推導(dǎo)程
序；
圖6a至6c示意性示出根據(jù)本發(fā)明的實施例的其中利用幀宏塊的運動信息 推導(dǎo)虛擬基層中的場宏塊的運動信息的程序；
圖6d示意性示出根據(jù)本發(fā)明的實施例的其中幀宏塊對的紋理信息被用于場畫面中的場宏塊的紋理預(yù)測的程序；
圖7a和7b示出根據(jù)本發(fā)明的另一個實施例的參考索引和運動信息推導(dǎo)程
序；
圖8a至8c示意性示出根據(jù)本發(fā)明的實施例的其中要用于層間運動預(yù)測的 虛擬基層的場宏塊幀宏塊的運動信息是利用MBAFF幀中的場宏塊的運動信息 來推導(dǎo)的程序；
圖8d示意性示出根據(jù)本發(fā)明的實施例的其中MBAFF幀中的場宏塊對的
紋理信息被用于幀宏塊對的紋理預(yù)測的程序；
圖8e示出根據(jù)本發(fā)明的實施例將場宏塊對變換成幀宏塊對的方法； 圖8f和8g示意性示出根據(jù)本發(fā)明的實施例的當場宏塊對中僅一個宏塊是
間模式時將MBAFF幀中的場宏塊對的紋理信息用于幀宏塊對的層間預(yù)測的程
序；
圖8h示意性示出根據(jù)本發(fā)明的實施例的其中MBAFF幀中的場宏塊對的 紋理信息被用于多對幀宏塊的紋理預(yù)測的程序；
圖9a和9b示出根據(jù)本發(fā)明的另一個實施例的參考索引和運動信息推導(dǎo)程
序；


圖10a至10c示意性示出根據(jù)本發(fā)明的實施例的在其中要用于層間運動預(yù) 測的虛擬基層的幀宏塊的運動信息是利用場畫面中的場宏塊的運動信息來推 導(dǎo)的程序；
圖10d示意性示出根據(jù)本發(fā)明的實施例的其中場畫面中的場宏塊的紋理
信息被用于幀宏塊對的紋理預(yù)測的程序；
圖11示出根據(jù)本發(fā)明的另一個實施例的參考索引和運動信息推導(dǎo)程序； 圖12a和12b示意性示出根據(jù)本發(fā)明的另一個實施例的其中要用于層間運
動預(yù)測的虛擬基層的幀宏塊的運動信息是利用場畫面中的場宏塊的運動信息
來推導(dǎo)的程序；
圖13a至13d分別根據(jù)畫面的類型來示意性示出根據(jù)本發(fā)明的實施例的要 用于層間運動預(yù)測的虛擬基層的場宏塊的運動信息利用場宏塊的運動信息來 推導(dǎo)的程序；
圖14a至14k分別根據(jù)畫面的類型來示出根據(jù)本發(fā)明的各種實施例的在諸層的空間分辨率不同時執(zhí)行層間運動預(yù)測的方法；
圖15a和15b示意性示出根據(jù)本發(fā)明的實施例的在增強層是逐行的而基層 是隔行的時候?qū)⒕哂胁煌臻g分辨率的基層的畫面用于層間紋理預(yù)測的程序；
圖16a和16b示意性示出根據(jù)本發(fā)明的實施例的其中為了將基層的畫面用 于層間紋理預(yù)測而將畫面中的宏塊對分成宏塊且分離出的宏塊被放大的程序;
圖17a和17b示意性示出根據(jù)本發(fā)明的實施例的在增強層是隔行的而基層 是逐行的時候?qū)⒕哂胁煌臻g分辨率的基層的畫面用于層間紋理預(yù)測的程序；
圖18示意性示出根據(jù)本發(fā)明的實施例的在增強層和基層都是隔行的時候 將具有不同空間分辨率的基層的畫面用于層間預(yù)測的程序；
圖19a示出根據(jù)本發(fā)明的實施例的在增強層是逐行幀序列且兩層的畫面 類型和時間分辨率不同時應(yīng)用層間預(yù)測的程序；
圖1%示出根據(jù)本發(fā)明的實施例的在增強層是逐行幀序列且兩層具有不 同的畫面類型和相同的分辨率時應(yīng)用層間預(yù)測的程序；
圖20示出根據(jù)本發(fā)明的實施例的在基層是逐行幀序列且兩層的畫面類型 和時間分辨率不同時應(yīng)用層間預(yù)測的程序；以及
圖21示出根據(jù)本發(fā)明的實施例的在基層是逐行幀序列且兩層具有不同的 畫面類型和相同的分辨率時應(yīng)用層間預(yù)測的程序。
5.本發(fā)明的實施方式 現(xiàn)在參考附圖詳細描述本發(fā)明的實施例。
圖2a示意性示出應(yīng)用根據(jù)本發(fā)明的層間預(yù)測方法的視頻信號編碼裝置的 構(gòu)件塊。盡管圖2a的裝置被實現(xiàn)成將輸入視頻信號編碼成兩層，但以下描述 的本發(fā)明的原理也適用于在視頻信號被編碼成三層或甚至更多層時的層間過 程。
根據(jù)本發(fā)明的層間預(yù)測方法在圖2a的裝置中的增強層(EL)編碼器20處執(zhí) 行。經(jīng)編碼的信息(運動信息和紋理信息)在基層(EL)編碼器21處接收?；谒?接收的信息執(zhí)行層間紋理預(yù)測或運動預(yù)測。如有需要，則解碼所接收的信息并 基于解碼出的信息執(zhí)行預(yù)測。當然，在本發(fā)明中，如圖2b所示，輸入視頻信 號可以是使用己經(jīng)被編碼的基層的視頻源3來編解碼的。在這種情形中如下所描述的層間預(yù)測方法同樣適用。
在圖2a的情形中，可以有在其中BS編碼器21編碼隔行視頻信號或在其 中圖2b的經(jīng)編碼的視頻源3被編解碼的兩種方法。具體地，在這兩種方法之 一中，如圖3a所示，將隔行視頻信號在逐場的基礎(chǔ)上簡單地編碼成場序列， 而在另一種方法中，如屈3b所示，通過以兩個(偶和奇)場的宏塊對來構(gòu)造序列 的每一幀來將幀編碼成幀序列。以此方式編碼的幀中的宏塊對中上宏塊被稱為 "頂宏塊"，而下宏塊被稱為"底宏塊"。如果頂宏塊由偶(或奇)場圖像分量構(gòu)成， 則底宏塊由奇(或偶)場圖像分量構(gòu)成。以此方式構(gòu)造的幀被稱為宏塊自適應(yīng)幀 場(MBAFF)幀。MBAFF幀不僅可包括各自包含奇和偶場宏塊的宏塊對，還可 包括各自包含兩個幀宏塊的宏塊對。
相應(yīng)地，當畫面中的宏塊具有隔行閣像分量時，它可能是場中的宏塊，并 且也可能是幀中的宏塊。每一個具有隔行圖像分量的宏塊被稱為場宏塊，而每 一個具有逐行(掃描)圖像分量的宏塊稱為幀宏塊。
因此，需要通過確定要在EL編碼器20處編碼的宏塊和要在宏塊的層間 預(yù)測中使用的基層宏塊各自的類型是幀宏塊類型還是場宏塊類型來確定層間 預(yù)測方法。如果宏塊是場宏塊，則需要通過確定它是場中的還是MBAFF幀中 的場宏塊來確定層間預(yù)測方法。
將分別針對每一種情況描述該方法。在描述之前，假設(shè)當前層的分辨率等 于基層的分辨率。艮卩，假設(shè)SpatialScalabilityType ()是0。當前層的分辨率高于 基層分辨率時的描述將在稍后給出。在以下的描述和附圖中，術(shù)語"頂"和 "偶"(或奇)被可互換地使用，并且術(shù)語"底"和"奇"(或偶)被可互瘓地使用。
為了利用基層來執(zhí)行層間預(yù)測以編碼或解碼增強層，首先需要解碼基層。 因此，首先描述基層解碼如下。
在解碼基層時，不僅解碼諸如劃分模式、參考索引、和運動向量之類的基 層ii動信息，還解碼基層的紋理。
當基層的紋理被解碼用于層間紋理預(yù)測時，并不是基層的所有圖像樣本數(shù) 據(jù)都被解碼，這是為了降低解碼器的負荷。內(nèi)模式宏塊的圖像樣本數(shù)據(jù)被解碼 出來，而間模式宏塊是僅殘差數(shù)據(jù)——即圖像樣本數(shù)據(jù)之間的誤差數(shù)據(jù)——被 解碼出來而不用毗鄰畫面進行運動補償。此外，用于層間紋理預(yù)測的基層紋理解碼不是在逐宏塊的基礎(chǔ)上而是在逐 畫面的基礎(chǔ)上執(zhí)行，以構(gòu)造時間上與增強層畫面一致的基層畫面。基層畫面是 如上所述由從內(nèi)模式宏塊重構(gòu)出的圖像樣本數(shù)據(jù)和從間模式宏塊解碼出的殘 差數(shù)據(jù)來構(gòu)造的。
諸如DCT和量化之類的內(nèi)模式或間模式運動補償和變換是在圖像塊基礎(chǔ)
上進行的，例如在16x16宏塊基礎(chǔ)上或在4x4子塊基礎(chǔ)上進行。這導(dǎo)致塊邊界 處的分塊偽像使圖像畸變。應(yīng)用解塊濾波來減少這些分塊偽像。解塊濾波器使 圖像塊的邊沿平滑以提高視頻幀的質(zhì)量。
是否應(yīng)用解塊濾波來減少分塊畸變?nèi)Q于圖像塊在邊界處的強度和邊界 周圍像素的梯度。解塊濾波器的力度或程度由量化參數(shù)、內(nèi)模式、間模式、指 示塊大小等的圖像塊劃分模式、運動向量、解塊濾波前的像素值等確定。
層間預(yù)測中的解塊濾波器是被應(yīng)用于作為增強層的基內(nèi)模式(intraBL或?qū)?間內(nèi)模式)宏塊的紋理預(yù)測的基礎(chǔ)的基層畫面中的內(nèi)模式宏塊。
當要根據(jù)層間預(yù)測方法編碼的兩層全被如圖2c所示地編碼成場畫面序列 時，這兩層全被看作是幀格式，從而使得從針對幀格式的編解碼過程可容易地 推導(dǎo)出包括解塊濾波的編碼/解碼過程。
現(xiàn)在將針對基層的畫面格式與增強層的畫面格式不同的情況——即基層 為幀(或即逐行)格式而基層為場(或即隔行)格式的情況、基層為場格式而基層 為幀格式的情況、或是如圖2c和2d所示的盡管增強層和基層兩者都為場格式 但增強層和基層之一被編碼成場畫面序列而另一個被編碼成MBAFF幀的情 況——來描述根據(jù)本發(fā)明的實施例執(zhí)行解塊濾波的方法。
圖3a和3b示意性示出根據(jù)本發(fā)明的實施例的在其中構(gòu)造基層畫面以執(zhí)行 用于層間紋理預(yù)測的解塊濾波的過程。
圖3a示出其中增強層為幀格式而基層為場格式的實施例，而圖3b示出其 中基層為場格式而基層為幀格式的實施例。
在這些實施例中，為了層間紋理預(yù)測，基層的間模式宏塊和內(nèi)模式宏塊的 紋理被解碼，以構(gòu)造包括圖像樣本數(shù)據(jù)和殘差數(shù)據(jù)的基層畫面，且在將解塊濾 波器應(yīng)用于所構(gòu)造出的畫面以減少分塊偽像之后根據(jù)基層的分辨率(或即屏幕 大小)與增強層的分辨率之比來升采樣所構(gòu)造出的畫面。圖3a和3b中的第一方法(方法l)是其中基層被分成兩個場畫面以執(zhí)行 解塊濾波的方法。在該方法中，當利用以不同畫面格式編碼的基層來創(chuàng)建增強 層時，基層畫面被分成偶行場畫面和奇行場畫面，且這兩個場畫面被解塊(即， 進行用于解塊的濾波)并升采樣。然后將這兩個畫面拼接成單個畫面，并基于 該單個畫面執(zhí)行層間紋理預(yù)測。
該第一方法包括以下三個步驟。
在分離步驟(步驟1),基層畫面被分成包括偶行的頂場(或奇場)畫面和包括 奇行的底場(或偶場)畫面。基層畫面是包括通過運動補償從基層的數(shù)據(jù)流重構(gòu) 出的殘差數(shù)據(jù)(間模式數(shù)據(jù))和圖像樣本數(shù)據(jù)(內(nèi)模式數(shù)據(jù))的視頻畫面。
在解塊步驟(步驟2)，在分離步驟中被分開的場畫面通過解塊濾波器被解 塊。這里，可使用常規(guī)的解塊濾波器作為該解塊濾波器。
當增強層的分辨率與基層的分辨率不同時，經(jīng)解塊的場畫面根據(jù)增強層的 分辨率和基層的分辨率之比來升采樣。
在拼接步驟(步驟3)，經(jīng)升采樣的頂場畫面和經(jīng)升采樣的底場畫面以交替 方式被隔行掃描以拼接成單個畫面。之后，基于此單個畫面執(zhí)行增強層的紋理 預(yù)測。
在圖3a和3b中的第二方法(方法2)中，當利用以不同畫面格式編碼的基 層來創(chuàng)建增強層時，不將基層畫面分成兩個場畫面而是將其直接對其解塊并升 采樣，并基于結(jié)果所得的畫面執(zhí)行層間紋理預(yù)測。
在該第二方法中，與要通過層間紋理預(yù)測來編碼的增強層畫面相對應(yīng)的基
層畫面不被分成頂和底場畫面而是被立即解塊，然后升采樣。之后，基于此經(jīng) 升采樣的畫面執(zhí)行增強層的紋理預(yù)測。
應(yīng)用于為層間運動預(yù)測而構(gòu)造的基層畫面的解塊濾波器僅被應(yīng)用于包括 從內(nèi)模式宏塊解碼出的圖像樣本數(shù)據(jù)的區(qū)域，而不被應(yīng)用于包括殘差數(shù)據(jù)的區(qū) 域。
在圖3a中的基層被編碼成場格式——即基層如圖2c所示地被編碼成場畫 面序列或如圖2d所示地被編碼成MBAFF幀的情況下，為了應(yīng)用第二方法， 需要執(zhí)行交替地隔行掃描頂和底場畫面的行以將其組合成單個畫面(在圖2c的 情況下)或交替地隔行掃描場宏塊對的頂和底宏塊的行以將其組合成單個畫面(在圖2d的情況下)的過程。該過程將參考圖8d和8e詳細描述。要被隔行掃描 的頂和底場畫面或者頂和底宏塊是包括通過運動補償重構(gòu)出的殘差數(shù)據(jù)(間模 式數(shù)據(jù))和圖像樣本數(shù)據(jù)(內(nèi)模式數(shù)據(jù))的場畫面或宏塊。
此外，在如圖2d所示的MBAFF幀中的(基層的)場宏塊對的頂和底宏塊是 不同的模式并且從這些宏塊中選擇內(nèi)模式塊用于增強層的宏塊對的層間紋理 預(yù)測的情況下(在稍后描述的圖8g的情況下)，在如圖2d所示的編碼成MBAFF 幀中的場宏塊對的基層中的任何幀(畫面)在時間上與增強層畫面不一致的情況 下(在稍后描述的圖8h的情況下)，或在具有宏塊對的增強層的紋理是從如圖 2c所示的具有場畫面的場宏塊的基層預(yù)測的情況下(在稍后描述的圖10d的情 況下)，場宏塊中選中的一個被升采樣成臨時的宏塊對(圖8g中的"841"和圖8h 中的"851"和"852")或兩個臨時宏塊(圖10d中的"1021"),并將解塊濾波器應(yīng)用 于這些宏塊中的內(nèi)模式宏塊。
在以下各種實施例中描述的層間紋理預(yù)測是基于圖3a和3b的實施例中描 述的經(jīng)解塊基層畫面來執(zhí)行的。
現(xiàn)在將針對根據(jù)要編解碼的當前層中的宏塊類型和要用于當前層的宏塊 的層間預(yù)測的基層的宏塊類型分類的每一種情況分別描述層間預(yù)測方法。在本 描述中，如上所述地假設(shè)當前層的空間分辨率等于基層的空間分辨率。
I.幀MB. -> MBAFF幀中的場MB的情況
在這種情況下，當前層(EL)中的宏塊被編碼成MBAFF幀中的場宏塊，并 且要用于當前層的宏塊的房間預(yù)測的基層中的宏塊被編碼成幀宏塊?；鶎又械?上宏塊和下宏塊兩者中所包括的視頻信號成分與當前層中一對同位的宏塊中 所包括的視頻信號成分是相同的。上和下(頂和底)宏塊將被稱為宏塊對，且術(shù) 語"對"在以下的描述中將用干描述一對垂直毗鄰的塊。首先，描述層間運動預(yù) 測如下。
EL編碼器20使用通過將基層的宏塊對410歸并成單個宏塊(通過在垂直 方向上壓縮至一半大小)來獲得的宏塊劃分模式作為當前宏塊的劃分模式。圖 4a示出該過程的詳細例子。如所示，首先，將基層的相應(yīng)宏塊對410歸并成單 個宏塊(S41)，且通過歸并獲得的宏塊的劃分模式被拷貝到另一個宏塊以構(gòu)造出宏塊對411(S42)。之后，將該對宏塊411各自的劃分模式應(yīng)用于虛擬基層的宏 塊對412(S43)。
然而，在相應(yīng)的宏塊對410被歸并成單個宏塊時，可能會生成在劃分模式 中不允許的劃分區(qū)域。為了防止這種情況，EL編碼器20根據(jù)以下規(guī)則確定劃 分模式。
1) 基層的宏塊對中的頂和底兩個8x8塊(圖4a中的"B8—0"和"B8—2")被歸 并成單個8x8塊。但是，如果相應(yīng)的8x8塊中的任何塊都未被細分，則它們被 歸并成兩個8x4塊，而如果相應(yīng)的8x8塊中有任何塊已被細分，則它們被歸并 成四個4x4塊(圖4a中的"401")。 -
2) 基層的8x16塊縮小成8x8塊，16x8塊縮小成兩個毗鄰的8x4塊，并且 16x16塊縮小成16x8塊。
如果相應(yīng)宏塊對中至少有一個宏塊是以內(nèi)模式編碼的，則EL編碼器20 在歸并過程之前首先執(zhí)行以下過程。
如果這兩個宏塊中僅有一個是內(nèi)模式，則間宏塊的諸如宏塊劃分模式、參 考索引、和運動向量之類的運動信息如圖4b所示被拷貝到內(nèi)宏塊，或者內(nèi)宏 塊如圖4c所示被認為是具有0運動向量和0參考索引的16x16間宏塊。或者， 如圖4d所示，內(nèi)宏塊的參考索引通過將間宏塊的參考索引拷貝到內(nèi)宏塊來設(shè) 置，且將O運動向量分配給內(nèi)宏塊。然后，執(zhí)行上面提及的歸并過程，然后如 下所述執(zhí)行參考索引和運動向量推導(dǎo)程序。 EL編碼器20執(zhí)行以下過程以從相應(yīng)宏塊對410的參考索引推導(dǎo)當前宏塊 對412的參考索引。
如果對應(yīng)于當前8x8塊的基層8x8塊對中的每一塊已被細分成相同數(shù)目個 部分，則該8x8塊對中一塊(頂塊或底塊)的參考索引被確定為當前8x8塊的參 考索引。否則，該8x8塊對中已被細分成較少數(shù)'目個部分的那一塊的參考索引 被確定為當前8x8塊的參考索引。
在本發(fā)明的另一個實施例中，為對應(yīng)于當前8x8塊的基層8x8塊對設(shè)置的 參考索引中較小的一個被確定為當前8x8塊的參考索引。圖4e的例子中的這 種確定方法可表達如下
當前B8_0的參考索引=min (基頂幀MB的B8—0的參考索引，基頂幀MB的88_2的參考索引)
當前B8一1的參考索引min(基頂幀MB的B8一1的參考索引，基頂幀MB 的B8—3的參考索引)
當前88_2的參考索引min (基底幀MB的B8一0的參考索引，基底幀MB 的B8—2的參考索引)，以及
當前B8—3的參考索弓h(huán)min(基底幀MB的B8—1的參考索引，基底幀MB 的88_3的參考索引)。
以上的參考索引推導(dǎo)程序可適用于頂和底場宏塊兩者。將以此方式確定的 每一個8x8塊的參考索引乘以2，并將相乘后的參考索引確定為其最終參考索 引。作該乘法的原因是在解碼時，畫面的數(shù)目是幀序列中的數(shù)目的兩倍，因為 屬于畫面的場宏塊被分成偶場和奇場。取決于解碼算法，底場宏塊的最終參考 索引可通過將其參考索引乘以2然后將相乘后的參考索引加1來確定。 以下是EL編碼器20推導(dǎo)虛擬基層的宏塊對的運動向量的程序。 運動向量是在4x4塊的基礎(chǔ)上確定的，因此基層的相應(yīng)4x8塊被標識出來， 如圖4f所示。如果該相應(yīng)的4x8塊已被細分，則其頂或底4x4塊的運動向量 被確定為當前4x4塊的運動向量。否則，將對應(yīng)的4x8塊的運動向量確定為當 前4x4塊的運動向量。所確定的運動向量在其垂直分量除以2后被用作當前4x4 塊的最終運動向量。作該除法的原因是包括在兩個幀宏塊中的圖像成分對應(yīng)于 一個場宏塊的圖像成分因而使得場圖像的大小在垂直方向上減小一半。
一旦虛擬基層的場宏塊對412的運動信息以此方式確定，該運動信息就被 用于增強層的目標場宏塊對413的層間運動預(yù)測。同樣，在以下的描述中，一 旦虛擬基層的宏塊或宏塊對的運動信息被確定，該運動信息就被用于當前層的 相應(yīng)宏塊或相應(yīng)宏塊對的層間運動預(yù)測。在以卞的描述中，假設(shè)即使沒有提及 虛擬基層的宏塊或宏塊對的運動信息、被用于當前層的相應(yīng)宏塊或相應(yīng)宏塊對 的層間運動預(yù)測該過程也是被應(yīng)用的。
圖5根據(jù)本發(fā)明的另一個實施例示意性示出要被用于層間預(yù)測的虛擬基 層的場宏塊對500的運動信息如何從對應(yīng)于當前宏塊對的基層幀宏塊對的運動 信息推導(dǎo)。在本實施例中，如圖所示，基層的幀宏塊對的頂宏塊的頂或底8x8 塊的參考索引被用作虛擬基層的場宏塊對500中的每一個宏塊的頂8x8塊的參考索引，且基層的底宏塊的頂或底8x8塊的參考索引被用作該場宏塊對500中 的每一個宏塊的底8x8塊的參考索引。另一方面，如圖所示，基層的幀宏塊對 的頂宏塊的最頂上的4x4塊的運動向量被共用于虛擬基層的場宏塊對500中的 每一個宏塊最頂上的4x4塊，基層的幀宏塊對的頂宏塊的第三個4x4塊的運動 向量被共用于該場宏塊對500中的每一個宏塊的第二個4x4塊，基層的幀宏塊 對的底宏塊最頂上的4x4塊的運動向量被共用于該場宏塊對500中的每一個宏 塊的第三個4x4塊，并且基層的幀宏塊對的底宏塊的第三個4x4塊的運動向量 被共用于該場宏塊對500中的每一個宏塊的第四個4x4塊。
如圖5a所示，為用于層間預(yù)測而構(gòu)造的場宏塊對500中8x8塊中的8x8 塊中的頂4x4塊501和底4x4塊502使用基層的不同8x8塊511和512中的4x4 塊的運動向量。這些運動向量可能是使用不同參考畫面的運動向量。S口，不同 的8x8塊511和512可能具有不同的參考索引。相應(yīng)地，在這種情況下，為了 構(gòu)造虛擬基層的宏塊對500， EL編碼器20將為頂4x4塊501選擇的相應(yīng)4x4 塊503的運動向量共用作虛擬基層的第二個4x4塊502的運動向量，如圖5b 所示(521)。
在參考圖4a至4f描述的實施例中，為了構(gòu)造虛擬基層的運動信息以預(yù)測 當前宏塊對的運動信息，EL編碼器20基于基層的相應(yīng)宏塊對的運動信息順序 地推導(dǎo)劃分模式、參考索引、和運動向量。然而，在參考圖5a和5b所述的實 施例中，EL編碼器20首先基于基層的相應(yīng)宏塊對的運動信息推導(dǎo)虛擬基層的 宏塊對的參考索引和運動向量，然后基于所推導(dǎo)出的值最終確定虛擬基層的宏 塊對的劃分模式。當劃分模式被確定時，具有相同的推導(dǎo)出的運動向量和參考 索引的4x4塊單元被組合，且如果組合后的塊模式是允許的劃分模式，則將劃 分模式設(shè)置成此組合后的模式，否則將劃分模式設(shè)置成組合前的模式。
在上述的實施例中，如果基層的相應(yīng)宏塊對410中的兩個宏塊都是內(nèi)模 式，則對當前宏塊對413只執(zhí)行基內(nèi)預(yù)測。在這種情況下，不執(zhí)行運動預(yù)測。 當然，在紋理預(yù)測的情況下不構(gòu)造虛擬基層的宏塊對。如果基層的相應(yīng)宏塊對 410中只有一個宏塊是內(nèi)模式，則如圖4b所示將間宏塊的運動信息拷貝至內(nèi)宏 塊，如圖4c所示將內(nèi)宏塊的運動向量和參考索引設(shè)置成0，或者如圖4d所示 通過將間宏塊的參考索引拷貝到內(nèi)宏塊來設(shè)置內(nèi)宏塊的參考索引并且將內(nèi)宏塊的運動向量設(shè)置成0。然后，虛擬基層的宏塊對的運動信息如上所述地推導(dǎo)。
在如上所述為層間運動預(yù)測構(gòu)造虛擬基層的宏塊對之后，EL編碼器20使 用所構(gòu)造出的宏塊對的運動信息來預(yù)測和編碼當前場宏塊對413的運動信息。
現(xiàn)在將描述層間紋理預(yù)測。圖4g示出在"幀MB->MBAFF幀中的場MB" 的情況下的示例層間紋理預(yù)測方法。EL編碼器20標識出基層的相應(yīng)幀宏塊對 410的塊模式。如果相應(yīng)幀宏塊對410中的兩個宏塊或者都是內(nèi)模式或者都是 間模式，則EL編碼器20將基層的相應(yīng)宏塊對410轉(zhuǎn)換(變換)成臨時的場宏塊 對421，以便或者執(zhí)行當前場宏塊對413的基內(nèi)預(yù)測(當兩個幀宏塊410都是內(nèi) 模式時)或者以下面描述的方式執(zhí)行其殘差預(yù)測(當兩個幀宏塊410都是間模式 時)。當相應(yīng)的宏塊對410中的兩個宏塊都是內(nèi)模式時，該臨時的場宏塊對421 包括如前所述的在內(nèi)模式的情況下在完成解碼后被解塊(即，進行用于解塊的 濾波)的數(shù)據(jù)。在以下對各種實施例的描述中，對于從用于紋理預(yù)測的基層的 宏塊推導(dǎo)出的臨時宏塊對同樣如此。
然而，在這兩個宏塊中僅有一個是間模式時不執(zhí)行層間紋理預(yù)測。用于層 間紋理預(yù)測的基層的宏塊對410在宏塊是內(nèi)模式的情況下具有未經(jīng)編碼的原始 圖像數(shù)據(jù)(或經(jīng)解碼的圖像數(shù)據(jù))，而在宏塊是間模式的情況下具有經(jīng)編碼的殘 差數(shù)據(jù)(或經(jīng)解碼的殘差數(shù)據(jù))。在以下對紋理預(yù)測的描述中對于基層的宏塊對 同樣如此。
圖4h示出用于將幀宏塊對轉(zhuǎn)換成要用于層間紋理預(yù)測的場宏塊對的方 法。如圖所示，順序地選擇一對幀宏塊A和B的偶行以構(gòu)造頂場宏塊A'，并 且順序地選擇該對幀宏塊A和B的奇行以構(gòu)造底場宏塊B'。當用行來填充一 個場宏塊時，它首先以頂塊A的偶(或奇)行(A—偶或A—奇)填充，然后以底塊B 的奇(或偶)行(B一偶或B—奇)來填充。.
II.幀MB-〉場畫面中的場MB的情況
在這種情況下，當前層中的宏塊是被編碼成場畫面中的場宏塊，并且要用 于當前層的宏塊的層間預(yù)測的基層中的宏塊是被編碼成幀宏塊。基層中的宏塊 對中所包括的視頻信號成分與當前層中的偶場或奇場中同位的宏塊中所包括 的視頻信號成分相同。首先，層間運動預(yù)測描述如下。EL編碼器20使用通過將基層的宏塊對歸并成單個宏塊(通過在垂直方向
上壓縮至一半大小)獲得的宏塊劃分模式作為虛擬基層的偶或奇宏塊的劃分模
式。圖6a示出該過程的詳細示例。如圖所示，首先將基層的相應(yīng)宏塊對610 歸并成單個宏塊611(S61)，且將通過該歸并獲得的劃分模式應(yīng)用于要用于當前 宏塊613的層間運動預(yù)測的虛擬基層的宏塊(S62)。歸并規(guī)則與先前的情況I中 的相同。在相應(yīng)的宏塊對610中至少有一個宏塊以內(nèi)模式編碼時的處理方法與 先前的情況I中的相同。
用于推導(dǎo)參考索引和運動向量的程序也以與上面在先前的情況I中描述的 方式相同方式執(zhí)行。在情況I中，將相同的推導(dǎo)程序應(yīng)用于頂和底宏塊，因為 偶和奇宏塊對被攜帶在一個幀中。然而，本情況II與情況I不同之處在于將推 導(dǎo)程序僅應(yīng)用于一個場宏塊，如圖6b和6c所示，因為在要編解碼的當前場畫 面中僅存在一個對應(yīng)于基層宏塊對610的宏塊。
在以上的實施例中，為了預(yù)測虛擬基層的宏塊的運動信息，EL編碼器20 基于基層的相應(yīng)宏塊對的運動信息順序地推導(dǎo)該宏塊的劃分模式、參考索引、 和運動向量。
在本發(fā)明的另一個實施例中，EL編碼器20首先基于基層的相應(yīng)宏塊對的 運動信息推導(dǎo)虛擬基層的宏塊的參考索引和運動向量，然后，基于所推導(dǎo)出的 值最終確定虛擬基層的宏塊的塊模式。圖7a和7b示意性示出虛擬基層的場宏 塊的參考索引和運動向量的推導(dǎo)。在這種情況下用于推導(dǎo)的操作類似于參考圖 5a和5b描述的情況I中的操作，區(qū)別在于頂或底宏塊的運動信息是利用基層 的宏塊對的運動信息來推導(dǎo)的。
當劃分模式被最終確定時，具有相同的推導(dǎo)出的運動向量和參考索引的 4x4塊單元被組合，且如果組合后的塊模式是允許的劃分模式，則將劃分模式 設(shè)置成此組合后的模式，否則將劃分模式設(shè)置成組合前的模式。
在上述的實施例中，如果基層的相應(yīng)宏塊對中的兩個宏塊都是內(nèi)模式，則 不執(zhí)行運動預(yù)測，也不構(gòu)造虛擬基層的宏塊對的運動信息，而如果這兩個宏塊 中僅有一個是內(nèi)模式，則在該情況下如先前描述地執(zhí)行運動預(yù)測。
現(xiàn)在將描述層間紋理預(yù)測。圖6d示出在"幀MB》場畫面中的場MB"的情 況下的示例層間紋理預(yù)測方法。EL編碼器20標識出基層的相應(yīng)宏塊對610的塊模式。如果該宏塊對中的兩個宏塊或者都是內(nèi)模式或者都是間模式，則EL
編碼器20由單對幀宏塊610構(gòu)造臨時場宏塊621 。如果當前宏塊613屬于偶場 畫面，則EL編碼器20由相應(yīng)宏塊對610的偶行構(gòu)造臨時場宏塊621。如果當 前宏塊613屬于奇場畫面，則EL編碼器20由相應(yīng)宏塊對610的奇行構(gòu)造臨時 場宏塊621。構(gòu)造方法類似于圖4h中構(gòu)造單個場宏塊A'或B'的方法。
一旦臨時場宏塊62被構(gòu)造出來，EL編碼器20就基于場宏塊621中的紋 理信息執(zhí)行當前場宏塊613的基內(nèi)預(yù)測(當相應(yīng)的宏塊對610中的兩個宏塊都 是內(nèi)模式時)，或執(zhí)行其殘差預(yù)測(當相應(yīng)的宏塊對610中的兩個宏塊都是間模 式時)。
如果相應(yīng)的宏塊對610中只有一個宏塊是間模式，則EL編碼器20不執(zhí) 行層間紋理預(yù)測。
III. MBAFF幀中的MB)幀MB的情況
在這種情況下，當前層中的宏塊是被編碼成幀宏塊，且要用于當前層'的幀 宏塊的層間預(yù)測的基層中的宏塊是被編碼成MBAFF幀中的場宏塊?；鶎又械?場宏塊中所包括的視頻信號成分與當前層中的一對同位的宏塊中所包括的視 頻信號成分是相同的。首先，層間運動預(yù)測描述如下。
EL編碼器20使用通過擴展基層宏塊對的頂或底宏塊(在垂直方向上擴展 到兩倍)獲得的宏塊劃分模式作為虛擬基層中的宏塊對的劃分模式。圖8a示出 該過程的詳細例子。盡管在以下的描述和附圖中是頂場宏塊被選擇，但在底場 宏塊被選擇時下面所描述的同樣適用。
如圖8a所示，將基層的相應(yīng)宏塊對810的頂場宏塊擴展到兩倍以構(gòu)造出 兩個宏塊S11(S81)，并將通過擴展獲得的劃分模式應(yīng)用于虛擬基層的宏塊對 812(S82)。
然而，當相應(yīng)場宏塊在垂直方向上被擴展到兩倍時，可能會生成在宏塊劃 分模式中不允許的劃分模式(或圖案)。為了防止這種情況，EL編碼器20按以 下規(guī)則根據(jù)經(jīng)擴展的劃分模式來確定劃分模式。
1) 基層的4x4、 8x4、和16x8塊在擴展后被確定為通過將其在垂直方向上 放大到兩倍獲得的4x8、 8x8和16x16塊。
2) 基層的4x8、 8x8、和16x16塊在擴展后各自被確定為相同大小的頂和底兩塊。如圖8a所示，基層的8x8塊B8—0被確定為兩個8x8塊(801)。 8x8塊 B8一0在擴展后未被設(shè)置成8x16塊的原因是其左側(cè)或右側(cè)上毗鄰的經(jīng)擴展塊可 能不是8x16劃分塊，且在這種情況下沒有哪種宏塊劃分模式得到支持。
如果相應(yīng)宏塊對810中有一個宏塊是以內(nèi)模式編碼的，則EL編碼器20 不是選擇內(nèi)模式的而是選擇間模式的頂或底場宏塊，并對其執(zhí)行以上的擴展過 程以確定虛擬基層中的宏塊對812的劃分模式。
如果相應(yīng)的宏塊對810中的兩個宏塊都是內(nèi)模式，則EL編碼器20只執(zhí) 行層間紋理預(yù)測，而不執(zhí)行通過以上擴展過程進行的劃分模式確定和以下描述 的參考索引和運動向量推導(dǎo)過程。
為了從相應(yīng)場宏塊的參考索引推導(dǎo)虛擬基層的宏塊對的參考索引，EL編 碼器20將基層的相應(yīng)8x8塊B8_0的參考索引確定為該頂和底兩個8x8塊中的 每一個的參考索引，如圖8b所示，并將所確定的每一個8x8塊的參考索引除 以2以獲得其最終的參考索引。作該除法的原因是為了能應(yīng)用于幀序列，需要 將畫面數(shù)減少一半，因為場宏塊的參考畫面數(shù)目是基于分成偶和奇場的畫面而 設(shè)置的。
當推導(dǎo)虛擬基層的幀宏塊對812的運動向量時，EL編碼器20將基層的相 應(yīng)4x4塊的運動向量確定為虛擬基層的宏塊對812中的4x8塊的運動向量，如 圖8c所示，并將所確定的運動向量在其垂直分量乘以2之后用作最終運動向 量。作該乘法的原因是一個場宏塊中所包括的圖像成分對應(yīng)于兩個幀宏塊的圖 像成分，因而使得幀圖像的大小在垂直方向上增加到兩倍。
在上述的實施例中，為了預(yù)測虛擬基層的宏塊對的運動信息，EL編碼器 20基于基層的相應(yīng)場宏塊的運動信息順序地推導(dǎo)該宏塊的劃分模式、參考索 引、和運動向量。
在本發(fā)明的另一個實施例中，當推導(dǎo)要用于當前宏塊對的層間預(yù)測的虛擬 基層的宏塊對的運動信息時，EL編碼器20首先基于基層的相應(yīng)場宏塊的運動 信息獲得虛擬基層的宏塊對的參考索引和運動向量，然后基于所獲得的值最終 確定虛擬基層的宏塊對中的每一個宏塊的塊模式，如圖9a所示。當劃分模式 被最終確定時，具有相同的推導(dǎo)出的運動向量和參考索引的4x4塊單元被組合， 且如果組合后的塊模式是允許的劃分模式，則將劃分模式設(shè)置成此組合后的模式，否則將劃分模式設(shè)置成組合前的模式。
以下是圖9a的實施例的更詳細的描述。如圖所示，基層的間模式場宏塊
被選擇，并使用所選的宏塊的運動向量和參考索引來推導(dǎo)要用于當前宏塊對的 運動預(yù)測的虛擬基層的幀宏塊對的參考索引和運動向量。如果這兩個宏塊都是
間模式，則頂和底宏塊中任意性的一個被選擇(卯1或902)，并使用所選宏塊的 運動向量和參考索引信息。如圖所示，為了推導(dǎo)參考索引，所選宏塊的頂8x8 塊的相應(yīng)值被拷貝至虛擬基層的頂宏塊的頂和底8x8塊的參考索引，且所選宏 塊的底8x8塊的相應(yīng)值被拷貝至虛擬基層的底宏塊的頂和底8x8塊的參考索 引。如圖所示，為了推導(dǎo)運動向量，所選宏塊的每一個4x4塊的相應(yīng)值被共用 作虛擬基層的宏塊對中相應(yīng)的一對垂直毗鄰的4x4塊的運動向量。在本發(fā)明的 另一個實施例中，基層的相應(yīng)宏塊對的運動信息可被混合并用于推導(dǎo)虛擬基層 的幀宏塊對的運動向量和參考索引，這與圖9a所示的實施例不同。圖9b示出 根據(jù)該實施例的用于推導(dǎo)運動向量和參考索引的程序。虛擬基層的宏塊對中的 子塊(8x8塊和4x4塊)的參考索引和運動向量的拷貝關(guān)聯(lián)的詳細描述在這里省 略，因為其可從上述的運動信息推導(dǎo)程序的描述和圖9b的插圖中直觀理解。
然而，因為在圖9b的實施例中基層的場宏塊對中的兩個宏塊的運動信息 都被使用，所以如果基層的場宏塊對中有一個宏塊是內(nèi)模式，則利用作為間模 式宏塊的另一個宏塊的運動信息推導(dǎo)內(nèi)模式宏塊的運動信息。具體地，可在如 圖4b所示地通過將間模式宏塊的相應(yīng)信息拷貝至內(nèi)模式宏塊來構(gòu)造內(nèi)模式宏 塊的運動向量和參考索引之后，或在如圖4c所示將內(nèi)模式宏塊視為具有0運 動向量和0參考索引的間模式宏塊之后，或在如圖4d所示通過將間模式宏塊 的參考索引拷貝至內(nèi)模式宏塊來設(shè)置內(nèi)模式宏塊的參考索引并將其運動向量 設(shè)置為0之后，如圖9b所示來推導(dǎo)虛擬基層的宏塊對的運動向量和參考索引 信息。 一旦推導(dǎo)出虛擬基層的宏塊對的運動向量和參考索引信息，就如先前所 述地基于所推導(dǎo)出的信息來確定宏塊對的塊模式。
另一方面，如果基層的相應(yīng)場宏塊對中的兩個宏塊都是內(nèi)模式，則不執(zhí)行 運動預(yù)測。
現(xiàn)在將描述層間紋理預(yù)測。圖8d示出在"MBAFF幀中的場MB-〉幀MB" 的情況下的示例層間紋理預(yù)測方法。EL編碼器20標識出基層的相應(yīng)場宏塊對810的塊模式。如果相應(yīng)的幀宏塊對810中的兩個宏塊或者都是內(nèi)模式或者都 是間模式，則EL編碼器20將基層的相應(yīng)場宏塊對810轉(zhuǎn)換成臨時的幀宏塊對 821，以便或者執(zhí)行當前幀宏塊對813的基內(nèi)預(yù)測(當這兩個幀宏塊810都是內(nèi) 模式時)或者以下面描述的方式執(zhí)行其殘差預(yù)測(當這兩個幀宏塊810都是間模 式時)。當相應(yīng)宏塊對810中的兩個宏塊都是內(nèi)模式時，宏塊對810包括已被 解碼的數(shù)據(jù)，并如先前所述地將解塊濾波器應(yīng)用于幀宏塊對821。圖8e示出用 于將場宏塊對轉(zhuǎn)換成幀宏塊對的方法。如圖所示， 一對場宏塊A和B的行從 每一個宏塊的頂部開始順序地被交替選擇(A》B々A》B-〉A(chǔ)-、…)，然后從頂 部開始按所選次序順序地排列以構(gòu)造一對幀宏塊A'和B'。因為是以此方式重新 編排場宏塊對的行，所以頂幀宏塊A'是由該對場宏塊A和B的上半部分的行 構(gòu)造的，而底幀宏塊B'是由下半部分的行構(gòu)造的。
另一方面，如果基層的相應(yīng)場宏塊對810中只有一個宏塊是間模式，則根 據(jù)當前的幀宏塊對813的塊模式從基層的宏塊對810中選擇一個塊，并將所選 塊用于層間紋理預(yù)測?；蛘?，在確定當前的幀宏塊對813的塊模式前，可先應(yīng) 用以下描述的每一種方法來執(zhí)行層間預(yù)測，然后可確定宏塊對813的塊模式。
圖8f和8g示出其中選擇一個塊以執(zhí)行層間預(yù)測的示例。在當前的幀宏塊 對813是以間模式編碼(或者在執(zhí)行其間模式預(yù)測)的情況下，如圖8f所示，從 基層的場宏塊對810中選擇間模式塊810a，且所選的塊在垂直方向上被升采樣 以創(chuàng)建兩個相應(yīng)宏塊831。然后將這兩個宏塊831用于當前的幀宏塊對813的 殘差預(yù)測。在當前的幀宏塊對813不是以間模式編碼(或者在執(zhí)行其內(nèi)模式預(yù) 測)的情況下，如圖8g所示，從基層的場宏塊對810中選擇內(nèi)模式塊810b，且 所選的塊在垂直方向上被升采樣以創(chuàng)建兩個相應(yīng)宏塊841。在將解塊濾波器應(yīng) 用于這兩個宏塊841之后，將這兩個宏塊841用于當前幀宏塊對813的基內(nèi)預(yù) 測。
圖8f和8g中所示的其中一個塊被選擇并升采樣以創(chuàng)建要用于層間紋理預(yù) 測的宏塊對的方法在各層具有不同的畫面率時也能適用。當增強層的畫面率高 于基層的畫面率時，增強層的畫面序列中的某些畫面可能在基層中沒有時間上 相對應(yīng)的畫面。在基層中沒有時間上相對應(yīng)的畫面的增強層畫面中所包括的幀 宏塊對的層間紋理預(yù)測可利用基層中時間上在前的畫面中的一對空間上同位的場宏塊中的一個宏塊來執(zhí)行。
圖8h是增強層的畫面率是基層畫面率的兩倍的情況下該方法的例子。 如圖所示，增強層的畫面率是基層的畫面率的兩倍。因此，增強層的每兩
個畫面中有一個——諸如畫面次序計數(shù)(POC)為"n2"的畫面——在基層中沒有 畫面順序計數(shù)(POC)相同的畫面。這里，相同的POC指示時間上的一致性。
當基層中沒有時間上一致的畫面時(例如，在當前POC是n2時)，先前畫 面(即，POC比當前POC低1的畫面)中的一對空間上同位的場宏塊中所包括 的底場宏塊802被垂直升采樣以創(chuàng)建臨時宏塊對852(S82)，然后使用此臨時宏 塊對852來執(zhí)行當前宏塊對815的層間紋理預(yù)測。當基層中有時間上一致的畫 面時(例如，在當前POC是nl時)，此時間上一致的畫面中的一對空間上同位 的場宏塊中所包括的頂場宏塊801被垂直升采樣以創(chuàng)建臨時宏塊對S51(S82)， 然后使用此臨時宏塊對851來執(zhí)行當前宏塊對814的層間紋理預(yù)測。當通過升 采樣創(chuàng)建的臨時宏塊對851或852中包括從內(nèi)模式宏塊解碼的宏塊對時，在對 該宏塊對應(yīng)用解塊濾波器之后將該宏塊對用于層間紋理預(yù)測。
在本發(fā)明的另一個實施例中，當基層中有時間上一致的畫面時(當圖8h的 示例中的當前POC是nl時)，幀宏塊對不是使用圖8h所示的方法而是可以根 據(jù)圖8d所示的實施例由場宏塊對來創(chuàng)建，然后可將其用于層間紋理預(yù)測。此 外，在當前畫面在基層中沒有時間上一致的畫面時(當圖8h的示例中的當前 POC是n2時)，層間紋理預(yù)測可如圖8h地來執(zhí)行，或者可以不對當前畫面中 的宏塊執(zhí)行層間紋理預(yù)測。
相應(yīng)地，本發(fā)明的實施例分配標志'field—base_flag (場基標志)'以指 示層間紋理預(yù)測是根據(jù)圖8d所示的方法執(zhí)行還是根據(jù)圖8h所示的方法執(zhí)行 的，并將此標志納入在編碼信息中。例如，在紋理預(yù)測是已根據(jù)如圖8d的方 法執(zhí)行時將該標志設(shè)置為'0'，而當紋理預(yù)測是已根據(jù)如圖8h的方法執(zhí)行時 將該標志設(shè)置為'T 。該標志被定義在要向解碼器傳送的增強層中的序列參 數(shù)集、可升降級擴展中的序列參數(shù)、畫面參數(shù)集、可升降級擴展中的畫面參數(shù) 集、切片頭部、可升降級擴展中的切片頭部、宏塊層、或可升降級擴展中的宏 塊層中。
IV.場畫面中的場MB-〉幀MB的情況在這種情況下，當前層(EL)中的宏塊是被編碼成幀宏塊，而要用于當前層
的幀宏塊的層間預(yù)測的基層(BL)中的宏塊是被編碼成場畫面中的場宏塊?；鶎?br> 中的場宏塊中所包括的視頻信號成分與包括在當前層中一對同位的宏塊中的 視頻信號成分是相同的。首先，層間運動預(yù)測描述如下。
EL編碼器20使用通過擴展基層的偶或奇場中的宏塊(在垂直方向上擴展 到兩倍)獲得的劃分模式作為虛擬基層中的宏塊的劃分模式。圖10a示出該過程 的詳細例子。圖10a所示的程序與其中MBAFF幀中的頂或底場宏塊被選擇的 情況III的程序的不同之處在于很自然地使用偶或奇場中的空間上同位的場宏 塊1010，而其與情況III的程序的類似之處在于同位的場宏塊1010被擴展且通 過擴展獲得的兩個宏塊的劃分模式被應(yīng)用于虛擬基層的宏塊對1012。當相應(yīng)場 宏塊1010在垂直方向上被擴展到兩倍時，可能會生成在宏塊劃分模式中不允 許的劃分模式(或圖案)。為了防止該情況，EL編碼器20按與在情況III中建議 的規(guī)則l)和2)相同的規(guī)則根據(jù)經(jīng)擴展的劃分模式來確定劃分模式。
如果相應(yīng)的宏塊是已按內(nèi)模式編碼的，則EL編碼器20只執(zhí)行層間紋理 預(yù)測，而不執(zhí)行通過以上擴展過程進行的劃分模式確定和以下描述的參考索引 和運動向量推導(dǎo)過程。5卩，EL編碼器20不執(zhí)行層間運動預(yù)測。
參考索引和運動向量推導(dǎo)程序也與在前面的情況III中所描述的相類似。 然而，本情況IV在以下方面不同于情況III。在情況in中，因為相應(yīng)的基層 宏塊被攜帶在幀中的偶和奇宏塊對中，所以頂和底宏塊之一被選擇并應(yīng)用于推 導(dǎo)程序。在本情況IV中，因為基層中僅存在一個對應(yīng)于要編解碼的當前宏塊 的宏塊，所以虛擬基層的宏塊對1012的運動信息從相應(yīng)場宏塊的運動信息推 導(dǎo)，而沒有如圖10b和10c所示的宏塊選擇程序，并且推導(dǎo)出的運動信息被用 于當前宏塊對1013的層間運動預(yù)測。
圖11示意性示出根據(jù)本發(fā)明的另一個實施例的虛擬基層的宏塊對的參考 索引和運動向量的推導(dǎo)。在這種情況下，虛擬基層的宏塊對的運動信息是從基 層的偶或奇場宏塊的運動信息推導(dǎo)的，這與以上參考圖9a所述的情況不同。 與圖9a的情況相同的推導(dǎo)操作適用于本情況。然而，圖9b所示的情況中的混 合并使用宏塊對的運動信息的過程在本情況IV中不適用，因為在基層中沒有 相應(yīng)場中的頂和底宏塊配對。 —一 ..在參考圖10a至10c描述的實施例中，為了預(yù)測虛擬基層的宏塊對的運動 信息，EL編碼器20基于基層的相應(yīng)場宏塊的運動信息順序地推導(dǎo)劃分模式、 參考索引、和運動向量。然而，在圖11的另一個實施例中，EL編碼器20首 先基于基層的相應(yīng)宏塊對的運動信息推導(dǎo)虛擬基層的宏塊對的參考索引和運 動向量，然后基于所推導(dǎo)出的值最終確定虛擬基層的宏塊對的劃分模式。當劃 分模式被確定時，具有相同的推導(dǎo)出的運動向量和參考索引的4x4塊單元被組 合，且如果組合后的塊模式是允許的劃分模式，則將劃分模式設(shè)置成此組合后 的模式，否則將劃分模式設(shè)置成組合前的模式。
當在上述的實施例中執(zhí)行紋理預(yù)測時，如果基層的相應(yīng)場宏塊是內(nèi)模式， 則對當前宏塊執(zhí)行基內(nèi)預(yù)測編解碼。如果相應(yīng)場宏塊是間模式，且如果當前宏 塊已以間模式編碼，則執(zhí)行層間殘差預(yù)測編解碼。這里，當然，在預(yù)測中使用 的場宏塊是在其在垂直方向上被升采樣后用于紋理預(yù)測的。
在本發(fā)明的另一個實施例中，由包括在奇或偶場中的場宏塊創(chuàng)建虛擬宏塊 以構(gòu)造宏塊對，然后從所構(gòu)造出的宏塊對推導(dǎo)虛擬基層的宏塊對的運動信息。 圖12a和圖12b示出該實施例的例子。
在該實施例中，基層的相應(yīng)偶(或奇)場宏塊的參考索引和運動向量被拷貝 (1201和1202)以創(chuàng)建虛擬奇(或偶)場宏塊來構(gòu)造宏塊對1211，且所構(gòu)造出的宏 塊對1211的運動信息被混合以推導(dǎo)虛擬基層的宏塊對1212的運動信息(1203 和1204)。在混合并使用運動信息的示例方法中，如圖12a和12b所示，相應(yīng) 頂宏塊的頂8x8塊的參考索引被應(yīng)用于虛擬基層的宏塊對1212的頂宏塊的頂 8x8塊，底8x8塊的參考索引被應(yīng)用于底宏塊的頂8x8塊，相應(yīng)底宏塊的頂8x8 塊的參考索引被應(yīng)用于虛擬基層的宏塊對1212的頂宏塊的底8x8塊，且底8x8 塊的參考索引被應(yīng)用于底宏塊的底8x8塊(1203)。根據(jù)參考索引應(yīng)用運動向量 (1204)。這里省略了該過程的描述，因為它可從圖12a和12b直觀地理解。
在圖12a和12b所示的實施例中，虛擬基層的宏塊對1212的劃分模式是 使用與如上所述相同的方法基于推導(dǎo)出的參考索引和運動向量來確定的。
現(xiàn)在將描述層間紋理預(yù)測。圖10b示出針對"場畫面中的場MB》幀MB" 的情況的示例層間紋理預(yù)測方法。EL編碼器20首先升采樣基層的相應(yīng)場宏塊 1010以創(chuàng)建兩個臨時宏塊1021。如果相應(yīng)場宏塊1010是內(nèi)模式，則EL編碼器20將解塊濾波器應(yīng)用于所創(chuàng)建的這兩個臨時宏塊1021 ，然后基于這兩個臨 時宏塊1021執(zhí)行當前幀宏塊對1013的基內(nèi)預(yù)測。如果相應(yīng)場宏塊1010是間 模式，則EL編碼器20基于所創(chuàng)建的這兩個臨時宏塊1021執(zhí)行當前幀宏塊對 1013的殘差預(yù)測。
V.場MB》場MB的情況
該情況被細分成以下四種情況，因為場宏塊分成包括在場畫面中的場宏塊 和包括在MBAFF幀中的場宏塊。
i) 基層和增強層是MBAFF幀的情況
該情況在圖13a中示出。如圖所示，基層的相應(yīng)宏塊對的運動信息(劃分 模式、參考索引、和運動向量)是通過將相應(yīng)宏塊對的運動信息直接拷貝至虛 擬基層的宏塊對而被用作虛擬基層的宏塊對的運動信息。這里，運動信息是在 有相同奇偶性的宏塊之間被拷貝的。具體地，偶場宏塊的運動信息被拷貝至偶 場宏塊，而奇場宏塊的運動信息被拷貝至奇場宏塊，以構(gòu)造用于當前層的宏塊 的運動預(yù)測的虛擬層的宏塊。
在執(zhí)行紋理預(yù)測時應(yīng)用已知的幀宏塊之間的層間紋理預(yù)測的方法。
ii) 基層包括場畫面而增強層包括MBAFF幀的情況
該情況在圖13b中示出。如圖所示，基層的相應(yīng)場宏塊的運動信息(劃分 模式、參考索引、和運動向量)是通過將相應(yīng)場宏塊的運動信息直接拷貝至虛 擬基層的宏塊對中的每一個宏塊而被用作虛擬基層的宏塊對中的每一個宏塊 的運動信息。這里，相同奇偶性拷貝規(guī)則不適用，因為單個場宏塊的運動信息 被用于頂和底場宏塊兩者。
當執(zhí)行紋理預(yù)測時，在具有相同(偶或奇)場屬性的增強層和基層宏塊之間 應(yīng)用基內(nèi)預(yù)測(當基層的對應(yīng)塊是內(nèi)模式時)或應(yīng)用殘差預(yù)測(當基層的相應(yīng)塊 是間模式時)。
iii) 基層包括MBAFF幀而增強層包括場畫面的情況
該情況在圖13c中示出。如圖所示，從對應(yīng)于當前場宏塊的基層宏塊對中 選擇有相同奇偶性的場宏塊，并通過將所選場宏塊的運動信息直接拷貝至虛擬
基層的場宏塊來將所選場宏塊的運動信息(劃分模式、參考索引、和運動向量)用作虛擬基層的場宏塊的運動信息。
當執(zhí)行紋理預(yù)測時，在具有相同(偶或奇)場屬性的增強層和基層宏塊之間 應(yīng)用基內(nèi)預(yù)測(當基層的對應(yīng)塊是內(nèi)模式時)或應(yīng)用殘差預(yù)測(當基層的相應(yīng)塊 是間模式時)。
iv)基層和增強層是場畫面的情況
該情況在圖13d中示出。如圖所示，通過將基層的相應(yīng)場宏塊的運動信息 直接拷貝至虛擬基層的場宏塊來將基層的相應(yīng)場宏塊的運動信息(劃分模式、 參考索引、和運動向量)用作虛擬基層的場宏塊的運動信息。同樣在這種情況
下，運動信息是在有相同奇偶性的宏塊之間被拷貝的。
在執(zhí)行紋理預(yù)測時應(yīng)用已知的幀宏塊之間的層間紋理預(yù)測的方法。 以上層間預(yù)測的描述是針對基層和增強層具有相同分辨率的情況給出的。
以下的描述將就在增強層的分辨率高于基層分辨率時(即，當
SpatialScalabilityType ()大于0時)如何標識出每一層的畫面類型(逐行幀、 MBAFF幀、還是隔行場)和/或畫面中宏塊的類型、以及根據(jù)標識出的類型應(yīng)用 層間預(yù)測方法來給出。首先描述層間運動預(yù)測。
M—A).基層(逐行幀))增強層(MBAFF幀)
圖14a示出針對該情況的處理方法。如圖所示，首先，基層中的相應(yīng)幀的 所有宏塊的運動信息被拷貝以創(chuàng)建虛擬幀。然后執(zhí)行升采樣。在該升采樣中， 利用基層畫面的紋理信息以允許該畫面的分辨率(或即畫面大小)與當前層的分 辨率相等的內(nèi)插率來執(zhí)行內(nèi)插。此外，通過內(nèi)插被放大的畫面的每一個宏塊的
運動信息是基于該虛擬幀的每一個宏塊的運動信息來構(gòu)造的?？蓪⒍喾N已知方 法中的一種用于該構(gòu)造。以此方式構(gòu)造出的臨時性基層的畫面具有與當前(增 強)層的畫面相同的分辨率。相應(yīng)地，在這種情況下可應(yīng)用上述的層間運動預(yù)
在這種情況下(圖14a)，基層和當前層中的畫面中的宏塊是幀宏塊和 MBAFF幀中的場宏塊，因為基層包括幀而當前層包括MBAFF幀。相應(yīng)地， 應(yīng)用上述情況I的方法來執(zhí)行層間運動預(yù)測。然而，如上所述不僅場宏塊對， 幀宏塊對也可能被包括在同一MBAFF幀中。相應(yīng)地，在對應(yīng)于臨時性基層的畫面中的宏塊對的當前層宏塊對的類型已被標識出為幀宏塊類型而不是場宏 塊類型時，應(yīng)用已知的在幀宏塊之間的包括運動信息的簡單拷貝的運動預(yù)測的 方法(幀4貞預(yù)測方法)。
M_B).基層(逐行幀)->增強層(隔行場)
圖14b示出針對該情況的處理方法。如圖所示，首先，基層中的相應(yīng)幀的
所有宏塊的運動信息被拷貝以創(chuàng)建虛擬幀。然后執(zhí)行升采樣。在該升采樣中， 利用基層畫面的紋理信息，以允許畫面的分辨率與當前層的分辨率相等的內(nèi)插 率執(zhí)行內(nèi)插。此外，通過內(nèi)插被放大的畫面的每一個宏塊的運動信息是基于所 創(chuàng)建的虛擬幀的每一個宏塊的運動信息來構(gòu)造的。
應(yīng)用上述情況II的方法來執(zhí)行層間運動預(yù)測，因為以此方式構(gòu)造的臨時 性基層的畫面的每一個宏塊均是幀宏塊，而當前層的每一個宏塊均是場畫面中 的場宏塊。
M_C).基層(MBAFF幀)->增強層(逐行幀)
圖14c示出針對該情況的處理方法。如圖所示，首先，將基層的相應(yīng) MBAFF幀變換成逐行幀。上述情況III的方法適用于將MBAFF幀的場宏塊對 變換成逐行幀，并且已知的幀-幀預(yù)測方法適用于MBAFF幀的幀宏塊對的變 換。當然，當將情況III的方法應(yīng)用于本情況中時，是利用通過不需執(zhí)行對預(yù) 測出的數(shù)據(jù)與實際要編解碼的層的數(shù)據(jù)之差進行編解碼的操作的層間預(yù)測獲 得的數(shù)據(jù)創(chuàng)建虛擬幀和該幀的每一個宏塊的運動信息。
一旦獲得虛擬幀，就對該虛擬幀執(zhí)行升采樣。在該升采樣中，以允許基層 的分辨率與當前層的分辨率相等的內(nèi)插率執(zhí)行內(nèi)插。此外，利用多種已知方法
中的一種基于虛擬幀的每一個宏塊的運動信息構(gòu)造經(jīng)放大畫面的每一個宏塊 的運動信息。這里，執(zhí)行已知的幀宏塊-宏塊層間運動預(yù)測方法，因為以此方 式構(gòu)造出的臨時性基層的畫面的每一個宏塊均是幀宏塊，且當前層的每一個宏 塊均是幀宏塊。
M—D).基層(隔行場)->增強層(逐行幀)
圖14d示出針對該情況的一種處理方法。在這種情況下，畫面的類型與該畫面的宏塊的類型相同。如圖所示，首先，將基層的相應(yīng)場變換成逐行幀。變 換出的幀具有與當前層的畫面相同的垂直/水平(縱橫)比。升采樣過程和上述情
況IV的方法適用于將隔行場變換成逐行幀。當然，當將情況IV的方法應(yīng)用于 本情況中時，是利用通過不需執(zhí)行對預(yù)測出的數(shù)據(jù)與實際要編解碼的層的數(shù)據(jù) 之差進行編解碼的操作的層間預(yù)測獲得的數(shù)據(jù)來創(chuàng)建虛擬幀的紋理數(shù)據(jù)和該 幀的每一個宏塊的運動信息。
一旦獲得虛擬幀，就對該虛擬幀執(zhí)行升采樣。在該升采樣中，執(zhí)行內(nèi)插以 允許虛擬幀的分辨率等于當前層的分辨率。此外，使用多種已知方法中的一種 基于虛擬幀的每一個宏塊的運動信息構(gòu)造內(nèi)插出的畫面的每一個宏塊的運動 信息。這里是執(zhí)行已知的幀宏塊-宏塊層間運動預(yù)測方法，因為以此方式構(gòu)造 的臨時性基層的畫面的每一個宏塊均是幀宏塊，而當前層的每一個宏塊是幀宏 塊。
圖14e示出根據(jù)本發(fā)明的另一個實施例的針對以上情況N^D)的處理方 法。如圖所示，該實施例將奇或偶相應(yīng)場變換成逐行幀。為了將隔行場變換成 逐行幀，如圖14d所示應(yīng)用升采樣和上述的情況IV的方法。 一旦獲得虛擬幀， 就對虛擬幀應(yīng)用具有相同縱橫比的畫面之間的運動預(yù)測的方法——其為多種 已知方法中的一種——來進行當前層的畫面與臨時性層之間的運動預(yù)測，以執(zhí) 行當前層的逐行畫面的每一個宏塊的運動信息的預(yù)測編解碼。
圖14e所示的方法與圖14d的方法的不同之處在于不生成臨時的預(yù)測信號。
圖14f示出根據(jù)本發(fā)明的另一個實施例的針對以上情況N^D)的處理方 法。如圖所示，該實施例拷貝基層的相應(yīng)場的所有宏塊的運動信息以創(chuàng)建虛擬 畫面。然后執(zhí)行升采樣。在該升采樣中，使用基層的畫面的紋理信息，并將不 同的內(nèi)插率用于垂直和水平內(nèi)插以使得經(jīng)放大的畫面具有與當前層的畫面相 同的大小(或即分辨率)。此外，可將多種已知的預(yù)測方法中的一種(例如，擴展 特殊可升降級性(ESS))應(yīng)用于虛擬畫面以構(gòu)造經(jīng)放大畫面的各種句法信息和運 動信息。在該過程中構(gòu)造出的運動向量根據(jù)放大比率被擴展。 一旦臨時性基層 的經(jīng)升采樣畫面被構(gòu)造出來，就將該畫面用于執(zhí)行當前層的畫面中的每一個宏 塊的層間運動預(yù)測，以編解碼當前層的畫面的每一個宏塊的運動信息。這里，應(yīng)用已知的幀宏塊=宏塊層間運動預(yù)測方法。
圖14g示出根據(jù)本發(fā)明的另一個實施例的針對以上情況M一D)的處理方 法。如圖所示，該實施例首先拷貝基層的相應(yīng)場的所有宏塊的運動信息以創(chuàng)建 虛擬畫面。之后，使用基層的畫面的紋理信息以對于垂直和水平內(nèi)插不同的比 率執(zhí)行內(nèi)插。通過該操作創(chuàng)建的紋理信息被用于層間紋理預(yù)測。此外，虛擬畫 面中的運動信息被用于執(zhí)行當前層的畫面中的每一個宏塊的層間運動預(yù)測。這
里，應(yīng)用多種已知方法中的一種(例如，在聯(lián)合可升降級視頻模型(JSVM)中定 義的擴展特殊可升降級性(ESS))來執(zhí)行當前層的畫面的運動預(yù)測編解碼。
圖14g所示的方法與圖14f的方法的不同之處在于不生成臨時的預(yù)測信號。
M—E).基層(MBAFF幀)々增強層(MBAFF幀)
圖14h示出針對該情況的處理方法。如圖所示，首先，將基層的相應(yīng) MBAFF幀變換成逐行幀。為了將MBAFF幀變換成逐行幀，上述情況III的方 法適用于MBAFF幀的場宏塊對的變換，并且?guī)?幀預(yù)測方法適用于MBAFF幀 的幀宏塊對的變換。當然，當將情況III的方法應(yīng)用于本情況中時，是利用通 過不需執(zhí)行編解碼預(yù)測出的數(shù)據(jù)與實際要編解碼的層的數(shù)據(jù)之差的操作的層 間預(yù)測獲得的數(shù)據(jù)來創(chuàng)建虛擬幀和該幀的每一個宏塊的運動信息。
一旦獲得虛擬幀，就對該虛擬幀執(zhí)行升采樣。在該升采樣中，以允許基層 的分辨率與當前層的分辨率相等的內(nèi)插率執(zhí)行內(nèi)插。此外，利用多種已知方法 中的一種基于虛擬幀的每一個宏塊的運動信息構(gòu)造經(jīng)放大的畫面的每一個宏 塊的運動信息。應(yīng)用上述情況I的方法來執(zhí)行層間運動預(yù)測，因為以此方式構(gòu) 造的臨時性基層的畫面的每一個宏塊均是幀宏塊，而當前層的每一個宏塊均是 MBAFF幀中的場宏塊。然而，如上所述不僅場宏塊對，幀宏塊對也可被包括 在同一MBAFF幀中。相應(yīng)地，在對應(yīng)于臨時性基層的畫面中的宏塊對的當前 層宏塊對是幀宏塊而不是場宏塊時，應(yīng)用已知的在幀宏塊之間的包括運動信息 的拷貝的運動預(yù)測的方法(幀-幀預(yù)測方法)。
M_F).基層(MBFF幀)->增強層(隔行場)圖14i示出該情況的處理方法。如圖所示，首先，將基層的相應(yīng)MBAFF 幀變換成逐行幀。為了將MBAFF幀變換成逐行幀，上述情況III的方法適用 于MBAFF幀的場宏塊對的變換，并且?guī)?幀預(yù)測方法適用于MBAFF幀的幀宏 塊對的變換。當然，同樣，當將情況III的方法應(yīng)用于本情況中時，是利用通 過不需執(zhí)行編解碼預(yù)測出的數(shù)據(jù)與實際要編解碼的層的數(shù)據(jù)之差的操作的層 間預(yù)測獲得的數(shù)據(jù)來創(chuàng)建虛擬幀和該幀的每一個宏塊的運動信息。
一旦獲取虛擬幀，就以允許分辨率等于當前層的分辨率的內(nèi)插率對該虛擬 幀執(zhí)行內(nèi)插。此外，使用多種已知方法中的一種基于虛擬幀的每一個宏塊的運 動信息構(gòu)造經(jīng)放大的畫面的每一個宏塊的運動信息。應(yīng)用上述情況II的方法來 執(zhí)行層間運動預(yù)測，因為以此方式構(gòu)造的臨時性基層的畫面的每一個宏塊均是 幀宏塊，而當前層的每一個宏塊均是偶或奇場中的場宏塊。
M—G).基層(隔行場)》增強層(MBAFF幀)
圖14j示出針對該情況的處理方法。如圖所示，首先，將基層的隔行場變 換成逐行幀。應(yīng)用升采樣和上述情況IV的方法將隔行場變換成逐行幀。當然， 同樣，當將情況IV的方法應(yīng)用于本情況中時，是利用通過不需執(zhí)行對預(yù)測出 的數(shù)據(jù)與實際要編解碼的層的數(shù)據(jù)之差進行編解碼的操作的層間預(yù)測獲得的 數(shù)據(jù)來創(chuàng)建虛擬幀和該幀的每一個宏塊的運動信息。
一旦獲得虛擬幀，就對該虛擬幀執(zhí)行升采樣以允許分辨率等于當前層的分 辨率。此外，利用多種已知方法中的一種構(gòu)造經(jīng)放大的畫面的每一個宏塊的運 動信息。應(yīng)用上述情況I的方法來執(zhí)行層間運動預(yù)測，因為以此方式構(gòu)造的臨 時性基層的畫面的每一個宏塊均是幀宏塊，而當前層的每一個宏塊均是 MBAFF幀中的場宏塊。然而，如上所述不僅場宏塊對，幀宏塊對也可被包括 在同一MBAFF幀中。因此，在對應(yīng)于臨時性基層的畫面中的宏塊對的當前層 宏塊對包括幀宏塊而不是場宏塊時，應(yīng)用己知的在幀宏塊之間的運動預(yù)測的方 法(幀-幀預(yù)測方法)而不是上述情況I的預(yù)測方法。
M—H).基層(隔行場)》增強層(隔行場)
圖14k示出針對該情況的處理方法。如圖所示，首先，基層中的相應(yīng)場的所有宏塊的運動信息被拷貝以創(chuàng)建虛擬場，然后對該虛擬場執(zhí)行升采樣。該升 采樣以允許基層的分辨率與當前層的分辨率相等的升采樣率執(zhí)行。此外，使用 多種已知方法中的一種基于所創(chuàng)建的虛擬幀的每一個宏塊的運動信息構(gòu)造經(jīng) 放大的畫面的每一個宏塊的運動信息。應(yīng)用上述情況V中的情況iv)的方法來 執(zhí)行層間運動預(yù)測，因為以此方式構(gòu)造的臨時性基層的畫面的每一個宏塊均是 場畫面中的場宏塊，而當前層的每一個宏塊也均是場畫面中的場宏塊。
盡管在圖14a至14k的實施例的描述中是使用臨時性層的虛擬場或幀的紋
理信息而不是基層的畫面的紋理信息來進行升采樣，但基層畫面的紋理信息也 可用于升采樣。此外，如果不是必要的話，當推導(dǎo)要用于在后續(xù)級中執(zhí)行的層 間運動預(yù)測的臨時性層的畫面的運動信息時，在上述的升采樣過程中可省略利 用紋理信息的內(nèi)插過程。
另一方面，盡管紋理預(yù)測的描述是針對基層和增強層具有相同空間分辨率 的情況給出的，但如上所述這兩個層可能具有不同的空間分辨率。在增強層的 分辨率高于基層的分辨率的情況下，首先，執(zhí)行使基層的畫面的分辨率等于增 強層的畫面的分辨率的操作，以創(chuàng)建具有與增強層的分辨率相同的分辨率的基
層畫面，并基于該畫面中的每一個宏塊選擇與上述情況I-V中的每一種情況相 對應(yīng)的紋理預(yù)測方法以執(zhí)行預(yù)測編解碼。現(xiàn)在詳細描述使基層畫面的分辨率等 于增強層畫面的分辨率的程序。
當考慮用于層間預(yù)測的兩層時，用于在兩層之間編解碼的畫面格式(逐行 和隔行格式)的組合數(shù)目是4，因為有兩種視頻信號掃描方法， 一種是逐行掃描 而另一種是隔行掃描。因此，將分別針對這四種情況中的每一種描述增加基層 畫面的分辨率以執(zhí)行層間紋理預(yù)測的方法。
T—A).增強層是逐行的而基層是隔行的情況
圖15a示出針對該情況將基層畫面用于層間紋理預(yù)測的方法的實施例。如 圖所示，時間上對應(yīng)于當前(增強)層的畫面1500的基層畫面1501包括在不同 時間輸出的偶和奇場。因此，首先，EL編碼器20將基層的畫面分成偶和奇場 (S151)。基層畫面1501的內(nèi)模式宏塊具有用于內(nèi)模式預(yù)測的未被編碼的原始圖 像數(shù)據(jù)(或已被解碼的圖像數(shù)據(jù))，且其模式間宏塊具有用于殘差預(yù)測的經(jīng)編碼的殘差數(shù)據(jù)(或經(jīng)解碼的殘差數(shù)據(jù))。當在下文中描述紋理預(yù)測時，對于基層宏 塊或畫面同樣如此。
在將相應(yīng)畫面1501分成場分量后，EL編碼器20在垂直和/或水平方向上 執(zhí)行分離出的場1501a和1501b的內(nèi)插，以創(chuàng)建經(jīng)放大的偶和奇畫面1502a和 1502b(S152)。該內(nèi)插使用多種已知方法中的一種，諸如6抽頭濾波和二進制線 性濾波。用于通過內(nèi)插增加畫面的分辨率(g卩，大小)的垂直和水平比等于增強 層畫面1500的大小與基層畫面1501的大小的垂直和水平比。垂直和水平比可 彼此相等。例如，如果增強層和基層之間的分辨率是2，則對分離出的偶和奇 場1501a和1501b執(zhí)行內(nèi)插，以在垂直和水平方向上在每個場中的每個像素之 間再創(chuàng)建一個像素。
一旦內(nèi)插完成，則組合經(jīng)放大的偶和奇場1502a和1502b以構(gòu)造畫面 1503(S153)。在該組合中，交替地選擇經(jīng)放大的偶和奇場1502a和1502b的行 (1502&->15021)->1502&->15021 ..)然后將其按選擇的次序編排以構(gòu)造出組合的 畫面1503、。這里，確定組合的畫面1503中的每一個宏塊的塊模式。例如，組 合的畫面1503的宏塊的塊模式被確定為與包括具有相同圖像成分的區(qū)域的基 層畫面1501中的宏塊的塊模式相等。這種確定方法可應(yīng)用于以下描述的經(jīng)放 大的畫面的任何情況中。因為以此方式構(gòu)造的組合畫面1503具有與增強層的 當前畫面1500相同的空間分辨率，所以基于組合畫面1503的相應(yīng)宏塊來執(zhí)行 當前逐行畫面1500中的宏塊的紋理預(yù)測(例如，幀-幀宏塊間紋理預(yù)測)(S154)。
圖15b示出根據(jù)本發(fā)明的另一個實施例的在層間紋理預(yù)測中使用基層畫 面的方法。如圖所示，該實施例不在場屬性(奇偶性)的基礎(chǔ)上分離基層畫面， 而是在垂直和/或水平方向上直接執(zhí)行包括在不同時間輸出的偶和奇場的基層 畫面的內(nèi)插(S155)，以構(gòu)造分辨率與增強層畫面的分辨率(即，大小)相同的經(jīng) 放大畫面。以此方式構(gòu)造的經(jīng)放大畫面被用于執(zhí)行增強層的當前逐行畫面的層 間紋理預(yù)測(S156)。
圖15a在畫面級別上示出通過在場屬性的基礎(chǔ)上分離具有偶和奇場的畫 面來對其進行內(nèi)插的程序。然而，EL編碼器20可通過在宏塊級別上執(zhí)行圖15a 所示的程序來達成與圖15a所示相同的結(jié)果。更具體地，當具有偶和奇場的基 層是已被MBAFF編碼時，畫面1501中垂直毗鄰宏塊對——其與目前受到紋理預(yù)測編解碼的增強層畫面中的宏塊對同位——可如圖16a或16b中那樣包括 的偶和奇場分量的視頻信號。圖16a示出其中偶和奇場分量在一對宏塊A和B 中的每一個宏塊中交織的幀MB對模式，而圖16b示出其中一對宏塊A和B 中的每一個宏塊包括具有相同場屬性的視頻行的場MB對模式。
在圖16a的情況下，為了應(yīng)用圖15a中所示的方法，選擇該對宏塊A和B 中每一個宏塊的偶行來構(gòu)造偶場塊A'，并選擇其奇行來構(gòu)造奇場塊B'，從而將 每個宏塊中都交織有偶和奇場分量的宏塊對分成分別具有偶和奇場分量的兩 個塊A'和B'。對以此方式分離出的兩個宏塊A'和B'中的每一個執(zhí)行內(nèi)插以構(gòu) 造經(jīng)放大塊。利用經(jīng)放大塊中與當前將受到紋理預(yù)測編解碼的增強層畫面中 intra—BL (基層內(nèi))或residual_prediction (殘差預(yù)測)模式的宏塊相對應(yīng)的區(qū) 域中的數(shù)據(jù)來執(zhí)行紋理預(yù)測。盡管圖16a中未示出，但部分地在場屬性基礎(chǔ)上 組合諸個體地放大的塊可構(gòu)造圖15a中的經(jīng)放大偶和奇畫面1502a和1502b， 因此圖15a中的經(jīng)放大偶和奇畫面1502a和1502b可通過對每對宏塊重復(fù)上面 的操作來構(gòu)造。
在如圖16b那樣基于場屬性分割宏塊對以構(gòu)造每個宏塊的情況下，上述的 分離程序是從該宏塊對簡單地拷貝每個宏塊以構(gòu)造兩個分離的宏塊的過程。后 續(xù)的程序類似于參考圖16a所述的程序。
T—B).增強層是隔行的而基層是逐行的情況
圖17a示出針對該情況將基層畫面用于層間紋理預(yù)測的方法的實施例。如 圖所示，首先，EL編碼器20為當前層畫面1700構(gòu)造兩個畫面(S171)。在應(yīng)用 構(gòu)造兩個畫面的示例方法中，選擇相應(yīng)畫面1701的偶行來構(gòu)造一個畫面 1701a，并選擇其奇行來構(gòu)造另一個畫面1701b。 EL編碼器20然后在垂直和/ 或水平方向上執(zhí)行如此構(gòu)造出的兩個畫面1701a和1701b的內(nèi)插以創(chuàng)建兩個經(jīng) 放大的畫面1702a和1702b(S172)。該內(nèi)插使用多種已知方法中的一種，諸如 情況T—A)中的6抽頭濾波和二進制線性濾波。用于增加分辨率的比也與情況 T—A)中描述的那些相同。
一旦內(nèi)插完成，就組合這兩個經(jīng)放大的場1702a和1702b以構(gòu)造畫面 1703(S173)。在該組合中，交替地選擇這兩個經(jīng)放大的場1702a和1702b的行(1702&->17021 1702&->17021 ...)然后將其按選擇的次序編排以構(gòu)造組合的 畫面1703。因為以此方式構(gòu)造出的組合畫面1703具有與增強層的當前畫面 1700相同的空間分辨率，所以基于組合的畫面1703的相應(yīng)宏塊來執(zhí)行當前隔 行畫面1700中的宏塊的紋理預(yù)測(例如，幀-幀宏塊間紋理預(yù)測或參考圖4g描 述的紋理預(yù)測)(S174)。
圖17b示出根據(jù)本發(fā)明的另一個實施例的在層間紋理預(yù)測中使用基層畫 面的方法。如圖所示，該實施例不將基層畫面分成兩個畫面，而是在垂直和/ 或水平方向上直接執(zhí)行基層畫面的內(nèi)插(S175)，以構(gòu)造分辨率與增強層畫面分 辨率(g卩，大小)相同的經(jīng)放大畫面。以此方式構(gòu)造的經(jīng)放大畫面被用于執(zhí)行潛 強層的當前隔行畫面的層間紋理預(yù)測(S176)。
盡管圖17a的描述也是在畫面級別上給出的，但EL編碼器20可如以上 情況T一A)中所述在宏塊級別上執(zhí)行畫面分離過程。當將單個畫面1701視為垂 直毗鄰宏塊對時，圖17b的方法類似于圖17a所示的分離和內(nèi)插程序。這里省 略了該程序的詳細描述，因為其可從圖17a直觀地理解。
T_C).增強層和基層兩者都是隔行的情況
圖18示出針對該情況將基層畫面用于層間紋理預(yù)測的方法的實施例。在 這種情況下，如圖所示，EL編碼器20以與情況T—A)中相同的方式將時間上 對應(yīng)于當前層畫面1800的基層畫面1801分成偶和奇場(S181)。 EL編碼器20 然后在垂直禾P/或水平方向上執(zhí)行分離出的場1801a和1801b的內(nèi)插以創(chuàng)建經(jīng)放 大的偶和奇畫面1802a和1802b(S182)。 EL編碼器20然后組合經(jīng)放大的偶和 奇場1802a和1802b以構(gòu)造畫面1803(S182)。 EL編碼器20然后基于組合畫面 1803的相應(yīng)宏塊執(zhí)行當前隔^1畫面1800中的宏塊(MBAFF編碼的幀宏塊對) 的層間紋理預(yù)測(例如，幀-幀宏塊間紋理預(yù)測或參考圖4g描述的紋理預(yù) 測)(S184)。
盡管兩個層具有相同的畫面格式，但EL編碼器20在場屬性的基礎(chǔ)上分 離基層畫面1801(S181)并個體地放大分離出的場(S182)然后組合經(jīng)放大的畫面 (S183)，這是因為如果組合偶和奇場的畫面1801在其具有偶和奇場的視頻信號 變化很大的特性時被直接內(nèi)插，則與增強層的具有交織的偶和奇場的隔行畫面1800相比，經(jīng)放大的畫面可能會具有畸變的圖像(例如，具有伸展邊界的圖像)。
相應(yīng)地，即使兩個層都是隔行的，根據(jù)本發(fā)明，EL編碼器20也在將基層畫面 在場屬性的基礎(chǔ)上分離后使用其來獲得兩個場，并個體地放大這兩個場，然后 組合經(jīng)放大的場。
當然，可以并非在兩個層的畫面都是隔行時總是使用圖18所示的方法， 而是代之以根據(jù)畫面的視頻特性選擇地使用該方法。
圖18在畫面級別上示出根據(jù)本發(fā)明在場屬性基礎(chǔ)上分離并放大具有偶和 奇場的畫面的程序。然而，如以上T一A)中所述，EL編碼器20可通過在宏塊 級別上執(zhí)行圖18所示的程序來達成與圖18所示相同的結(jié)果，其包括參考圖I6a 和16b描述的基于宏塊的分離和內(nèi)插過程(具體而言是將幀宏塊對分成偶和奇 行的塊并個體地放大分離出的塊)以及組合和層間紋理預(yù)測過程(具體而言是交 替地選擇經(jīng)放大的塊的行以構(gòu)造一對經(jīng)放大的塊，并利用所構(gòu)造出的經(jīng)放大的 塊對來執(zhí)行當前層的幀宏塊對的紋理預(yù)測)。
T—D).增強層和基層兩者都是逐行的情況
在這種情況下，將基層畫面放大至與增強層畫面相同的大小，并將經(jīng)放大 的畫面用于具有相同畫面格式的當前增強層畫面的層間紋理預(yù)測。
盡管以上已經(jīng)描述了在基層和增強層具有相同的時間分辨率時的紋理預(yù) 測的實施例，但兩個層可能具有不同的時間分辨率，即，不同的畫面率。如果 即使在諸層具有相同時間分辨率時諸層的畫面也是不同的畫面掃描類型，則這 些畫面可能包含具有不同輸出時間的視頻信號，即使它們是相同POC的畫面 (即，時間上彼此對應(yīng)的畫面)。現(xiàn)在將描述這種情況下的層間紋理預(yù)測方法。 在以下的描述中，假設(shè)兩個層最初具有相同的空間分辨率。如果兩層具有不同 的空間分辨率，則如上所述地在升采樣基層的每一個畫面以使空間分辨率等于 增強層的分辨率之后再應(yīng)用以下描述的方法。
a)增強層包括逐行幀、基層包括MBAFF幀、且增強層的時間分辨率達 兩倍之高的情況
圖19a示出針對這種情況的層間紋理預(yù)測方法。如圖所示，基層的每一個 MBAFF幀包括具有不同輸出時間的偶和奇場，因此EL編碼器20將每一個MABFF幀分成偶和奇場(S191)。EL編碼器20將每一個MBAFF幀的偶場分量 (例如，偶行)和奇場分量(例如，奇行)分別分成偶場和奇場。在以此方式將 MBAFF幀分成兩個場之后，EL編碼器20在垂直方向上內(nèi)插每個場以使其具 有達兩倍之高的分辨率(S192)。該內(nèi)插使用多種已知方法中的一種，諸如6抽 頭濾波、二進制線性濾波、和樣本行補零。 一旦內(nèi)插完成，增強層的每一幀在 基層中就有時間上一致的畫面，因此EL編碼器20對增強層的每幀的宏塊執(zhí)行 已知的層間紋理預(yù)測(例如，幀-幀宏塊間預(yù)測)(S193)。
還可將以上的程序應(yīng)用于層間運動預(yù)測。這里，當將MBAFF幀分成兩個 場時，EL編碼器20拷貝MBAFF幀中的場宏塊對中的每一個宏塊的運動信息 作為具有相同場屬性(奇偶性)的宏塊的運動信息，以將其用于層間運動預(yù)測。 即使在基層中沒有時間上一致的畫面時(在tl、 t3…的情況下)，使用該方法也 能根據(jù)上述方法創(chuàng)建出時間上一致的畫面以執(zhí)行層間運動預(yù)測。
在兩層之一的分辨率如圖19a的例子中那樣是另一層的分辨率的兩倍之 高時并且甚至在其是N倍(三倍或以上)之高時均能直接應(yīng)用上述的方法。例 如，當分辨率是三倍之高時，可另外拷貝這兩個分離出的場之一以構(gòu)造并使用 三個場，并且當分辨率是四倍之高時，可再一次拷貝這兩個分離出的場中的每 一個以構(gòu)造并使用四個場。顯然，在有任何時間分辨率差異的情況下，本領(lǐng)域 的技術(shù)人員無需任何創(chuàng)造性思考就可簡單地通過應(yīng)用本發(fā)明的原理來執(zhí)行層 間預(yù)測。因此，本說明書中沒有描述的用于在有不同時間分辨率的層之間預(yù)測 的任何方法自然落入本發(fā)明的范圍內(nèi)。以下描述的其他情況同樣如此。
如果已經(jīng)將基層編碼成畫面自適應(yīng)場和幀(PAFF)而不是MBAFF幀，則兩 層可能如圖19b中那樣具有相同的時間分辨率。因此，在這種情況下，在通過 無需進行將幀分成兩場的過程而直接對幀進行內(nèi)插來構(gòu)造具有與當前層相同 的時間分辨率的畫面后再執(zhí)行層間紋理預(yù)測。
b)增強層包括MBAFF幀、基層包括逐行幀、且增強層的時間分辨率是 基層的一半的情況
圖20示出針對這種情況的層間紋理預(yù)測方法。如圖所示，增強層的每一 個MBAFF幀包括具有不同輸出時間的偶和奇場，因此EL編碼器20將每一個MABFF幀分成偶和奇場(S201)。EL編碼器20將每一個MBAFF幀的偶場分量 (例如，偶行)和奇場分量(例如，奇行)分別分成偶場和奇場。EL編碼器20在 垂直方向上執(zhí)行基層的每一幀的子采樣以構(gòu)造分辨率減半的畫面(S202)。該子 采樣可使用行子采樣或各種其它已知的降采樣方法中的一種，在圖20的例子 中，EL編碼器20選擇具有偶畫面索引的畫面(畫面tO、 t2、 t4…)的偶行以獲得 大小減半的畫面，并選擇具有奇畫面索引的畫面(畫面tl、 t3…)的奇行以獲得 大小減半的畫面。也可以按倒序執(zhí)行幀分離(S201)和子采樣(S202)。
一旦完成這兩個過程S201和S202，從增強層的幀分離出的場2001在基 層中就有了時間上與場2001 —致且具有與場2001相同的空間分辨率的畫面， 由此EL編碼器20對每個場中的宏塊執(zhí)行己知的層間紋理預(yù)測(例如，幀-幀宏 塊間預(yù)測)(S203)。
也可將以上的程序應(yīng)用于層間運動預(yù)測。這里，當通過子采樣從基層的每 個幀獲取大小減小的畫面(S202)時，EL編碼器20可根據(jù)適合的方法(例如，采 用未被完全劃分的塊的運動信息的方法)從垂直毗鄰宏塊對中的每一個宏塊的 運動信息中獲得相應(yīng)宏塊的運動信息，然后可將所獲得的運動信息用于層間運 動預(yù)測。
在這種情況下，增強層的畫面被PAFF編碼以便傳送，因為層間預(yù)測是對 從MBAFF幀分離出的每個場畫面2001執(zhí)行的。
c)增強層包括MBAFF幀、基層包括逐行幀、且兩層具有相同的時間分 辨率的情況
圖21示出針對這種情況的層間紋理預(yù)測方法。如圖所示，增強層的每一 個MBAFF幀包括具有不同輸出時間的偶和奇場，因此EL編碼器20將每一個 MABFF幀分成偶和奇場(S2U)。EL編碼器20將每一個MBAFF幀的偶場分量 (例如，偶行)和奇場分量(例如，奇行)分別分成偶場和奇場。EL編碼器20在 垂直方向上執(zhí)行基層的每一幀的子采樣以構(gòu)造分辨率減半的畫面(S212)。該子
采樣可使用行子采樣或各種其它已知的降采樣方法中的一種。也可以按倒序執(zhí) 行幀分離(S211)和子采樣(S212)。
EL編碼器20還可由MBAFF幀構(gòu)造場(例如，偶場畫面)，而不是將MBAFF幀分成兩個場。這是因為兩層具有相同的時間分辨率，因此從一個幀中分離出 的兩個場畫面中僅有一個(而不是兩者全都)在基層中具有可用于層間預(yù)測的相 應(yīng)幀。
一旦完成這兩個過程S211和S212， EL編碼器20就基于基層中相應(yīng)的經(jīng) 子采樣的畫面對從增強層的幀中分離出的場中的僅偶(奇)場執(zhí)行已知的層間紋 理預(yù)測(例如，幀-幀宏塊間預(yù)測)(S213)。
同樣在這種情況下，可按與情況b)所述相同的方式對為其執(zhí)行層間紋理預(yù) 測的增強層的分離出的場執(zhí)行層間運動預(yù)測。
盡管以上的描述是就由圖2a或2b的EL編碼器20執(zhí)行的層間預(yù)測操作 給出的，但層間預(yù)測操作的所有描述可共同地適用于從基層接收經(jīng)解碼的信息 并解碼增強層流的EL解碼器。在編碼和解碼程序中，上述的層間預(yù)測操作(包 括用于分離、放大、和組合畫面或宏塊中的視頻信號的操作)以相同的方式執(zhí) 行，但層間預(yù)測之后的操作以不同的方式執(zhí)行。此差別的示例是在執(zhí)行運動 和紋理預(yù)測之后，編碼器編碼預(yù)測出的信息或者預(yù)測出的信息與實際信息之間 的差分信息，以便將其傳送給解碼器，而解碼器通過將藉由執(zhí)行與在編碼器處 所執(zhí)行的相同的層間運動和紋理預(yù)測而獲得的信息直接應(yīng)用于當前宏塊或通 過另外使用實際接收到的宏塊編解碼信息來獲得實際運動信息和紋理信息。本 發(fā)明的以上從編碼角度描述的詳情和原理直接適用于解碼接收到的兩層的數(shù) 據(jù)流的解碼器。
然而，當EL編碼器在如參考圖20和21所述將增強層分離成場序列并執(zhí) 行層間預(yù)測之后以PAFF方式傳送具有MBAFF幀的增強層時，解碼器不對當 前接收到的層執(zhí)行上述將MBAFF幀分成場畫面的程序。
此外，解碼器然后從接收到信號解碼出標識EL編碼器20是已如圖8d所 示還是如圖8h所示執(zhí)行了宏塊之向的層間紋理預(yù)測的標志'fiel(Lbase一flag'。基 于解碼出的標志值，解碼器確定宏塊之間的預(yù)測是如圖8d所示地執(zhí)行還是如 圖8h所示地執(zhí)行的，并根據(jù)此確定獲取紋理預(yù)測信息。如果沒有接收到標志 'fielcLbase一flag'，則EL解碼器假設(shè)己接收具有"O"值的標志。艮卩，EL解碼器假 設(shè)宏塊之間的紋理預(yù)測是根據(jù)如圖8d所示的方法執(zhí)行的，并獲得當前宏塊對 的預(yù)測信息以重建當前宏塊或宏塊對。本發(fā)明的上述有限實施例中至少有一個甚至可在使用不同格式(或模式) 的視頻信號源時執(zhí)行層間預(yù)測。因此，當編解碼多個層時，可提高數(shù)據(jù)編碼率，
而不拘于視頻信號的畫面類型，諸如隔行信號、逐行信號、MBAFF幀畫面、 和場畫面。此外，當兩層之一是隔行視頻信號源時，預(yù)測中使用的畫面的圖像 可被構(gòu)造成更類似于用于預(yù)測編解碼的原始圖像，從而提高數(shù)據(jù)編碼率。
盡管已參考優(yōu)選實施例描述了本發(fā)明，但對本領(lǐng)域的技術(shù)人員顯而易見的 是，可在本發(fā)明中進行各種改進、修改、替換、和增加而不會脫離本發(fā)明的范 圍和精神。因此，本發(fā)明旨在涵蓋對本發(fā)明的改進、修改、替換、和增加，只 要它們落在所附權(quán)利要求及其等效方案的范圍內(nèi)即可。
權(quán)利要求
1. 一種用于在編碼/解碼視頻信號時執(zhí)行層間預(yù)測的方法，所述方法包括以下步驟確認基層的兩個垂直毗鄰宏塊中是否至少有一個是內(nèi)模式；如果確認所述兩個宏塊中僅有一個是內(nèi)模式，則將所述兩個宏塊中所包括的間模式宏塊的運動相關(guān)信息拷貝至所述內(nèi)模式宏塊以將所述內(nèi)模式宏塊設(shè)置成具有運動信息的塊；以及如果所述兩個宏塊都是內(nèi)模式場宏塊，則由所述兩個宏塊構(gòu)造幀宏塊對。
2. 如權(quán)利要求1所述的方法，其特征在于，所拷貝的運動相關(guān)信息是關(guān) 于運動向量和參考索引的信息。
3. 如權(quán)利要求l所述的方法，其特征在于，還包括以下步驟 在所述將內(nèi)模式宏塊設(shè)置成具有運動信息的塊的步驟之后，利用所述兩個宏塊的運動相關(guān)信息來確定所述兩個宏塊的劃分模式。
4. 如權(quán)利要求1所述的方法，其特征在于，所述兩個宏塊是幀分量圖像 的宏塊。
5. 如權(quán)利要求4所述的方法，其特征在于，所述兩個宏塊的所述運動相 關(guān)信息被用于所述基層的上層的場分量圖像的宏塊對的層間運動預(yù)測。
6. 如權(quán)利要求1所述的方法，其特征在于，所構(gòu)造出的幀宏塊對各自的 紋理信息被用作當前層的幀宏塊對各自的紋理預(yù)測信息。
7. 如權(quán)利要求6所述的方法，其特征在于，所構(gòu)造出的幀宏塊對各自的 紋理信息被用作所述當前層的幀宏塊對的基內(nèi)預(yù)測信息。
8. 如權(quán)利要求6所述的方法，其特征在于，所述被用作紋理預(yù)測信息的 所構(gòu)造出的宏塊對的紋理信息是已被解碼的圖像數(shù)據(jù)。
9. 如權(quán)利要求1所述的方法，其特征在于，所述構(gòu)造幀宏塊對的步驟包 括一行接一行順序地交替選擇所述場宏塊對的頂宏塊和底宏塊的行并按所 述選擇的次序編排所選擇的行來構(gòu)造所述幀宏塊對。
10. 如權(quán)利要求1所述的方法，其特征在于，所述垂直毗鄰場宏塊對 被包括在隔行視頻信號按MBAFF方案被編碼成的幀中。
全文摘要
本發(fā)明涉及在視頻信號編碼或解碼時進行層間預(yù)測的方法。本方法檢查基層上的垂直毗鄰的兩個宏塊中是否至少有一個是內(nèi)模式，且如果這兩個宏塊中僅有一個被標識出為內(nèi)模式，則這兩個宏塊的間模式宏塊的運動信息被拷貝到該另一個內(nèi)模式宏塊以將該內(nèi)模式宏塊設(shè)置成具有運動信息的宏塊。此外，如果這兩個宏塊都是內(nèi)模式并分別包含場分量，則由這兩個場宏塊構(gòu)造兩個幀宏塊。
文檔編號H04N7/32GK101416522SQ200780005701
公開日2009年4月22日 申請日期2007年1月9日 優(yōu)先權(quán)日2006年1月9日
發(fā)明者全柄文, 樸志皓, 樸勝煜 申請人:Lg電子株式會社