圖像處理設備和方法
【專利摘要】提供了可以改進編碼效率同時防止負荷增加的圖像處理設備和方法。濾波預測電路(64)的提取電路(71)從低分辨率的基層中的基準幀提取運動補償圖像，所述運動補償圖像是用于在高分辨率的增強層中的預測圖像產生的圖像。使用時間方向分析和與上轉換相關聯(lián)的濾波預測電路(64)的濾波電路(72)關于由提取電路(71)提取的多個基層運動補償圖像進行濾波，并產生增強層中的預測圖像。本發(fā)明例如可以應用于編碼和解碼設備。
【專利說明】圖像處理設備和方法
[0001 ] 本申請是以下專利申請的分案申請:申請?zhí)?201080016310.2，申請日:2010年02月12日，發(fā)明名稱:圖像處理設備和方法。
技術領域
[0002]本發(fā)明涉及圖像處理設備和方法，且更具體地涉及可以改善編碼效率同時防止負荷增加的圖像處理設備和方法。
【背景技術】
[0003]通常，使用運動補償和比如離散余弦變換、Karhunen-Logve變換或者小波變換之類的正交變換的編碼方案(包括MPEG(運動圖像專家組)、H.26x等)通常已經用作在處理運動圖像的情況下的編碼方案。在這些運動圖像編碼方案中，通過利用要編碼的輸入圖像信號的特性當中的空間方向和時間方向上的相關性來實現代碼量的減少。
[0004]例如，在H.264中，當利用時間方向上的相關性產生作為要經歷幀間預測(幀間預測)的幀的幀間時使用單向預測或者雙向預測。設計幀間預測以產生基于在不同時間的幀的預測圖像。
[0005]此外，在作為H.264的標準擴展的SVC(可縮放視頻編碼)中，已經建立考慮空間可縮放性的編碼方案。SVC(H.264/AVC附錄G)是在2007年11月由ITU-T(國際電信聯(lián)盟電信標準化部門)和IS0/IEC(用于標準化的國際組織/國際電工委員會)標準化的最新的視頻編碼標準。
[0006]圖1圖示在SVC中考慮空間可縮放性的創(chuàng)建用于壓縮的預測圖像的參考關系。在SVC中，例如，如圖1所示，以基層和增強層中的多個分辨率執(zhí)行編碼。在圖1中的示例的情況下，作為基層，使用空間可縮放性編碼具有nXm[像素(pix)] (η和m是整數)的分辨率的圖像。與此一起，使用空間可縮放性編碼具有NXM[像素(pix)KN和M是整數)的分辨率的圖像(其中N>n且M>m)作為增強層。
[0007]在基層的情況下，與基于H.264標準的編碼的情況類似地，利用幀內預測或者幀間預測編碼當前幀。在圖1中的示例的情況下，當執(zhí)行基層的編碼時，使用兩個基準面(RefO，Refl)。提取來自單獨的基準面的運動補償圖像(MC0，MC1)，并執(zhí)行幀間預測。
[0008]同樣在增強層的情況下，與基本層的情況類似，可以利用幀內預測或者幀間預測編碼當前幀。
[0009]在幀內預測的情況下，利用當前幀的增強層中的空間相關性執(zhí)行預測。在時間方向上的相關性低時，比如當對象少量移動時，幀內預測在要編碼的運動圖像中是有效的。但是，通常，在一般的運動圖像中，在多數情況下，時間方向上的相關性高于空間方向上的預測，且?guī)瑑阮A測不能被認為就編碼效率而言是最適宜的。
[0010]在幀間預測的情況下，在時間上在前或在后的幀的增強層中的解碼圖像用作基準面。幀間預測使用時間方向上的相關性，因此使得高編碼效率是可行的。但是，需要預先解碼在用作基準面的增強層中的高分辨率幀圖像。此外，還需要在存儲器中保存高分辨率圖像以利用它們作為參考。此外，需要從存儲器讀取具有大量數據的高分辨率圖像。因此，幀間預測可以被認為是就處理量和實現成本而言施加大負荷的方案。
[0011]在這點上，在增強層的情況下，除上述兩個方案之外，基于基層的空間上采樣(上轉換)的預測方法(以下稱為上轉換預測)可用于編碼當前幀。
[0012]在基層中的圖像是增強層中的圖像的低分辨率版本，因此可以被認為包括與增強層中的圖像的低頻分量對應的信號。就是說，可以通過將高頻分量加到基層中的圖像來獲得增強層中的圖像。上轉換預測是用于利用這種層之間的相關性執(zhí)行預測的方法，且特別在幀內預測或者幀間預測不適用的情況下是對改善編碼效率有用的預測方法。此外，該預測方法僅通過在基層中同時解碼圖像來解碼當前幀的增強層中的圖像，因此可以被認為是就處理量而言同樣優(yōu)秀的(施加小負荷)的預測方案。
[0013]同時，用于增大分辨率的處理包括用于執(zhí)行運動補償和像素值的FIR濾波以將時間方向上的相關性轉換為用于使用的空間分辨率的技術。(例如，參見，NPL I)。
[0014]在NPLI中描述的方法中，時間方向上的相關性用于增加輸入圖像序列的分辨率的處理。具體地說，計算在當前圖像和先前圖像之間的有關已運動預測/補償的圖像的差別信息，且將其反饋到目標當前圖像以恢復輸入圖像中包括的高頻分量。
[0015]引文列表
[0016]非專利文獻
[0017]NPL 1:“Improving Resolut1n by Image Registrat1n”，MICHAL IRANI和SHMUEL PELEG，計算機科學系，耶路撒冷希伯來大學，耶路撒冷91904，以色列，由RamaChelIapa傳送，在1989年6月16日接收；1990年5月25日接受。

【發(fā)明內容】

[0018]技術問題
[0019]但是，上轉換低分辨率圖像使得由于線性內插濾波器的影響而產生具有少量高頻分量的圖像。因此，在上轉換預測中，僅可以獲得具有少量高頻分量的預測圖像。就是說，在上轉換預測中，不能說已經發(fā)送的基層中的像素信息充分地用于執(zhí)行預測。因此，在增強層中，可能需要大量代碼來編碼殘差信號。
[0020]如上，在現有的編碼和解碼方法中，難以實現編碼效率的改善以及防止負荷增加兩者。
[0021]因此，可以設想通過應用如NPLI描述的用于將運動圖像的時間相關性轉換為空間分辨率的圖像處理技術來實現編碼效率的改善的方法。但是，NPLl中描述的方法不能簡單地應用于SVC。
[0022]例如，在幀間預測中，從基準面獲得的運動補償圖像的分辨率與產生的預測圖像的相同，且NPL I中描述的方法不能應用于上轉換預測。此外，在上轉換預測中，因為僅從基層中當前幀的圖像產生預測圖像，所以其中使用三個圖像增加分辨率的NPL I中描述的方法不能應用于上轉換預測。
[0023]已經考慮上述情況而提出本發(fā)明，且本發(fā)明意在通過更有效地利用運動圖像的信號序列中包括的時間相關性來執(zhí)行考慮空間可縮放性的編碼，由此使得能夠改善編碼效率同時防止比如編碼和解碼的處理的負荷的增加。
[0024]技術方案
[0025]本發(fā)明的一個方面提供了圖像處理設備，包括:解碼裝置，用于解碼編碼圖像;產生裝置，用于將由解碼裝置解碼的圖像和預測圖像相加，并用于產生解碼圖像;提取裝置，用于使用由產生裝置產生的解碼圖像形成的幀作為基準幀并使用已經編碼的圖像中的運動矢量來執(zhí)行運動補償，并用于從與預測圖像對應的基準幀提取具有比預測圖像更低分辨率的運動補償圖像;和預測圖像產生裝置，用于通過利用運動補償圖像中包括的時間方向上的相關性，執(zhí)行用于補償由提取裝置提取的運動補償圖像的高頻分量的濾波處理，由此產生具有比運動補償圖像更高分辨率的預測圖像。
[0026]編碼圖像已經分級地分解為具有不同分辨率的多個層中的圖像且圖像已經被編碼;解碼裝置可以解碼每一層中的編碼圖像;產生裝置可以產生每一層中的解碼圖像;當要執(zhí)行高分辨率層的解碼時，提取裝置可以使用具有比該層更低分辨率的層中的幀作為基準幀，并從在具有更低分辨率的層中的基準幀提取運動補償圖像;且預測圖像產生裝置可以通過關于從具有更低分辨率的層中的基準幀提取的運動補償圖像執(zhí)行濾波處理，來產生高分辨率層中的預測圖像。
[0027]預測圖像產生裝置可以包括:分辨率轉換裝置，用于轉換由提取裝置提取的多個運動補償圖像之間的差別圖像的分辨率并增加分辨率;第一濾波器裝置，用于將低通濾波器應用于其分辨率已經由分辨率轉換裝置增加的差別圖像;第二濾波器裝置，用于將高通濾波器應用于通過由第一濾波器裝置應用低通濾波器而獲得的圖像;和相加裝置，用于將通過由第一濾波器裝置應用低通濾波器而獲得的圖像與由第二濾波器裝置應用高通濾波器而獲得的圖像與由提取裝置提取的多個運動補償圖像之一相加，并用于產生預測圖像。
[0028]相加裝置可以將通過由第一濾波器裝置應用低通濾波器而獲得的圖像和通過由第二濾波器裝置應用高通濾波器而獲得的圖像與從關于預測圖像的時間的在前幀提取的運動補償圖像相加。
[0029]圖像處理設備可以進一步包括:單向預測裝置，用于使用多個運動補償圖像執(zhí)行單向預測，并用于產生預測圖像;雙向預測裝置，用于使用多個運動補償圖像執(zhí)行雙向預測，并用于產生預測圖像;和判斷裝置，用于通過使用編碼圖像的報頭中包括的標識標記，來判斷是要由單向預測裝置通過單向預測產生預測圖像、要由雙向預測裝置通過雙向預測產生預測圖像還是要由預測圖像產生裝置通過濾波處理產生預測圖像。
[0030]本發(fā)明的一個方面進一步提供圖像處理方法，包括:解碼編碼圖像;將解碼圖像和預測圖像相加并產生解碼圖像;使用由產生的解碼圖像形成的幀作為基準幀并使用已經編碼的圖像中的運動矢量來執(zhí)行運動補償，和從與預測圖像對應的基準幀提取具有比預測圖像更低分辨率的運動補償圖像;和通過利用運動補償圖像中包括的時間方向上的相關性，執(zhí)行用于補償提取的運動補償圖像的高頻分量的濾波處理，由此產生具有比運動補償圖像更高分辨率的預測圖像。
[0031]本發(fā)明的另一方面提供了圖像處理設備，包括:編碼裝置，用于編碼作為要編碼的圖像的原始圖像，并用于產生編碼圖像;檢測裝置，基于多個圖像和原始圖像檢測運動矢量，該多個圖像中的每一個是通過基于指示原始圖像和預測圖像之間的差別的殘差信號執(zhí)行本地解碼而獲得的；提取裝置，用于使用由通過執(zhí)行本地解碼獲得的圖像形成的幀作為基準幀并使用由檢測裝置檢測的運動矢量來執(zhí)行運動補償，和用于從與預測圖像對應的基準幀提取具有比預測圖像更低分辨率的運動補償圖像;和產生裝置，用于通過利用運動補償圖像中包括的時間方向上的相關性，執(zhí)行用于補償由提取裝置提取的運動補償圖像的高頻分量的濾波處理，由此產生具有比運動補償圖像更高分辨率的預測圖像。
[0032]編碼裝置可以產生具有不同分辨率的多個層中的編碼圖像；當要執(zhí)行高分辨率層的解碼時，提取裝置可以使用具有比該層更低分辨率的層中的幀作為基準幀，并使用由檢測裝置在具有更低分辨率的層中檢測到的運動矢量，從具有更低分辨率的層中的基準幀提取運動補償圖像;和產生裝置，可以通過關于從具有更低分辨率的層中的基準幀提取的運動補償圖像執(zhí)行濾波處理，來產生高分辨率層中的預測圖像。
[0033]產生裝置可以包括:分辨率轉換裝置，用于轉換由提取裝置提取的多個運動補償圖像之間的差別圖像的分辨率并增加分辨率;第一濾波器裝置，用于將低通濾波器應用于其分辨率已經由分辨率轉換裝置增加的差別圖像;第二濾波器裝置，用于將高通濾波器應用于通過由第一濾波器裝置應用低通濾波器而獲得的圖像;和相加裝置，用于將通過由第一濾波器裝置應用低通濾波器而獲得的圖像與由第二濾波器裝置應用高通濾波器而獲得的圖像與由提取裝置提取的多個運動補償圖像之一相加，并產生預測圖像。
[0034]相加裝置可以將通過由第一濾波器裝置應用低通濾波器而獲得的圖像和通過由第二濾波器裝置應用高通濾波器而獲得的圖像與從關于預測圖像的時間的在前幀提取的運動補償圖像相加。
[0035]編碼裝置可以使得報頭包括標識標記，該標識標記標識是否要與由解碼設備解碼的圖像相加的預測圖像是通過單向預測產生、通過雙向預測產生還是通過濾波處理產生。
[0036]本發(fā)明的另一方面進一步提供了圖像處理方法，包括:編碼作為要編碼的圖像的原始圖像，并產生編碼圖像;基于多個圖像和原始圖像檢測運動矢量，該多個圖像中的每一個是通過基于指示原始圖像和預測圖像之間的差別的殘差信號執(zhí)行本地解碼而獲得的;使用由通過執(zhí)行本地解碼獲得的圖像形成的幀作為基準幀并使用所檢測到的運動矢量來執(zhí)行運動補償，和從與預測圖像對應的基準幀提取具有比預測圖像更低分辨率的運動補償圖像;和通過利用運動補償圖像中包括的時間方向上的相關性，執(zhí)行用于補償所提取的運動補償圖像的高頻分量的濾波處理，由此產生具有比運動補償圖像更高分辨率的預測圖像。
[0037]在本發(fā)明的一個方面中，解碼編碼圖像;將解碼圖像和預測圖像相加并產生解碼圖像;使用由產生的解碼圖像形成的幀作為基準幀并使用已經編碼的圖像中的運動矢量來執(zhí)行運動補償，和從與預測圖像對應的基準幀提取具有比預測圖像更低分辨率的運動補償圖像;和通過利用運動補償圖像中包括的時間方向上的相關性，執(zhí)行用于補償提取的運動補償圖像的高頻分量的濾波處理，由此產生具有比運動補償圖像更高分辨率的預測圖像。
[0038]在本發(fā)明的另一方面中，編碼作為要編碼的圖像的原始圖像，并產生編碼圖像;基于多個圖像和原始圖像檢測運動矢量，該多個圖像中的每一個是通過基于指示原始圖像和預測圖像之間的差別的殘差信號執(zhí)行本地解碼而獲得的;使用由通過執(zhí)行本地解碼獲得的圖像形成的幀作為基準幀并使用所檢測到的運動矢量來執(zhí)行運動補償，和從與預測圖像對應的基準幀提取具有比預測圖像更低分辨率的運動補償圖像;和通過利用運動補償圖像中包括的時間方向上的相關性，執(zhí)行用于補償所提取的運動補償圖像的高頻分量的濾波處理，由此產生具有比運動補償圖像更高分辨率的預測圖像。
[0039]技術效果
[0040]根據本發(fā)明，可以處理信息。具體來說，可以產生高精度的預測圖像并可以改善編碼效率而不增加多于必要的負荷。
【附圖說明】
[0041 ]圖1是解釋考慮現有的空間可縮放性的編碼方案的解碼的圖；
[0042]圖2是解釋應用本發(fā)明的預測圖像的產生的概述的圖；
[0043]圖3是圖示應用本發(fā)明的解碼設備的主要部分的示例配置的框圖；
[0044]圖4是圖示圖3中的無損解碼電路的主要部分的示例配置的框圖；
[0045]圖5是圖示圖3中的運動預測/補償電路的主要部分的示例配置的框圖；
[0046]圖6是圖示圖5中的濾波預測電路的主要部分的示例配置的框圖；
[0047]圖7是解釋解碼處理的流程的示例的流程圖；
[0048]圖8是解釋無損解碼處理的流程的示例的流程圖；
[0049]圖9是解釋當執(zhí)行解碼時濾波預測處理的流程的示例的流程圖；
[0050]圖10是圖示應用本發(fā)明的編碼設備的主要部分的示例配置的框圖；
[0051]圖11是圖示圖10中的模式確定電路的主要部分的示例配置的框圖；
[0052]圖12是圖示運動預測/補償電路的主要部分的示例配置的框圖；
[0053]圖13是解釋編碼處理的流程的示例的流程圖；
[0054]圖14是解釋模式確定處理的流程的示例的流程圖；
[0055]圖15是解釋當執(zhí)行編碼時濾波預測處理的流程的示例的流程圖；
[0056]圖16是解釋應用本發(fā)明的解碼處理的概述的另一示例的圖；
[0057]圖17是圖示圖6中的濾波電路的另一示例配置的框圖；
[0058]圖18是解釋應用本發(fā)明的解碼處理的概述的又一示例的圖；
[0059]圖19是解釋當執(zhí)行解碼時的濾波預測處理的流程的另一示例的流程圖；
[0060]圖20是解釋當執(zhí)行編碼時的濾波預測處理的另一示例的流程圖；
[0061]圖21是圖示應用本發(fā)明的個人計算機的主要部分的示例配置的框圖；
[0062]圖22是圖示應用本發(fā)明的電視接收機的主要部分的示例配置的框圖；
[0063]圖23是圖示應用本發(fā)明的移動電話的主要部分的示例配置的框圖；
[0064]圖24是圖示應用本發(fā)明的硬盤記錄器的主要部分的示例配置的框圖；
[0065]圖25是圖不應用本發(fā)明的相機的主要部分的不例配置的框圖；
[0066]圖26是圖示宏塊大小的示例的圖。
【具體實施方式】
[0067]在下文中將解釋本發(fā)明的【具體實施方式】(在下文中，實施例)。注意將以以下次序給出說明:
[0068]1.第一實施例(解碼處理)
[0069]2.第二實施例(編碼處理)
[0070]3.第三實施例(具有三個或更多運動補償圖像的解碼處理)
[0071]4.第四實施例(使用相同層中的運動補償圖像的解碼處理和編碼處理)
[0072]〈1.第一實施例〉
[0073][預測的概述]
[0074]圖2是解釋應用本發(fā)明的預測圖像產生方法的概況的圖。如圖2所示，在這種情況下，關于基層中多個基準面的圖像執(zhí)行濾波以產生增強層中的當前塊(在當時的處理目標塊)的預測圖像。
[0075]用這樣的方式，使用時間方向上的分析使得可以比使用空間上采樣濾波器更有效地利用圖像序列中的信號分量。因此，由本發(fā)明的技術(以下稱為濾波預測)產生的預測圖像可以減少預測殘差，同時具有比通過利用基層中當前幀(當時的處理目標幀)的圖像的現有上轉換預測產生的預測圖像在空間上更高頻的分量。也就是說，可以減少用于要在增強層中編碼的畫面的代碼量，且可以有助于編碼效率的改善。
[0076]此外，在該濾波預測中，不參考在時間上不同的幀的增強層中的解碼圖像。因此，可以減少編碼所需的處理量、臨時存儲器容量、從存儲器讀出的信息量等，且可以減少實現所需的成本。此外，還可以減少功耗。
[0077][解碼設備的配置]
[0078]圖3是圖示根據本發(fā)明的實施例的解碼設備I的示例配置的框圖。
[0079]由如下所述的編碼設備編碼的圖像信息經由線纜、網絡或者可拆卸介質輸入到解碼設備I。壓縮圖像信息的示例包括根據H.264/SVC標準編碼的圖像信息。
[0080]在SVC中，壓縮圖像信息由多個分辨率的層組成。最低分辨率的層是基層，且比基層更高分辨率的層是增強層。注意，層的數目是任意的;但是，在下面的描述中，假定壓縮圖像信息由兩個層組成。也就是說，輸入到解碼設備I的壓縮圖像信息具有基層和一個增強層。
[0081 ]每個幀的壓縮圖像信息被順序地輸入到解碼設備I。在每個幀中，順序地輸入從低分辨率側到高分辨率側的各個層的位流。也就是說，基層中的位流被較早地輸入到解碼設備I O
[0082]以類似于在基于H.264/AVC標準的壓縮圖像信息的情況下的方式解碼基層中的位流，因此這里省略其說明。在解碼基層中的位流之后，將增強層中的位流輸入到解碼設備I。基本上，在下文中將解釋關于在增強層中的位流的處理。
[0083]存儲緩沖器11順序地存儲作為壓縮圖像信息輸入的位流。在存儲緩沖器11中存儲的信息適當地由無損解碼電路12以特定單元的圖像(比如形成幀的宏塊)為單位讀取。在H.264標準中，還可以以將宏塊進一步劃分所得的塊(比如8 X 8像素或者4 X 4像素的塊)為單位而不是以16 X 16像素的宏塊為單位執(zhí)行處理。
[0084]無損解碼電路12關于從存儲緩沖器11讀取的圖像執(zhí)行與編碼方案對應的解碼處理，比如可變長度解碼處理或者算術解碼處理。無損解碼電路12將通過執(zhí)行解碼處理獲得的已量化變換系數輸出到反量化電路13。
[0085]此外，無損解碼電路12基于要解碼的圖像的報頭中包括的標識標記來識別預測方法。在判定要解碼的圖像是幀內編碼圖像的情況下，無損解碼電路12將存儲在圖像的報頭中的幀內預測模式信息輸出到幀內預測電路22。幀內預測模式信息包括關于幀內預測的信息，比如用作所述處理單元的塊的大小。
[0086]在判斷要解碼的圖像是幀間編碼信息的情況下，無損解碼電路12將存儲在圖像的報頭中的運動矢量和標識標記輸出到運動預測/補償電路21。使用標識標記識別其中通過幀間預測產生預測圖像的預測模式。例如，以宏塊或者幀為單位設置標識標記。
[0087]除單向預測模式、雙向預測模式和上轉換預測模式之外，準備的預測模式包括用于通過關于從基層中位于一個或者兩個時間方向上的多個基準幀提取的運動補償圖像執(zhí)行濾波來產生預測圖像的濾波預測模式。
[0088]在下文中，其中從位于一個方向上的多個基準幀提取的運動補償圖像當中一個運動補償圖像中的像素值被設置為預測圖像中的像素值的預測模式被簡單地稱為單向預測模式。此外，其中從位于兩個方向上的多個基準幀單獨地提取的運動補償圖像中的像素值的平均值被設置為預測圖像中的像素值的預測模式被簡單地稱為雙向預測模式。此外，其中將從基層中的當前幀提取的運動補償圖像上轉換以確定預測圖像中的像素值的預測模式被簡單地稱為上轉換預測模式。
[0089]如圖2所示的其中通過執(zhí)行濾波確定預測圖像中的像素值的預測的第四模式被稱為濾波預測模式，該濾波包括關于從位于基層的一個或者兩個方向上的多個基準幀提取的每一運動補償圖像的上轉換。
[0090]反量化電路13使用與在編碼側使用的量化方案對應的方案關于從無損解碼電路12提供的已量化變換系數執(zhí)行反量化。反量化電路13輸出通過執(zhí)行反量化獲得的變換系數到逆正交變換電路14。
[0091]例如，逆正交變換電路14使用與編碼側上的正交變換方案(比如離散余弦變換或者Karhunen-Logve變換)對應的方案，關于從反量化電路13提供的變換系數執(zhí)行四階逆正交變換，并輸出所獲得的圖像到加法器電路15。
[0092]加法器電路15將從逆正交變換電路14提供的解碼圖像與從運動預測/補償電路21或者從幀內預測電路22經由開關23提供的預測圖像組合，并輸出合成圖像到解塊濾波器16。
[0093]解塊濾波器16除去從加法器電路15提供的圖像中包括的塊噪聲，并輸出已經除去塊噪聲的圖像。從解塊濾波器16輸出的圖像被提供到重排緩沖器17和幀存儲器19。
[0094]重排緩沖器17臨時存儲從解塊濾波器16提供的圖像。重排緩沖器17例如從存儲的每個宏塊的圖像產生單獨的幀，并在將產生的幀輸出到D/A(數字/模擬)轉換器電路18之前以比如顯示次序的某個次序重排產生的幀。
[0095]D/A轉換器電路18關于從重排緩沖器17提供的每一幀執(zhí)行D/A轉換，并輸出幀的信號到外部。
[0096]幀存儲器19臨時存儲從解塊濾波器16提供的圖像。存儲在幀存儲器19中的信息被經由開關20提供到運動預測/補償電路21或者幀內預測電路22。注意，幀存儲器19還存儲在增強層的解碼之前已經解碼的基層中的圖像，且存儲的圖像用于增強層的解碼，如下所述。
[0097]開關20在要通過幀間預測產生預測圖像的情況下連接到端子al，且在要通過幀內預測產生預測圖像的情況下連接到端子bl。開關20的切換例如由控制電路31控制。
[0098]運動預測/補償電路21根據從無損解碼電路12提供的標識標記確定預測模式，并根據預測模式從存儲在幀存儲器19中的解碼幀當中選擇要用作基準幀的幀。運動預測/補償電路21基于從無損解碼電路12提供的運動矢量，從形成基準幀的宏塊當中確定與目標預測圖像對應的宏塊，并提取所確定的宏塊作為運動補償圖像。運動預測/補償電路21根據預測模式從運動補償圖像中的像素值確定預測圖像中的像素值，并將已經確定了像素值的預測圖像經由開關23輸出到加法器電路15。
[0099]幀內預測電路22根據從無損解碼電路12提供的幀內預測模式信息執(zhí)行幀內預測，并產生預測圖像。幀內預測電路22將產生的預測圖像經由開關23輸出到加法器電路15。
[0100]開關23在已經由運動預測/補償電路21產生預測圖像的情況下連接到端子a2，并在已經由幀內預測電路22產生預測圖像的情況下連接到端子b2。開關23的切換例如也由控制電路31控制。
[0101]控制電路31例如通過切換開關20和23的連接來控制解碼設備I的整體操作?？梢杂煽刂齐娐?1執(zhí)行用于處理目標圖像的預測方法的識別。
[0102]圖4是圖示圖3中的無損解碼電路12的主要部分的示例配置的框圖。
[0103]如圖4所示，無損解碼電路12包括預測判定電路41和解碼處理電路42。預測判定電路41判斷用于從存儲緩沖器11提供的圖像的預測方法。預測判定電路41例如基于要解碼的圖像的報頭中包括的標識標記來識別預測方法。注意，預測判定電路41當然可以通過分析位流來識別預測方法。在這種情況下，可以省略標識標記，且可以減少壓縮圖像信息的信息量。
[0104]在判斷要解碼的圖像是幀內編碼圖像的情況下，預測判定電路41將存儲在圖像的報頭中的幀內預測模式信息輸出到幀內預測電路22。此外，在判斷要解碼的圖像是幀間編碼信息的情況下，預測判定電路41將存儲在圖像的報頭中的運動矢量和標識標記輸出到運動預測/補償電路21。
[0105]預測判定電路41進一步將已經對其判斷了預測方法的圖像的位流提供到解碼處理電路42。解碼處理電路42關于圖像執(zhí)行與編碼方案對應的解碼處理，比如可變長度解碼處理或者算術解碼處理。預測判定電路41將通過執(zhí)行解碼處理獲得的已量化變換系數輸出到反量化電路13。
[0106]圖5是圖示圖3中的運動預測/補償電路的主要部分的示例配置的框圖。
[0107]如圖5所示，運動預測/補償電路21包括預測選擇電路51、單向預測電路61、雙向預測電路62、上轉換預測電路63和濾波預測電路64。將從無損解碼電路12(預測判定電路41)提供的運動矢量和標識標記輸入到預測選擇電路51。
[0108]預測選擇電路51根據從預測判定電路41提供的標識標記選擇預測模式。在確定要通過單向預測產生預測圖像的情況下，預測選擇電路51輸出運動矢量到單向預測電路61。此外，在確定要通過雙向預測產生預測圖像的情況下，預測選擇電路51輸出運動矢量到雙向預測電路62。此外，在確定要通過上轉換預測產生預測圖像的情況下，預測選擇電路51輸出為此的指令到上轉換預測電路63。
[0109]此外，在確定要通過濾波預測產生預測圖像的情況下，預測選擇電路51輸出運動矢量到濾波預測電路64。
[0110]用這樣的方式，為了允許濾波預測的標識，可以將與現有標準中定義的表示單向預測的值、表示雙向預測的值和表示上轉換預測的值不同的值設置為標識標記的值。
[0111]單向預測電路61設置位于增強層中一個時間方向上的多個幀作為基準幀，并基于運動矢量確定在與預測圖像對應的基準幀中的宏塊。此外，單向預測電路61通過從幀存儲器19讀取基準幀中每一確定的宏塊作為運動補償圖像，并設置在運動補償圖像之一中的像素值作為預測圖像中的像素值，來產生預測圖像。單向預測電路61輸出所產生的預測圖像到加法器電路15。由單向預測電路61執(zhí)行的單向預測的示例包括以H.264/SVC標準(或者H.264標準)定義的單向預測。
[0112]雙向預測電路62設置位于增強層中兩個時間方向上的多個幀作為基準幀，并基于運動矢量確定在與預測圖像對應的基準幀中的宏塊。此外，雙向預測電路62通過從幀存儲器19讀取基準幀中每一確定的宏塊作為運動補償圖像，并設置在讀取運動補償圖像中的像素值的平均值作為預測圖像中的像素值，來產生預測圖像。雙向預測電路62輸出所產生的預測圖像到加法器電路15。由雙向預測電路62執(zhí)行的雙向預測的示例包括以H.264/SVC標準(或者H.264標準)定義的雙向預測。
[0113]如圖1所示，上轉換預測電路63將基層中的當前幀設置為基準幀。上轉換預測電路63從基層中的基準幀提取在與增強層中的當前幀中的處理目標宏塊相同位置處的宏塊。也就是說，上轉換預測電路63從幀存儲器19讀取與處理目標宏塊對應的基層中基準幀的宏塊。所提取的宏塊是基層中的宏塊，因此具有比處理目標宏塊更低的分辨率。上轉換預測電路63上轉換基層中提取的宏塊以產生處理目標宏塊的預測圖像。
[0114]上轉換預測電路63輸出所產生的預測圖像到加法器電路15。由上轉換預測電路63執(zhí)行的雙向預測的示例包括以H.264/SVC標準定義的上轉換預測。
[0115]如圖2所示，濾波預測電路64確定位于基層中的一個或者兩個時間方向上的多個幀作為基準幀。可以預先確定或者可以由與標識標記一起從編碼側發(fā)送的信息指定哪個幀用作基準幀。例如，關于當前幀的時間上在前的幀和進一步在前的幀(即，兩個幀)可以被設置為基準幀。此外，例如，關于當前幀的時間上在前的幀和在后的幀(即，兩個幀)可以被設置為基準幀。當然，其他幀可以用作基準幀。
[0116]濾波預測電路64基于從預測選擇電路51提供的運動矢量，確定與預測圖像對應的以上述方式確定的基層中的基準幀的宏塊。濾波預測電路64從幀存儲器19讀取基準幀的每一確定的宏塊作為運動補償圖像。注意，可以以宏塊進一步劃分所得的塊為單位代替以16X 16像素等的宏塊為單位來確定運動矢量。
[0117]運動補償圖像是基層中的圖像，因此具有比增強層中的處理目標宏塊更低的分辨率。濾波預測電路64使用運動補償圖像作為輸入執(zhí)行涉及上轉換的濾波，并輸出通過執(zhí)行濾波而獲得的預測圖像到加法器電路15。預測圖像已經被上轉換為增強層中的宏塊的分辨率。
[0118]濾波預測電路64輸出所產生的預測圖像到加法器電路15。
[0119]圖6是圖示圖5中的濾波預測電路64的主要部分的示例配置的框圖。在具有圖6中的配置的濾波預測電路64中，關于時域中的信號執(zhí)行濾波。
[0120]如圖6所示，濾波預測電路64包括提取電路71和濾波電路72。提取電路71基于從預測選擇電路51提供的信息指定基層中的基準幀，并從基層中的基準幀提取運動補償圖像(例如，運動補償圖像MCO和運動補償圖像MCl)。
[0121]用于識別用于本發(fā)明的多個低分辨率圖像的一個可想到的方式是利用基層中的流中的信號而不添加新的信號。
[0122]也就是說，該方法是兩個圖像用作隨后的濾波處理的輸入，其中第一輸入是在當時的低分辨率圖像中的空間上相同位置的解碼圖像，且第二輸入是已經用于時間預測的時間上過去或未來的低分辨率圖像。
[0123]就是說，在這種情況下，提取電路71提取在與增強層中的處理目標宏塊相同的位置處的基層中當前幀的宏塊作為一個運動補償圖像，并使用已經用于基層中宏塊的解碼的運動矢量來進一步提取另一運動補償圖像。該技術的優(yōu)點是不向流添加新的信號，這對于編碼效率是有益的。
[0124]此時，在低分辨率圖像的情況下，關于多個基準幀的信息用于解碼，具體地說，在正在執(zhí)行雙向預測等的情況下，全部預測圖像可以用作第二和第三輸入。
[0125]通常，使用具有高相關性的時間信息越多，則作為隨后的濾波處理的結果可以產生的分辨率越高。因此，上述方法是有效的。
[0126]此外，為了通過濾波處理更精確地產生高分辨率圖像，還可以使用新編碼一個或者多個運動矢量的方法。
[0127]就是說，在這種情況下，對于增強層的解碼，編碼與用于基層的解碼的運動矢量分離的新的運動矢量。在該方法中，新的信號被添加到流;但是，增加增強層的預測精度使得可以減少增強層中的殘差信號。因此，該方法就編碼效率而言是有效的。
[0128]提取電路71以上述方式指定運動補償圖像MCO和運動補償圖像MCl，并從幀存儲器19獲取關于它們的信息。提取電路71將提取的運動補償圖像MCO和運動補償圖像MCl提供到濾波電路72。
[0129]濾波電路72關于提供的運動補償圖像MCO和運動補償圖像MCl執(zhí)行涉及上轉換的濾波，并產生預測圖像。就是說，濾波電路72利用運動補償圖像中包括的時間方向上的相關性對于高頻分量執(zhí)行用于補償由提取電路71提取的多個運動補償圖像的濾波處理，以產生具有比運動補償圖像更高分辨率的預測圖像。已經補償了用這樣的方式產生的預測圖像的高頻分量。因此，改善了預測精度。因此，改善了編碼效率。
[0130]如圖6所示，濾波電路72包括差別計算電路81、上轉換電路82、低通濾波器電路83、增益調節(jié)電路84、高通濾波器電路85、增益調節(jié)電路86、加法器電路87、上轉換電路88和加法器電路89。
[0131]將從提取電路71提供的運動補償圖像MCO輸入到差別計算電路81和上轉換電路88，且將運動補償圖像MCl輸入到差別計算電路81。
[0132]在要通過單向預測產生預測圖像的情況下，例如，從接近于當前幀的基準幀RO提取的圖像可以被認為具有比預測圖像更高的相關性，其用作運動補償圖像MC0，且從遠離當前幀的基準幀Rl提取的圖像用作運動補償圖像MCI。從基準幀RO提取的圖像可以被設計為用作運動補償圖像MCl，且從基準幀Rl提取的圖像可以被設計為用作運動補償圖像MC0。
[0133]此外，在要通過雙向預測產生預測圖像的情況下，例如，從在前的基準幀LO提取的圖像用作運動補償圖像MC0，且從在后的基準幀LI提取的圖像用作運動補償圖像MCI。從基準幀LO提取的圖像可以被設計以用作運動補償圖像MCl，且從基準幀LI提取的圖像可以被設計以用作運動補償圖像MC0。
[0134]差別計算電路81例如使用以下公式(I)計算運動補償圖像MCO和運動補償圖像MCl之間的差別，并輸出差別圖像D到上轉換電路82。
[0135]D(i, j)=A(i, j)-B(i, j)...(I)
[0136]在公式(I)中，(i，j)表示運動補償圖像中像素的相對位置。例如，在配置以16X16像素的宏塊為單位執(zhí)行處理的情況下，設置0<i<16和OS j<16。這類似地適用于以下描述。
[0137]上轉換電路82關于由差別計算電路81計算的差別圖像D執(zhí)行分辨率轉換。分辨率轉換比率基于基層的空間分辨率與增強層的空間分辨率的比率。例如，在基層的分辨率是ηXm[像素Kn和m是整數)而增強層的分辨率是NXM[像素](Ν和M是整數，其中Ν>η且M>m)的情況下，水平方向上的放大倍率H_Scale和垂直方向上的放大倍率V_Scale由公式(2)和公式(3)給出。
[0138]H_Scale = N/n...(2)
[0139]V_Scale=M/m...(3)
[0140]上轉換電路82將已經用這樣的方式經歷了分辨率轉換(已經上變換)的差別圖像D7輸出到低通濾波器電路83。
[0141]低通濾波器電路83包括FIR濾波器電路。低通濾波器電路83將低通濾波器應用于從上轉換電路82提供的差別圖像D'，并輸出所獲得的圖像到增益調節(jié)電路84和高通濾波器電路85。作為通過將應用低通濾波器而獲得的圖像的差別圖像D"由如下公式(4)表示。
[0142]D〃=LPF(D, )...(4)
[0143]在公式(4)中，LPF(X)表示使用二維FIR濾波器的低通濾波器到輸入圖像X的應用。
[0144]增益調節(jié)電路84調節(jié)從低通濾波器電路83提供的差別圖像D"的增益，并輸出已調節(jié)增益的圖像到加法器電路87。如果設置O彡i彡16 X H_ScaIe并設置O彡j彡16 X V_Scale，則增益調節(jié)電路84的輸出圖像X(I，J)由如下公式(5)表示。
[0145]X(IJ)=CaZ(IJ)...(5)
[0146]高通濾波器電路85包括FIR濾波器電路。高通濾波器電路85將高通濾波器應用于從低通濾波器電路83提供的差別圖像D"，并將所獲得的圖像輸出到增益調節(jié)電路86。作為通過應用高通濾波器獲得的圖像的差別圖像D"'由如下公式(6)表示。
[0147]=HPF(D7r)...(6)
[0148]在公式(6)中，HPF(X)表示使用二維FIR濾波器關于輸入圖像對丸行高通濾波處理。
[0149]增益調節(jié)電路86調節(jié)從高通濾波器電路85提供的差別圖像的增益，并將已調節(jié)增益的圖像輸出到加法器電路87。增益調節(jié)電路86的輸出圖像Y(I，J)由如下公式(7)表不O
[0150]Y(IJ)=PDm--G)
[0151 ] 作為公式(5)中的值α和公式(7)中的值β，例如，選擇比如α = 0.8和β = 0.2的值。但是，可以使用其它值以增加預測像素的精度。此外，可以根據輸入序列的性質等自適應地改變值。
[0152]加法器電路87將已調節(jié)增益圖像X(I，J)和圖像Y(I，J)相加，并輸出通過相加獲得的圖像。加法器電路87的輸出圖像Z(I，J)由以下公式(8)表示。
[0153]Z(I，J)=X(I，J)+Y(I，J)...(8)
[0154]輸出圖像Z(I，J)是可以從運動補償圖像MCO和運動補償圖像MCl之間的差別，SP，相關性確定的圖像的高頻分量的表示。
[0155]上轉換電路88關于運動補償圖像MCO執(zhí)行分辨率轉換。與上轉換電路82的情況的類似，分辨率轉換比率基于基層的空間分辨率與增強層的空間分辨率的比率。就是說，水平方向上的放大倍率11_5(^1 e和垂直方向上的放大倍率￥_5(^1 e由以上公式(2)和公式(3)給出。上轉換電路88輸出作為以上述方式經歷分辨率轉換(上變換)的運動補償圖像MCO的圖1fA7到加法器電路89。
[0156]加法器電路89將從加法器電路87提供的輸出圖像Z(I，J)與從上轉換電路88提供的圖像Y相加，并輸出所獲得的圖像到加法器電路15作為預測圖像。最后從加法器電路89輸出的預測圖像S(I，J)由如下公式(9)表示。
[0157]8(1,1)=^(1,1)+2(1,1)...(9)
[0158]用這樣的方式，根據濾波預測模式，表示高頻分量并通過上轉換基層中的圖像而產生的圖像與通過上轉換運動補償圖像MCO而獲得的圖像相加。由此，產生預測圖像。
[0159]通過以如上的濾波預測模式產生預測圖像，解碼設備I可以獲得包括比通過上轉換基層中的當前幀的圖像而獲得的上轉換預測中的預測圖像更多高頻分量的預測圖像。此夕卜，因為當從多個運動補償圖像產生預測圖像時以如上所述的方式執(zhí)行濾波，所以解碼設備I可以獲得包括比簡單地將多個運動補償圖像的各個像素的平均值作為每一像素值的預測圖像更多高頻分量的預測圖像。
[0160]此外，要參考的圖像的分辨率小于用于其中通過參考增強層中的幀來產生預測圖像的幀間預測的圖像的分辨率。因此，不需要在幀存儲器19中保存增強層中的高分辨率圖像或者從幀存儲器19讀取它們。此外，例如，就像運動矢量，在增強層的解碼時可以使用在基層的解碼時的信息。因此，可以減少用于壓縮圖像信息的代碼量。就是說，解碼設備I可以改善壓縮效率。
[0161]用這樣的方式，解碼設備I可以改善編碼效率同時防止負荷增加。
[0162][解碼處理的流程的解釋]
[0163]接下來，將解釋具有上述配置的解碼設備I的處理。首先，將參考圖7中的流程圖解釋用于增強層的解碼處理的流程的示例。與用于基層的解碼處理的情況類似，基本上使用符合H.264標準的方法來執(zhí)行用于增強層的解碼。
[0164]在這點上，用于增強層的解碼處理與用于基層的解碼處理或者H.264標準的很大不同在于，存在其中基層中的圖像同時用于產生預測圖像的模式。此外，在應用本發(fā)明的用于增強層的解碼處理的情況下，添加使用時間上與當前幀同時或者與當前幀不同時間的基層中的多個圖像用于增強層的解碼的功能。
[0165]例如，當由無損解碼電路12從在存儲緩沖器11中存儲的信息讀取比如16X16像素的宏塊的某個大小的圖像時開始圖9中的處理。與另一步驟的處理并行地或通過重新安排步驟來適當地執(zhí)行圖9中每個步驟的處理。這類似地適用于如下所述的每個流程圖中每個步驟的處理。
[0166]在步驟SI，無損解碼電路12關于從存儲緩沖器11讀取的圖像開始無損解碼處理。無損解碼處理的細節(jié)將如下所述。無損解碼電路12將使用無損解碼處理產生的已量化變換系數輸出到反量化電路13。此外，無損解碼電路12在要解碼的圖像是幀內編碼圖像的情況下輸出幀內預測模式信息到幀內預測電路22，并在無損解碼處理中圖像是幀間編碼圖像的情況下輸出運動矢量和標識標記到運動預測/補償電路21。
[0167]在步驟S2，反量化電路13使用與在編碼側使用的量化方案對應的方案執(zhí)行反量化，并輸出變換系數到逆正交變換電路14。在步驟S3，逆正交變換電路14關于從反量化電路13提供的變換系數執(zhí)行逆正交變換，并輸出所獲得的圖像到加法器電路15。
[0168]在步驟S4，加法器電路15組合從逆正交變換電路14提供的解碼圖像和從運動預測/補償電路21或者幀內預測電路22提供的預測圖像，并輸出合成圖像到解塊濾波器16。在步驟S5，解塊濾波器16執(zhí)行濾波以除去合成圖像中包括的塊噪聲，并輸出已經從其除去塊噪聲的圖像。在步驟S6，幀存儲器19臨時地存儲從解塊濾波器16提供的圖像。此外，此時，還在重排緩沖器17中保持圖像。
[0169]在步驟S7，控制電路31判斷是否已經關于一整個幀中的宏塊執(zhí)行了前述處理。在判斷還沒有執(zhí)行處理的情況下，關注另一宏塊，且重復地執(zhí)行從步驟SI開始的處理。
[0170]此外，在步驟S7判斷已經關于一整個幀中的宏塊執(zhí)行處理的情況下，處理進行到步驟S8。在步驟S8，重排緩沖器17根據控制電路31的控制輸出產生的幀到D/Α轉換器電路18。
[0171]在步驟S9，D/A轉換器電路18關于從重排緩沖器17提供的幀執(zhí)行D/Α轉換，并輸出模擬信號到外部。關于每個幀執(zhí)行前述處理。
[0172]接下來，將參考圖8中的流程圖解釋無損解碼處理的流程的示例。
[0173]當開始無損解碼處理時，在步驟S21，預測判定電路41參考從存儲緩沖器11提供的壓縮圖像信息的報頭。在步驟S22，預測判定電路41基于報頭中包括的指示由編碼設備指定的預測模式的信息來判斷是否要執(zhí)行幀內預測。在已經由編碼設備指定幀內預測模式的情況下，處理進行到步驟S23。
[0174]在步驟S23，幀內預測電路22執(zhí)行幀內預測以產生預測圖像，并將預測圖像提供到加法器電路15。預測圖像與在圖7中的步驟S4從逆正交變換電路14提供的解碼圖像組合。
[0175]當完成步驟S23的處理時，處理進行到步驟S29。此外，如果在步驟S22判斷不執(zhí)行幀內預測，則處理進行到步驟S24。
[0176]在步驟S24，預測判定電路41基于報頭中包括的指示由編碼設備指定的預測模式的信息來判斷是否要執(zhí)行上轉換預測。在已經由編碼設備指定上轉換預測模式的情況下，處理進行到步驟S25。
[0177]在步驟S25，運動預測/補償電路21的上轉換預測電路63執(zhí)行上轉換預測以產生預測圖像，并提供預測圖像到加法器電路15。預測圖像與在圖7中的步驟S4從逆正交變換電路14提供的解碼圖像組合。
[0178]當完成步驟S25的處理時，處理進行到步驟S29。此外，在步驟S24判斷不執(zhí)行上轉換預測的情況下，處理進行到步驟S26。
[0179]在步驟S26，預測判定電路41基于報頭中包括的指示由編碼設備指定的預測模式的信息來判斷是否要執(zhí)行幀間預測。在已經由編碼設備指定幀間預測模式的情況下，處理進行到步驟S27。
[0180]在步驟S27，運動預測/補償電路21的單向預測電路61或者雙向預測電路62執(zhí)行幀間預測(單向預測或者雙向預測)以產生預測圖像，并提供預測圖像到加法器電路15。預測圖像與在圖7中的步驟S4從逆正交變換電路14提供的解碼圖像組合。
[0181]當完成步驟S27的處理時，處理進行到步驟S29。此外，在步驟S26判斷已經由編碼設備指定濾波預測模式且不執(zhí)行幀間預測的情況下，處理進行到步驟S28。
[0182]在步驟S28，運動預測/補償電路21的濾波預測電路64基于報頭中包括的指示濾波預測模式的信息而執(zhí)行濾波預測以產生預測圖像，并提供預測圖像到加法器電路15。預測圖像與在圖7中的步驟S4從逆正交變換電路14提供的解碼圖像組合。當完成步驟S28的處理時，處理進行到步驟S29。
[0183]在步驟S29，解碼處理電路42解碼壓縮圖像信息的殘差信號，并輸出已量化變換系數到反量化電路13。當完成步驟S29的處理時，無損解碼處理結束。然后，處理返回到圖7中的步驟SI，且執(zhí)行步驟S2之后的處理。
[0184]注意，已經解釋了基于要在步驟S21參考的壓縮圖像信息的報頭中包括的信息選擇預測模式。但是，這不是限制性的，且預測判定電路41可以配置為能夠例如通過分析壓縮圖像信息的位流來選擇適當的預測模式。在這種情況下，在步驟S21，代替參考報頭，預測判定電路41分析壓縮圖像信息，并在步驟S22和后續(xù)步驟的處理中基于分析結果選擇預測模式。
[0185]接下來，將參考圖9中的流程圖解釋圖8中的步驟S28的處理中執(zhí)行的濾波預測處理的流程的示例。
[0186]當開始濾波預測處理時，在步驟S41，提取電路71從當前幀或者基層中的基準幀提取運動補償圖像。在步驟S42，差別計算電路81計算運動補償圖像之間的差別。在步驟S43，上轉換電路82上變換在步驟S42計算的運動補償圖像之間的差別。在步驟S44，低通濾波器電路83將低通濾波器應用于在步驟S43上變換的差別。
[0187]在步驟S45，增益調節(jié)電路84將在步驟S44的處理中的低通濾波器的輸出乘以系數α以執(zhí)行增益調節(jié)。在步驟S46，高通濾波器電路85將高通濾波器應用于在步驟S44的處理中低通濾波器的輸出。在步驟S47，增益調節(jié)電路86將在步驟S46的處理中高通濾波器的輸出乘以系數β以執(zhí)行增益調節(jié)。
[0188]在步驟S48，加法器電路87將在步驟S45的處理中低通濾波器的已調節(jié)增益的輸出與在步驟S47的處理中高通濾波器的已調節(jié)增益的輸出相加以確定高頻分量。
[0189]在步驟S49，上轉換電路88上變換從基層提取的運動補償圖像MC0。在步驟S50，加法器電路89將在步驟S48確定的高頻分量與在步驟S49上變換的運動補償圖像相加以產生預測圖像。加法器電路89提供所產生的預測圖像到加法器電路15。
[0190]當完成步驟S50的處理時，濾波預測處理結束。然后，處理返回到圖8中的步驟S28，且執(zhí)行步驟S29之后的處理。
[0191]如上，使用通過濾波預測產生的預測圖像執(zhí)行解碼，因此可以獲得高清晰度的解碼圖像而不增加處理負荷。就是說，解碼設備I可以改善編碼效率同時防止負荷增加。
[0192]注意，已經解釋了由同一解碼設備I執(zhí)行基層的解碼和增強層的解碼。但是，這不是限制性的，且可以由不同的解碼設備I執(zhí)行兩個層的解碼。在這點上，同樣在這種情況下，幀存儲器19對全部解碼設備是公共的，且基層中的幀可以配置為在增強層的解碼時讀取。
[0193]〈2.第二實施例〉
[0194][編碼設備的配置]
[0195]圖10是圖示應用本發(fā)明的編碼設備的主要部分的示例配置的框圖。編碼設備101是與圖3中的解碼設備I對應的編碼設備。就是說，將通過由編碼設備101執(zhí)行編碼而獲得的壓縮圖像信息輸入到圖3中的解碼設備I。
[0196]編碼設備101包括Α/D轉換器電路111、重排緩沖器112、加法器電路113、正交變換電路114、量化電路115、無損編碼電路116和存儲緩沖器117。編碼設備101進一步包括比率控制電路118、反量化電路119、逆正交變換電路120、解塊濾波器121、幀存儲器122和模式確定電路123。此外，編碼設備101包括開關124、運動預測/補償電路125、幀內預測電路126、開關127和控制電路131。
[0197]圖像信息被分為兩層(或者多于兩層的多層)，即，低分辨率基層和高分辨率增強層，且低分辨率的基層中每幀的圖像信息被較早地提供到編碼設備101并編碼。以與H.264標準的情況下的方式類似的方式執(zhí)行基層的編碼。當完成基層的編碼時，由編碼設備101編碼增強層中的圖像信息。將在下文中解釋增強層的編碼。
[0198]Α/D轉換器電路111關于輸入信號執(zhí)行Α/D轉換，并輸出圖像到重排緩沖器112。重排緩沖器112根據壓縮圖像信息的GOP(畫面組)結構重排幀，并輸出比如宏塊之類的某個單元的圖像。從重排緩沖器112輸出的圖像被提供到加法器電路113、模式確定電路123、運動預測/補償電路125和幀內預測電路126。
[0199]加法器電路113確定從重排緩沖器112提供的圖像和由運動預測/補償電路125或者幀內預測電路126產生并經由開關127提供的預測圖像之間的差別，并輸出殘差到正交變換電路114。預測圖像越接近原始圖像且這里確定的殘差的數量越小，則要分配給殘差的代碼量越小，因此可以說編碼效率越高。
[0200]正交變換電路114關于從加法器電路113提供的殘差執(zhí)行正交變換，比如離散余弦變換或者Karhunen-Logve變換，并將通過執(zhí)行正交變換獲得的變換系數輸出到量化電路115。
[0201 ]量化電路115根據比率控制電路118的控制來量化從正交變換電路114提供的變換系數，并輸出已量化變換系數。由量化電路115量化的變換系數被提供到無損編碼電路116和反量化電路119。
[0202]無損編碼電路116通過執(zhí)行比如可變長度編碼或者算術編碼之類的無損編碼，來壓縮從量化電路115提供的變換系數，并輸出信息到存儲緩沖器117。
[0203]此外，無損編碼電路116根據從模式確定電路123提供的信息設置標識標記的值，并在圖像的報頭中描述標識標記。如上所述，解碼設備I基于由無損編碼電路116描述的標識標記來確定預測模式。
[0204]無損編碼電路116還在圖像的報頭中描述從運動預測/補償電路125或者幀內預測電路126提供的信息。從運動預測/補償電路125提供當執(zhí)行幀間預測時檢測的運動矢量等，且從幀內預測電路126提供關于應用的幀內預測模式的信息。
[0205]存儲緩沖器117臨時地存儲從無損編碼電路116提供的信息，并在某個定時將其作為壓縮圖像信息輸出。存儲緩沖器117輸出關于產生的代碼量的信息到比率控制電路118。
[0206]比率控制電路118基于從存儲緩沖器117輸出的代碼量計算量化比例，并控制量化電路115以使得可以以計算的量化比例來執(zhí)行量化。
[0207]反量化電路119關于由量化電路115量化的變換系數執(zhí)行反量化，并輸出變換系數到逆正交變換電路120。
[0208]逆正交變換電路120關于從反量化電路119提供的變換系數執(zhí)行逆正交變換，并輸出所獲得的圖像到解塊濾波器121。
[0209]解塊濾波器121除去在本地解碼的圖像中出現的塊噪聲，并將已經從其除去塊噪聲的圖像輸出該幀存儲器122。
[0210]幀存儲器122存儲從解塊濾波器121提供的圖像。存儲在幀存儲器122中的圖像由模式確定電路123適當地讀取。
[0211]模式確定電路123基于存儲在幀存儲器122中的圖像和從重排緩沖器112提供的原始圖像，確定要執(zhí)行幀內編碼或者要執(zhí)行幀間編碼。此外，在判斷要執(zhí)行幀間編碼的情況下，模式確定電路123確定單向預測模式、雙向預測模式、上轉換預測模式和濾波預測模式當中的一個模式。模式確定電路123將指示確定結果的信息作為模式信息輸出到無損編碼電路116。
[0212]在判斷要執(zhí)行幀間編碼的情況下，模式確定電路123將存儲在幀存儲器122中并通過本地解碼獲得的幀經由開關124輸出到運動預測/補償電路125。
[0213]此外，在判斷要執(zhí)行幀內編碼的情況下，模式確定電路123將存儲在幀存儲器122中并通過本地解碼而獲得的幀輸出到幀內預測電路126。
[0214]開關124在要執(zhí)行幀間編碼的情況下連接到端子all，并在要執(zhí)行幀內編碼的情況下連接到端子bll。開關124的切換例如由控制電路131控制。
[0215]運動預測/補償電路125基于從重排緩沖器112提供的原始圖像和從幀存儲器122讀取的基準幀來檢測運動矢量，并輸出檢測到的運動矢量到無損編碼電路116。此外，運動預測/補償電路125通過使用檢測到的運動矢量和基準幀執(zhí)行運動補償來產生預測圖像，并經由開關127輸出所產生的預測圖像到加法器電路113。
[0216]幀內預測電路126基于從重排緩沖器112提供的原始圖像和本地解碼并存儲在幀存儲器122中的基準幀來執(zhí)行幀內預測，并產生預測圖像。幀內預測電路126經由開關127輸出所產生的預測圖像到加法器電路113，并輸出幀內預測模式信息到無損編碼電路116。
[0217]開關127連接到端子al2或者端子bl2，并將由運動預測/補償電路125或者幀內預測電路126產生的預測圖像輸出到加法器電路113。
[0218]控制電路131例如通過根據由模式確定電路123確定的模式切換開關124和127的連接來控制編碼設備101的總體操作。
[0219]圖11是圖示圖10中的模式確定電路123的主要部分的示例配置的框圖。
[0220]如圖11所示，模式確定電路123包括幀內預測電路141、單向預測電路142、雙向預測電路143、上轉換預測電路144、濾波預測電路145、預測誤差計算電路146和確定電路147。
[0221]在模式確定電路123中，關于具有不同尺寸的塊執(zhí)行幀內預測和幀間預測中的每一個，并根據獲得的結果確定要執(zhí)行哪個預測模式預測。對于幀間預測，以每一預測模式(gp，單向預測模式、雙向預測模式、上轉換預測模式和濾波預測模式)執(zhí)行處理。
[0222]幀內預測電路141、單向預測電路142、雙向預測電路143、上轉換預測電路144和濾波預測電路145使用各個方法執(zhí)行預測以基于原始圖像和從幀存儲器122讀取的圖像產生預測圖像，并輸出所產生的預測圖像到預測誤差計算電路146。
[0223]幀內預測電路141使用與解碼設備I的幀內預測電路22的方法類似的方法來執(zhí)行幀內預測。單向預測電路142檢測運動矢量，基于所檢測的運動矢量從基準幀提取運動補償圖像，并使用運動補償圖像執(zhí)行單向預測以產生預測圖像。就是說，單向預測電路142基于所檢測的運動矢量，使用與解碼設備I的單向預測電路61的方法類似的方法產生預測圖像。
[0224]雙向預測電路143檢測運動矢量，基于所檢測的運動矢量從基準幀提取運動補償圖像，并使用運動補償圖像執(zhí)行雙向預測以產生預測圖像。就是說，雙向預測電路143基于所檢測的運動矢量，使用與解碼設備I的雙向預測電路62的方法類似的方法產生預測圖像。
[0225]上轉換預測電路144將在與增強層中當前幀的處理目標宏塊相同位置的基層中當前幀的宏塊設置為運動補償圖像，并上變換運動補償圖像以產生增強層中的預測圖像。就是說，上轉換預測電路144使用與解碼設備I的上轉換預測電路63的方法類似的方法來產生預測圖像。
[0226]濾波預測電路145檢測基層中的運動矢量，基于所檢測的運動矢量從基準幀提取基層中的運動補償圖像，并使用基層中的運動補償圖像執(zhí)行濾波預測以產生預測圖像。就是說，濾波預測電路145基于所檢測的運動矢量，使用與解碼設備I的濾波預測電路145的方法類似的方法產生預測圖像。
[0227]注意，幀內預測電路141到濾波預測電路145例如以4X4像素的塊、8 X 8像素的塊和16 X 16像素的塊為單位檢測運動矢量或者執(zhí)行預測。用作處理單位的塊的大小是任意的。此外，要關于其執(zhí)行預測的塊的類型的數目也是任意的。幀內預測電路141到濾波預測電路145對于每個塊產生預測圖像，并輸出所產生的各個預測圖像到預測誤差計算電路146。
[0228]將從重排緩沖器112提供的原始圖像輸入到幀內預測電路141到濾波預測電路145并輸入到預測誤差計算電路146。
[0229]預測誤差計算電路146確定從幀內預測電路141中的各個電路提供的每一預測圖像和原始圖像之間的差別，并輸出表示所確定的差別的殘差信號到確定電路147。類似地，預測誤差計算電路146確定從單向預測電路142、雙向預測電路143、上轉換預測電路144和濾波預測電路145提供的每一預測圖像和原始圖像之間的差別，并輸出表示所確定的差別的殘差號到確定電路147。
[0230]確定電路147測量從預測誤差計算電路146提供的殘差信號的強度，并將已經用于產生具有與原始圖像小的差別的預測圖像的預測方法確定為用于產生要用于編碼的預測圖像的預測方法。確定電路147輸出表示確定結果的信息到無損編碼電路116作為模式信息。模式信息還包括表示要用作處理單位的塊的大小的信息，等等。
[0231]此外，在確定要通過幀間預測產生預測圖像的情況下(在確定要執(zhí)行幀間編碼的情況下)，確定電路147與模式信息一起將從幀存儲器122讀取的基準幀輸出到運動預測/補償電路125。在確定要通過幀內預測產生預測圖像的情況下(在確定要執(zhí)行幀內編碼的情況下)，確定電路147將從幀存儲器122讀取的用于幀內預測的圖像與模式信息一起輸出到幀內預測電路126。
[0232]圖12是圖示圖10中的運動預測/補償電路125的主要部分的示例配置的框圖。
[0233]如圖12所示，運動預測/補償電路125包括運動矢量檢測電路151、單向預測電路152、雙向預測電路153、上轉換預測電路154和濾波電路155。除了提供運動矢量檢測電路151代替預測選擇電路51之外，運動預測/補償電路125具有與如圖5所示的運動預測/補償電路21類似的配置。
[0234]運動矢量檢測電路151通過基于從重排緩沖器112提供的原始圖像和從模式確定電路123提供的基準幀執(zhí)行塊匹配等來檢測運動矢量。運動矢量檢測電路151參考從模式確定電路123提供的模式信息，并輸出基準幀到單向預測電路152到濾波預測電路155之一。此夕卜，運動矢量檢測電路151還適當地將運動矢量輸出到基準幀要輸出的目的地。
[0235]運動矢量檢測電路151在已經選擇單向預測的情況下，將運動矢量與基準幀一起輸出到單向預測電路152，并在已經選擇要執(zhí)行雙向預測的情況下將這些信息輸出到雙向預測電路153。此外，在已經選擇上轉換預測的情況下，運動矢量檢測電路151將作為基準幀的基層中當前幀的圖像輸出到上轉換預測電路154。此外，在已經選擇濾波預測的情況下，運動矢量檢測電路151將運動矢量與基層中的基準幀一起輸出到濾波預測電路155。
[0236]單向預測電路152通過與圖5中的單向預測電路61類似地執(zhí)行單向預測來產生預測圖像。單向預測電路152將所產生的預測圖像輸出到加法器電路113。雙向預測電路153通過與圖5中的雙向預測電路62類似地執(zhí)行雙向預測來產生預測圖像。雙向預測電路153將所產生的預測圖像輸出到加法器電路113。上轉換預測電路154通過與圖5中的上轉換預測電路63類似地執(zhí)行上轉換預測來產生預測圖像。上轉換預測電路154將所產生的預測圖像輸出到加法器電路113。
[0237]濾波預測電路155通過與圖5中的濾波預測電路64類似地從基層中的多個基準幀中的每一個提取運動補償圖像，并關于多個提取的運動補償圖像執(zhí)行涉及上轉換的濾波預測來產生預測圖像。濾波預測電路155將所產生的預測圖像輸出到加法器電路113。注意，濾波預測電路155具有與如圖6所示的濾波預測電路64的配置類似的配置。在下文中，將適當地通過參考如圖6所示的濾波預測電路64的配置來解釋濾波預測電路155的配置。
[0238]通過濾波預測產生的預測圖像可以是包括比通過單向預測、雙向預測或者上轉換預測產生的預測圖像更多高頻分量并具有與原始圖像小的差別的圖像。因此，濾波預測僅需要將少量代碼分配給殘差，由此使得可以增加編碼效率。此外，在濾波預測中，基準幀的分辨率比其中參考增強層中的幀的單向預測或者雙向預測的情況下的分辨率更低，造成比如在幀存儲器122中保存基準幀和從幀存儲器122讀取基準幀之類的處理的小的負荷。就是說，通過使用濾波預測，編碼設備101可以改善編碼效率同時防止編碼或者解碼的負荷增加。
[0239]此外，可以使用至少兩個基準幀執(zhí)行濾波預測。因此，使得這種編碼效率的增加是可行的而不增加處理的復雜性。例如，還可以通過增加要在幀間預測中使用的基準幀的數目以產生高精度預測圖像并通過使用該預測圖像，來減少與原始圖像的殘差并增加編碼效率。但是，在這種情況下，使用的基準幀的數目增加，且處理的復雜性增加。
[0240]注意，當選擇預測方法時，可以通過考慮用于預測所需的比如運動矢量的信息的代碼量和編碼方式，并通過將與代碼量對應的權重加到殘差信號的強度來選擇最佳預測方法。這使得可以進一步改進編碼效率。此外，對于簡化的編碼處理，可以利用在時間和空間方向上的輸入原始圖像的特征值來自適應地選擇預測方法。
[0241 ][編碼處理的流程的說明]
[0242]接下來，將解釋具有上述配置的編碼設備101的處理。
[0243]將參考圖13中的流程圖解釋由編碼設備101執(zhí)行的用于增強層的編碼處理。當從重排緩沖器112輸出比如宏塊的某個單元的圖像時開始該處理。注意，如上所述，用于基層的編碼處理類似于基于H.264要求的方法且因此省略其說明。
[0244]在步驟SlOl，加法器電路113確定從重排緩沖器112提供的圖像和由運動預測/補償電路125或者幀內預測電路126產生的預測圖像之間的差別，并輸出殘差到正交變換電路114。
[0245]在步驟S102，正交變換電路114關于從加法器電路113提供的殘差執(zhí)行正交變換，并輸出變換系數到量化電路115。
[0246]在步驟S103，量化電路115量化從正交變換電路114提供的變換系數，并輸出已量化變換系數。
[0247]在步驟S104，反量化電路119關于由量化電路115量化的變換系數執(zhí)行反量化，并輸出變換系數到逆正交變換電路120。
[0248]在步驟S105，逆正交變換電路120關于從反量化電路119提供的變換系數執(zhí)行逆正交變換，并輸出所獲得的圖像到解塊濾波器121。
[0249]在步驟S106，解塊濾波器121通過執(zhí)行濾波除去塊噪聲，并輸出已經從其除去塊噪聲的圖像到幀存儲器122。
[0250 ]在步驟S107，幀存儲器122存儲從解塊濾波器121提供的圖像。
[0251]在步驟S108，模式確定電路123執(zhí)行模式確定處理。通過該模式確定處理，確定要以哪個預測模式產生預測圖像。模式確定處理的細節(jié)將如下所述。
[0252]在步驟S109，運動預測/補償電路125或者幀內預測電路126以在步驟S108確定的模式產生預測圖像。在步驟SlOl的處理中使用該預測圖像。
[0253]在步驟S110，無損編碼電路116壓縮從量化電路115提供的變換系數，并將壓縮的變換系數輸出到存儲緩沖器117。此外，無損編碼電路116根據從模式確定電路123提供的信息，在圖像的報頭中描述標識標記或者在圖像的報頭中描述從運動預測/補償電路125提供的運動矢量。
[0254]在步驟SI11，存儲緩沖器117臨時存儲從無損編碼電路116提供的信息。
[0255]在步驟S112，控制電路31判斷是否已經關于一整個幀中的宏塊執(zhí)行了前述處理。在判斷還沒有執(zhí)行處理的情況下，關注另一宏塊，且重復地執(zhí)行從步驟SlOl開始的處理。
[0256]相對地，在步驟SI12判斷已經關于一整個幀中的宏塊執(zhí)行了處理的情況下，然后在步驟S113，存儲緩沖器117根據控制電路131的控制輸出壓縮圖像信息。關于每個幀執(zhí)行上述處理。
[0257]接下來，將參考圖14的流程圖解釋在圖13的步驟S108中執(zhí)行的模式確定處理。
[0258]在步驟S131，幀內預測電路141到濾波預測電路145中的每一個關于具有不同尺寸的塊執(zhí)行幀內預測或者幀間預測，并產生預測圖像。將所產生的預測圖像提供到預測誤差計算電路146。
[0259]在步驟S132，預測誤差計算電路146確定原始圖像和從幀內預測電路141到濾波預測電路145提供的每一預測圖像之間的差別。預測誤差計算電路146輸出殘差信號到確定電路 147。
[0260]在步驟S133，確定電路147基于從預測誤差計算電路146提供的殘差信號的強度，確定用于產生要提供到加法器電路113的預測圖像的預測方法。
[0261]在步驟S134，確定電路147輸出作為關于確定的預測方法的模式信息到無損編碼電路116。此后，處理返回到圖13中的步驟S108，并執(zhí)行后續(xù)處理。
[0262]接下來，將參考圖15中的流程圖解釋用于通過執(zhí)行濾波預測產生預測圖像的濾波預測處理的流程的示例，作為在圖13中的步驟S109執(zhí)行的用于產生預測圖像的處理的例子。[0263 ]如上所述，在圖13中的步驟S109，使用在步驟S108的模式確定處理中確定的模式產生預測圖像。因此，在步驟S108確定濾波預測模式的情況下，在步驟S109，執(zhí)行如圖15所示的濾波預測處理。
[0264]當開始濾波預測處理時，在步驟S151，運動矢量檢測電路151基于原始圖像和基準幀來檢測運動矢量。
[0265]當檢測到運動矢量時，分別以類似于圖9中的步驟S41到S50的處理的方式，使用所檢測的運動矢量執(zhí)行步驟S152到S161的處理。就是說，基于運動矢量以基層中的基準幀產生運動補償圖像，并關于運動補償圖像執(zhí)行涉及上轉換的濾波處理以產生增強層中的預測圖像。
[0266]當完成步驟S161的處理時，濾波預測處理結束。然后，處理返回到圖13中的步驟S109，且執(zhí)行步驟SllO之后的處理。
[0267]注意，在步驟S108的處理中選擇不同模式的情況下，運動預測/補償電路125或者幀內預測電路126使用所選的不同模式產生預測圖像。根據H.264/SVC標準執(zhí)行上述處理，并因此省略其說明。
[0268]如上所述，通過更有效地利用運動圖像中的信號序列中包括的時間相關性來執(zhí)行考慮空間可縮放性的編碼，因此例如使得能夠改善編碼效率同時防止比如編碼和解碼之類的處理的負荷增加。
[0269]〈3.第三實施例〉
[0270][解碼處理的概述]
[0271]圖16是解釋應用本發(fā)明的解碼處理的概述的另一示例的圖。如圖16所示，基準幀的數目可以是三個或更多。
[0272]在圖16中的示例中，關于當前幀的時間上在前的幀、進一步在前的幀和更進一步在前的幀(即，三個幀(1^抑、1?#1、1?#2))被設置為基準幀。關于當前幀的在前幀被設置為基準幀RefO，關于基準幀RefO的在前幀被設置為基準幀Refl，且關于基準幀Refl的在前幀被設置為基準幀Ref2。
[0273][濾波電路的配置]
[0274]圖17是圖示在這種參考三個幀的情況下圖6中的濾波電路的示例配置的框圖。
[0275]如圖17所示，濾波電路211包括濾波電路221和濾波電路222。濾波電路221和濾波電路222中的每一個具有如圖6所示的配置。也就是說，濾波電路211被配置以通過級聯(lián)連接用于兩輸入和一輸出設計的濾波電路72，而作為三輸入和一輸出電路工作。
[0276]注意，此時，提取電路71從三個基準幀(1^抑、1^€1、1^€2)中的每一個提取運動補償圖像。就是說，例如，提取電路71從基準幀RefO提取運動補償圖像MC0。此外，例如，提取電路71從基準幀Refl提取運動補償圖像MCI。此外，例如，提取電路71從基準幀Ref 2提取運動補償圖像MC2。
[0277]運動補償圖像MCl和MC2輸入到濾波電路221，且運動補償圖像MCO輸入到濾波電路222。
[0278]濾波電路221在圖6等中分別使用運動補償圖像MCl和MC2作為運動補償圖像MCO和MCl來執(zhí)行濾波，并將作為濾波結果的中間輸出X輸出到濾波電路222。
[0279]濾波電路221在圖6等中分別使用中間輸出X和運動補償圖像MCO作為運動補償圖像MCO和MCl來執(zhí)行濾波，并輸出濾波結果作為預測圖像。
[0280]代替濾波電路72，處理這三個基準幀的濾波電路211還可以在圖3中的解碼設備I或者圖10中的編碼設備101中提供。
[0281]注意，濾波電路221和濾波電路222可以不必具有相同配置，且可以具有不同配置。此外，還可以通過考慮在濾波之前和之后獲得的輸入/輸出特性，而使得用于濾波器的參數(例如，α，β)彼此不同。
[0282]濾波電路211可以不關于從位于一個時間方向上的基準幀提取的運動補償圖像而是關于從位于前向和后向上的三個基準幀提取的運動補償圖像執(zhí)行濾波。
[0283]注意，在關于當前幀的時間的在前和在后幀用作基準幀的情況下，比如濾波期間的抽頭系數(tap coefficient)之類的參數可以根據時間方向或者基準幀的距離而動態(tài)地改變。
[0284]壓縮圖像信息被經由包括記錄介質的各種介質(比如光盤、磁盤、和閃存、衛(wèi)星廣播、有線電視、因特網和移動電話網絡)從編碼設備101發(fā)送到解碼設備I。
[0285]注意，已經解釋了在增強層的編碼和解碼的情況下，從基層中的基準幀提取運動補償圖像。但是，可以從基層以外的任意層提取運動補償圖像。
[0286]例如，假定壓縮圖像信息形成具有第一層到第三層的三層結構，其中第一層是作為具有最低分辨率的層的基層，第二層是具有第二低的分辨率的層，且第三層是具有最高分辨率的層。在這種情況下，在第三層的濾波預測中，可以從不是基層的第二層中的基準幀提取運動補償圖像。當然，可以從作為基層的第一層中的基準幀提取運動補償圖像。
[0287]〈4.第四實施例〉
[0288][解碼處理的概述]
[0289]此外，也可以從與其中要產生預測圖像的層相同的層中的基準幀提取運動補償圖像。例如，在如上所述的三層結構的情況下，在第三層的濾波預測中，可以從第三層中的基準幀提取低分辨率的運動補償圖像。
[0290]圖18是解釋在這種情況下的解碼處理的概述的圖。
[0291]在如圖18所示的示例的情況下，基準幀RefO和基準幀RefI是與預測圖像的幀相同的增強層中的幀。在這點上，從各個基準幀提取的運動補償圖像的分辨率低于預測圖像的分辨率。
[0292]例如，與符合H.264標準的現有方法類似，與增強層中的基準幀中的處理目標宏塊對應的位置(范圍)由運動矢量指定，以特定數目抽取(dec imate)該范圍中的像素值，并提取運動補償圖像。此外，例如，與符合H.264標準的現有方法類似，與增強層中的基準幀中的處理目標宏塊對應的位置由運動矢量指定，且提取以該位置為中心并小于處理目標宏塊的大小的范圍作為運動補償圖像。當然，可以使用任何其他方法。
[0293]就是說，要提取的運動補償圖像的分辨率可以低于預測圖像的分辨率，且為此的提取方法是任意的。此外，可以從任何層提取運動補償圖像。
[0294]用這樣的方式提取的低分辨率運動補償圖像以類似于如上所述的其他情況的方式經歷包括上轉換的濾波處理，且產生具有要求的分辨率的預測圖像。
[0295]僅僅要從其產生運動補償圖像的層不同，且在這種情況下編碼設備I的配置基本上類似于在參考圖3到圖6解釋的情況中的配置。在這點上，幀存儲器19保持在增強層中的幀，且提取電路71從幀存儲器19讀取增強層中的圖像。
[0296][解碼處理的流程的解釋]
[0297]因此，也以基本上與參考圖7和圖8的流程圖解釋的情況中的方式類似的方式執(zhí)行解碼處理和無損解碼處理的流程。將參考圖19中的流程圖解釋在這種情況下由濾波預測電路64執(zhí)行的濾波預測處理的流程。該流程圖對應于圖9中的流程圖。
[0298]當開始濾波預測處理時，在步驟S341，提取電路71從增強層中的基準幀提取在低分辨率的運動補償圖像。分別以與圖9中步驟S42到S50的處理中的方式類似的方式執(zhí)行步驟S342到S350的處理，且以與圖9的情況下的方式類似的方式產生預測圖像。
[0299]當完成步驟S350的處理時，濾波預測處理結束。然后，處理返回到圖8中的步驟S28，且處理進行到步驟S29。
[0300]用這樣的方式，即使在從增強層中的幀提取運動補償圖像的情況下，解碼設備I可以通過更有效地利用運動圖像中的信號序列中包括的時間相關性來產生高分辨率和高精度的預測圖像，且可以改善編碼效率。此外，因為可以使得運動補償圖像具有比預測圖像更低的分辨率，例如，解碼設備I可以減少要從幀存儲器讀取的圖像信息量，且可以改善編碼效率同時防止比如編碼和解碼之類的處理的負荷增加。
[0301 ][編碼處理的流程的說明]
[0302]注意，與在這種情況下的解碼設備I對應的編碼設備101的配置基本上類似于在參考圖10到圖12解釋的情況下的配置。在這點上，幀存儲器122保持增強層中的幀，且模式確定處理123從幀存儲器19讀取增強層中的圖像。
[0303]即使在這種情況下，與圖11和圖12的情況類似，模式確定處理123的濾波預測電路145和運動預測/補償電路125的濾波預測電路155的配置也與如圖6所示的濾波預測電路64的配置類似。在這點上，與解碼設備I的情況類似，提取電路71從增強層中的幀提取運動補償圖像。
[0304]因此，以基本上與參考圖13和圖14中的流程圖解釋的情況下的方式類似的方式執(zhí)行編碼處理或者模式確定處理的流程。將參考圖20中的流程圖解釋在這種情況下由濾波預測電路155執(zhí)行的濾波預測處理的流程。該流程圖對應于圖15中的流程圖。
[0305]當開始濾波預測處理時，在步驟S451，與圖15中的步驟S151的情況類似，運動矢量檢測電路151檢測運動矢量。在步驟S452，提取電路71從增強層中的基準幀提取在低分辨率的運動補償圖像。分別以與圖15中的步驟S153到S161的處理類似的方式執(zhí)行步驟S453到S461的處理，且以與圖15中的方式類似的方式產生預測圖像。
[0306]當完成步驟S461的處理時，濾波預測處理結束。然后，處理返回到圖13中的步驟S109，且處理進行到步驟SI 10。
[0307]用這樣的方式，即使在從增強層中的幀提取運動補償圖像的情況下，編碼設備101可以通過更有效地利用運動圖像中的信號序列中包括的時間相關性來產生高分辨率和高精度的預測圖像，且可以改善編碼效率。此外，因為可以使得運動補償圖像具有比預測圖像更低的分辨率，例如，編碼設備101可以減少要從幀存儲器讀取的圖像信息量，且可以改善編碼效率同時防止比如編碼和解碼之類的處理的負荷增加。
[0308]也就是說，上述方法還可以應用于使用不考慮空間可縮放性的單層結構來編碼和解碼圖像信息的情況。就是說，上述方法還可以應用于以H.264/AVC標準的編碼和解碼。
[0309]注意，如上所述，當提取運動補償圖像時，可以將分辨率調節(jié)為低分辨率。因此，可以以多個層執(zhí)行運動補償圖像的提取。在這點上，濾波預測處理需要確定運動補償圖像之間的差別。因此，到此時，需要使得各個運動補償圖像的分辨率彼此匹配。
[0310]可以通過硬件或者軟件執(zhí)行如上所述的一系列處理。在這種情況下，一系列處理可以實現為例如如圖21所示的個人計算機。
[0311 ] 在圖21中，個人計算機500的CPU(中央處理單元)501根據存儲在ROM(只讀存儲器)502中的程序或者根據從存儲單元513載入RAM(隨機存取存儲器)503中的程序執(zhí)行各種處理。RAM 503還適當地存儲CPU 501執(zhí)行各種處理所需的數據等。
[0312]CPU 50KROM 502和RAM 503經由總線504彼此連接。輸入/輸出接口510還連接到總線504。
[0313]包括鍵盤、鼠標等的輸入單元511、包括比如CRT(陰極射線管)顯示器或者LCD(液晶顯示器)之類的顯示器、揚聲器等的輸出單元512、由硬盤等組成的存儲單元513和由調制解調器等組成的通信單元514連接到輸入/輸出接口 510。通信單元514經由包括因特網的網絡執(zhí)行通信處理。
[0314]驅動器515也根據需要連接到輸入/輸出接口 510，且比如磁盤、光盤、磁光盤或者半導體存儲器之類的可拆卸介質521適當地附于驅動器515。從可拆卸介質521讀取的計算機程序根據需要安裝到存儲單元513中。
[0315]在通過軟件執(zhí)行如上所述的一系列處理的情況下，從網絡或者記錄介質安裝構成軟件的程序。
[0316]如圖21所示，記錄介質不僅由例如與設備主體分開地分布以傳送程序給用戶并具有在其上記錄的程序的可拆卸介質521 (比如磁盤(包括軟盤)、光盤(包括⑶-ROM(致密盤-只讀存儲器)和DVD(數字多用途盤))、磁光盤(包括MD(微型盤))或者半導體存儲器)組成，而且可以由以預先并入設備主體的狀態(tài)分發(fā)給用戶并具有在其上記錄的程序的ROM 502、存儲單元513中包括的硬盤等組成。
[0317]注意，由計算機執(zhí)行的程序可以是其中根據在這里描述的次序以時間序列方式執(zhí)行處理的程序，或者可以是其中并行執(zhí)行處理或者在比如調用時的所需定時執(zhí)行處理的程序。
[0318]此外，如在這里使用的，描述記錄在記錄介質上的程序的步驟當然包括以在這里描述的次序以時間序列方式執(zhí)行的處理，且還包括作為不必以時間序列方式而是并行或者單獨地執(zhí)行的處理。
[0319]此外，如在這里使用的，術語系統(tǒng)是指由多個裝置(設備)構成的總體設備。
[0320]此外，上述作為單個設備(或者處理單元)的配置可以被劃分以構造多個設備(或者處理單元)。相反地，上述作為多個設備(或者處理單元)的配置可以集中以構造單個設備(或者處理單元)。此外，當然，除了如上所述的之外的配置可以加到每個設備(或者每個處理單元)的配置。此外，如果作為整個系統(tǒng)的配置或操作實質上相同，則某個設備(或者處理單元)的配置的一部分可以包括在另一設備(或者另一處理單元)的配置中。就是說，本發(fā)明的實施例不限于如上所述的實施例，且可以在不脫離本發(fā)明的精神的情況下做出各種改變。
[0321]例如，如上所述的解碼設備I或者編碼設備101可以應用于任何電子設備。在下文中將解釋其示例。
[0322]圖22是圖示使用應用本發(fā)明的解碼設備I的電視接收機的主要部分的示例配置的框圖。
[0323]如圖22所示的電視接收機1000包括地面調諧器1013、視頻解碼器1015、視頻信號處理電路1018、圖形產生電路1019、面板驅動電路1020和顯示面板1021。
[0324]地面調諧器1013經由天線接收地面模擬廣播的廣播波信號，將其解調，獲得視頻信號，并將視頻信號提供到視頻解碼器1015。視頻解碼器1015關于從地面調諧器1013提供的視頻信號執(zhí)行解碼處理，并將所獲得的數字分量信號提供到視頻信號處理電路1018。
[0325]視頻信號處理電路1018關于從視頻解碼器1015提供的視頻數據執(zhí)行比如噪聲去除的某個處理，并提供所獲得的視頻數據到圖形產生電路1019。
[0326]圖形產生電路1019產生要在顯示面板1021上顯示的節(jié)目的視頻數據、通過基于經由網絡等提供的應用程序的處理獲得的圖像數據等，并將所產生的視頻數據或者圖像數據提供到面板驅動電路1020。此外，圖形產生電路1019還適當地執(zhí)行以下處理，比如產生用于顯示由用戶使用以選擇項目等的屏幕的視頻數據(圖形)，將其重疊到節(jié)目的視頻數據上以獲得視頻數據，和將所獲得的視頻數據提供到面板驅動電路1020。
[0327]面板驅動電路1020基于從圖形產生電路1019提供的數據來驅動顯示面板1021，并使得如上所述的節(jié)目的視頻或者各種屏幕顯示在顯示面板1021上。
[0328]顯示面板1021由LCD(液晶顯示器)等形成，并使得根據面板驅動電路1020的控制來顯示節(jié)目等的視頻。
[0329]此外，電視接收機1000還包括音頻Α/D(模擬/數字)轉換器電路1014、音頻信號處理電路1022、回波抵消/音頻合成電路1023、音頻放大器電路1024和揚聲器1025。
[0330]地面調諧器1013解調所接收的廣播波信號以獲取視頻信號以及音頻信號。地面調諧器1013提供所獲取的音頻信號到音頻Α/D轉換器電路1014。
[0331]音頻Α/D轉換器電路1014關于從地面調諧器1013提供的音頻信號執(zhí)行Α/D轉換處理，并提供所獲得的數字音頻信號到音頻信號處理電路1022。
[0332]音頻信號處理電路1022關于從音頻Α/D轉換器電路1014提供的音頻數據執(zhí)行比如噪聲去除的某個處理，并提供所獲得的音頻數據到回波抵消/音頻合成電路1023。
[0333]回波抵消/音頻合成電路1023將從音頻信號處理電路1022提供的音頻數據提供到音頻放大器電路1024。
[0334]音頻放大器電路1024關于從回波抵消/音頻合成電路1023提供的音頻數據執(zhí)行D/A轉換處理和放大處理，并在從揚聲器1025輸出音頻之前將其調節(jié)到某個音量。
[0335]另外，電視接收機1000還包括數字調諧器1016和MPEG解碼器1017。
[0336]數字調諧器1016經由天線接收數字廣播(地面數字廣播、BS(廣播衛(wèi)星)/CS(通信衛(wèi)星)數字廣播)的廣播波信號，將其解調，獲取MPEG-TS(運動圖像專家組-傳輸流)，并將其提供到MPEG解碼器1017。
[0337]MPEG解碼器1017解擾從數字調諧器1016提供的MPEG-TS，并提取包括要再現(要觀看和收聽)的節(jié)目的數據的流。MPEG解碼器1017解碼形成所提取的流的音頻分組，并提供所獲得的音頻數據到音頻信號處理電路1022。并且，MPEG解碼器1017解碼形成流的視頻分組，并提供所獲得的視頻數據到視頻信號處理電路1018。此外，MPEG解碼器1017將從MPEG-TS提取的EPG(電子節(jié)目指南)數據經由在附圖中未示出的路徑提供到CPU1032。
[0338]電視接收機1000使用如上所述的解碼設備I作為以上述方式解碼視頻分組的MPEG解碼器1017。注意，已經由編碼設備101編碼從廣播站等發(fā)送的MPEG-TS。
[0339]與解碼設備I的情況類似，MPEG解碼器1017關于基層中多個基準面的圖像執(zhí)行濾波以產生增強層中當前塊的預測圖像。因此，MPEG解碼器1017可以比空間上采樣濾波器更有效地利用圖像序列中的信號分量。因此，預測圖像可以比通過利用基層中的當前幀的圖像的現有的上轉換預測產生的預測圖像具有空間上更高頻的分量，同時可以減少預測殘差。就是說，可以減少用于要在增強層中編碼的畫面的代碼量，且可以有助于編碼效率的改口 ο
[0340]此外，在該濾波預測中，不參考在時間上不同的幀的增強層中的解碼圖像。因此，可以減少編碼所需的處理量、臨時存儲器容量、從存儲器讀出的信息量等，且可以減少實現所需的成本。此外，還可以減少功耗。
[0341]與從視頻解碼器1015提供的視頻數據的情況類似，從MPEG解碼器1017提供的視頻數據經歷視頻信號處理電路1018的某個處理，且由圖形產生電路1019將所產生的視頻數據等疊加在其上。所產生的數據被經由面板驅動電路1020提供到顯示面板1021，并顯示其圖像。
[0342]與從音頻Α/D轉換器電路1014提供的音頻數據的情況類似，從MPEG解碼器1017提供的音頻數據經歷音頻信號處理電路1022的確定處理，被經由回波抵消/音頻合成電路1023提供到音頻放大器電路1024，并經歷D/Α轉換處理或者放大處理。因此，從揚聲器1025輸出其音量已經調節(jié)到某個值的音頻。
[0343]此外，電視接收機1000還包括麥克風1026和Α/D轉換器電路1027。
[0344]Α/D轉換器電路1027接收由在電視接收機1000中提供的麥克風1026捕捉到的、用于音頻會話的用戶的音頻的信號，關于接收的音頻信號執(zhí)行Α/D轉換處理，并將獲得的數字音頻數據提供給回波抵消/音頻合成電路1023。
[0345]在已經從Α/D轉換器電路1027提供電視接收機1000的用戶(用戶A)的音頻數據的情況下，回波抵消/音頻合成電路1023關于用戶A的音頻數據執(zhí)行回波抵消，并使得例如通過與其他音頻數據組合而獲得的音頻的數據經由音頻放大器電路1024從揚聲器1025輸出。
[0346]另外，電視接收機1000還包括音頻編解碼器1028、內部總線1029、SDRAM(同步動態(tài)隨機存取存儲器)1030、閃存1031、CPU 1032、USB(通用串行總線)I/F 1033和網絡I/F1034。
[0347]Α/D轉換器電路1027接收由在電視接收機1000中提供的麥克風1026捕捉的、用于音頻回話的用戶的音頻的信號，關于接收的音頻信號執(zhí)行Α/D轉換處理，并將獲得的數字音頻數據提供給音頻編解碼器1028。
[0348]音頻編解碼器1028將從Α/D轉換器電路1027提供的音頻數據轉換為用于通過網絡發(fā)送的某個格式的數據，并經由內部總線1029將其提供到網絡I/F 1034。
[0349]網絡I/F1034經由附于網路端子1035的線纜連接到網絡。網絡I/F 1034發(fā)送從音頻編解碼器1028提供的音頻數據到例如連接到網絡的另一設備。此外，例如，網絡I/F 1034接收從經由網絡端子1035在網絡上連接的另一設備發(fā)送的音頻數據，并將其經由內部總線1029提供到音頻編解碼器1028。
[0350]音頻編解碼器1028將從網絡I/F1034提供的音頻數據轉換為某個格式的數據，并將其提供到回波抵消/音頻合成電路1023。
[0351]回波抵消/音頻合成電路1023關于從音頻編解碼器1028提供的音頻數據執(zhí)行回波抵消，并使得通過例如與其他音頻數據結合而獲得的音頻的數據經由音頻放大器電路1024從揚聲器1025輸出。
[0352]SDRAM 1030存儲CPU 1032執(zhí)行處理所需的各種數據。
[0353]閃存1031存儲由CPU 1032執(zhí)行的程序。存儲在閃存1031中的程序由CPU 1032在比如啟動電視接收機1000時的某個定時讀取。閃存1031還存儲經由數字廣播獲取的EPG數據、經由網絡從某個服務器獲取的數據等。
[0354]例如，閃存1031在CPU1032的控制下存儲包括從在網絡上的某個服務器獲取的內容數據的MPEG-TS。閃存1031通過例如CPU 1032的控制經由內部總線1029將MPEG-TS提供到MPEG解碼器1017。
[0355 ] MPEG解碼器1017以與從數字調諧器1016提供的MPEG-TS的情況下的方式類似的方式處理MPEG-TS ο用這樣的方式，電視接收機1000可以接收由在網絡上的視頻、音頻等構成的內容數據，使用MPEG解碼器1017解碼內容數據，顯示內容數據的視頻，并輸出音頻。
[0356]此外，電視接收機1000還包括接收從遙控器1051發(fā)送的紅外信號的光的光接收單元 1037。
[0357]光接收單元1037從遙控器1051接收紅外光，并將指示通過解調獲得的用戶操作的內容的控制代碼輸出到CPU 1032。
[0358]CPU 1032執(zhí)行存儲在閃存1031中的程序，并根據從光接收單元1037等提供的控制代碼控制電視接收機1000的總體操作。CPU 1 32經由在附圖中未示出的路徑連接到電視接收機1000的每個單元。
[0359]USB I/F 1033發(fā)送數據到經由附加到USB端子1036的USB線纜連接的電視接收機1000的外部設備，并從其接收數據。網絡I/F 1034經由附加到網絡端子1035的線纜連接到網絡，且還將除了音頻數據之外的數據發(fā)送到連接到網絡的各種設備，并從其接收數據。
[0360]通過使用解碼設備I作為MPEG解碼器1017，電視接收機1000能夠在關于形成流的視頻分組的解碼期間獲得高分辨率解碼圖像而不增加負荷。就是說，電視接收機1000可以改進編碼效率同時防止負荷增加。
[0361 ]圖23是圖不使用應用本發(fā)明的解碼設備I和編碼設備101的移動電話的主要部分的示例配置的框圖。
[0362]如圖23所示的移動電話1100包括被配置以總體地控制各個單元的主控制單元1150、電源電路單元1151、操作輸入控制單元1152、圖像編碼器1153、相機I/F單元1154、IXD控制單元1155、圖像解碼器1156、復用/解復用單元1157、記錄/再現單元1162、調制/解調電路單元1158和音頻編解碼器1159。它們經由總線1160互連。
[0363]此外，移動電話1100包括操作按鍵1119、CXD (電荷耦合器件)相機1116、液晶顯示器1118、存儲單元1123、發(fā)送/接收電路單元1163、天線1114、麥克風(mic) 1121和揚聲器1117。
[0364]當呼叫結束且通過用戶操作接通電源按鍵時，電源電路單元1151從電池組提供電能到每個單元，由此啟動移動電話1100從而能夠操作。
[0365]移動電話1100基于由CPU、R0M、RAM等構成的主控制單元1150的控制，以比如音頻呼叫模式和數據通信模式之類的各種模式執(zhí)行各種操作，比如發(fā)送和接收音頻信號、發(fā)送和接收電子郵件和圖像數據、捕捉圖像和記錄數據。
[0366]例如，在音頻呼叫模式中，移動電話1100使用音頻編解碼器1159將由麥克風(mic)1121收集的音頻信號轉換為數字音頻數據，使用調制/解調電路單元1158關于數字音頻數據執(zhí)行擴頻處理，并使用發(fā)送/接收電路單元1163執(zhí)行數字模擬轉換處理和頻率轉換處理。移動電話1100將通過轉換處理獲得的傳輸信號經由天線1114發(fā)送到在附圖中未示出的基站。被發(fā)送到基站的傳輸信號(音頻信號)被經由公共電話線路網提供到在呼叫的另一端的移動電話。
[0367]此外，例如，在音頻呼叫模式中，移動電話1100使用發(fā)送/接收電路單元1163放大已經由天線1114接收的接收信號，進一步執(zhí)行頻率轉換處理和模擬數字轉換處理，使用調制/解調電路單元1158執(zhí)行逆擴頻處理，并使用音頻編解碼器1159將產生的信號轉換為模擬音頻信號。移動電話1100從揚聲器1117輸出通過轉換獲得的模擬音頻信號。
[0368]此外，例如，在以數據通信模式發(fā)送電子郵件的情況下，移動電話1100使用操作輸入控制單元1152接受通過操作操作按鍵1119輸入的電子郵件的文本數據。移動電話1100使用主控制單元1150處理文本數據，并經由LCD控制單元1155使得產生的數據作為圖像顯示在液晶顯示器1118上。
[0369]此外，移動電話1100基于用戶指令等使用主控制單元1150產生基于由操作輸入控制單元1152接受的文本數據的電子郵件數據。移動電話1100使用調制/解調電路單元1158關于電子郵件數據執(zhí)行擴頻處理，并使用發(fā)送/接收電路單元1163執(zhí)行數字模擬轉換處理和頻率轉換處理。移動電話1100將通過轉換處理獲得的傳輸信號經由天線1114發(fā)送到在附圖中未示出的基站。發(fā)送到基站的傳輸信號(電子郵件)被經由網絡、郵件服務器等提供到某個目的地。
[0370]此外，例如，在以數據通信模式接收電子郵件的情況下，移動電話1100使用發(fā)送/接收電路單元1163接收經由天線1114從基站發(fā)送的信號，將其放大，并進一步執(zhí)行頻率轉換處理和模擬數字轉換處理。移動電話1100使用調制/解調電路單元1158關于接收的信號執(zhí)行逆擴頻處理以恢復初始的電子郵件數據。移動電話1100經由LCD控制單元1155在液晶顯示器1118上顯示恢復的電子郵件數據。
[0371]注意，移動電話1100還能夠經由記錄/再現單元1162在存儲單元1123上記錄(存儲)接收的電子郵件數據。
[0372]存儲單元1123是任何可重寫存儲介質。例如，存儲單元1123可以是比如RAM或者內置閃存的半導體存儲器，或者可以是硬盤，或者比如磁盤、磁光盤、光盤、USB存儲器或者存儲卡之類的可拆卸介質。當然，可以使用任何其他類型的介質。
[0373]另外，例如，在以數據通信模式發(fā)送圖像數據的情況下，移動電話1100使用CCD相機1116通過捕捉圖像產生圖像數據。CXD相機1116包括比如鏡頭和光圈的光學器件和用作光電轉換元件的CCD，捕捉對象的圖像，將接收的光的強度轉換為電信號，并產生對象的圖像的圖像數據。CXD相機1116經由相機I/F單元1154使用圖像編碼器1153編碼圖像數據，并將圖像數據轉換為編碼圖像數據。
[0374]移動電話1100使用如上所述的編碼設備101作為執(zhí)行上述處理的圖像編碼器1153。與編碼設備101的情況類似地，圖像編碼器1153使用用于產生預測圖像的濾波預測。通過此，可以獲得包括比通過單向預測、雙向預測或者上轉換預測產生的預測圖像更多高頻分量并具有與原始圖像小的差別的預測圖像。因此，可以需要僅將少量代碼分配給殘差，且可以增加編碼效率。因為基準幀的分辨率低于在其中參考增強層中的幀的單向預測或者雙向預測的情況下的分辨率，所以比如在幀存儲器122中保存基準幀和從幀存儲器122讀取基準幀之類的處理的負荷很小。此外，可以使用至少兩個基準幀執(zhí)行濾波預測。因此，使得這種編碼效率的增加是可行的而不增加處理的復雜性。
[0375]注意，此時，移動電話1100在使用CCD相機1116的圖像捕捉期間使用音頻編解碼器1159同時關于由麥克風(mic)1121收集的音頻執(zhí)行模擬數字轉換，并進一步將其編碼。
[0376]移動電話1100使用確定方案，使用復用/解復用單元1157復用從圖像編碼器1153提供的已編碼圖像數據和從音頻編解碼器1159提供的數字音頻數據。移動電話1100使用調制/解調電路單元1158關于因此獲得的復用的數據執(zhí)行擴頻處理，并使用發(fā)送/接收電路單元1163執(zhí)行數字模擬轉換處理和頻率轉換處理。移動電話1100將通過轉換處理獲得的傳輸信號經由天線1114發(fā)送到在附圖中未示出的基站。發(fā)送到基站的傳輸信號(圖像數據)被經由網絡等提供到通信的另一端。
[0377]注意，在不發(fā)送圖像數據的情況下，移動電話1100也可以使得使用CXD相機1116產生的圖像數據經由LCD控制單元1155顯示在液晶顯示器1118上而沒有圖像編碼器1153的介入。
[0378]此外，例如，在要以數據通信模式接收具有到簡化的主頁等的鏈接的運動圖像文件的數據的情況下，移動電話1100經由天線1114使用發(fā)送/接收電路單元1163接收從基站發(fā)送的信號，將其放大，并進一步執(zhí)行頻率轉換處理和模擬數字轉換處理。移動電話1100使用調制/解調電路單元1158關于接收的信號執(zhí)行逆擴頻處理以恢復初始的復用數據。移動電話1100使用復用/解復用單元1157解復用該復用的數據以將其分離為已編碼圖像數據和音頻數據。
[0379]移動電話1100使用圖像解碼器1156解碼已編碼圖像數據以產生再現運動圖像數據，并經由LCD控制單元1155在液晶顯示器1118上顯示再現運動圖像數據。例如，這允許包括在鏈接到簡化的主頁的運動圖像文件中的運動圖像數據顯示在液晶顯示器1118上。
[0380]移動電話1100使用如上所述的解碼設備I作為執(zhí)行上述處理的圖像解碼器1156。就是說，與解碼設備I的情況類似，圖像解碼器1156關于基層中多個基準面的圖像執(zhí)行濾波以產生增強層中當前塊的預測圖像。因此，圖像解碼器1156可以比空間上采樣濾波器更有效地利用圖像序列中的信號分量。因此，預測圖像可以比通過利用基層中的當前幀的圖像的現有的上轉換預測產生的預測圖像具有空間上更高頻的分量，同時可以減少預測殘差。就是說，可以減少用于要在增強層中編碼的畫面的代碼量，且可以有助于編碼效率的改善。
[0381]此外，在該濾波預測中，不參考在時間上不同的幀的增強層中的解碼圖像。因此，可以減少編碼所需的處理量、臨時存儲器容量、從存儲器讀出的信息量等，且可以減少實現所需的成本。此外，還可以減少功耗。
[0382]此時，移動電話1100同時使用音頻編解碼器1159將數字音頻數據轉換為模擬音頻信號，并使得其從揚聲器1117輸出。例如，這允許再現包括在鏈接到簡化的主頁的運動圖像文件中的音頻數據。
[0383]注意，與電子郵件的情況類似，移動電話1100也能夠使得鏈接到簡化的主頁等的接收的數據經由記錄/再現單元1162記錄在(存儲在)存儲單元1123上。
[0384]此外，移動電話1100還可以使用主控制單元1150分析由CCD相機1116通過捕捉其圖像而獲得的二維碼，并獲取二維碼中記錄的信息。
[0385]此外，移動電話1100可以使用紅外通信單元1181經由紅外光與外部設備通信。
[0386]移動電話1100使用編碼設備101作為圖像編碼器1153。因此，例如，通過更有效地利用運動圖像中的信號序列中包括的時間相關性，實現當編碼并發(fā)送由CCD相機1116產生圖像數據時考慮空間可縮放性的編碼。由此，例如，可以改進編碼效率同時防止比如編碼和解碼之類的處理負荷的增加。
[0387]此外，移動電話1100使用解碼設備I作為圖像解碼器1156，因此使得可以獲得高清晰度的解碼圖像而不增加例如當接收鏈接到簡化主頁等的運動圖像文件的數據(編碼數據)時的解碼期間的處理負荷。就是說，移動電話1100可以改善編碼效率同時防止負荷增加。
[0388]注意，雖然已經解釋了移動電話1100使用CCD相機1116。但是，移動電話1100可以使用采用CMOS(互補金屬氧化物半導體)的圖像傳感器(CMOS圖像傳感器)代替CCD相機1116。同樣在這種情況下，與使用CCD相機1116的情況類似，移動電話1100可以捕捉對象的圖像并產生對象的圖像的圖像數據。
[0389]此外，雖然已經在移動電話1100的情況下給出了上述說明，但是與移動電話1100的情況類似，解碼設備I和編碼設備101可以應用于例如具有與移動電話1100的功能類似的圖像捕捉功能或者通信功能的任何設備，比如PDA(個人數字助理)、智能電話、UMPCX超移動個人計算機)、網絡本或者筆記本式個人計算機。
[0390]圖24是圖示使用應用本發(fā)明的解碼設備I和編碼設備101的硬盤記錄器的主要部分的示例配置的框圖。
[0391]如圖24所示的硬盤記錄器(HDD記錄器)1200是在其內置硬盤中保存包括在從衛(wèi)星、地面天線等發(fā)送的、已經由調諧器接收的廣播波信號(電視信號)中的廣播節(jié)目的音頻數據和視頻數據，并在根據用戶指令的定時向用戶提供保存的數據的設備。
[0392]硬盤記錄器1200例如可以從廣播波信號提取音頻數據和視頻數據，適當地解碼它們，并將其存儲在內置硬盤中。此外，硬盤記錄器1200還可以例如經由網絡從另一設備獲取音頻數據或者視頻數據，適當地將其解碼，并將解碼的數據存儲在內置硬盤中。
[0393]另外，硬盤記錄器1200可以解碼例如記錄在內置硬盤上的音頻數據和視頻數據，將其提供到監(jiān)視器1260，在監(jiān)視器1260的屏幕上顯示其圖像，并從監(jiān)視器1260的揚聲器輸出其音頻。此外，硬盤記錄器1200還可以例如解碼從經由調諧器獲取的廣播波信號提取的音頻數據和視頻數據，或者經由網絡從另一設備獲取的音頻數據和視頻數據，將其提供到監(jiān)視器1260，在監(jiān)視器1260的屏幕上顯示其圖像，并從監(jiān)視器1260的揚聲器輸出其音頻。
[0394]當然，其他操作也是可能的。
[0395]如圖24所示，硬盤記錄器1200包括接收單元1221、解調單元1222、解復用器1223、音頻解碼器1224、視頻解碼器1225和記錄器控制單元1226。硬盤記錄器1200另外包括EPG數據存儲器1227、程序存儲器1228、工作存儲器1229、顯示轉換器1230、0SD(在屏顯示)控制單元1231、顯示控制單元1232、記錄/再現單元1233、D/A轉換器1234和通信單元1235。
[0396]此外，顯示轉換器1230包括視頻編碼器1241。記錄/再現單元1233包括編碼器1251和解碼器1252。
[0397]接收單元1221從遙控器(未示出)接收紅外信號，將其轉換為電信號，并輸出到記錄器控制單元1226。記錄器控制單元1226由例如微處理器等組成，并根據存儲在程序存儲器1228中的程序執(zhí)行各種處理。此時，記錄器控制單元1226根據需要使用工作存儲器1229。
[0398]通信單元1235連接到網絡，并經由網絡與另一設備執(zhí)行通信處理。例如，通信單元1235由記錄器控制單元1226控制以與調諧器(未示出)通信并主要輸出信道選擇控制信號到調諧器。
[0399]解調單元1222解調從調諧器提供的信號，并將其輸出到解復用器1223。解復用器1223將從解調單元1222提供的數據解復用為音頻數據、視頻數據和EPG數據，并將其分別輸出到音頻解碼器1224、視頻解碼器1225和記錄器控制單元1226。
[0400]音頻解碼器1224解碼輸入音頻數據并輸出已解碼的音頻數據到記錄/再現單元1233。視頻解碼器1225解碼輸入視頻數據并將已解碼的視頻數據輸出到顯示轉換器1230。記錄器控制單元1226提供輸入EPG數據到EPG數據存儲器1227以存儲EPG數據。
[0401]顯示轉換器1230使用視頻編碼器1241將從視頻解碼器1225或者記錄器控制單元1226提供的視頻數據編碼為例如NTSC(國家電視制式委員會)方案的視頻數據，并將其輸出到記錄/再現單元1233。此外，顯示轉換器1230將從視頻解碼器1225或者記錄器控制單元1226提供的視頻數據的屏幕大小轉換為與監(jiān)視器1260的大小對應的大小，使用視頻編碼器1241將視頻數據轉換為NTSC方案的視頻數據，將其轉換為模擬信號，并將其輸出到顯示控制單元1232。
[0402]在記錄器控制單元1226的控制下，顯示控制單元1232將從OSD(在屏顯示)控制單元1231輸出的OSD信號疊加到從顯示轉換器1230輸入的視頻信號上，并將其輸出到監(jiān)視器1260的顯示器以顯示它。
[0403]從音頻解碼器1224輸出的音頻數據已經由D/Α轉換器1234轉換為模擬信號，其也被提供到監(jiān)視器1260。監(jiān)視器1260從其內置的揚聲器輸出音頻信號。
[0404]記錄/再現單元1233包括硬盤作為在其上記錄視頻數據、音頻數據等的存儲介質。
[0405]記錄/再現單元1233使用編碼器1251編碼例如從音頻解碼器1224提供的音頻數據。此外，記錄/再現單元1233使用編碼器1251編碼從顯示轉換器1230的視頻編碼器1241提供的視頻數據。記錄/再現單元1233使用復用器組合音頻數據的編碼數據和視頻數據的編碼數據。記錄/再現單元1233關于產生的合成數據執(zhí)行信道編碼，將其放大，并經由記錄磁頭將數據寫到硬盤。
[0406]記錄/再現單元1233經由再現磁頭再現記錄在硬盤上的數據，將其放大，并使用解復用器將其分離為音頻數據和視頻數據。記錄/再現單元1233使用解碼器1252解碼音頻數據和視頻數據。記錄/再現單元1233關于解碼的音頻數據執(zhí)行D/Α轉換，并將其輸出到監(jiān)視器1260的揚聲器。此外，記錄/再現單元1233關于解碼的視頻數據執(zhí)行D/Α轉換，并將其輸出到監(jiān)視器1260的顯示器。
[0407]記錄器控制單元1226基于由經由接收單元1221接收的來自遙控器的紅外信號指示的用戶指令，從EPG數據存儲器1227讀取最新的EPG數據，并提供EPG數據到OSD控制單元
1231。OSD控制單元1231產生與輸入EPG數據對應的圖像數據，并將其輸出到顯示控制單元1232。顯示控制單元1232將從OSD控制單元1231輸入的視頻數據輸出到監(jiān)視器1260的顯示器以顯示它。這允許在監(jiān)視器1260的顯示器上顯示EPG(電子節(jié)目指南)。
[0408]此外，硬盤記錄器1200還可以經由比如因特網的網絡獲取從另一設備提供的各種數據，比如視頻數據、音頻數據和EPG數據。
[0409]通信單元1235由記錄器控制單元1226控制以獲取經由網絡從另一設備發(fā)送的比如視頻數據、音頻數據和EPG數據之類的編碼數據，并將其提供到記錄器控制單元1226。記錄器控制單元1226例如將獲取的視頻數據和音頻數據的編碼數據提供到記錄/再現單元1233以在硬盤中進行存儲。此時，記錄器控制單元1226和記錄/再現單元1233可以根據需要執(zhí)行比如重編碼的處理。
[0410]此外，記錄器控制單元1226解碼獲取的視頻數據和音頻數據的編碼數據，并提供獲得的視頻數據到顯示轉換器1230。顯示轉換器1230以與從視頻解碼器1225提供的視頻數據的方式類似的方式處理從記錄器控制單元1226提供的視頻數據，并將產生的視頻數據經由顯示控制單元1232提供到監(jiān)視器1260以顯示其圖像。
[0411]此外，與圖像的顯示一起，記錄器控制單元1226可以經由D/Α轉換器1234將解碼的音頻數據提供到監(jiān)視器1260并從揚聲器輸出其音頻。
[0412]另外，記錄器控制單元1226解碼獲取的EPG數據的編碼數據，并提供解碼的EPG數據到EPG數據存儲器1227。
[0413]如上的硬盤記錄器1200使用解碼設備I作為視頻解碼器1225、解碼器1252和記錄器控制單元1226的內置解碼器中的每一個。就是說，與解碼設備I的情況類似，視頻解碼器1225、解碼器1252和記錄器控制單元1226的內置解碼器關于基層中多個基準面的圖像執(zhí)行濾波，以產生增強層中當前塊的預測圖像。
[0414]因此，視頻解碼器1225、解碼器1252和記錄器控制單元1226內置解碼器可以比空間上采樣濾波器更有效地利用圖像序列中的信號分量。因此，預測圖像可以比通過利用基層中的當前幀的圖像的現有的上轉換預測產生的預測圖像具有空間上更高頻的分量，同時可以減少預測殘差。就是說，可以減少用于要在增強層中編碼的畫面的代碼量，且可以有助于編碼效率的改善。
[0415]此外，在該濾波預測中，不參考在時間上不同的幀的增強層中的解碼圖像。因此，可以減少編碼所需的處理量、臨時存儲器容量、從存儲器讀出的信息量等，且可以減少實現所需的成本。此外，還可以減少功耗。
[0416]因此，硬盤記錄器1200可以獲得高清晰度的解碼圖像而不增加當例如調諧器或者通信單元1235接收視頻數據(編碼數據)時或者當記錄/再現單元1233從硬盤再現視頻數據(編碼數據)時的解碼期間的處理負荷。就是說，硬盤記錄器1200可以改進編碼效率同時防止負荷增加。
[0417]此外，硬盤記錄器1200使用編碼設備101作為編碼器1251。因此，與編碼設備101的情況類似，編碼器1251獲得比通過雙向預測或者上轉換預測產生的預測圖像包括更多高頻分量且具有與原始圖像小的差別的預測圖像。因此，可以減少要分配給殘差的僅少量代碼，且可以增加編碼效率。因為基準幀的分辨率低于在其中參考增強層中的幀的單向預測或者雙向預測的情況下的分辨率，所以比如在幀存儲器122中保存基準幀和從幀存儲器122讀取基準幀之類的處理的負荷很小。此外，可以使用至少兩個基準幀執(zhí)行濾波預測。因此，使得這種編碼效率的增加是可行的而不增加處理的復雜性。
[0418]因此，硬盤記錄器1200通過更有效地利用運動圖像中信號序列中包括的時間相關性，來執(zhí)行當例如編碼數據記錄在硬盤上時考慮空間可縮放性的編碼，且因此例如可以改進編碼效率同時防止比如編碼和解碼之類的處理的負荷增加。
[0419]注意，雖然已經解釋了在硬盤上記錄視頻數據和音頻數據的硬盤記錄器1200，但是當然可以使用任何類型的記錄介質。例如，即使使用除了硬盤之外的記錄介質(比如閃存、光盤或者錄像帶)的記錄器也可以以與如上所述硬盤記錄器1200的情況下的方式類似的方式使用解碼設備I和編碼設備101。
[0420]圖25是圖不使用應用本發(fā)明的解碼設備I和編碼設備101的相機的主要部分的不例配置的框圖。
[0421]如圖25所示的相機1300捕捉對象的圖像，并使得對象的圖像顯示在LCD1316上，或者將其作為圖像數據記錄在記錄介質1333上。
[0422]鏡頭塊1311使得光(也就是說，對象的視頻)入射在CCD/CM0S 1312上。CCD/CM0S1312是使用CCD或者CMOS，將接收的光的強度轉換為電信號，并將其提供到相機信號處理單元1313的圖像傳感器。
[0423]相機信號處理單元1313將從(XD/CM0S1312提供的電信號轉換為Y、Cr和Cb色差信號，并將其提供到圖像信號處理單元1314。在控制器1321的控制下，圖像信號處理單元1314關于從相機信號處理單元1313提供的圖像信號執(zhí)行某個圖像處理，或者使用編碼器1341編碼圖像信號。圖像信號處理單元1314將通過編碼圖像信號產生的編碼數據提供到解碼器1315。另外，圖像信號處理單元1314獲取通過在屏顯示(0SDH320產生的顯示數據，并將其提供到解碼器1315。
[0424]在上述處理中，相機信號處理單元1313利用經由總線1317連接的DRAM(動態(tài)隨機存取存儲器)1318，并根據需要使得圖像數據、通過編碼圖像數據獲得的編碼數據等保持在DRAM 1318 中。
[0425]解碼器1315解碼從圖像信號處理單元1314提供的編碼數據，并提供獲得的圖像數據(解碼圖像數據)到IXD 1316。此外，解碼器1315將從圖像信號處理單元1314提供的顯示數據提供到LCD Uiet3IXD 1316適當地組合從解碼器1315提供的解碼的圖像數據的圖像和顯示數據的圖像，并顯示產生的合成圖像。
[0426]在控制器1321的控制下，在屏顯示1320將比如由符號、字符或者圖形形成的菜單屏幕和圖標之類的顯示數據經由總線1317輸出到圖像信號處理單元1314。
[0427]控制器1321基于指示由用戶使用操作單元1322發(fā)布的命令的內容的信號執(zhí)行各種處理，且還經由總線1317控制圖像信號處理單元1314、DRAM 1318、外部接口 1319、在屏顯示1320、介質驅動器1323等。閃速ROM 1324存儲控制器1321執(zhí)行各種處理所需的程序、數據等。
[0428]例如，控制器1321可以代表圖像信號處理單元1314或者解碼器1315編碼存儲在DRAM 1318中的圖像數據或者解碼存儲在DRAM 1318中的編碼數據。此時，控制器1321可以使用與圖像信號處理單元1314或者解碼器1315的編碼或者解碼方案類似的方案執(zhí)行編碼或者解碼處理，或者可以使用圖像信號處理單元1314或者解碼器1315不支持的方案來執(zhí)行編碼或者解碼處理。
[0429]此外，例如，在已經從操作單元1322發(fā)布用于開始打印圖像的指令的情況下，控制器1321從DRAM 1318讀取圖像數據，并將其提供到經由總線1317連接到外部接口 1319的打印機1334以打印它。
[0430]另外，例如，在已經從操作單元1322發(fā)布了用于記錄圖像的指令的情況下，控制器1321從DRAM 1318讀取編碼數據，并經由總線1317將其提供到附于介質驅動器1323的記錄介質1333以存儲它。
[0431]例如，記錄介質1333是比如磁盤、磁光盤、光盤或者半導體存儲器之類的任何可讀和可重寫可拆卸介質。當然，記錄介質1333也可以是任何類型的可拆卸介質，且可以是磁帶裝置、盤、或存儲卡。當然，也可以使用無接觸IC卡等。
[0432]此外，例如，介質驅動器1323和記錄介質1333也可以整體地形成為非便攜式存儲介質，比如內置硬盤驅動器或者SSD(固態(tài)驅動器)。
[0433]例如，外部接口丨319由USB輸入輸出端子等組成，且在要打印圖像的情況下連接到打印機1334。此外，驅動器1331根據需要連接到外部接口 1319，且適當地附加比如磁盤、光盤或者磁光盤之類的可拆卸介質1332，以使得根據需要將從其讀取的計算機程序安裝到閃速ROM 1324中。
[0434]另外，外部接口1319包括連接到比如LAN或者因特網的某個網絡的網絡接口?？刂破?321可以根據例如來自操作單元1322的指令從DRAM 1318讀取編碼數據，并將其從外部接口 1319提供到經由網絡連接的另一設備。此外，控制器1321可以經由外部接口 1319獲取經由網絡從另一設備提供的編碼數據或者圖像數據，并將其保持在DRAM 1318中或者將其提供到圖像信號處理單元1314。
[0435]如上的相機1300使用解碼設備I作為解碼器1315。就是說，與解碼設備I的情況類似，解碼器1315關于基層中多個基準面的圖像執(zhí)行濾波以產生增強層中當前塊的預測圖像。因此，解碼器1315可以比空間上采樣濾波器更有效地利用圖像序列中的信號分量。因此，預測圖像可以比通過利用基層中的當前幀的圖像的現有的上轉換預測產生的預測圖像具有空間上更高頻的分量，同時可以減少預測殘差。就是說，可以減少用于要在增強層中編碼的畫面的代碼量，且可以有助于編碼效率的改善。
[0436]因此，相機1300可以改進編碼效率同時防止例如當從DRAM 1318或者記錄介質1333讀取視頻數據的編碼數據時，或者當經由網絡獲取視頻數據的編碼數據時由CCD/CM0S1312產生的圖像數據的負荷增加。
[0437]此外，相機1300使用編碼設備101作為編碼器1341。與編碼設備101的情況類似，編碼器1341可以獲得比通過雙向預測或者上轉換預測產生的預測圖像包括更多高頻分量且具有與原始圖像小的差別的預測圖像。因此，可以減少要分配給殘差的僅少量代碼，且可以增加編碼效率。因為基準幀的分辨率低于在其中參考增強層中的幀的單向預測或者雙向預測的情況下的分辨率，所以比如在幀存儲器122中保存基準幀和從幀存儲器122讀取基準幀之類的處理的負荷很小。此外，可以使用至少兩個基準幀執(zhí)行濾波預測。因此，使得這種編碼效率的增加是可行的而不增加處理的復雜性。
[0438]因此，相機1300通過更有效地利用運動圖像中的信號序列中包括的時間相關性，執(zhí)行例如當編碼數據記錄在DRAM 1318或者記錄介質1333上時，或者當編碼數據提供到另一設備時考慮空間可縮放性的編碼，且因此例如可以改進編碼效率同時防止比如編碼和解碼之類的處理的負荷增加。
[0439]注意，解碼設備I的解碼方法可以應用于由控制器1321執(zhí)行的解碼處理。類似地，編碼設備101的編碼方法可以應用于由控制器1321執(zhí)行的編碼處理。
[0440]此外，由相機1300捕捉的圖像數據可以是運動圖像或者靜止圖像的圖像數據。
[0441]當然，解碼設備I和編碼設備101還可以應用于除了如上所述的設備之外的設備或者系統(tǒng)。
[0442]此外，宏塊的尺寸是任意的。例如，本發(fā)明可以應用于如圖26所示的具有任何尺寸的宏塊。例如，本發(fā)明不僅可以應用于16X16像素的普通宏塊，而且可以應用于比如32X32像素的宏塊的擴展的宏塊(擴展宏塊)。
[0443]在圖26中，在上部，從左側開始依次圖示由32X 32像素、32 X 16像素、16 X 32像素和16 X 16像素的塊(分區(qū))劃分的由32 X 32像素構成的宏塊。此外，在中部，從左側依次圖示由16 X 16像素、16 X 8像素、8 X 16像素和8 X 8像素的塊劃分的由16 X 16像素構成的塊。此外，在下部，從左側依次圖示由8 X 8像素、8 X 4像素、4 X 8像素和4 X 4像素的塊劃分的由8 X8像素構成的塊。
[0444]也就是說，32X 32像素的宏塊可以由上部中圖示的32 X 32像素、32 X 16像素、16 X32像素和16 X 16像素的塊處理。
[0445]與H.264/AVC方案類似，在上部的右側圖示的16 X 16像素的塊可以由在中部圖示的16 X 16像素、16 X 8像素、8 X 16像素和8 X 8像素的塊處理。
[0446]與H.264/AVC方案類似，在中部的右側圖示的8 X 8像素的塊可以由在下部圖示的8X 8像素、8 X 4像素、4 X 8像素和4 X 4像素的塊處理。
[0447]上述塊可以分類為以下三個分級層。也就是說，圖26中上部圖示的32X32像素，32X 16像素和16 X 32像素的塊被稱為的第一分級層中的塊。上部的右側圖示的16 X 16像素的塊和中部圖示的16 X 16像素、16 X 8像素和8 X 16像素的塊被稱為第二分級層中的塊。中部的右側圖示的8X8像素的塊以及下部圖示的8X8像素、8X4像素、4X8像素和4X4像素的塊被稱為第三分級層中的塊。
[0448]通過采用上述分級層結構，關于等于或者低于16X16像素的塊的塊，更大的塊可以被定義為其超集同時保持與H.264/AVC方案的兼容性。
[0449]例如，解碼設備I和編碼設備101可以被配置以產生每個分級層的預測圖像。此外，例如，解碼設備I和編碼設備101可以被配置以對于第二分級層，也利用在具有比第二分級層更大的塊大小的第一分級層中產生的預測圖像。
[0450]要對于其使用相對大的塊大小執(zhí)行編碼的宏塊(比如第一分級層和第二分級層)不包括相對高頻的分量。相反，要對于其使用相對小的塊大小執(zhí)行編碼的宏塊(比如第三分級層)被認為包括相對高頻的分量。
[0451]由此，根據具有不同塊大小的各個分級層分別產生預測圖像，由此使得適于圖像的局部特性的編碼性能的改善是可以的。
[0452]附圖標記列表
[0453]I解碼設備、12無損解碼電路、15加法器電路、19幀存儲器、21運動預測/補償電路、41預測判定電路、51預測選擇電路、64濾波預測電路、71提取電路、72濾波電路、81差別計算電路、82上轉換電路、83低通濾波器電路、84增益調節(jié)電路、85高通濾波器電路、86增益調節(jié)電路、87加法器電路、88上轉換電路、89加法器電路、101編碼設備、112重排緩沖器、123模式確定電路、125運動預測/補償電路、126幀內預測電路、145濾波預測電路、155濾波預測電路、211濾波電路。
【主權項】
1.一種圖像解碼設備，包括: 提取裝置，用于使用解碼圖像形成的幀作為基準幀并使用已經編碼的圖像中的運動矢量來執(zhí)行運動補償，并用于從與預測圖像對應的基準幀提取具有比所述預測圖像更低頻率的運動補償圖像； 預測圖像產生裝置，用于通過利用第一運動補償圖像和第二運動補償圖像中包括的時間方向上的相關性，對于由所述提取裝置提取的至少兩個運動補償圖像執(zhí)行濾波處理，以產生具有比所述至少兩個運動補償圖像更高的頻率的預測圖像， 其中所述第一運動補償圖像和所述第二運動補償圖像是從不同的基準幀提取的運動補償圖像。2.根據權利要求1所述的圖像解碼設備，其中所述預測圖像產生裝置將表示高頻分量并通過上轉換基層中的圖像而產生的圖像與通過上轉換第一運動補償圖像而獲得的圖像相加。3.根據權利要求1所述的圖像解碼設備， 其中，所述已經編碼的圖像已經被分級地分解為具有不同頻率的多個層中的圖像且圖像已經被編碼， 其中，當要執(zhí)行高頻率層的解碼時，所述提取裝置使用具有比該層更低頻率的層中的幀作為基準幀，并從具有更低頻率的層中的基準幀提取運動補償圖像，和 其中，所述預測圖像產生裝置通過關于從具有更低頻率的層中的基準幀提取的運動補償圖像執(zhí)行濾波處理，來產生高頻率層中的預測圖像。4.根據權利要求1所述的圖像解碼設備， 其中，所述預測圖像產生裝置包括 頻率轉換裝置，用于轉換由所述提取裝置提取的多個運動補償圖像之間的差別圖像的頻率并增加頻率， 低通濾波器裝置，用于將低通濾波器應用于頻率已經由所述頻率轉換裝置增加的差別圖像， 高通濾波器裝置，用于將高通濾波器應用于通過由所述低通濾波器裝置應用低通濾波器而獲得的圖像，和 相加裝置，用于將通過由所述低通濾波器裝置應用低通濾波器而獲得的圖像和通過由所述高通濾波器裝置應用高通濾波器而獲得的圖像與由所述提取裝置提取的多個運動補償圖像之一相加，并用于產生預測圖像。5.根據權利要求4所述的圖像解碼設備， 其中，所述相加裝置將通過由所述低通濾波器裝置應用低通濾波器而獲得的圖像和通過由所述高通濾波器裝置應用高通濾波器而獲得的圖像與從關于預測圖像的時間的在前幀提取的運動補償圖像相加。6.根據權利要求1所述的圖像解碼設備，進一步包括: 接收裝置，用于接收標識標記，所述標識標記標識要通過單向預測產生預測圖像、要通過雙向預測產生預測圖像還是要通過由所述預測圖像產生裝置執(zhí)行的濾波處理產生預測圖像； 判斷裝置，通過參考由所述接收裝置接收的標識標記，判斷要通過單向預測產生預測圖像、要通過雙向預測產生預測圖像還是要通過濾波處理產生預測圖像。7.根據權利要求6所述的圖像解碼設備，進一步包括: 單向預測裝置，用于使用多個運動補償圖像執(zhí)行單向預測，并用于產生預測圖像;和 雙向預測裝置，用于使用多個運動補償圖像執(zhí)行雙向預測，并用于產生預測圖像。8.根據權利要求1所述的圖像解碼設備，進一步包括: 解碼裝置，用于解碼編碼圖像;和 產生裝置，用于將由所述解碼裝置解碼的圖像與預測圖像相加并用于產生解碼圖像。9.一種圖像解碼方法，包括: 使用由解碼圖像形成的幀作為基準幀并使用已經編碼的圖像中的運動矢量來執(zhí)行運動補償，并從與預測圖像對應的基準幀提取具有比所述預測圖像更低頻率的運動補償圖像； 通過利用第一運動補償圖像和第二運動補償圖像中包括的時間方向上的相關性，對于所提取的至少兩個運動補償圖像執(zhí)行的濾波處理，以產生具有比所述至少兩個運動補償圖像更高的頻率的預測圖像， 其中所述第一運動補償圖像和所述第二運動補償圖像是從不同的基準幀提取的運動補償圖像。10.—種圖像解碼設備，包括: 檢測裝置，用于基于圖像和作為要解碼的圖像的原始圖像檢測運動矢量，所述圖像中的每一個是通過基于指示原始圖像和預測圖像之間的差別的殘差信號來執(zhí)行本地解碼而獲得的； 提取裝置，用于使用由本地解碼的圖像形成的幀作為基準幀并使用由所述檢測裝置檢測的運動矢量來執(zhí)行運動補償，并用于從與預測圖像對應的基準幀提取具有比所述預測圖像更低頻率的運動補償圖像； 產生裝置，用于通過利用第一運動補償圖像和第二運動補償圖像中包括的時間方向上的相關性，對于由所述提取裝置提取的至少兩個運動補償圖像執(zhí)行濾波處理，以產生具有比所述至少兩個運動補償圖像更高的頻率的預測圖像， 其中所述第一運動補償圖像和所述第二運動補償圖像是從不同的基準幀提取的運動補償圖像。11.根據權利要求10所述的圖像解碼設備，其中所述產生裝置將表示高頻分量并通過上轉換基層中的圖像而產生的圖像與通過上轉換第一運動補償圖像而獲得的圖像相加。12.根據權利要求10所述的圖像解碼設備， 其中，當要執(zhí)行高頻率層的解碼時，所述提取裝置使用具有比該層更低頻率的層中的幀作為基準幀，并使用由所述檢測裝置在具有更低頻率的層中檢測到的運動矢量從具有更低頻率的層中的基準幀提取運動補償圖像，和 其中，所述產生裝置通過關于從具有更低頻率的層中的基準幀提取的運動補償圖像執(zhí)行濾波處理，來產生高頻率層中的預測圖像。13.根據權利要求10所述的圖像解碼設備， 其中，所述產生裝置包括 頻率轉換裝置，用于轉換由所述提取裝置提取的多個運動補償圖像之間的差別圖像的頻率并增加頻率， 低通濾波器裝置，用于將低通濾波器應用于頻率已經由所述頻率轉換裝置增加的差別圖像， 高通濾波器裝置，用于將高通濾波器應用于通過由所述低通濾波器裝置應用低通濾波器而獲得的圖像，和 相加裝置，用于將通過由所述低通濾波器裝置應用低通濾波器而獲得的圖像和通過由所述高通濾波器裝置應用高通濾波器而獲得的圖像與由所述提取裝置提取的多個運動補償圖像之一相加，并用于產生預測圖像。14.根據權利要求13所述的圖像解碼設備， 其中，所述相加裝置將通過由所述低通濾波器裝置應用低通濾波器而獲得的圖像和通過由所述高通濾波器裝置應用高通濾波器而獲得的圖像與從關于預測圖像的時間的在前幀提取的運動補償圖像相加。15.根據權利要求10所述的圖像解碼設備，還包括: 編碼裝置，用于編碼作為要編碼的圖像的原始圖像，并用于產生編碼圖像。16.根據權利要求15所述的圖像解碼設備， 其中，所述編碼裝置使得報頭包括標識標記，所述標識標記標識要與由解碼設備解碼的圖像相加的預測圖像是通過單向預測產生、通過雙向預測產生還是通過濾波處理產生。17.—種圖像解碼方法，包括: 基于圖像和作為要編碼的圖像的原始圖像檢測運動矢量，所述圖像中的每一個是通過基于指示原始圖像和預測圖像之間的差別的殘差信號來執(zhí)行本地解碼而獲得的； 使用由本地解碼的圖像形成的幀作為基準幀并使用檢測到的運動矢量來執(zhí)行運動補償，和從與預測圖像對應的基準幀提取具有比所述預測圖像更低頻率的運動補償圖像； 通過利用第一運動補償圖像和第二運動補償圖像中包括的時間方向上的相關性，對于所提取的至少兩個運動補償圖像執(zhí)行濾波處理，以產生具有比所述至少兩個運動補償圖像更高的頻率的預測圖像， 其中所述第一運動補償圖像和所述第二運動補償圖像是從不同的基準幀提取的運動補償圖像。18.一種用于增強層的圖像解碼方法，包括: 執(zhí)行無損解碼處理，輸出使用無損解碼處理產生的已量化變換系數，且進一步在要解碼的圖像是幀內編碼圖像的情況下輸出幀內預測模式信息，或者在要解碼的圖像是幀間編碼圖像的情況下輸出運動矢量和標識標記，以根據所述幀內預測模式信息或者所述運動矢量和標識標記來產生預測圖像； 執(zhí)行反量化，并且對已反量化的變換系數執(zhí)行逆正交變換，以獲得解碼的圖像； 將所述解碼的圖像與所述預測圖像進行組合，以產生合成圖像； 對所述合成圖像進行濾波，并且存儲所述合成圖像； 重復執(zhí)行前述處理，直到一整個幀中的宏塊執(zhí)行了前述處理。
【文檔編號】H04N19/61GK105915900SQ201610344309
【公開日】2016年8月31日
【申請日】2010年2月12日
【發(fā)明人】中神央二, 矢崎陽, 矢崎陽一
【申請人】索尼公司