專利名稱：圖像解碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像解碼方法、圖像編碼方法、圖像編碼裝置、圖像解碼裝置、用軟件來實施的程序和記錄該程序的記錄媒體。
背景技術(shù)：
近年來，隨著多媒體應(yīng)用的發(fā)展，一般可統(tǒng)一處理圖像、聲音、文本等所有媒體的信息。此時，可通過數(shù)字化所有媒體來統(tǒng)一處理媒體。但是，因為數(shù)字化的圖像具有龐大的數(shù)據(jù)量，所以為了存儲、傳送，圖像的信息壓縮技術(shù)是不可缺少的。另一方面，為了相互運用壓縮的圖像數(shù)據(jù)，壓縮技術(shù)的標(biāo)準(zhǔn)化也是重要的。作為圖像壓縮技術(shù)的標(biāo)準(zhǔn)參考，有ITU-T建議(國際電氣通信聯(lián)盟電氣通信標(biāo)準(zhǔn)化部門)的H.261、H.262、ISO(國際標(biāo)準(zhǔn)化機(jī)構(gòu))的MPEG(移動圖像專家組)-1、MPEG-2、MPEG-4等。


圖1是表示現(xiàn)有的圖像編碼裝置100的結(jié)構(gòu)框圖。在本發(fā)明中，將構(gòu)成1個圖像的單位稱為圖象(picture)。在交織(interlace)圖像信號中，圖象意味著場或者幀，在漸進(jìn)(progressive)圖像中，圖象意味著幀。
圖像編碼裝置100具備差分器101、圖像編碼部102、可變長度編碼部103、圖像解碼部104、加法器105、象素間濾波器106、圖像存儲器107、圖象間預(yù)測部108和圖象間預(yù)測推定部109。差分器101從輸入正輸入端子的輸入圖像中減去輸入負(fù)輸入端子的預(yù)測圖像，輸出差分圖像。圖像編碼部102編碼輸入的差分圖像。例如，使用DCT變換等變頻輸入的數(shù)據(jù)，通過量化變換結(jié)果的步驟數(shù)據(jù)來進(jìn)行編碼。可變長度編碼部103可變長度編碼編碼的差分圖像和來自圖象間預(yù)測推定部109的預(yù)測參數(shù)，向結(jié)果得到的編碼數(shù)據(jù)附加記述與該編碼數(shù)據(jù)相關(guān)聯(lián)信息的頭等關(guān)聯(lián)數(shù)據(jù)，整理為輸出編碼位流的格式后，輸出到圖像編碼裝置100的外部。圖像解碼部104對于由圖像編碼部102編碼的差分圖像，通過實施圖像編碼部102進(jìn)行的編碼的逆處理，解碼編碼的差分圖像，進(jìn)行解碼。例如，對于編碼的差分圖像，在實施逆量化處理后，例如實施逆DCT變換等逆步驟變換，解碼輸入圖像與預(yù)測圖像的差分。加法器105將解碼的差分圖像與預(yù)測圖像相加，編碼輸入圖像。象素間濾波器106執(zhí)行例如抑制解碼輸入圖像的高頻分量的編碼噪聲等濾波。圖像存儲器107將加法器105中解碼圖像的至少1圖象大小的圖像數(shù)據(jù)保持為參考圖像。圖象間預(yù)測部108根據(jù)圖象間預(yù)測推定部109產(chǎn)生的預(yù)測結(jié)果，從圖像存儲器107內(nèi)的參考圖像中讀取預(yù)測圖像。圖象間預(yù)測推定部109導(dǎo)出作為輸入圖像對參考圖像的運動變化量的預(yù)測參數(shù)PredParam。
更具體而言，從外部向圖像編碼裝置100輸入圖像數(shù)據(jù)Img。將圖像數(shù)據(jù)Img輸入差分器101的正輸入端子。差分器101求出圖像數(shù)據(jù)Img與輸入負(fù)輸入端子的預(yù)測圖像數(shù)據(jù)Pred的象素值差分，作為差分圖像數(shù)據(jù)Res輸出。如下得到預(yù)測圖像數(shù)據(jù)Pred。首先，作為已編碼圖象的圖像，在暫時編碼后，進(jìn)行解碼，將編碼成1圖象大小的圖像的參考圖像數(shù)據(jù)Ref存儲在圖像存儲器107中。接著，根據(jù)預(yù)測參數(shù)PredParam，從參考圖像數(shù)據(jù)Ref中，對應(yīng)于每個輸入圖像數(shù)據(jù)Img的塊，切出表示塊圖像的數(shù)據(jù)。表面該塊圖像的數(shù)據(jù)是預(yù)測圖像數(shù)據(jù)Pred。圖像編碼裝置100將幾個完成編碼的圖象作為預(yù)測用參考圖像數(shù)據(jù)Ref存儲在圖像存儲器107中，圖象間預(yù)測部108根據(jù)圖像存儲器107中存儲的參考圖像數(shù)據(jù)Ref生成預(yù)測圖像數(shù)據(jù)Pred。圖象間預(yù)測推定部109根據(jù)輸入圖像數(shù)據(jù)Img和參考圖像數(shù)據(jù)Ref，求出用于預(yù)測的預(yù)測參數(shù)數(shù)據(jù)PredParam(例如MPEG的圖像編碼方式中使用的運動矢量信息等)。在圖象內(nèi)編碼的情況下，設(shè)預(yù)測圖像的象素值為0。
圖像編碼部102編碼差分圖像數(shù)據(jù)Res，作為差分圖像編碼數(shù)據(jù)CodedRes輸出。圖像解碼部104根據(jù)編碼的差分圖像編碼數(shù)據(jù)CodedRes解碼原始圖像，為了用作圖象間預(yù)測的參考圖像，解碼差分圖像編碼數(shù)據(jù)CodedRes，作為解碼差分圖像數(shù)據(jù)ReconRes輸出。在加法器105中將解碼差分圖像數(shù)據(jù)ReconRes表示的象素值和預(yù)測圖像數(shù)據(jù)Pred表示的象素值相加，作為解碼圖像數(shù)據(jù)Recon輸出。象素間濾波器106濾波運算處理解碼圖像數(shù)據(jù)Recon，作為完成濾波解碼圖像數(shù)據(jù)FilteredImg存儲在圖像存儲器107中。
在象素間濾波器106中，在降低解碼圖像數(shù)據(jù)Recon的編碼噪聲、將圖像用作參考圖像的情況下，具有使預(yù)測效率提高的效果。作為象素間濾波器106的實例，有ITU-T建議的H.261的環(huán)路濾波器。將由象素間濾波器106執(zhí)行象素間濾波運算的完成濾波解碼圖像數(shù)據(jù)FilteredImg存儲在圖像存儲器107中，在編碼以后的圖象時用作參考圖像。可變長度編碼部103可變長度編碼差分圖像編碼數(shù)據(jù)CodedRes和預(yù)測參數(shù)數(shù)據(jù)PredParam，匯總成一個編碼數(shù)據(jù)Bitstream后，輸出到圖像編碼裝置100的外部。圖2是表示現(xiàn)有圖像解碼裝置200的結(jié)構(gòu)框圖。圖像解碼裝置200具備可變長度解碼部201、圖像解碼部202、加法器203、象素間濾波器204、圖像存儲器205和圖象間預(yù)測部206。從外部向圖像解碼裝置200輸入編碼數(shù)據(jù)Bitstream。可變長度解碼部201可變長度解碼輸入的編碼數(shù)據(jù)Bitstream，并分離成差分圖像編碼數(shù)據(jù)CodedRes和預(yù)測參數(shù)數(shù)據(jù)PredParam。圖像解碼部202解碼差分圖像編碼數(shù)據(jù)CodedRes，作為解碼差分圖像數(shù)據(jù)ReconRes輸出。將參照作為解碼差分圖像數(shù)據(jù)ReconRes輸出的圖象的、即圖像編碼裝置100中相當(dāng)于參考圖像數(shù)據(jù)Ref的圖象存儲在已解碼的圖像存儲器107中。因此，圖象間預(yù)測部206根據(jù)預(yù)測參數(shù)數(shù)據(jù)PredParam，基于參考圖像數(shù)據(jù)Ref生成預(yù)測圖像數(shù)據(jù)Pred。加法器203將預(yù)測圖像數(shù)據(jù)Pred與解碼差分圖像數(shù)據(jù)ReconRes相加，作為解碼圖像數(shù)據(jù)Recon輸出。象素間濾波器204對解碼圖像數(shù)據(jù)Recon實施象素間濾波運算，作為完成濾波圖像數(shù)據(jù)FilteredImg，輸出到圖像解碼裝置200的外部。所謂圖像解碼裝置200的外部例如是電視等顯示裝置。另外，將完成濾波解碼圖像數(shù)據(jù)FilteredImg存儲在圖像存儲器205中，作為以后的圖象參考圖像數(shù)據(jù)Ref來參照。
但是，例如，若考慮使用便攜電話等來傳送動態(tài)圖像的情況等時，為了使便攜設(shè)備一次充電就可長時間使用，期望抑制設(shè)備整體的消耗功率，所以最好不具備為了圖像處理而必需大功率的高性能處理能力。因此，為了圖像處理，若以只能使用處理能力低的運算器的便攜設(shè)備為對象，則有時只能使用要求的處理量小的象素間濾波器。另一方面，在對高畫質(zhì)動態(tài)圖像的傳送和高編碼效率要求強(qiáng)的應(yīng)用中，對運算器要求的處理量大，但有時也想使用性能高的象素間濾波器。若編碼方式彈性對應(yīng)于這些要求，則根據(jù)該編碼方式、該解碼方式的圖像編碼裝置和圖像解碼裝置等動作范圍是廣泛有益的。
鑒于這些現(xiàn)有問題，本發(fā)明的目的在于提供一種根據(jù)多種狀況來選擇使用象素間濾波器并生成編碼數(shù)據(jù)的圖像編碼裝置、和解碼編碼數(shù)據(jù)的圖像解碼裝置。

發(fā)明內(nèi)容
一種圖像解碼方法，所述方法包括將編碼圖像解碼時，使用由參考圖像生成的預(yù)測圖像進(jìn)行解碼，或者不使用所述預(yù)測圖像進(jìn)行解碼的方法，解碼步驟，將所述編碼圖像解碼，并將解碼圖像復(fù)原；濾波步驟，根據(jù)表示是否用所述預(yù)測圖像的信息，將解碼圖像用象素間濾波器進(jìn)行濾波；存儲步驟，將濾波后的解碼圖像儲存。
所述圖像解碼方法，其特征在于當(dāng)編碼圖像為切片時，將編碼圖像解碼時表示是否用所述預(yù)測圖像的信息則為表示切片的類型的信息；當(dāng)編碼圖像為圖像時，將編碼圖像解碼時表示是否用所述預(yù)測圖像的信息則為圖像的類型的信息。
所述圖像解碼方法，其特征在于當(dāng)編碼圖像為宏塊時，將編碼圖像解碼時表示是否用所述預(yù)測圖像的信息則為表示宏塊和塊的類型中至少一種的信息。
所述圖像解碼方法，其特征在于用所述預(yù)測圖像將所述編碼圖像解碼，包括前方預(yù)測解碼和雙向預(yù)測解碼中的至少一種，表示是否使用所述預(yù)測圖像的信息，為表示不使用預(yù)測圖像解碼，表示在用預(yù)測圖像解碼時用前方預(yù)測解碼，以及表示在用預(yù)測圖像解碼時用雙向預(yù)測解碼中至少一個的信息。
所述圖像解碼方法，其特征在于從切片頭抽出表示是否使用所述預(yù)測圖像的信息，在所述濾波步驟中，根據(jù)抽出來的所述信息，將由解碼步驟得到的解碼圖像以切片為單位進(jìn)行濾波。
所述圖像解碼方法，其特征在于從切片頭抽出表示是否使用所述預(yù)測圖像的信息，在所述濾波步驟中，根據(jù)抽出的所述信息，將由解碼步驟得到的解碼圖像以圖像為單位進(jìn)行濾波。
所述圖像解碼方法，其特征在于不使用預(yù)測圖像被解碼的解碼圖像所使用的象素間濾波器的平滑度高于使用預(yù)測圖像被解碼的解碼圖像所使用的象素間濾波器的平滑度。
一種圖像解碼方法，其是將編碼圖像解碼時使用由參考圖像生成的預(yù)測圖像進(jìn)行解碼、或者不使用所述預(yù)測圖像進(jìn)行解碼的方法，所述解碼方法包括解碼步驟，將所述編碼圖像解碼，并將解碼圖像復(fù)原；濾波步驟，對解碼圖像用象素間濾波器進(jìn)行濾波；存儲步驟，將濾波后的解碼圖像進(jìn)行儲存；所述解碼圖像在不使用所述預(yù)測圖像被解碼時所用的濾波器的平滑度高于所述解碼圖像在使用預(yù)測圖像被解碼時所用的濾波器的平滑度。
另外，根據(jù)本發(fā)明的圖像解碼裝置根據(jù)編碼表示動態(tài)圖像中圖象的圖像數(shù)據(jù)和表示動畫中其它圖象的預(yù)測圖像數(shù)據(jù)的差分所得到的編碼圖像數(shù)據(jù)，解碼表示原始動態(tài)圖像的多個圖像數(shù)據(jù)，其特征在于具備解碼部，將上述編碼圖像數(shù)據(jù)的解碼結(jié)果、與對應(yīng)于該編碼圖像數(shù)據(jù)的、已解碼的預(yù)測圖像數(shù)據(jù)相加，解碼表示原始圖象的圖像數(shù)據(jù)；選擇部，從對解碼的上述圖像數(shù)據(jù)實施象素間濾波運算的多個象素間濾波器中選擇1個；和預(yù)測圖像生成部，根據(jù)由選擇的上述象素間濾波器實施上述運算的圖像數(shù)據(jù)，生成對應(yīng)于其它編碼圖像數(shù)據(jù)的預(yù)測圖像數(shù)據(jù)。
因此，在根據(jù)本發(fā)明的圖像解碼裝置中，具有如下效果對應(yīng)于圖像解碼裝置的處理能力和有無圖像參照，選擇象素間濾波器，可生成預(yù)測圖像。另外，在由圖像編碼裝置切換象素間濾波器的情況下，即使圖像解碼裝置也可使用對應(yīng)的象素間濾波器來正確解碼。
并且，根據(jù)本發(fā)明的圖像編碼裝置(和圖像解碼裝置)編碼重復(fù)輸入的幀圖像，其特征在于具備編碼部，通過對幀圖像實施規(guī)定的變換處理來執(zhí)行編碼；逆變換部，對由上述編碼部編碼的幀圖像實施上述變換處理的逆變換處理；濾波部，對幀圖像實施濾波處理；存儲部，存儲幀圖像；和控制部，進(jìn)行控制，使對由上述逆變換部進(jìn)行逆變換處理得到的幀圖像實施上述濾波部進(jìn)行的濾波處理后，將該幀圖像存儲在上述存儲部中，或不實施上述濾波部進(jìn)行的濾波處理，將該幀圖像存儲在上述存儲部中，上述編碼部邊參照上述存儲部中存儲的過去的幀圖像邊編碼上述幀圖像。
因此，在圖像編碼(和圖像解碼)中，通常不用添加去除噪聲等的象素間濾波器，必要時可選擇地添加象素間濾波器，所以例如通過僅向?qū)Ξ嬞|(zhì)影響大的幀圖像添加象素間濾波器，即使是處理能力小的圖像編碼裝置(圖像解碼裝置)，也可采用象素間濾波器，從而以低的位速率得到高的畫質(zhì)改善效果。
這里，上述控制部也可控制成在上述幀圖像的重要性高的情況下，對該幀圖像實施上述濾波處理，在上述幀圖像的重要性低的情況下，對該幀圖像不實施上述濾波處理。例如，上述控制部控制成在上述幀圖像是由上述編碼部執(zhí)行面內(nèi)編碼的幀圖像的情況下，判斷該幀的重要性高，對該幀圖像實施上述濾波處理，在上述幀圖像是由上述編碼部執(zhí)行面間編碼的幀圖像的情況下，判斷該幀的重要性低，對該幀圖像不實施上述濾波處理，或控制成在上述幀圖像是由上述編碼部執(zhí)行前向預(yù)測編碼的幀圖像的情況下，判斷該幀的重要性高，對該幀圖像實施上述濾波處理，在上述幀圖像是由上述編碼部執(zhí)行雙向預(yù)測編碼的幀圖像的情況下，判斷該幀的重要性低，對該幀圖像不實施上述濾波處理，或控制成在上述幀圖像是由上述編碼部執(zhí)行基本層(base layer)編碼的幀圖像的情況下，判斷該幀的重要性高，對該幀圖像實施上述濾波處理，在上述幀圖像是由上述編碼部執(zhí)行增強(qiáng)層(enhancement layer)編碼的幀圖像的情況下，判斷該幀的重要性低，對該幀圖像不實施上述濾波處理，由此，因為優(yōu)先對具有對其它幀圖像影響性大的幀圖像、即面內(nèi)編碼幀圖像、前向預(yù)測編碼幀圖像、基本層幀圖像等實施象素間濾波，所以對于相同處理負(fù)載的增大，可更有效地得到象素間濾波器進(jìn)行的噪聲去除等畫質(zhì)改善效果。
另外，上述控制部也可控制成監(jiān)視該圖像編碼裝置(圖像解碼裝置)的處理能力的余量，在有余量的情況下，實施濾波處理，直到重要性更低的幀圖像，在沒有余量的情況下，不實施濾波處理，直到重要性更高的幀圖像。例如，向上述幀圖像對應(yīng)附加對應(yīng)于上述重要性的優(yōu)先順序，上述控制部也可控制成通過監(jiān)視該圖像編碼裝置具備的CPU運轉(zhuǎn)率來監(jiān)視上述余量，在上述運轉(zhuǎn)率高的情況下，僅對優(yōu)先級高的幀圖像實施濾波處理，在上述運轉(zhuǎn)率低的情況下，實施濾波處理，直到優(yōu)先級低的幀圖像。
從而，因為可控制濾波處理的ON/OFF，以充分發(fā)揮圖像編碼裝置(圖像解碼裝置)的處理能力，所以可高效率使用CPU，即使是相同的硬件資源，也可實現(xiàn)高畫質(zhì)的編碼(解碼)。
如上所述，通過本發(fā)明，可以低的位速率(高壓縮率)來實現(xiàn)高畫質(zhì)的圖像編碼及圖像解碼，尤其是，可在有限的硬件資源下發(fā)揮軟件的圖像編碼處理和圖像解碼處理的高畫質(zhì)改善效果，在信息通信技術(shù)和計算機(jī)廣泛普及的今天，實用價值極高。
附圖的簡要說明圖1是表示現(xiàn)有圖像編碼裝置的結(jié)構(gòu)框圖。
圖2是表示現(xiàn)有圖像解碼裝置的結(jié)構(gòu)框圖。
圖3是表示根據(jù)本發(fā)明實施例1的圖像編碼裝置的結(jié)構(gòu)框圖。
圖4是表示在每個輸入圖像切片中切換象素間濾波器的圖像編碼裝置的結(jié)構(gòu)框圖。
圖5(a)是表示本發(fā)明的圖像編碼裝置輸出的編碼數(shù)據(jù)位流Bitstream的流結(jié)構(gòu)的圖。圖5(b)是表示本發(fā)明的圖像編碼裝置在以切片為單位切換象素間濾波器的情況下輸出的編碼數(shù)據(jù)位流Bitstream的流結(jié)構(gòu)的圖。
圖6是表示解碼由根據(jù)本實施例1的圖像編碼裝置生成的編碼數(shù)據(jù)位流Bitstream的圖像解碼裝置的結(jié)構(gòu)框圖。
圖7是表示在內(nèi)部不具備指定象素間濾波器的情況下，代用具備的象素間濾波器的圖像解碼裝置的結(jié)構(gòu)框圖。
圖8是表示根據(jù)本發(fā)明實施例2的圖像編碼裝置的結(jié)構(gòu)框圖。
圖9是表示作為圖8所示象素間濾波器一例的分塊濾波器的運算內(nèi)容的圖。(a)是表示濾波前的塊交界附近的象素值的圖。(b)是表示濾波后的塊交界附近的象素值的圖。
圖10是表示象素間濾波器的濾波處理流程的流程圖。
圖11是表示可選擇進(jìn)行或不進(jìn)行象素間濾波處理的圖像解碼裝置的結(jié)構(gòu)框圖。
圖12是表示在輸出級還具備可選擇象素間濾波器的圖像解碼裝置的結(jié)構(gòu)框圖。
圖13是表示可對應(yīng)于各幀的圖象類型來選擇象素間濾波器的圖像解碼裝置的結(jié)構(gòu)框圖。
圖14是表示根據(jù)本發(fā)明實施例3的圖像編碼裝置的功能結(jié)構(gòu)框圖。
圖15是表示圖14所示優(yōu)先順序決定部的詳細(xì)功能結(jié)構(gòu)的框圖。
圖16是表示圖14所示濾波器處理控制部的詳細(xì)功能結(jié)構(gòu)的框圖。
圖17是表示存儲在圖14所示圖像存儲器中的幀圖像的參照關(guān)系的圖。
圖18是表示圖16所示開關(guān)切換處理部執(zhí)行的開關(guān)驅(qū)動處理的流程圖。
圖19是表示根據(jù)本發(fā)明實施例4的圖像解碼裝置的功能結(jié)構(gòu)框圖。
圖20是使用存儲上述實施例1到實施例3的圖像編碼方法或圖像解碼方法的軟盤，由計算機(jī)系統(tǒng)進(jìn)行實施的情況說明圖。(a)表示作為記錄媒體主體的軟盤的物理格式的實例。(b)表示從軟件正面看到的外觀、截面結(jié)構(gòu)及軟盤，(c)表示在軟盤FD上執(zhí)行上述程序的記錄再現(xiàn)用的結(jié)構(gòu)。
圖21是表示實現(xiàn)內(nèi)容配送服務(wù)的內(nèi)容提供系統(tǒng)的整體結(jié)構(gòu)框圖。
圖22是表示便攜電話外觀一例的圖。
圖23是表示便攜電話結(jié)構(gòu)的框圖。
圖24是說明進(jìn)行上述實施例中所示編碼處理或解碼處理的設(shè)備和使用該設(shè)備的系統(tǒng)的圖。
實施發(fā)明的最佳形態(tài)(實施例1)下面，參照附圖來說明本發(fā)明的具體實施例。圖3是表示根據(jù)本發(fā)明實施例1的圖像編碼裝置300的結(jié)構(gòu)框圖。圖中，因為已說明與圖1所示現(xiàn)有圖像編碼裝置100一樣的結(jié)構(gòu)要素和數(shù)據(jù)，所以標(biāo)以相同符號，并省略說明。在以后的圖中也一樣，對已說明的現(xiàn)有結(jié)構(gòu)要素和數(shù)據(jù)標(biāo)以相同符號，并省略說明。圖像編碼裝置300具備差分器101、圖像編碼部102、可變長編碼部305、圖像解碼部104、加法器105、圖像存儲器107、圖象間預(yù)測部108、圖象間預(yù)測推定部109、開關(guān)301、開關(guān)302、象素間濾波器A303和象素間濾波器B304。開關(guān)301和開關(guān)302分別是對應(yīng)于濾波器種類數(shù)據(jù)FilterType1的值，來選擇連接端子1和端子2之一的開關(guān)。開關(guān)301被設(shè)置在加法器105的輸出端子、與象素間濾波器A303和象素間濾波器B304的輸入端子之間。開關(guān)302被設(shè)置在圖像存儲器107的輸入端子、與象素間濾波器A303和象素間濾波器B304的輸出端子之間。象素間濾波器A303和象素間濾波器B304是，例如對塊間交界附近的高頻噪聲進(jìn)行平滑處理，去除塊失真的分塊濾波器(デブロツクフイルタ)，各自平滑處理的程度不同。另外，對應(yīng)于平滑處理的程度，平滑處理用運算處理量不同。另外，開關(guān)301和開關(guān)302等圖示的結(jié)構(gòu)既可安裝成硬件，也可安裝成軟件。另外，在其它附圖中也一樣。
可變長度編碼部305分別可變長度編碼、例如霍夫曼編碼輸入的濾波器種類數(shù)據(jù)FilterType1、差分圖像編碼數(shù)據(jù)CodedRes和預(yù)測參數(shù)數(shù)據(jù)PredParam，匯聚成一個編碼數(shù)據(jù)位流Bitstream1后，輸出到圖像編碼裝置300的外部。
更具體說明與現(xiàn)有圖像編碼裝置100相比新構(gòu)成上述結(jié)構(gòu)的圖像編碼裝置300動作的部分。首先，從外部向圖像編碼裝置300輸入濾波器種類數(shù)據(jù)FilterType1。這里，所謂從外部輸入是指例如用戶從圖像編碼裝置外部使用鍵盤等用戶接口的輸入、或者是由裝置固定的數(shù)據(jù)，是由裝置依據(jù)位速率(壓縮率)或圖像尺寸來決定的值。將該濾波器種類數(shù)據(jù)FilterType1輸入開關(guān)301和開關(guān)302。該開關(guān)301和開關(guān)302對應(yīng)于該濾波器種類數(shù)據(jù)FilterType1的值來切換連接于端子“1”和端子“2”之一上。例如，在濾波器種類數(shù)據(jù)FilterType1的值為“1”的情況下，開關(guān)301和開關(guān)302都連接端子“1”。此時對于從加法器105輸出的解碼圖像數(shù)據(jù)Recon，適用象素間濾波器A303的濾波。在濾波器種類數(shù)據(jù)FilterType1的值為“2”的情況下，開關(guān)301和開關(guān)302切換到端子“2”側(cè)，對于從加法器105輸出的解碼圖像數(shù)據(jù)Recon，適用象素間濾波器B304的濾波。因此，將實施了象素間濾波器A303或象素間濾波器B304的濾波的完成濾波解碼圖像數(shù)據(jù)FilteredImg1存儲在圖像存儲器107中，用作以后圖象的預(yù)測編碼中的參考圖像。另外，將特定象素間濾波器的濾波器種類數(shù)據(jù)FilterType1與同一圖象的差分圖像編碼數(shù)據(jù)CodedRes和預(yù)測參數(shù)數(shù)據(jù)PredParam一起輸入可變長度編碼部305，分別進(jìn)行可變長度編碼。濾波器種類數(shù)據(jù)FilterType1的可變長度編碼結(jié)果與該差分圖像編碼數(shù)據(jù)CodedRes和預(yù)測參數(shù)數(shù)據(jù)PredParam的可變長度編碼結(jié)果相對應(yīng)后，存儲在編碼數(shù)據(jù)Bitstream1中，存儲于記錄媒體中，也傳送給圖像解碼裝置。即，對各圖象的解碼圖像數(shù)據(jù)Recon適用的象素間濾波器種類由存儲在編碼數(shù)據(jù)Bitstream1中的濾波器種類數(shù)據(jù)FilterType1通知給圖像解碼裝置。從而，在解碼編碼數(shù)據(jù)Bitstream1的圖像解碼裝置中，可特定在圖像編碼裝置300中適用于各圖象的解碼圖像數(shù)據(jù)Recon的象素間濾波器，所以可分各圖象的解碼圖像使用與其相同的濾波器。在上述說明中雖設(shè)濾波器種類數(shù)據(jù)FilterType1的值為“1”、“2”，但這是方便說明來定義的值，只要是可區(qū)別多個種類的值，也可是任何值。
如上所述，在圖像編碼裝置300中，作為象素間濾波器，具備多個不同預(yù)測性能、處理量的象素間濾波器，可對應(yīng)于從外部輸入的濾波器種類數(shù)據(jù)FilterType1來切換使用。如此切換使用不同預(yù)測性能、處理量的象素間濾波器具有以下優(yōu)點。首先，為了說明，設(shè)象素間濾波器A303的處理量比象素間濾波器B304的少，另一方面，象素間濾波器B304的噪聲抑制效果比象素間濾波器A303的高，預(yù)測編碼效率提高。作為本發(fā)明的解碼圖像編碼裝置300輸出的編碼數(shù)據(jù)的圖像解碼裝置，考慮僅具備象素間濾波器A303的圖像解碼裝置A、和具備象素間濾波器A303和象素間濾波器B304兩者的圖像解碼裝置B這兩種圖像解碼裝置。前者的圖像解碼裝置A要求的處理量小，適于處理能力低的設(shè)備。后者的圖像解碼裝置B適于處理量大的設(shè)備。后者的圖像解碼裝置B也可解碼使用象素間濾波器A303和象素間濾波器B304任一象素間濾波器的編碼數(shù)據(jù)，對前者的圖像解碼裝置A具有上位互換性。在這種情況下，圖像編碼裝置300可用作還對應(yīng)于上述兩種任一圖像解碼裝置的圖像編碼裝置。即，如上所述，在圖像編碼裝置300中，通過對應(yīng)于設(shè)為對象的圖像解碼裝置的處理能力來選擇適當(dāng)預(yù)測性能、處理量的象素間濾波器，對種類廣范的設(shè)備，可適用使用與圖像編碼裝置300中適用的相同象素間濾波器的編碼方法(對編碼數(shù)據(jù)Bitstream1解碼)。
另外，在所謂對應(yīng)于圖像解碼裝置的處理能力的編碼數(shù)據(jù)生成的用途之外，還可對應(yīng)于圖像編碼裝置300的處理能力來切換象素間濾波器。例如，在編碼圖像尺寸和圖象速率大的情況下，編碼處理整體所需的處理量變大。因此，在編碼圖像尺寸和圖象速率小于一定值的情況下，使用要求的處理能力高的象素間濾波器B304，在編碼圖像尺寸和圖象速率大于一定值的情況下，使用要求的處理能力低的象素間濾波器A303，編碼處理整體所需的處理量不會變高。另外，在由1臺裝置時分執(zhí)行多個處理的時隙系統(tǒng)上實現(xiàn)圖像編碼的情況下，圖像編碼所用處理量可在其它處理的影響下動態(tài)變化。因此，在圖像編碼所用處理量在規(guī)定以上的情況下，使用處理量高的象素間濾波器B304，在圖像編碼所用處理量在規(guī)定以小的情況下，使用處理量比象素間濾波器B304少的象素間濾波器A303。
象素間濾波器的切換定時也可是具備多個適于特定性質(zhì)圖像的象素間濾波器，對應(yīng)于各圖像的性質(zhì)，以圖象單位切換象素間濾波器。例如，在文字等邊緣信息重要的情況下，使用邊緣保存性好的象素間濾波器。通過邊緣檢測或文字檢測等圖像處理技術(shù)來自動判斷執(zhí)行切換，也可由用戶從明示的適于自然圖像的象素間濾波器、適于文字的象素間濾波器、適于邊緣的象素間濾波器中進(jìn)行選擇。這樣，若多個象素間濾波器的切換成為可能，則因為可選擇適于圖像性質(zhì)的濾波器，所以可進(jìn)一步提高預(yù)測效率。即，不對應(yīng)于處理量來切換，而是切換濾波器來提高畫質(zhì)也是有效的。因此，在本實施例中說明了對應(yīng)于處理量來進(jìn)行切換，但也可切換濾波器來提高畫質(zhì)。
切換象素間濾波器的單位不限于圖象單位，因為圖像的性質(zhì)也可因圖像內(nèi)的部分而不同，所以例如也可以MPEG切片、宏塊和塊等比圖象小的圖像區(qū)域作為單位，也可將至少多于1個象素集合的區(qū)域作為單位來切換象素間濾波器。
圖4是表示在每個輸入圖像切片中切換象素間濾波器的圖像編碼裝置400的結(jié)構(gòu)框圖。圖像編碼裝置400是以MPEG切片單位切換象素間濾波器來執(zhí)行解碼象素的濾波的圖像編碼裝置，具備差分器101、圖像編碼部102、圖像解碼部104、加法器105、圖像存儲器107、圖象間預(yù)測部108、圖象間預(yù)測推定部109、開關(guān)403、開關(guān)404、象素間濾波器A303、象素間濾波器B304、可變長度編碼部305、濾波器切換位置判斷部401和開關(guān)402。濾波器切換位置判斷部401根據(jù)從外部輸入的圖像數(shù)據(jù)Img來檢測輸入圖像的切片，每次切換檢測到的切片時，例如，向開關(guān)402輸出例如輸出1個脈沖的濾波器切換控制數(shù)據(jù)SetFType。開關(guān)402是在不輸出濾波器切換控制數(shù)據(jù)SetFType期間截斷端子間連接的開關(guān)，在輸出濾波器切換控制數(shù)據(jù)SetFType的瞬間，僅以極短的時間將從外部輸入的濾波器種類數(shù)據(jù)FilterType1導(dǎo)向開關(guān)403和開關(guān)404。開關(guān)403和開關(guān)404都對應(yīng)于每次切換輸入圖像數(shù)據(jù)Img的切片時瞬間輸入的濾波器種類數(shù)據(jù)FilterType1的值，連接端子“1”或端子“2”之一，保持該狀態(tài)。即，在截斷開關(guān)402的連接期間，不切換象素間濾波器。結(jié)果，每次切換輸入圖像數(shù)據(jù)Img的切片時，通過濾波器種類數(shù)據(jù)FilterType1來選擇新的象素間濾波器，可防止在切片途中切換象素間濾波器。
如上所述，通過本發(fā)明的象素編碼裝置，可使用對應(yīng)于再現(xiàn)本發(fā)明圖像編碼裝置輸出的編碼數(shù)據(jù)的圖像解碼裝置的處理能力的象素間濾波器，生成編碼數(shù)據(jù)。另外，可對應(yīng)于圖像編碼裝置的處理能力來選擇象素間濾波器。
本實施例的圖像編碼裝置具備的象素間濾波器雖為兩個，但也可具備3個以上的象素間濾波器。與本實施例一樣，選擇3個以上象素間濾波器之一來使用，只要編碼數(shù)據(jù)中包含表示使用的象素間濾波器種類的濾波器種類數(shù)據(jù)即可。
另外，也可不對應(yīng)于處理量來進(jìn)行切換，而是切換濾波器來提高畫質(zhì)。
另外，在圖像編碼裝置400中，雖設(shè)濾波器切換控制數(shù)據(jù)SetFType為在每次檢測切片(スライス)切換時表示值“1”、在此外的期間表示值“0”的脈沖波形，但本發(fā)明不限于此，例如，也可以是每個切換切片時反轉(zhuǎn)的矩形波，也可是其它波形。另外，雖設(shè)開關(guān)402為在濾波器切換控制數(shù)據(jù)SetFType為同相位期間截斷端子間連接的開關(guān)，但本發(fā)明不限于此，在不是濾波器切換位置的情況下，濾波器切換位置判斷部401也可輸出表示截面開關(guān)402的濾波器切換控制數(shù)據(jù)SetFType。另外，在圖像編碼裝置400中，雖設(shè)以圖像數(shù)據(jù)Img的切片單位來切換象素間濾波器，但也可以圖象單位來切換象素間濾波器。另外，也可以塊、宏塊或各一定多個象素為單位來切換象素間濾波器。
圖5(a)是表示本發(fā)明的圖像編碼裝置輸出的編碼數(shù)據(jù)位流Bitstream的流結(jié)構(gòu)的圖。圖5(b)是表示本發(fā)明的圖像編碼裝置在以切片為單位切換象素間濾波器的情況下輸出的編碼數(shù)據(jù)Bitstream的流結(jié)構(gòu)的圖。本發(fā)明的編碼數(shù)據(jù)的特征在于特定多個象素間濾波器之一的濾波器種類數(shù)據(jù)FilterType1包含在編碼數(shù)據(jù)Bitstream中。在通過該流結(jié)構(gòu)來解碼本發(fā)明的編碼數(shù)據(jù)Bitstream的圖像解碼裝置中，通過調(diào)查編碼數(shù)據(jù)Bitstream中包含的濾波器種類數(shù)據(jù)FilterType1，可使用與編碼時使用的象素間濾波器相同的象素間濾波器。
在圖5(a)所示的編碼數(shù)據(jù)Bitstream中，在附加在編碼數(shù)據(jù)Bitstream整體上的頭901中(例如斜線部)記述表示用于各圖象濾波的象素間濾波器的濾波器種類數(shù)據(jù)FilterType的值。該編碼數(shù)據(jù)Bitstream對應(yīng)于圖3所示從圖像編碼裝置300輸出的編碼數(shù)據(jù)Bitstream1，另外，在圖5(b)所示的編碼數(shù)據(jù)Bitstream中，在每個切片中設(shè)置的切片頭902中(例如斜線部)記述表示用于該切片濾波的象素間濾波器的濾波器種類數(shù)據(jù)FilterType的值。該編碼數(shù)據(jù)Bitstream對應(yīng)于圖4所示從圖像編碼裝置400輸出的編碼數(shù)據(jù)Bitstream1。這樣，通過將濾波器種類數(shù)據(jù)FilterType存儲在作為編碼數(shù)據(jù)Bitstream開頭部分的頭901、和作為數(shù)據(jù)記錄、傳送基本單位、還作為糾錯、修正單位的切片開頭的切片頭902等中，在圖像解碼裝置中，通過從頭901或切片輸入編碼數(shù)據(jù)Bitstream，可在該切片解碼之前特定該切片的濾波種類。
這里，雖說明以切片單位來切換象素間濾波器，但不僅切片單位，也可以由比切片小的圖像領(lǐng)域單位(只要集合1個以上象素的區(qū)域即可，例如MPEG宏塊、塊等)切換象素間濾波器。另外，也可以作為比切片大的圖像區(qū)域單位的圖象來進(jìn)行切換。此時，除記述在圖5(a)所示頭901中(例如斜線部)以外，例如也可將對應(yīng)于各圖象的濾波器種類數(shù)據(jù)FilterType1的值記述在對每個圖象編碼數(shù)據(jù)設(shè)置的圖象頭中。另外，在設(shè)宏塊或塊為濾波方法的切換單位的情況下，只要對每個切片匯集各宏塊或各塊的濾波器種類數(shù)據(jù)FilterType1的值，記述在切片頭中即可。
另外，也可在由包等傳送的情況下分離成頭部和數(shù)據(jù)部來分別傳送。此時，如圖5所示，頭部和數(shù)據(jù)部不會成為一個位流。但是，在包的情況下，即使傳送順序多少有前有后，但對應(yīng)于對應(yīng)數(shù)據(jù)部的頭部僅由其它包來傳送，即使不成為一個位流，理論上也與圖5中說明的位流情況相同。
如上所述，通過設(shè)定輸入本發(fā)明圖像編碼裝置的濾波器種類數(shù)據(jù)FilterType1的值來選擇對應(yīng)于圖像解碼裝置的處理能力的象素間濾波器，可生成對應(yīng)于再現(xiàn)本發(fā)明圖像編碼裝置輸出的編碼數(shù)據(jù)的圖像解碼裝置處理能力的編碼數(shù)據(jù)。另外，可對應(yīng)于圖像編碼裝置的處理能力來選擇象素間濾波器。
另外，也可不對應(yīng)于處理量來進(jìn)行切換，而切換濾波器來提高畫質(zhì)。
圖6是表示解碼由根據(jù)本實施例1的圖像編碼裝置生成的編碼數(shù)據(jù)Bitstream的圖像解碼裝置1000的結(jié)構(gòu)框圖。圖像解碼裝置1000是根據(jù)記述在輸入的編碼數(shù)據(jù)Bitstream1頭中的濾波器種類數(shù)據(jù)FilterType1，對每個圖象或每個切片切換象素間濾波器，解碼編碼數(shù)據(jù)Bitstream1的編碼數(shù)據(jù)的圖像解碼裝置，具備可變長度解碼部201、圖像解碼部202、加法器203、圖像存儲器205、圖象間預(yù)測部206、開關(guān)1001、開關(guān)1002、象素間濾波器A1003和象素間濾波器B1004。
從外部向圖像解碼裝置1000輸入編碼數(shù)據(jù)Bitstream1。通過例如實施例1中的圖像編碼裝置300或圖像編碼裝置400來編碼編碼數(shù)據(jù)Bitstream1?？勺冮L度解碼部201可變長度解碼輸入的編碼數(shù)據(jù)Bitstream1，分離成差分圖像編碼數(shù)據(jù)CodedRes、預(yù)測參數(shù)數(shù)據(jù)PredParam和濾波器種類數(shù)據(jù)FilterType1，分別向圖像解碼部202輸出差分圖像編碼數(shù)據(jù)CodedRes，向圖象間預(yù)測部206輸出預(yù)測參數(shù)數(shù)據(jù)PredParam，向開關(guān)1001和開關(guān)1002輸出濾波器種類數(shù)據(jù)FilterType1。開關(guān)1001和開關(guān)1002在輸入值“1”來作為濾波器種類數(shù)據(jù)FilterType1的情況下，切換到端子“1”側(cè)，對解碼圖像數(shù)據(jù)Recon適用象素間濾波器A1003的濾波。在輸入值“2”來作為濾波器種類數(shù)據(jù)FilterType1的情況下，開關(guān)1001和開關(guān)1002切換到端子“2”側(cè)，對解碼圖像數(shù)據(jù)Recon適用象素間濾波器B1004的濾波。在通過任一象素間濾波器實施象素間濾波運算的情況下，都會在將完成濾波解碼圖像數(shù)據(jù)FilteredImg1存儲在圖像存儲器205中，同時，輸出到圖像解碼裝置1000的外部，例如顯示裝置等。
如上所述，根據(jù)本發(fā)明的圖像解碼裝置1000，可解碼在頭部包含特定象素間濾波器種類的濾波器種類數(shù)據(jù)FilterType1的編碼數(shù)據(jù)Bitstream1。
本實施例的圖像解碼裝置具備的象素間濾波器雖為兩個，但也可具備3個以上的象素間濾波器。與本實施例一樣，只要根據(jù)編碼數(shù)據(jù)Bitstream內(nèi)的濾波器種類數(shù)據(jù)，選擇3個以上象素間濾波器之一來使用即可。
如實施例1所示，在以圖象單位、或比圖象小的圖像區(qū)域單位來切換濾波器種類的情況下，在變更濾波器種類的時刻切換象素間濾波器。
圖7是表示在內(nèi)部不具備指定象素間濾波器的情況下，代用具備的象素間濾波器的圖像解碼裝置1100的結(jié)構(gòu)框圖。圖像解碼裝置1100的特征在于在圖像解碼裝置1100內(nèi)不具備由編碼數(shù)據(jù)中包含的濾波器種類數(shù)據(jù)選擇的象素間濾波器的情況下，代替使用圖像編碼裝置1100中具備的任一象素間濾波器。該圖像解碼裝置1100具備可變長度解碼部201、圖像解碼部202、加法器203、圖像存儲器205、圖象間預(yù)測部206、開關(guān)1001、開關(guān)1002、象素間濾波器A1003、象素間濾波器B1004和濾波器種類數(shù)據(jù)變換部1101。
例如，設(shè)圖像解碼裝置1100中僅具備濾波器種類數(shù)據(jù)FilterType1的值“1”和值“2”表示的兩種象素間濾波器A1003和象素間濾波器B1004。從外部向圖像解碼裝置1100輸入編碼數(shù)據(jù)Bitstream3?？勺冮L度解碼部201可變長度解碼輸入的編碼數(shù)據(jù)Bitstream3，分離成差分圖像編碼數(shù)據(jù)CodedRes、預(yù)測參數(shù)數(shù)據(jù)PredParam和濾波器種類數(shù)據(jù)FilterType3，分別向圖像解碼部202輸出差分圖像編碼數(shù)據(jù)CodedRes，向圖象間預(yù)測部206輸出預(yù)測參數(shù)數(shù)據(jù)PredParam，向濾波器種類數(shù)據(jù)變換部1101輸出濾波器種類數(shù)據(jù)FilterType3。濾波器種類數(shù)據(jù)變換部1101在濾波器種類數(shù)據(jù)FilterType3的值為表示圖像解碼裝置1100中不具備的象素間濾波器的值“3”時，將濾波器種類數(shù)據(jù)FilterType3的值“3”變換為表示平滑度與例如圖像解碼裝置1100中具備的象素間濾波器中指定象素間濾波器最近似的象素間濾波器的“2”的值，作為濾波器種類數(shù)據(jù)FilterType4輸出。
通過執(zhí)行這種變換處理，在圖像解碼裝置1100中，因為使用與編碼時不同的象素間濾波器，所以多少產(chǎn)生畫質(zhì)惡化，但因為可進(jìn)行接近原來解碼圖像的解碼處理，所以作為簡易的圖像解碼裝置是非常有效的。在輸入值“1”來作為濾波器種類數(shù)據(jù)FilterType4的情況下，開關(guān)1001和開關(guān)1002都切換到端子“1”側(cè)，對解碼圖像數(shù)據(jù)Recon適用象素間濾波器A1003的濾波。在輸入值“2”來作為濾波器種類數(shù)據(jù)FilterType4的情況下，開關(guān)1001和開關(guān)1002都切換到端子“2”側(cè)，對解碼圖像數(shù)據(jù)Recon適用象素間濾波器B1004的濾波。將作為象素間濾波器處理結(jié)果的完成濾波解碼圖像數(shù)據(jù)FilteredImg3輸出到圖像解碼裝置1100外的顯示裝置等。
如上所述，根據(jù)圖像解碼裝置1100，即使指定圖像解碼裝置100不具備的象素間濾波器的濾波器種類數(shù)據(jù)FilterType3在包含于輸入編碼數(shù)據(jù)Bitstream3中的情況下，也可代用內(nèi)部具備的象素間濾波器來執(zhí)行解碼。因此，不會導(dǎo)致大幅度的畫質(zhì)惡化，可解碼編碼數(shù)據(jù)Bitstream。
在圖像解碼裝置1100具備的象素間濾波器(也包含沒有象素間濾波運算)為1個的情況下，可通過強(qiáng)制使用該象素間濾波器來執(zhí)行解碼。
在本實施例的圖像解碼裝置中，雖具備兩個象素間濾波器(沒有象素間濾波運算也算作1個濾波器)，但即使有3個以上的象素間濾波器也可進(jìn)行同樣的處理。即，作為1個象素間濾波器，也包含不執(zhí)行象素間濾波運算，將解碼圖像數(shù)據(jù)Recon原樣存儲在圖像存儲器205中的處理。
如實施例1所示，在以圖象單位、或比圖象小的圖像區(qū)域單位來切換濾波器種類的情況下，在變更濾波器種類的時刻切換象素間濾波器。
用圖9和圖10來更詳細(xì)說明象素間濾波器303、304、1003、1004的動作。圖9是表示作為象素間濾波器一例的分塊濾波器的運算內(nèi)容的圖。圖9(a)是表示濾波前的塊交界附近的象素值的圖。圖9(b)是表示濾波后的塊交界附近的象素值的圖。圖10是表示象素間濾波器的濾波處理流程的流程圖。圖9(a)表示同一水平掃描線上的象素601-象素608中的各個象素值。象素601-象素604都是塊610內(nèi)的象素，而象素605-象素608是鄰接于塊610的塊611內(nèi)的象素。象素601-象素604的象素值分別為p3、p2、p1和p0，象素605-象素608的象素值分別為q0、q1、q2和q3。在圖像編碼裝置中，通過以塊(或宏塊)等為單位來執(zhí)行圖象間預(yù)測、圖像編碼、可變長度編碼和圖像解碼等處理。因此，跨過相鄰塊(或宏塊)間的交界、例如塊610與塊611的交界的象素間、例如象素604與象素605中，在高頻下容易產(chǎn)生編碼噪聲。例如，在圖9(a)所示象素604的象素值p0與象素605的象素值q0中，傾向于象素值的差由于編碼噪聲的影響而容易變大。因此，象素間濾波器可使用多個參照來決定濾波器，例如是對應(yīng)于決定濾波器的參數(shù)α、β的濾波器，通過該象素間濾波器來濾波跨過塊交界的象素組的象素值。
如圖10所示，象素間濾波器首先求出跨過塊交界的象素604與象素605的象素值的差(p0-q0)的絕對值，判斷求出的絕對值是否小于參數(shù)α的值(S701)。判斷結(jié)果，若象素值的差(p0-q0)的絕對值大于參數(shù)α的值，則象素間濾波器對由解碼圖像數(shù)據(jù)Recon表示的象素值不執(zhí)行分塊濾波處理(S704)。另一方面，若步驟S701中的判斷結(jié)果是跨過塊交界的相鄰象素間的象素值差(p0-q0)的絕對值小于參數(shù)α，則象素間濾波器還求出象素604與象素603的象素值之差(p1-q0)的絕對值，判斷求出的絕對值是否小于參數(shù)β的值(S702)。這里，象素604和象素603是同一塊610內(nèi)的相鄰象素。判斷結(jié)果，若象素值之差(p1-q0)的絕對值大于參數(shù)β的值，則象素間濾波器503對由解碼圖像數(shù)據(jù)Recon表示的象素值不執(zhí)行分塊濾波處理(S704)。另外，若判斷結(jié)果是象素值差(p1-q0)的絕對值小于參數(shù)β，則還求出象素605與象素606的象素值之差(q1-q0)的絕對值，判斷求出的絕對值是否小于參數(shù)β的值(S703)。這里，象素605和象素606是同一塊611內(nèi)的相鄰象素。判斷結(jié)果，若象素值之差(q1-q0)的絕對值大于參數(shù)β的值，則象素間濾波器對由解碼圖像數(shù)據(jù)Recon表示的象素值不執(zhí)行分塊濾波處理(S704)。另一方面，若象素值之差(q1-q0)的絕對值小于參數(shù)β的值，則象素間濾波器503對解碼圖像數(shù)據(jù)Recon執(zhí)行濾波，去除編碼噪聲，結(jié)束處理。象素間濾波器對跨過塊交界的水平掃描線方向和垂直掃描線方向的各象素列重復(fù)以上處理。從而，在3組相鄰象素的象素值之差都小于一定值的情況下，通過實施分塊濾波處理，去除失真。
在上述步驟S704的分塊濾波處理中，對交界附近的象素執(zhí)行平滑處理濾波(抑制高頻分量濾波)。例如，可對象素604的象素值p0、象素605的象素值q0、象素603的象素值p1和象素606的象素值q1使用抑制高頻分量的低通濾波器(Low Pass Filter)來生成平滑處理產(chǎn)生的象素604的新的象素值P0。
(實施例2)圖8是表示根據(jù)實施例2的圖像編碼裝置500的結(jié)構(gòu)框圖。圖像編碼裝置500與圖像編碼裝置300的不同之處在于作為象素間濾波處理，可選擇將解碼圖像數(shù)據(jù)Recon作為參考圖像數(shù)據(jù)Ref原樣存儲在圖像存儲器107中。
圖像編碼裝置500具備差分器101、圖像編碼部102、圖像解碼部104、加法器105、圖像存儲器107、圖象間預(yù)測部108、圖象間預(yù)測推定部109、開關(guān)501、開關(guān)502、象素間濾波器503、表格保持部504和可變長度編碼部505。
在濾波器種類數(shù)據(jù)FilterType2的值為“0”時，開關(guān)501和開關(guān)502都切換到端子“0”側(cè)，將從加法器105輸出的解碼圖像數(shù)據(jù)Recon原樣存儲在圖像存儲器107中。在濾波器種類數(shù)據(jù)FilterType2的值為“1”時，開關(guān)501和開關(guān)502都切換到端子“1”側(cè)，將從加法器105輸出的解碼圖像數(shù)據(jù)Recon導(dǎo)向象素間濾波器503。象素間濾波器503是用于象素值濾波的濾波器，例如是抑制塊交界中高頻分量的編碼噪聲的分塊濾波器。將通過象素間濾波器503進(jìn)行象素間濾波運算的完成濾波解碼圖像數(shù)據(jù)FilteredImg2存儲在圖像存儲器107中?？勺冮L度編碼部505可變長度編碼濾波器種類數(shù)據(jù)FilterType2、差分圖像編碼數(shù)據(jù)CodedRes和預(yù)測參數(shù)數(shù)據(jù)PredParam，匯聚成圖5(a)所示的1個編碼數(shù)據(jù)Bitstream2，輸出到圖像編碼裝置500的外部。
圖像編碼裝置500具備的象素間濾波器為1個，但也可以是2個以上象素間濾波器。選擇2個以上象素間濾波器之一或無象素間濾波運算并使用，編碼數(shù)據(jù)中最好包含表示使用的象素間濾波器種類(包含無象素間濾波運算)的濾波器種類數(shù)據(jù)。另外，圖像編碼裝置500中也可省略表格保持部504，而在象素間濾波器503的內(nèi)部具備表格保持部504的功能。
如上所述，在本發(fā)明的圖像編碼裝置500中，可使用對應(yīng)于再現(xiàn)從該圖像編碼裝置500輸出的編碼數(shù)據(jù)Bitstream2的圖像解碼裝置處理能力的象素間濾波器來生成編碼數(shù)據(jù)。另外，可對應(yīng)于圖像編碼裝置500的處理能力來選擇象素間濾波器。另外，也可以圖象單位或比圖象還小的圖像區(qū)域單位來切換濾波器種類。
圖11是表示可選擇進(jìn)行或不進(jìn)行象素間濾波處理的根據(jù)實施例2的圖像解碼裝置1200的結(jié)構(gòu)框圖。圖像解碼裝置1200與圖6的圖像解碼裝置1000的不同點在于可選擇不執(zhí)行象素間濾波運算，作為象素間濾波處理，將解碼圖像數(shù)據(jù)Recon作為參考圖像數(shù)據(jù)Ref，原樣存儲在圖像存儲器205中。圖像解碼裝置1200具備可變長度解碼部201、圖像解碼部202、加法器203、圖像存儲器205、圖象間預(yù)測部206、開關(guān)1201、開關(guān)1202和象素間濾波器1203。
向圖像解碼裝置1200輸入例如由圖8的圖像編碼裝置500編碼的圖9(a)的編碼數(shù)據(jù)那樣、在頭內(nèi)包含表示編碼時適用的象素間濾波器的濾波器種類數(shù)據(jù)FilterType2的編碼數(shù)據(jù)Bitstream2。在濾波器種類數(shù)據(jù)FilterType2中包含作為濾波器種類的表示“無象素間濾波運算”的值。可變長度解碼部201可變長度解碼輸入的編碼數(shù)據(jù)Bitstream2，分離成差分圖像編碼數(shù)據(jù)CodedRes、預(yù)測參數(shù)數(shù)據(jù)PredParam和濾波器種類數(shù)據(jù)FilterType2，將分離后的差分圖像編碼數(shù)據(jù)CodedRes、預(yù)測參數(shù)數(shù)據(jù)PredParam和濾波器種類數(shù)據(jù)FilterType2分別輸出到圖像解碼部202、圖象間預(yù)測部206和開關(guān)1201及開關(guān)1202。
在輸入值“0”來作為濾波器種類數(shù)據(jù)FilterType2的情況下，開關(guān)1201和開關(guān)1202都切換到端子“0”側(cè)，將從加法器203輸出的解碼圖像數(shù)據(jù)Recon原樣存儲在圖像存儲器205中。在輸入值“1”來作為濾波器種類數(shù)據(jù)FilterType2的情況下，開關(guān)1201和開關(guān)1202都切換到端子“1”側(cè)，對解碼圖像數(shù)據(jù)Recon適用象素間濾波器1203的濾波。
另外，也可在根據(jù)濾波器種類數(shù)據(jù)來判斷作為參考圖像的解碼圖像中未使用象素間濾波器的情況下，在將該解碼圖像作為參考圖像存儲在圖像存儲器中時，不進(jìn)行象素間濾波器的濾波，僅在向圖像解碼裝置的外部輸出時，才使用象素間濾波器。圖12是表示在圖像輸出部中還具備可選擇象素間濾波器的圖像解碼裝置1300的結(jié)構(gòu)框圖。如上所述，圖像解碼裝置1300是如下的圖像解碼裝置在濾波器種類數(shù)據(jù)FilterType2表示對從加法器203輸出的解碼圖像不執(zhí)行象素間濾波器的濾波時，對圖像存儲器中存儲的解碼圖像不濾波，通過設(shè)置在輸出側(cè)的象素間濾波器來對輸出到外部的解碼圖像執(zhí)行濾波，具備可變長度解碼部201、圖像解碼部202、加法器203、圖像存儲器205、圖象間預(yù)測部206、開關(guān)1201、開關(guān)1202、象素間濾波器1203、開關(guān)1301、開關(guān)1302和象素間濾波器1303。
在濾波器種類數(shù)據(jù)FilterType2的值為“1”的情況下，開關(guān)1201、開關(guān)1202、開關(guān)1301、開關(guān)1302都切換到端子“1”側(cè)。此時，開關(guān)1201和開關(guān)1202導(dǎo)通加法器203的輸出、象素間濾波器1203和圖像存儲器205，開關(guān)1302截斷開關(guān)1202的輸出與象素間濾波器1303的導(dǎo)通，與開關(guān)1301短路。因此，象素間濾波器1203對解碼圖像數(shù)據(jù)Recon執(zhí)行濾波運算，輸出完成濾波解碼圖像數(shù)據(jù)FilterdImg3。將完成濾波解碼圖像數(shù)據(jù)FilterdImg3作為輸出圖像OutImg原樣、即不由象素間濾波器1303重復(fù)濾波地輸出到圖像解碼裝置外的顯示裝置等。在濾波器種類數(shù)據(jù)FilterType2的值為“0”的情況下，開關(guān)1201、開關(guān)1202、開關(guān)1301、開關(guān)1302都切換到端子“0”側(cè)。此時，開關(guān)1201截斷加法器203的輸出與象素間濾波器1203的導(dǎo)通，與開關(guān)1202短路。另一方面，開關(guān)1302導(dǎo)通開關(guān)1202的輸出、象素間濾波器1303與開關(guān)1301的外部輸出端子。因此，象素間濾波器1203不對從加法器203輸出的解碼圖像數(shù)據(jù)Recon執(zhí)行象素間濾波運算，而作為參考圖像，原樣存儲在圖像存儲器205中。從開關(guān)1202的輸出側(cè)取得的解碼圖像數(shù)據(jù)Recon、即實際上未濾波的完成濾波解碼圖像數(shù)據(jù)FilterdImg3由象素間濾波器1303實施象素間濾波運算，作為輸出圖像OutImg，輸出到圖像解碼裝置1300以外的顯示裝置等。
這里，為了說明，將象素間濾波器1203和象素間濾波器1303記載為不同的結(jié)構(gòu)要素，但安裝上也可使用相同的象素間濾波器(因為兩個象素間濾波器不同時動作，所以即使使用相同的象素間濾波器也沒問題)。另外，象素間濾波器1203和象素間濾波器1303也可是現(xiàn)有的象素間濾波器106，或是圖8所示內(nèi)置表格保持部504的象素間濾波器503。并且，也可以是內(nèi)置多個保持參數(shù)表620的表格保持部504的象素間濾波器503。此時，還必需向象素間濾波器503輸入濾波器種類數(shù)據(jù)FilterType2’。
如上所述，根據(jù)圖像解碼裝置1300，即使對成為參考圖像的解碼圖像不實施濾波的情況下，也可對該解碼圖像實施象素間濾波器的濾波，所以在顯示從圖像解碼裝置1300輸出的輸出圖像OutImg的顯示裝置中，可顯示更高畫質(zhì)的動態(tài)圖像。這在對成為參考圖像的解碼圖像不實施濾波的情況下，處理能力有余量的設(shè)備情況下特別有效。
如實施例1所示，在以圖象單位、或比圖象小的圖像區(qū)域單位來切換由濾波器種類數(shù)據(jù)FilterType2表示的象素間濾波器的種類的情況下，在變更濾波器種類的時刻切換象素間濾波器。
圖13是表示可對應(yīng)于各圖象的圖象類型來選擇象素間濾波器1203的圖像解碼裝置1400的結(jié)構(gòu)框圖。圖像解碼裝置1400是解碼是否將完成解碼的圖象用作參考圖像的信息、例如包含各圖象的圖象種類等的編碼數(shù)據(jù)的圖像解碼裝置，具備圖像解碼部202、加法器203、圖像存儲器205、圖象間預(yù)測部206、象素間濾波器1203、可變長度解碼部1401、開關(guān)1402、開關(guān)1403和圖象種類數(shù)據(jù)變換部1404。
可變長度解碼部1401可變長度解碼從外部輸入的編碼數(shù)據(jù)Bitstream4，并分離成圖象種類數(shù)據(jù)Ptype、差分圖像編碼數(shù)據(jù)CodedRes和預(yù)測參數(shù)數(shù)據(jù)PredParam。分別將分離后的圖象種類數(shù)據(jù)Ptype輸出到圖象種類數(shù)據(jù)變換部1404，將差分圖像編碼數(shù)據(jù)CodedRes輸出到圖像解碼部202，將預(yù)測參數(shù)數(shù)據(jù)PredParam輸出到圖象間預(yù)測部206。圖象種類數(shù)據(jù)Ptype是表示該圖象是否可被用作參考圖像的信息。例如，在作為國際標(biāo)準(zhǔn)參考的MPEG-1、2中，編碼數(shù)據(jù)中包含每幀中稱為圖象類型的信息，稱為B圖象的幀不被用作參考圖像。因此，也可將編碼數(shù)據(jù)中包含的圖象類型用作本實施例的圖象種類數(shù)據(jù)。若對不被用作參考圖像的圖象執(zhí)行象素間濾波器的濾波時，不會對其它圖象解碼產(chǎn)生過多壞影響。
這里，圖像解碼裝置1400在該圖象不被用作參考圖像的情況下不執(zhí)行象素間濾波。例如，在圖像解碼裝置1400的處理能力低，在再現(xiàn)時刻不能執(zhí)行與時間一致的解碼時，通過不對未被用作參考圖像的圖象執(zhí)行象素間濾波器的濾波，可減輕圖像解碼裝置1400的處理量。當(dāng)用圖13的框圖來說明時，首先，圖象種類數(shù)據(jù)變換部1404若輸入的圖象種類數(shù)據(jù)Ptype表示B圖象以外的圖象，即表示將該圖象用作參考圖像，則開關(guān)1402和開關(guān)1403都被切換到端子“1”。從而，圖像解碼裝置1400使用象素間濾波器1203，對解碼圖像數(shù)據(jù)Recon執(zhí)行象素間濾波運算，將運算結(jié)果作為完成濾波解碼圖像數(shù)據(jù)FilterdImg5存儲在圖像存儲器205中，同時，輸出到圖像解碼裝置1400以外的顯示裝置等。另一方面，圖象種類數(shù)據(jù)Ptype若表示該圖象是B圖象，即該圖象不被用作參考圖像，則開關(guān)1402和開關(guān)1403被切換到端子“0”，不使用象素間濾波器1203，將從加法器105輸出的解碼圖像數(shù)據(jù)Recon原樣輸出到外部。
如上所述，根據(jù)圖像解碼裝置1400，因為對沒有參考其它圖象的B圖象省略了象素間濾波器1203的濾波，所以對其它圖象的解碼沒有產(chǎn)生大的影響，可減輕編碼數(shù)據(jù)Bitstream的解碼要求的處理量。另外，因為圖像解碼裝置1400對應(yīng)于編碼數(shù)據(jù)的圖象類型來選擇象素間濾波器，所以象素間濾波器的選擇信息未進(jìn)入圖象頭(ヘツダ)等頭信息中，即使對從現(xiàn)有圖像編碼裝置輸出的編碼數(shù)據(jù)，也可省略對未參考圖像的濾波處理，可減輕濾波處理的負(fù)載。
未參照的圖象無不進(jìn)行濾波處理無關(guān)，例如圖13所示，不必保存在圖像存儲器205中。由此，只要在僅保存參照的圖象、在圖像存儲器205中進(jìn)行濾波處理的數(shù)據(jù)即可。
嚴(yán)格地說不意味著未參照B圖象的圖像，還考慮參照B圖像的圖像編碼方法。因此，不是單純由圖象類型來選擇象素間濾波器，若判斷是否實際參照的圖象，則即使在參照B圖象的情況下，也可進(jìn)行更適當(dāng)?shù)奶幚?。即使在參照B圖象的情況下，為了簡化安裝，也單純地由圖象類型來進(jìn)行切換。
另外，不切換是否執(zhí)行象素間濾波器，如圖6或圖7所示，也可由圖象種類或是否參考圖象來切換象素間濾波器1003、象素間濾波器1004與兩個濾波器。
另外，說明通過圖象種類和是否參考圖象來切換象素間濾波器的圖像解碼裝置的實例，但即使在圖像編碼裝置中也可同樣執(zhí)行該切換。
(實施例3)圖14是表示根據(jù)本發(fā)明實施例3的圖像編碼裝置1500的功能結(jié)構(gòu)框圖。圖像編碼裝置1500由具備CPU、存儲器、安裝了圖像編碼用程序的硬盤(HD)等的計算機(jī)裝置實現(xiàn)，作為功能，具備操作接收部1505、前處理部1510、減法部1512、正交變換部1513、量化部1514、可變長度編碼部1517、后處理部1520、逆量化部1521、逆正交變換部1522、加法部1524、開關(guān)部1530、象素間濾波器1540、圖像存儲器1541、運動檢測部1542、運動補(bǔ)償部1543、優(yōu)先順序決定部1550和濾波器處理控制部1560。
操作接收部1505接收操作者的輸入操作。前處理部1510具備模式變換部，將輸入的圖像信號模式變換為由操作接收部1505的操作指定的空間分辨率；和圖象重新排列部，與圖象種類一致，重新排列圖象，等，依次輸出圖象種類和各幀的幀圖像等。
圖象類型中有畫面內(nèi)編碼模式時生成的、無參考圖像的I圖象(IntraPicture面內(nèi)編碼圖像)、畫面間編碼模式時生成的僅參照1個圖象的P圖象(Predictive Picture預(yù)測編碼圖像)及還可參照后方圖像的B圖象(BiPredictive Picture多個預(yù)測圖像)，限制在畫面間編碼模式時的運動檢測時，存儲在圖像存儲器1541中的可由運動檢測部5142同時參照的解碼圖像個數(shù)。
另外，在編碼幀圖像的情況下，有使用3個圖象種類來編碼情況的模式(下面還將該模式稱為IPB編碼模式)、和僅使用I圖象和P圖象這兩個圖象來進(jìn)行編碼情況的模式。在僅使用I圖象和P圖象這兩個圖象來進(jìn)行編碼情況的模式下，有對可參照的P圖象及不可參照的P圖象進(jìn)行編碼的模式(下面還將該模式稱為第1IP編碼模式)、和對層次編碼中的基本層的P圖象、可由增強(qiáng)層參照的P圖象及不可由增強(qiáng)層參照的P圖象進(jìn)行編碼的模式(下面還將該模式稱為第2IP編碼模式)。所謂層次編碼是將圖象分成基本層和增強(qiáng)層這兩個層，基本層是可僅由基本層的圖象組單獨再現(xiàn)的集合，增強(qiáng)層是為了編碼、解碼而必需基線圖象組的圖象組。若僅是基本層，則位數(shù)少，若基本層與增強(qiáng)層結(jié)合，則位數(shù)多，但圖象數(shù)變多，所以基線在所有情況下記錄、傳送，增強(qiáng)層僅在必需高畫質(zhì)的情況下記錄、傳送，可容易實現(xiàn)兩種用途是層次編碼的特征。
在第1IP編碼模式的情況下，在向幀圖像附加[有可能]或[無可能]的信息的同時，向圖象種類附加[有可能]或[無可能]的信息。另外，在第2編碼模式的情況下，向幀圖像附加[基本]、[有可能]或[無可能]的信息的同時，向圖象種類附加[基本]、[有可能]或[無可能]的信息。
減法部1512在畫面內(nèi)編碼模式時原樣輸出從前處理部1510輸出的幀圖像，在畫面間編碼模式時，計算作為幀圖像與從運動補(bǔ)償部1543輸出的運動補(bǔ)償圖像的差分值的運動補(bǔ)償誤差(殘差圖像)。
正交變換部1513通過分別對從減法部1512輸出的畫面內(nèi)編碼模式時的幀圖像及畫面間編碼模式時的運動補(bǔ)償誤差執(zhí)行離散余弦變換等正交變換，輸出變換為頻域的頻率分量。量化部1514通過量化從正交變換部1513輸出的頻率分量，輸出量化值?？勺冮L度編碼部1517通過對從量化部1514輸出的量化值使用分配對應(yīng)于發(fā)生頻度的碼長的可變長度碼(霍夫曼碼)，輸出還實施信息壓縮的編碼信號。后處理部1520具有暫時存儲編碼信號等的緩沖器、和控制量化部1514中的量化寬度用的速率控制部等，將上述運動矢量、圖象種類等、和從可變長度編碼部1517輸出的編碼信號變換為位流的編碼信號后輸出。
逆量化部1521通過逆量化量化部1514生成的量化值，解碼頻率分量。逆正交變換部1522通過逆正交變換由逆量化部1512解碼的頻率分量，在畫面內(nèi)編碼模式時解碼幀圖像，在畫面間編碼模式時解碼作為象素差分值的運動補(bǔ)償誤差(殘差圖像)。加法部1524在畫面內(nèi)編碼模式時原樣輸出由逆正交變換部1522解碼的幀圖像(解碼圖像)，在畫面間編碼模式時，通過將由逆正交變換部1522解碼的殘差圖像和由運動補(bǔ)償部1543生成的運動補(bǔ)償圖像相加，解碼幀圖像。
開關(guān)部1530由通過濾波處理控制部1560對每個圖象的開關(guān)ON/OFF控制、同步切換開關(guān)形態(tài)的一對開關(guān)1531、1532構(gòu)成，將象素間濾波器1540組裝環(huán)內(nèi)，或離開環(huán)，即，跳過象素間濾波器1540的處理。象素間濾波器1540在開關(guān)1531、1532ON時，對從加法部1524輸出的解碼圖像，以塊單位執(zhí)行空間低通濾波處理，生成沒有塊失真等的解碼圖像。例如，算出某個象素、其周圍象素與平均值，若某個象素與周圍象素的差在規(guī)定范圍內(nèi)，則一個一個地對塊交界附近的象素執(zhí)行將該某個象素置換成算出的平均值的處理。
圖像存儲器1541以多個幀大小存儲從開關(guān)部1530輸出的解碼圖像。從而，可在與解碼從后處理部1520輸出的編碼信號的圖像解碼裝置相同的狀態(tài)下，監(jiān)視解碼圖像，并將解碼圖像用作畫面間編碼模式時的參考圖像。在第1IP編碼模式和第2IP編碼模式中，必需將附加有參照可能性信息的P圖象解碼圖像存儲在圖像存儲器1541中，不必將附加無參照可能性的信息的P圖象解碼圖像存儲在圖像存儲器1541中。因此，有/無可能性的信息表示與將解碼圖像存儲/不存儲到圖像存儲器1541中相同的含義。
運動檢測部1542在畫面間編碼模式時，從存儲在圖像存儲器1541中的解碼圖像中檢索與從前處理部1510輸出的幀圖像的差分最小的參考圖像，輸出作為差分象素運動量的運動矢量。在輸出運動矢量時，輸出參考圖像是前方圖像、后方圖像、兩圖像的平均值等塊預(yù)測種類。運動補(bǔ)償部1543執(zhí)行由運動矢量及塊預(yù)測種類表示的運算，生成運動補(bǔ)償圖像。優(yōu)先順序決定部1550對應(yīng)于圖象種類、基本層、增強(qiáng)層，輸出該圖象的優(yōu)先級。濾波器處理控制部1560對應(yīng)于從優(yōu)先順序決定部1550輸出的優(yōu)先級或CPU運轉(zhuǎn)率，ON/OFF控制開關(guān)1531、1532。
圖15是表示圖14所示優(yōu)先順序決定部1550的詳細(xì)功能結(jié)構(gòu)的框圖。如圖所示，優(yōu)先順序決定部1550對應(yīng)于圖象種類及基本層、增強(qiáng)層來輸出圖象的優(yōu)先級，如圖15所示，由3個表格1551-1553、選擇器1554和決定處理部1555構(gòu)成。在第2IP編碼模式中的P圖象的情況下，還向圖象種類附加表示[基本]、[有參照可能性]或[無]的信息。
表格1551在通過操作接收部1505的操作來指定IPB編碼模式情況下被選擇，是對應(yīng)幀圖像的圖象種類和優(yōu)先級的表格，在I圖象中，優(yōu)先級設(shè)定為
，在P圖象中，優(yōu)先級設(shè)定為[1]，在B圖象中，優(yōu)先級設(shè)定為[2]。另外，設(shè)定為隨著數(shù)值變大，優(yōu)先級變低。
表格1552在通過操作接收部1505的操作來指定第1IP編碼模式情況下被選擇，是對應(yīng)幀圖像的圖象種類和優(yōu)先級的表格，在I圖象中，優(yōu)先級設(shè)定為
，在P(有參照可能性)圖象中，優(yōu)先級設(shè)定為[1]，在P(無參照可能性)圖象中，優(yōu)先級設(shè)定為[2]。
表格1553是在指定第2IP編碼模式I、P(基本、有參照可能性、無參照可能性)編碼模式的情況下被選擇的表格，是對應(yīng)幀圖像的圖象種類和優(yōu)先級的表格，在I圖象中，優(yōu)先級設(shè)定為
，在P(基本)圖象中，優(yōu)先級設(shè)定為[1]，在P(有參照可能性)圖象中，優(yōu)先級設(shè)定為[2]，在P(無參照可能性)圖象中，優(yōu)先級設(shè)定為[3]。
選擇器1554根據(jù)由操作接收部1505指定的編碼模式(IPB編碼模式、第1IP編碼模式)，選擇表格1551-1553之一。決定處理部1555參照由選擇器1554選擇的表格，決定對應(yīng)于從前處理部1510輸出的圖象種類及基本層、增強(qiáng)層的優(yōu)先級，輸出決定的優(yōu)先級。具體而言，在指定IPB編碼模式的情況下，選擇器1554選擇表格1551，決定處理部1555在每次從前處理部1510輸出圖象種類時，輸出對應(yīng)于I圖象、P圖象、B圖象的優(yōu)先級。另外，在指定第1IP編碼模式的情況下，選擇器1554選擇表格1552，決定處理部1555根據(jù)圖像種類、附加在P圖象上的數(shù)據(jù)([有可能性]、[無可能性])，輸出優(yōu)先級。并且，在指定第2IP編碼模式的情況下，選擇器1554選擇表格1553，決定處理部1555根據(jù)圖像種類、附加在P圖象上的數(shù)據(jù)(參照的[基本]、[有可能性]、[無可能性])，輸出優(yōu)先級。
圖16是表示圖14所示濾波器處理控制部1560的詳細(xì)功能結(jié)構(gòu)的框圖。如圖所示，濾波處理控制部1560對應(yīng)于從優(yōu)先順序決定部1550輸出的優(yōu)先級及CPU運轉(zhuǎn)率，ON/OFF控制開關(guān)1531、1532，如圖16所示，由3個表格1561-1563、選擇器1564和開關(guān)切換處理部1565構(gòu)成。表格1561在指定IPB編碼模式的情況下被選擇，是表示實施濾波處理情況下的優(yōu)先級與CPU運轉(zhuǎn)率的組合的表格，設(shè)定在CPU的運轉(zhuǎn)率小于70％、優(yōu)先級為0-2的情況下，開關(guān)ON，在CPU的運轉(zhuǎn)率大于70％小于80％、優(yōu)先級僅為0和1的情況下，開關(guān)ON，在CPU的運轉(zhuǎn)率大于80％、優(yōu)先級僅為0的情況下，開關(guān)ON。
表格1562在指定第1IP編碼模式的情況下被選擇，是表示實施濾波處理情況下的優(yōu)先級與CPU運轉(zhuǎn)率的組合的表格，設(shè)定在CPU的運轉(zhuǎn)率小于70％、優(yōu)先級為0-2的情況下，開關(guān)ON，在CPU的運轉(zhuǎn)率大于70％小于80％、優(yōu)先級僅為0和1的情況下，開關(guān)ON，在CPU的運轉(zhuǎn)率大于80％、優(yōu)先級僅為0的情況下，開關(guān)ON。
表格1563在指定第2IP編碼模式的情況下被選擇，是表示實施濾波處理情況下的優(yōu)先級與CPU運轉(zhuǎn)率的組合的表格，設(shè)定在CPU的運轉(zhuǎn)率小于70％、優(yōu)先級為0-3的情況下，開關(guān)ON，在CPU的運轉(zhuǎn)率大于70％小于80％、優(yōu)先級僅為0、1和2的情況下，開關(guān)ON，在CPU的運轉(zhuǎn)率大于80％、優(yōu)先級僅為0和1的情況下，開關(guān)ON。
選擇器1564根據(jù)由操作接收部1505指定的編碼模式(IPB編碼模式、新第1IP編碼模式)，選擇表格1561-1563之一。開關(guān)切換處理部1565參照由選擇器1564選擇的表格，根據(jù)對從優(yōu)先順序決定部1550輸出的各優(yōu)先級和圖象取得的CPU運轉(zhuǎn)率，輸出開關(guān)ON或OFF信號，ON/OFF控制開關(guān)部1530的開關(guān)1531、1532。
具體而言，在指定IPB編碼模式的情況下，選擇器1564選擇表格1561，開關(guān)切換處理部1565在CPU運轉(zhuǎn)率小于70％的情況下，對所有I圖象、P圖象、B圖象輸出開關(guān)ON信號。另外，在CPU運轉(zhuǎn)率大于70％小于80％的情況下，開關(guān)切換處理部1565僅在I圖象和P圖象的情況下輸出開關(guān)ON信號。另外，在CPU運轉(zhuǎn)率大于80％的情況下，開關(guān)切換處理部1565僅在I圖象的情況下輸出開關(guān)ON信號。
另外，在指定第1IP編碼模式的情況下，選擇器1564選擇表格1562，開關(guān)切換處理部1565在CPU運轉(zhuǎn)率小于70％的情況下，對所有I圖象、P圖象(有可能性)、P圖象(無可能性)輸出開關(guān)ON信號。另外，在CPU運轉(zhuǎn)率大于70％小于80％的情況下，開關(guān)切換處理部1565僅在I圖象和P圖象(有可能性)的情況下輸出開關(guān)ON信號。另外，在CPU運轉(zhuǎn)率大于80％的情況下，開關(guān)切換處理部1565僅在I圖象的情況下輸出開關(guān)ON信號。
并且，在指定第2IP編碼模式的情況下，選擇器1564選擇表格1563，開關(guān)切換處理部1565對所有I圖象、P圖象(基本)、P圖象(有可能性)、P圖象(無可能性)輸出開關(guān)ON信號。另外，在CPU運轉(zhuǎn)率大于70％小于80％的情況下，開關(guān)切換處理部1565僅在I圖象、P圖象(基本)、P圖象(有可能性)的情況下輸出開關(guān)ON信號。另外，在CPU運轉(zhuǎn)率大于80％的情況下，開關(guān)切換處理部1565僅在I圖象、P圖象(基本)的情況下輸出開關(guān)ON信號。
接著，說明如此構(gòu)成的圖像編碼裝置1500的動作。
在將幀圖像作為I圖象進(jìn)行編碼的畫面內(nèi)編碼模式時，通過正交變換部1513的正交變換將從前處理部1510輸出的幀圖像壓縮編碼成頻率分量，通過量化部1514的量化壓縮編碼成量化值。該量化值可通過可變長度編碼部1517的可變長度編碼進(jìn)行可變長度壓縮編碼，通過后處理部1520變換為I圖象的位流編碼信號，存儲在硬盤等存儲媒體中。
另一方面，從量化部1514輸出的量化值由逆量化部1521的逆正交變換解碼成頻率分量，由逆正交變換部1522的逆正交變換解碼成幀圖像。解碼后的幀圖像(解碼圖像)在控制開關(guān)1531、1532通過濾波處理控制部1560的控制ON的情況下，由象素間濾波器1540實施去除塊失真的濾波處理后，存儲在圖像存儲器1541中，在OFF開關(guān)1531、1532的情況下，不實施濾波處理，存儲在圖像存儲器1541中。
另外，在將幀圖像作為P圖象及B圖象進(jìn)行編碼的畫面間編碼模式時，由運動檢測部1542生成運動矢量，由運動補(bǔ)償部1543生成運動補(bǔ)償圖像(預(yù)測圖像)，由減法部1512生成運動補(bǔ)償誤差(差分圖像)。運動檢測部1542根據(jù)前方或后方的1個或多個參考圖像，檢索圖像存儲器1541中存儲的解碼圖像中與從前處理部1510輸出的幀圖像的差分最小的預(yù)測圖像。
圖17是表示存儲在圖像存儲器1541中的幀圖像的參照關(guān)系的圖。尤其是，圖17(a)是表示IPB方式情況預(yù)測中的參考圖像的圖，圖17(b)是表示第1IP方式情況預(yù)測中的參考圖像的圖，圖17(c)是表示第2IP方式情況預(yù)測中的參考圖像的圖。在各方式的各圖象下欄中示出對應(yīng)于該圖象的優(yōu)先順序(優(yōu)先級)。
在圖17(a)的IPB方式情況的P圖象預(yù)測中，可參照前方的I圖象及P圖象。在B圖象的預(yù)測中，可參照前方的I圖象或P圖象，同時，可參照1個后方時間上最近的I圖象或P圖象。
在H.26L的B圖象預(yù)測中，除I圖象、P圖象外，也可將B圖象作為前方圖像來參照。在將B圖象用作參考圖像的模式情況下，在向B圖象的幀圖像附加[有可能性]或[無可能性]的信息的同時，向圖象種類附加[有可能性]或[無可能性]的信息。另外，在該模式中，必需將附加有參照可能性信息的B圖象解碼圖像存儲在圖像存儲器1541中，不必將附加無參照可能性信息的B圖象解碼圖像存儲在圖像存儲器1541中。
在圖17(b)的第1IP方式情況中的P(有參照可能性)圖象的預(yù)測中，可參照前方的I圖象及P(有參照可能性)圖象。在P(無參照可能性)圖象的預(yù)測中，可參照前方的I圖象或P(有參照可能性)圖象。
在圖17(c)的第2IP方式情況中的P(基本)圖象的預(yù)測中，可參照前方的I圖象及P(基本)圖象。在P(有參照可能性)圖象的預(yù)測中，可參照前方的I圖象或P(基本)圖象。在P(無參照可能性)圖象的預(yù)測中，可參照多個前方的I圖象、P(基本)圖象或P(有參照可能性)圖象。
為了說明方便，說明指定IPB編碼模式的情況。
在這種限制下，運動檢測部1542輸出檢索的參考圖像與從前處理部1510輸出的幀圖像的差分象素的運動量，作為運動矢量，同時，輸出表示參考圖像是前方圖像、后方圖像或是雙向圖像平均值的塊預(yù)測種類。運動補(bǔ)償部1543對差分象素執(zhí)行由從運動檢測部1542輸出的運動矢量和塊預(yù)測種類表示的運算，生成運動補(bǔ)償圖像。減法部1512通過將從前處理部1510輸出的幀圖像與由運動補(bǔ)償部1543生成的運動補(bǔ)償圖像相減，生成運動補(bǔ)償誤差(差分圖像)。
從減法部1512輸出的運動補(bǔ)償誤差(差分圖像)通過正交變換部1513的正交變換，壓縮編碼成頻率分量，通過量化部1514的量化壓縮編碼成量化值。該量化值可通過可變長度編碼部1517的可變長度編碼進(jìn)行可變長度壓縮編碼，通過后處理部1520，與運動矢量等一起變換為P圖象或B圖象的位流編碼信號，存儲在硬盤等存儲媒體中。
另一方面，從量化部1514輸出的具有參照可能性的P圖象或B圖象的量化值由逆量化部1521的逆正交變換解碼成頻率分量，由逆正交變換部1522的逆正交變換解碼成運動補(bǔ)償誤差(差分圖像)。通過由加法部1524將運動補(bǔ)償誤差(差分圖像)與運動補(bǔ)償圖像相加，解碼成幀圖像。解碼后的幀圖像(解碼圖像)在控制開關(guān)1531、1532通過濾波處理控制部1560的控制ON的情況下，由象素間濾波器1540實施去除塊失真的濾波處理后，存儲在圖像存儲器1541中，在OFF開關(guān)1531、1532的情況下，不實施濾波處理，存儲在圖像存儲器1541中。
這里，詳細(xì)說明濾波處理控制部1560的開關(guān)1531、1532的ON/OFF控制。
圖18是表示濾波處理控制部1560的開關(guān)切換處理部1565執(zhí)行的開關(guān)驅(qū)動處理的流程圖。
可是，優(yōu)先順序決定部1550的決定處理部1555參照由選擇器1554選擇的表格1551，對從前處理部1510輸出的每個圖象決定對應(yīng)于圖象種類的優(yōu)先級，輸出決定的優(yōu)先級。具體而言，在指定IPB編碼模式的情況下，選擇器1554選擇表格1551，決定處理部1555在每次從前處理部1510輸出圖象種類時，在I圖象的情況下，輸出優(yōu)先級
，在P圖象的情況下，輸出優(yōu)先級[1]，在B圖象的情況下，輸出優(yōu)先級[2]。
濾波處理控制部1560的開關(guān)切換處理部1565在每次圖象編碼時取得該圖象的優(yōu)先級和圖像編碼裝置1500具備的CPU運轉(zhuǎn)率(S21)，決定表格(圖16的實例中為表格1561)參照的入口(entry)(S22)。
具體而言，若CPU運轉(zhuǎn)率小于70％，則將參照的入口決定為第1行，若CPU運轉(zhuǎn)率大于70％小于80％，則將參照的入口決定為第2行，若CPU運轉(zhuǎn)率大于80％，則將參照的入口決定為第3行。
若決定結(jié)束參照入口，則開關(guān)切換處理部1565讀取該入口的右欄(S23)，判斷對解碼圖像的圖象種類設(shè)定的優(yōu)先級是否在右欄(S24)。若在右欄(S24為是)，則開關(guān)切換處理部1565向開關(guān)1531、1532輸出開關(guān)接通的信號(S25)。從而對解碼圖像實施濾波處理，將實施了濾波處理的解碼圖像存儲在圖像存儲器1541中。
相反，若不在右欄(S24為否)，則開關(guān)切換處理部1565向開關(guān)1531、1532輸出開關(guān)斷開的信號(S26)。從而跳過對解碼圖像的濾波處理，不實施濾波處理，將解碼圖像存儲在圖像存儲器1541中。
對每個圖象執(zhí)行這種控制，將實施了濾波處理的解碼圖像和未實施濾波處理的解碼圖像依次存儲在圖像存儲器1541中。因此，在圖像編碼中，通常不需要噪聲去除等象素間濾波器，必要時可選擇地附加象素間濾波器，例如，通過僅向?qū)Ξ嬞|(zhì)影響大的幀圖像附加象素間濾波器，即使是處理能力小的圖像編碼裝置，也能維持圖像存儲器中存儲的重要幀的畫質(zhì)，在圖像存儲器中存儲的解碼圖像中積累的塊失真變少，運動補(bǔ)償部的預(yù)測效率提高，與MPEG技術(shù)相比，還可減少畫質(zhì)惡化，以低的位速率得到高的畫質(zhì)改善效果。
即，因為優(yōu)先向?qū)ζ渌鼛瑘D像具有大的影響度的幀圖像、即畫面內(nèi)編碼幀圖像、前向預(yù)測編碼幀圖像、基本層的幀圖像等實施象素間濾波，所以對相同處理負(fù)載的增大，可更有效地得到象素間濾波器的噪聲去除等畫質(zhì)改善效果。
因為可控制濾波處理的ON/OFF，以充分發(fā)揮圖像編碼裝置的處理能力，所以可以高效率使用CPU，即使是相同的硬件資源，也可實現(xiàn)高畫質(zhì)的編碼。
(實施例4)接著，說明根據(jù)本發(fā)明實施例的圖像解碼裝置。圖19是表示根據(jù)本發(fā)明實施例4的圖像解碼裝置1600的功能結(jié)構(gòu)框圖。
圖像解碼裝置1600解碼由圖14所示圖像編碼裝置1500編碼的編碼信號，由具有CPU、存儲器、安裝圖像解碼用程序的硬盤(HD)等的計算機(jī)裝置實現(xiàn)，作為功能，具備前處理部1610、可變長度解碼部1617、逆量化部1621、逆正交變換部1622、加法部1624、開關(guān)部1630、象素間濾波器1640、后處理部1670、圖像存儲器1641、運動補(bǔ)償部1643、優(yōu)先順序決定部1650和濾波處理控制部1660。
前處理部1610具備暫時存儲編碼信號的緩沖器等，分離包含在編碼信號中的圖象種類、運動矢量、圖像自身的編碼信號后輸出。另外，在圖像的編碼信號為第1IP編碼模式的情況下，在向幀圖像附加[有可能]或[無可能]的信息的同時，向圖象種類附加[有可能]或[無可能]的信息。另外，在第2編碼模式的情況下，向幀圖像附加[基本]、[有可能]或[無可能]的信息的同時，向圖象種類附加[基本]、[有可能]或[無可能]的信息。
可變長度解碼部1617通過對從前處理部1610輸出的編碼信號進(jìn)行解碼(霍夫曼解碼)，輸出固定長度的量化值。逆量化部1621通過逆量化從可變長度解碼部1617輸出的量化值，解碼頻率分量。逆正交變換部1622通過逆正交變換由逆量化部1612解碼的頻率分量，在畫面內(nèi)編碼模式時解碼幀圖像，在畫面間編碼模式時解碼作為象素差分值的運動補(bǔ)償誤差(殘差圖像)。
加法部1624在畫面內(nèi)編碼模式時原樣輸出由逆正交變換部1622解碼的幀圖像(解碼圖像)，在畫面間編碼模式時，通過將由逆正交變換部1622解碼的運動補(bǔ)償誤差(殘差圖像)和由運動補(bǔ)償部1643生成的運動補(bǔ)償圖像相加，解碼幀圖像。開關(guān)部1630由通過濾波處理控制部1660對每個圖象的開關(guān)ON/OFF控制、同步切換開關(guān)形態(tài)的一對開關(guān)1631、1632構(gòu)成，將象素間濾波器1640組裝環(huán)內(nèi)，或離開環(huán)，即，跳過象素間濾波器1640的處理。
象素間濾波器1640在開關(guān)1631、1632ON時，對從加法部1624輸出的解碼圖像，以塊單位執(zhí)行空間低通濾波處理，生成沒有塊失真等的解碼圖像。例如，算出某個象素、其周圍象素與平均值，若某個象素與周圍象素的差在規(guī)定范圍內(nèi)，則一個一個地對塊交界附近的象素執(zhí)行將該某個象素置換成算出的平均值的處理。
后處理部1670具有格式變換部，格式變換為規(guī)定空間分辨率；和畫面順序恢復(fù)部，將與圖象種類一致后重新排列的畫面恢復(fù)為原始順序，等，將解碼圖像輸出到監(jiān)視器等。圖像存儲器1641以多個幀大小存儲從開關(guān)部1630輸出的具有參照可能性的解碼圖像。運動補(bǔ)償部1643對圖像存儲器1641中存儲的解碼圖像執(zhí)行由從前處理部1610輸出的運動矢量及塊預(yù)測種類表示的運算，生成運動補(bǔ)償圖像。優(yōu)先順序決定部1650與圖15所示的優(yōu)先順序決定部1550結(jié)構(gòu)相同，對應(yīng)于從前處理部1610輸出的圖象種類、基本層、增強(qiáng)層，輸出該圖象的優(yōu)先級。濾波處理控制部1660與圖16所示濾波處理控制部1560的結(jié)構(gòu)相同，對應(yīng)于從優(yōu)先順序決定部1650輸出的優(yōu)先級或通過監(jiān)視得到的CPU運轉(zhuǎn)率，ON/OFF控制開關(guān)部1630的開關(guān)1631、1632。
接著，說明如此構(gòu)成的圖像解碼裝置1600的動作。與圖像編碼裝置1500一致，為了說明方便，說明指定IPB編碼模式的情況。
在將I圖象的編碼信號解碼成幀圖像的畫面內(nèi)編碼模式時，通過可變長度解碼部1617可變長度解碼從前處理部1610輸出的編碼信號，解碼成量化值，通過逆量化部1621的逆正交變換，擴(kuò)展解碼成頻率分量，通過逆正交變換部1622的逆正交變換解碼成幀圖像(解碼圖像)。解碼后的幀圖像(解碼圖像)在開關(guān)1631、1632通過濾波處理控制部1660的控制ON的情況下，由象素間濾波器1640實施去除塊失真的濾波處理后，存儲在圖像存儲器1641中，同時，后處理部1670將圖像的順序恢復(fù)為原始順序，進(jìn)行格式變換，輸出到監(jiān)視器等。相反，在OFF開關(guān)1631、1632的情況下，解碼圖像不實施濾波處理就存儲在圖像存儲器1641中，同時，后處理部1670將圖像的順序恢復(fù)為原始順序，進(jìn)行格式變換，輸出到監(jiān)視器等。
另外，在將P圖象及B圖象的編碼信號解碼成幀圖像的畫面間編碼模式時，由可變長度解碼部1617可變長度解碼從前處理部1610輸出的編碼信號，解碼成量化值，通過逆量化部1621的逆正交變換，擴(kuò)展解碼成頻率分量，通過逆正交變換部1622的逆正交變換，解碼成運動補(bǔ)償誤差(差分圖像)。
另一方面，通過運動補(bǔ)償部1643生成運動補(bǔ)償圖像(預(yù)測圖像)。運動補(bǔ)償部1643對從圖像存儲器1641中讀取的參考圖像的差分象素執(zhí)行由從前處理部1610輸出的運動矢量和塊預(yù)測種類表示的運算，生成運動補(bǔ)償圖像。
通過由加法部1624將運動補(bǔ)償誤差(差分圖像)與運動補(bǔ)償圖像相加，解碼成幀圖像。解碼后的幀圖像(解碼圖像)在開關(guān)1631、1632通過濾波處理控制部1660的控制ON的情況下，由象素間濾波器1640實施去除塊失真的濾波處理后，后處理部1670將圖像的順序恢復(fù)為原始順序，進(jìn)行格式變換，輸出到監(jiān)視器等，同時，將具有參照可能性的解碼圖像存儲在圖像存儲器1641中。相反，在OFF開關(guān)1631、1632的情況下，不實施濾波處理，后處理部1670將圖像的順序恢復(fù)為原始順序，進(jìn)行格式變換，輸出到監(jiān)視器等，同時，將具有參照可能性的解碼圖像存儲在圖像存儲器1641中。這里，與圖像編碼裝置1500的開關(guān)1531、1532的情況一樣，由濾波處理控制部1660來ON/OFF控制開關(guān)1631、1632。
即，濾波處理控制部1660的開關(guān)切換處理部在每次圖象編碼時取得該圖象的優(yōu)先級和圖像解碼裝置1600具備的CPU運轉(zhuǎn)率，決定IPB編碼模式用表格參照的入口，讀取該入口的右欄，判斷對解碼圖像的圖象種類設(shè)定的優(yōu)先級是否在右欄。若在右欄，則濾波處理控制部1660的開關(guān)切換處理部向開關(guān)1631、1632輸出開關(guān)接通的信號。從而對解碼圖像實施濾波處理，將實施了濾波處理的解碼圖像存儲在圖像存儲器1641中。相反，若不在右欄，則濾波處理控制部1660的開關(guān)切換處理部向開關(guān)1631、1632輸出開關(guān)斷開的信號。從而跳過對解碼圖像的濾波處理，不實施濾波處理，將解碼圖像存儲在圖像存儲器1641中。
對每個圖象執(zhí)行這種控制，將實施了濾波處理的解碼圖像和未實施濾波處理的解碼圖像依次存儲在圖像存儲器1641中。
因此，在圖像解碼中，通常不需要噪聲去除等象素間濾波器，必要時可選擇地附加象素間濾波器，例如，通過僅向?qū)Ξ嬞|(zhì)影響大的幀圖像附加象素間濾波器，即使是處理能力小的圖像編碼裝置，也能維持圖像存儲器中存儲的重要幀的畫質(zhì)，在圖像存儲器中存儲的解碼圖像中積累的塊失真變少，運動補(bǔ)償部的預(yù)測效率提高，與MPEG技術(shù)相比，還可減少畫質(zhì)惡化，以低的位速率得到高的畫質(zhì)改善效果。
即，因為優(yōu)先向?qū)ζ渌鼛瑘D像具有大的影響度的幀圖像、即畫面內(nèi)編碼幀圖像、前向預(yù)測編碼幀圖像、基本層幀圖像等實施象素間濾波，所以對相同處理負(fù)載的增大，可更有效地得到象素間濾波器的噪聲去除等畫質(zhì)改善效果。
因為可控制濾波處理的ON/OFF，以充分發(fā)揮圖像解碼裝置的處理能力，所以可以高效率使用CPU，即使是相同的硬件資源，也可實現(xiàn)高畫質(zhì)的編碼。
本發(fā)明不僅可實現(xiàn)為這種圖像編碼裝置和圖像解碼裝置，而且還可實現(xiàn)將這些裝置具備的特征部作為頻率的圖像編碼方法和圖像解碼方法，或?qū)崿F(xiàn)為在計算機(jī)中執(zhí)行這些步驟的程序。另外，不用說，該程序可通過CD-ROM等記錄媒體或因特網(wǎng)等傳輸媒體進(jìn)行流通。
(實施例5)通過將實現(xiàn)上述各實施例中所示圖像編碼方法或圖像解碼方法結(jié)構(gòu)的程序記錄在軟盤等記錄媒體中，可在獨立計算機(jī)系統(tǒng)中簡單實施上述各實施例中所示處理。
圖20是使用存儲上述實施例1到實施例2的圖像編碼方法或圖像解碼方法的軟盤，由計算機(jī)系統(tǒng)進(jìn)行實施的情況說明圖。
圖20(b)表示從軟件正面看到的外觀、截面結(jié)構(gòu)及軟盤，圖20(a)表示作為記錄媒體主體的軟盤的物理格式的實例。軟盤FD內(nèi)置于殼體F內(nèi)，在該盤表面從外周向內(nèi)周以同心圓狀形成多個軌道Tr，將各軌道沿角度方向分割成16個扇區(qū)Se。因此，在存儲上述程序的軟盤中，在上述軟盤FD上分配的區(qū)域中，記錄作為上述程序的圖像編碼方法。
另外，圖20(c)表示在軟盤FD上執(zhí)行上述程序的記錄再現(xiàn)用的結(jié)構(gòu)。在軟盤FD上記錄上述程序的情況下，從計算機(jī)系統(tǒng)Cs經(jīng)軟盤驅(qū)動器寫入作為上述程序的圖像編碼方法或圖像解碼方法。另外，在通過軟盤內(nèi)的程序?qū)⑸鲜鰣D像編碼方法構(gòu)筑在計算機(jī)系統(tǒng)中的情況下，由軟盤驅(qū)動器從軟盤中讀取程序，傳輸?shù)接嬎銠C(jī)系統(tǒng)。
在上述說明中，說明將軟盤用作記錄媒體，但即使使用光盤也可一樣執(zhí)行。另外，記錄媒體不限于此，若是IC卡、ROM盒等可記錄程序的媒體也可同樣實施。
圖21至圖24是說明執(zhí)行上述實施例中所示編碼處理或解碼處理的設(shè)備和使用該設(shè)備的系統(tǒng)的圖。
圖21是表示實現(xiàn)內(nèi)容配送服務(wù)的內(nèi)容提供系統(tǒng)ex100的整體結(jié)構(gòu)框圖。將通信服務(wù)的提供區(qū)域分割成期望大小，在各小區(qū)內(nèi)分別設(shè)置作為固定無線站的基站ex107-ex110。該內(nèi)容提供系統(tǒng)ex100例如經(jīng)因特網(wǎng)服務(wù)提供商ex102和電話網(wǎng)ex104，將計算機(jī)ex111、PDA(personal digital assistant)ex112、攝像機(jī)ex113、便攜電話ex114連接于因特網(wǎng)ex101上。但是，內(nèi)容提供系統(tǒng)ex100不限于圖21的組合，也可以是任意組合后連接。另外，也可不通過作為固定無線站的基站ex107-ex110而直接連接在電話網(wǎng)ex104上。
攝像機(jī)ex113是數(shù)字視頻攝像機(jī)等可動畫攝像的設(shè)備。另外，便攜電話是PDC(Personal Digital Communications)方式、CDMA(Code Division MultipleAccess)方式、W-CDMA(Wideband-Code Division Multiple Access)方式或GSM(Global System for Mobile Communications)方式的便攜電話機(jī)，或PHS(Personal Handyphone System)等，任一個都無妨。
從攝像機(jī)ex113經(jīng)基站ex109、電話網(wǎng)ex104連接流動服務(wù)器(スドリ一ミングサ一バ)ex103，使用攝像機(jī)ex113可進(jìn)行基于用戶發(fā)送的編碼處理數(shù)據(jù)的實況配送等?？捎蓴z像機(jī)ex113來執(zhí)行攝像數(shù)據(jù)的編碼處理，也可由進(jìn)行數(shù)據(jù)發(fā)送處理的服務(wù)器等來執(zhí)行。由攝像機(jī)116拍攝的動畫數(shù)據(jù)也可經(jīng)計算機(jī)ex111發(fā)送到流動服務(wù)器ex103。攝像機(jī)ex116是數(shù)字?jǐn)z像機(jī)等可拍攝靜止畫面、動畫的設(shè)備。此時，既可由攝像機(jī)ex116也可由計算機(jī)ex111任一來執(zhí)行動畫數(shù)據(jù)的編碼。另外，在計算機(jī)ex111或攝像機(jī)ex116具有的LSIex117中處理編碼處理。也可將圖像編碼、解碼用軟件組裝作為計算機(jī)ex111等中讀取記錄媒體的任一存儲媒體(CD-ROM、軟盤、硬盤等)中。另外，也可由帶攝像機(jī)的便攜電話ex115來發(fā)送動畫數(shù)據(jù)。此時的動畫數(shù)據(jù)是由便攜電話115具有的LSI編碼處理的數(shù)據(jù)。
圖22是表示便攜電話ex115一例的圖。便攜電話ex115具有與基站ex110之間收發(fā)信電波用的天線ex201、CCD攝像機(jī)等可拍攝電影、靜止畫面的攝像部ex203、顯示解碼由攝像部203拍攝的電影、由天線ex201接收的電影等的數(shù)據(jù)的液晶顯示器等顯示部ex202、由操作鍵組構(gòu)成的主體部ex204、進(jìn)行聲音輸出用的揚聲器等聲音輸出部ex208、進(jìn)行聲音輸入用的麥克風(fēng)等聲音輸入部ex205、保持拍攝的動畫或靜止畫面數(shù)據(jù)、接收到的郵件數(shù)據(jù)、動畫數(shù)據(jù)或靜止畫面數(shù)據(jù)等編碼數(shù)據(jù)或解碼數(shù)據(jù)的存儲媒體ex207、可將存儲媒體ex207安裝在便攜電話ex115上的插槽部ex206。存儲媒體ex207為SD卡等在塑料殼體內(nèi)容納作為可電改寫或擦除的非易失性存儲器EEPROM(Electrically Erasable andProgrammable Read Only Memory)的一種的閃存元件的媒體。
在內(nèi)容提供系統(tǒng)ex100中，與上述實施例一樣編碼處理用戶用攝像機(jī)ex113、攝像機(jī)ex116等拍攝的內(nèi)容(例如拍攝音樂現(xiàn)場的電影等)，發(fā)送給流動服務(wù)器ex103，另一方面，流動服務(wù)器ex103對有要求的客戶機(jī)流配送上述內(nèi)容數(shù)據(jù)。作為客戶機(jī)，有可解碼上述編碼處理后的數(shù)據(jù)的計算機(jī)ex111、PDAex112、攝像機(jī)113ex、便攜電話ex114等。由此，內(nèi)容提供系統(tǒng)ex100是如下系統(tǒng)可在客戶機(jī)接收編碼后的數(shù)據(jù)并再現(xiàn)，并在客戶機(jī)實時接收后進(jìn)行解碼并再現(xiàn)，從而也可實現(xiàn)個人播放。
用圖23來說明便攜電話ex115。便攜電話ex115對于統(tǒng)一控制顯示部ex202和主體部ex204各部的主控制部ex311，通過同步總線ex313來彼此連接電源電路部ex310、操作輸入控制部ex304、圖像編碼部ex312、攝像機(jī)接口部ex303、LCD(Liquid Crystal Display)控制部ex302、圖像解碼部ex309、復(fù)用分離部ex308、記錄再現(xiàn)部ex307、解調(diào)電路部ex306及聲音處理部ex305。電源電路部ex310若由于用戶操作而結(jié)束通話及電源鍵變?yōu)榻油顟B(tài)時，通過從電池組向各部供電，啟動帶攝像機(jī)的數(shù)字便攜電話ex115為可動作狀態(tài)。便攜電話ex115根據(jù)由CPU、ROM和RAM等構(gòu)成的主控制部ex311的控制，在聲音通話模式時，通過聲音處理部ex305將由聲音輸入部ex205音響共鳴的聲音數(shù)據(jù)變換為數(shù)字聲音數(shù)據(jù)，由解調(diào)電路部ex306進(jìn)行頻譜擴(kuò)展處理，由收發(fā)信電路部ex301實施數(shù)字模擬變換處理及變頻處理后，經(jīng)天線ex201發(fā)送。另外，便攜電話機(jī)ex115放大聲音通話模式時由天線ex201接收的接收數(shù)據(jù)，實施變頻處理及模擬數(shù)據(jù)變換處理，由解調(diào)電路部ex306進(jìn)行頻譜逆擴(kuò)展處理，由聲音處理部ex305變換為模擬聲音數(shù)據(jù)后，經(jīng)聲音輸出部208輸出。并且，在數(shù)據(jù)通信模式時發(fā)送電子郵件的情況下，將通過主體部ex204的操作鍵操作輸入的電子郵件的文本數(shù)據(jù)經(jīng)操作輸入控制部ex304送出到主控制部ex311。主控制部ex311在解調(diào)電路部ex306頻譜擴(kuò)展處理文本數(shù)據(jù)，在收發(fā)信電路部ex301實施數(shù)字模擬變換處理及變頻處理后，經(jīng)天線ex201發(fā)送給基站ex110。
在數(shù)據(jù)通信模式時發(fā)送圖像數(shù)據(jù)的情況下，將攝像部ex203拍攝的圖像數(shù)據(jù)經(jīng)攝像機(jī)接口部ex303提供給圖像編碼部ex312。另外，在不發(fā)送圖像數(shù)據(jù)的情況下，也可將由攝像部ex203拍攝的圖像數(shù)據(jù)經(jīng)攝像機(jī)接口部ex303和LCD控制部ex302直接顯示在顯示部ex202上。
圖像編碼部ex312通過上述實施例中示出的編碼方法進(jìn)行壓縮編碼，將從攝像部ex203提供的圖像數(shù)據(jù)變換為編碼圖像數(shù)據(jù)，并將其發(fā)送給復(fù)用分離部ex308。另外，與此同時，便攜電話機(jī)ex115經(jīng)聲音處理部ex305，將攝像部ex203在拍攝中由聲音輸入部ex205音響共鳴的聲音作為數(shù)字聲音數(shù)據(jù)發(fā)送給復(fù)用分離部ex308。
復(fù)用分離部ex308按規(guī)定方式復(fù)用從圖像編碼部ex312提供的編碼圖像數(shù)據(jù)和從聲音處理部ex305提供的聲音數(shù)據(jù)，由解調(diào)電路部ex306頻譜擴(kuò)展處理結(jié)果得到的復(fù)用數(shù)據(jù)，在實施數(shù)字模擬變換處理及變頻處理后，由收發(fā)信電路部ex301經(jīng)天線ex201進(jìn)行發(fā)送。
在數(shù)據(jù)通信模式時，在接收鏈接主頁等的動態(tài)圖像文件的數(shù)據(jù)情況下，由解調(diào)電路部ex306頻譜逆擴(kuò)展處理經(jīng)天線ex201從基站ex110接收到的接收數(shù)據(jù)，將結(jié)果得到的復(fù)用數(shù)據(jù)發(fā)送給復(fù)用分離部ex308。
在解碼經(jīng)天線ex201接收到的復(fù)用數(shù)據(jù)中，復(fù)用分離部ex308通過分離復(fù)用數(shù)據(jù)而分成編碼圖像數(shù)據(jù)和聲音數(shù)據(jù)，經(jīng)同步總線ex313將該編碼圖像數(shù)據(jù)提供給圖像解碼部ex309，同時，將該聲音數(shù)據(jù)提供給聲音處理部ex305。
接著，圖像解碼部ex309通過由對應(yīng)于上述實施例所示編碼方法的解碼方法解碼編碼圖像數(shù)據(jù)，生成再現(xiàn)動態(tài)圖像數(shù)據(jù)，經(jīng)LCD控制部ex302提供給顯示部ex202，從而，顯示例如包含在鏈接在主頁上的動態(tài)圖像文件中的動畫數(shù)據(jù)。與此同時，聲音處理部ex305將聲音數(shù)據(jù)變換為模擬聲音數(shù)據(jù)后，提供給聲音輸出部ex208，從而，再現(xiàn)例如包含在鏈接在主頁上的動態(tài)圖像文件中的聲音數(shù)據(jù)。
另外，不限于上述系統(tǒng)實例，最近，衛(wèi)星、地面波的數(shù)字播放成為話題，如圖24所示，也可在數(shù)字播放用系統(tǒng)中組裝上述實施例的至少編碼方法或解碼方法之一。具體而言，播放站ex409經(jīng)電波將電影信息的編碼位流傳送給通信或播放衛(wèi)星ex410。接收到位流的播放衛(wèi)星ex410發(fā)送播放用電波，具有衛(wèi)星播放接收設(shè)備的家庭天線ex406接收該電波，通過電視(接收機(jī))ex401或機(jī)頂盒(STB)ex407等裝置解碼編碼位流，對其進(jìn)行再現(xiàn)。另外，讀取記錄在作為記錄媒體的CD或DVD等存儲媒體ex402中的編碼位流，在編碼的再現(xiàn)裝置ex403中也可安裝上述實施例中所示圖像解碼裝置。此時，在監(jiān)視器ex404中顯示再現(xiàn)的電影信號。另外，還考慮如下結(jié)構(gòu)在與有線電視用電纜ex405或衛(wèi)星/地面波播放天線ex406連接的機(jī)頂盒ex407內(nèi)安裝圖像解碼裝置，由電視的監(jiān)視器ex408來再現(xiàn)。此時也可不是機(jī)頂盒，而在電視內(nèi)組裝圖像解碼裝置。另外，也可以由具有天線ex411的車ex412來從衛(wèi)星ex410或從基站ex107接收信號，在車ex412具有的汽車導(dǎo)航系統(tǒng)ex413等的顯示裝置中再現(xiàn)動畫。
另外，也可由上述實施例所示圖像編碼裝置來編碼圖像信號，并記錄在記錄媒體中。作為具體例，有將圖像信號記錄在DVD盤ex421上的DVD記錄器、和記錄在硬盤中的盤式記錄器等記錄器ex420。還可記錄在SD卡ex422中。若記錄器ex420具有上述實施例所示圖像解碼裝置，則可再現(xiàn)DVD盤ex421或SD卡ex422中記錄的圖像信號，并顯示在監(jiān)視器ex408中。
汽車導(dǎo)航系統(tǒng)ex413的結(jié)構(gòu)雖與例如圖23所示便攜電話ex115一樣，但考慮從圖23所示結(jié)構(gòu)中去除攝像部ex203和攝像機(jī)接口部ex303、圖像編碼部ex312的結(jié)構(gòu)。同樣還可考慮計算機(jī)ex111或電視(接收機(jī))ex401等。
另外，上述便攜電話ex114的終端除具有編碼器、解碼器兩者的收發(fā)信型終端外，考慮僅編碼器的發(fā)送終端、僅解碼器的接收終端的三種安裝形式。
因此，通過本說明書中示出的編碼方法、解碼方法，可實現(xiàn)本實施例所示任一裝置、系統(tǒng)。
產(chǎn)業(yè)上的可利用性根據(jù)本發(fā)明的圖像編碼裝置用作具備通信功能的個人計算機(jī)、PDA和便攜電話等中具備的圖像編碼裝置。
根據(jù)本發(fā)明的圖像解碼裝置用作具備通信功能的個人計算機(jī)、PDA和便攜電話等中具備的圖像解碼裝置。
權(quán)利要求
1.一種用于對編碼數(shù)據(jù)進(jìn)行解碼的方法，所述方法包括在使用或不使用參考圖像的情況下對編碼數(shù)據(jù)進(jìn)行解碼以獲得解碼圖像；基于表明所述解碼圖像是否被用作參考圖像來解碼后續(xù)編碼數(shù)據(jù)的信息來改變所述解碼圖像的濾波；和存儲經(jīng)過濾波的解碼圖像，以用作參考圖像來解碼所述后續(xù)編碼數(shù)據(jù)，其中在所述解碼圖像被用作參考圖像時執(zhí)行的濾波的平滑度高于在所述解碼圖像未被用作參考圖像時執(zhí)行的濾波的平滑度。
2.如權(quán)利要求1所述的解碼方法其中在所述解碼圖像未被用作參考圖像時不對所述解碼圖像執(zhí)行所述濾波。
全文摘要
本發(fā)明的圖像編碼方法和圖像解碼方法，圖像編碼裝置(300)編碼表示輸入圖像的圖像數(shù)據(jù)(Img)、與表示對上述輸入圖像的預(yù)測圖像的預(yù)測圖像數(shù)據(jù)(Pred)的差分，生成編碼圖像數(shù)據(jù)，其中，具備圖像解碼部(104)，在編碼圖像數(shù)據(jù)(Img)后，進(jìn)行解碼；象素間濾波器A、B(303、304)，對由圖像解碼部(104)得到的解碼圖像數(shù)據(jù)(Recon)實施象素間濾波運算；開關(guān)(301、302)，選擇上述象素間濾波器之一；和圖象間預(yù)測部(108)，將由選擇的象素間濾波器得到的完成濾波解碼圖像數(shù)據(jù)(FilteredImg)用作參考圖像數(shù)據(jù)(Ref)，生成相對輸入圖像數(shù)據(jù)(Img)的預(yù)測圖像數(shù)據(jù)(Pred)。
文檔編號H04N7/36GK1968411SQ20061009979
公開日2007年5月23日 申請日期2002年9月11日 優(yōu)先權(quán)日2001年9月12日
發(fā)明者羽飼誠, 角野真也 申請人:松下電器產(chǎn)業(yè)株式會社