專利名稱：圖像的編碼方法和圖像的譯碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及預(yù)測圖像的動態(tài)，將圖像信號壓縮編碼的圖像編碼裝置，圖像譯碼裝置，圖像編碼方法，圖像譯碼方法以及記錄為了用軟件實施它們的程序的記錄媒體。
背景技術(shù)：
近年來，伴隨著多媒體應(yīng)用的發(fā)展，一般地將圖像、聲音、文本等所有媒體信息進行統(tǒng)一處理。這時，通過將全部媒體數(shù)字化，能夠統(tǒng)一地處理媒體。但是，由于數(shù)字化的圖像具有龐大的數(shù)據(jù)量，所以，為了存儲、傳送圖像的信息壓縮技術(shù)是必不可少的。另一方面，為了相互運用壓縮的圖像數(shù)據(jù)，壓縮技術(shù)的標準化是非常重要的。作為圖像壓縮技術(shù)的標準規(guī)范，有ITU-T(國際電氣通信聯(lián)盟電氣通信標準化部門)的H.261，H.263，ISO(國際標準化機構(gòu))的MPEG(MovingPicture Experts Gruop)-1，MPEG-2，MPEG-4等。
圖1是表示在動態(tài)圖像中的運動補償?shù)母拍畹膱D示。其中，參照圖像信號Ref內(nèi)的被拍照物體Car和輸入的圖像信號Img內(nèi)的被拍照物體CurCar作為同一個被拍照物體。此外，用圖像信號Img內(nèi)的虛線表達的被拍照物體，表示參照圖像信號Ref內(nèi)的被拍照物體的位置。在圖像編碼裝置將圖像信號Img內(nèi)的像素塊CurBlk編碼的情況下，作為預(yù)測圖像信號Pred，是參照圖像信號Ref內(nèi)相同的被拍照物體CurCar的圖像，如果使用表示在被拍照物體CurCar的圖像中相當于同一位置的圖像的預(yù)測圖像塊PreBlk的像素的話，預(yù)測效率提高。即，如果將參照圖像信號Ref內(nèi)的相同的被拍照物體CurCar的圖像移動到與圖像信號Img內(nèi)的被拍照物體CurCar相同的位置，求出像素值的差分的話，像素值的差分的絕對值變小，數(shù)據(jù)量的振幅縮小，容易進行壓縮。將從預(yù)測圖像塊PreBlk的像素位置映射到像素塊CueBlk的像素位置所必需的信息稱之為運動參數(shù)信號MotionParam。作為裝置運動參數(shù)信號MotionParam，例如，在MPEG-1、2、4，H.261、H.263中，使用表達塊的平行移動的運動矢量。
圖2是表示現(xiàn)有技術(shù)的圖像編碼裝置100的結(jié)構(gòu)的框圖。圖像編碼裝置100備有差分器101，圖像編碼部102，可變長編碼部103，圖像譯碼部104，加法器105，圖像存儲器106，像素塊獲取部107，開關(guān)108，開關(guān)109，像素插補部110，運動推斷部111和像素插補使用判斷部112。首先，圖像編碼裝置100，從外部輸入圖像信號Img。其次，差分器101輸出作為從外部輸入的圖像信號Img和從參照圖像信號Ref獲得的預(yù)測圖像信號Pred的像素值的差分的差分圖像信號Res。預(yù)先圖像信號Pred是已編碼的幀，是在譯碼部104被譯碼，根據(jù)不同的情況，利用像素插補部110進行插補，根據(jù)從運動推斷部111的運動矢量被切成塊的圖像。圖像編碼部102將差分圖像信號Res編碼，輸出差分圖像編碼信號CodedRes。在畫面內(nèi)編碼的場合，由于不進行畫面間的運動補償，所以，認為預(yù)測圖像的像素值為“0”。可變長編碼部103將差分圖像編碼信號CodedRes和運動參數(shù)信號MotionParam可變長編碼，作為一個編碼信號Bitstream輸出到圖像編碼裝置100的外部。圖像譯碼部104，為了用作運動預(yù)測的參照圖像，將差分圖像編碼信號CodedRes譯碼，輸出譯碼差分圖像信號ReconRes。加法器105將譯碼差分圖像信號ReconRes和預(yù)測圖像信號Pred的像素值相加，作為譯碼信號Recon輸出。譯碼圖像信號存儲在圖像存儲器106內(nèi)，在將以后的幀編碼時作為參照圖像使用。圖像存儲器106將從加法器105輸出的進行過編碼的幀的某一個作為預(yù)測用的參照圖像信號Ref加以保持。
像素塊獲取部107從保持在圖像存儲器106中的成為參照幀的幀中，按照從運動推斷部111來的運動矢量提取像素塊Blk，輸出到開關(guān)108。開關(guān)108按照從像素插補使用判斷部112來的插補判斷信號UsePolator在端子“1”和“2”之間切換。端子“1”連接到開關(guān)109的端子“1”上，端子“2”連接到像素插補部110上。像素插補部110，當由運動矢量表示的塊的移動量包含比整數(shù)像素單位小的單位移動量時，生成與其對應(yīng)的位置的像素值，輸出到開關(guān)109的端子“2”上。開關(guān)109按照從像素插補使用判斷部112來的插補判斷信號UsePolator將端子“1”和端子“2”進行切換地連接。運動推斷部111從由外部輸入的圖像信號Img和參照圖像信號Ref，求出運動參數(shù)信號MotionParam。像素插補使用判斷部112，根據(jù)由運動參數(shù)信號MotionParam判斷在用參照圖像信號Ref生成預(yù)測圖像信號Pred時，是否進行像素插補。
即，根據(jù)圖1所示的被拍照物體的運動，在利用比整數(shù)像素單位小的單位的運動進行預(yù)測時，預(yù)測效果高，一般地，在伴隨著比整數(shù)像素單位小的單位的運動圓形圖像像素值的計算中，使用像素插補。該像素插補，通過對參照圖像的像素值利用線性過濾器進行濾波來進行。如果增加這種線性過濾器抽頭數(shù)的話，可以實現(xiàn)具有良好的頻率特性的過濾器，預(yù)測效果高并且處理量增大。另一方面，當過濾器的抽頭數(shù)少時，過濾器頻率特性變差，預(yù)測效果降低，處理縮小。
像素插補使用判斷部112，判斷在由運動參數(shù)信號MotionParam預(yù)測圖像的生成時是否進行像素插補。具體地說，像素插補使用判斷部112，在運動參數(shù)信號MotionParam包含比整數(shù)像素單位小的單位的移動量時，判斷為使用像素插補，輸出值為“1”的像素插補使用控制信號UsePolator。運動參數(shù)信號MotionParam表示整數(shù)像素單位的運動時，判斷為不應(yīng)該使用像素插補，輸出值為“0”的像素插補使用控制信號UsePolator。在像素插補使用控制信號UsePolator為“0”的場合，開關(guān)108和開關(guān)109前切換到端子“1”側(cè)，在像素插補使用控制信號UsePolator為“1”時，開關(guān)108和開關(guān)109切換到端子“2”側(cè)。在開關(guān)108和開關(guān)109連接到端子“2”上時，使用像素插補部110，將像素塊Blk進行像素插補，成為圓形圖像信號Pred。如果開關(guān)108和開關(guān)109成為“0”的話，不進行像素插補，原封不動使用像素塊Blk作為預(yù)測圖像信號Pred使用。
圖3是表示現(xiàn)有技術(shù)的圖像譯碼裝置200的結(jié)構(gòu)的框圖。首先，圖像譯碼裝置200，從外部輸入編碼信號Bitstream。其次，利用可變長譯碼部201，將編碼信號Bitstream進行可變長譯碼，分離成差分圖像編碼信號CodedRes和運動參數(shù)信號MotionParam。圖像譯碼部202將差分圖像編碼信號CodedRes譯碼，作為譯碼差分圖像信號ReconRes輸出。加法器203，將預(yù)測圖像信號Pred和譯碼差分圖像信號ReconRes相加，作為譯碼圖像信號Recon輸出。此外，將譯碼圖像信號Recon的幾個作為參照圖像Ref，存儲在圖像存儲器204中。像素塊獲取部207，從參照圖像信號Ref內(nèi)表示運動參數(shù)信號MotionParam的位置獲取像素集合(但有時為了插補處理，獲取比實際的預(yù)測塊大的區(qū)域)。
像素插補使用判斷部212，由運動參數(shù)信號MotionParam判斷在預(yù)測圖像的獲取中是否應(yīng)該使用像素插補。例如，如MPEG1-1、2、4所述，在表示像素塊的并行移動的運動矢量的情況下，可以利用運動矢量是否被整數(shù)除盡，判斷是否應(yīng)該使用像素插補。當像素插補使用判斷部212判斷為應(yīng)該使用像素插補時，輸出值為“1”的像素插補使用控制信號UsePolator，當判斷為不應(yīng)該使用像素插補時，輸出值為“0”的像素插補使用控制信號UsePolator。在像素插補使用控制信號UsePolator為“0”時，開關(guān)208和開關(guān)209切換到端子“1”側(cè)，在像素插補使用控制信號UsePolator為“1”時，開關(guān)208和開關(guān)209切換到端子“2”側(cè)。如果開關(guān)208和開關(guān)209成為“2”的話，使用由像素插補部209進行的像素插補，將像素塊Blk進行像素插補，作為預(yù)測圖像信號Pred。如果開關(guān)208和開關(guān)209成為端子“1”的話，不進行像素插補，原封不動利用像素塊Blk作為預(yù)測圖像信號Pred。
但是，在便攜式電話機和PDA(Personal Digital Assistant個人數(shù)字輔助裝置)等便攜式設(shè)備中，為了以電池為電源能夠長期使用，抑制耗電量，只能使用處理能力低的運算器，有時只能使用處理小的像素插補方法。另一方面，根據(jù)不同的圖像，為了實現(xiàn)高的編碼效率，盡管處理量大，有時也希望使用預(yù)測效果高的像素插補方法。如果動態(tài)圖像的編碼方式能夠靈活地適應(yīng)這些要求的話，對于擴大其使用范圍是有益的。

發(fā)明內(nèi)容
鑒于上述課題，本發(fā)明的目的是，提供一種可以根據(jù)編碼的圖像信號，選擇不同的像素插補方法的圖像編碼方法和圖像譯碼方法。
為達到上述目的，本發(fā)明的圖像編碼方法，利用由參照圖像生成的預(yù)測圖像對輸入圖像進行編碼，其特征在于，在上述預(yù)測圖像的生成過程中使用如下的像素插補方法通過像素插補并根據(jù)位于小數(shù)位置像素的周邊的多個整數(shù)位置像素的像素值，求出對上述參照圖像的上述小數(shù)位置像素的像素值；該圖像編碼方法包括如下步驟在利用N個像素生成一個插補像素的過濾處理中，從N的數(shù)值不同的、具有多個上述過濾處理的像素插補方法中選擇一個像素插補方法的選擇步驟；使用選擇出的像素插補方法，根據(jù)上述參照圖像生成上述預(yù)測圖像的預(yù)測圖像生成步驟；利用上述預(yù)測圖像將上述輸入圖像編碼的編碼步驟。
此外，為達到上述目的，在本發(fā)明的另一圖像編碼方法中，其特征在于，對每個幀進行上述像素插補方法的選擇，將確定被選擇出的上述圖像插補方法的像素插補類別信號作為編碼信號配置在幀標題中。
此外，為達到上述目的，在本發(fā)明的再一圖像編碼方法中，其特征在于，利用N個像素生成一個插補像素的上述過濾處理，是抽頭數(shù)為N的過濾器的運算處理。
并且，為達到上述目的，在本發(fā)明的圖像譯碼方法中，利用由參照圖像生成的預(yù)測圖像對編碼信號進行譯碼，其特征在于，在上述預(yù)測圖像的生成中使用如下的像素插補方法通過像素插補并根據(jù)位于小數(shù)位置像素的周邊的多個整數(shù)位置像素的像素值，求出對上述參照圖像的上述小數(shù)位置像素的像素值；該圖像譯碼方法包括如下步驟在利用N個像素生成一個插補像素的過濾處理中，從N的數(shù)值不同的、具有多個上述過濾處理的像素插補方法中選擇一個像素插補方法的選擇步驟；使用選擇出的像素插補方法，根據(jù)上述參照圖像生成上述預(yù)測圖像的預(yù)測圖像生成步驟；利用上述預(yù)測圖像將上述編碼信號譯碼的譯碼步驟。
此外，為達到上述目的，在本發(fā)明的另一圖像譯碼方法中，其特征在于，對每個幀選擇上述像素插補方法，上述像素插補方法的選擇是根據(jù)作為編碼信號配置在幀標題中的像素插補類別信號來選擇。
此外，為達到上述目的，在本發(fā)明的另一圖像譯碼方法中，其特征在于，利用N個像素生成一個插補像素的上述過濾處理，是抽頭數(shù)為N的過濾器的運算處理。


圖1是表示在動態(tài)圖像中運動補償?shù)母拍畹膱D示。
圖2是表示現(xiàn)有技術(shù)的圖像編碼裝置的結(jié)構(gòu)的框圖。
圖3是表示現(xiàn)有技術(shù)的圖像譯碼裝置的結(jié)構(gòu)的框圖。
圖4是表示本發(fā)明的圖像編碼裝置的結(jié)構(gòu)的框圖。
圖5是表示本發(fā)明的圖像譯碼裝置的結(jié)構(gòu)的框圖。
圖6(a)是表示在1/2像素過濾器中，計算從已有的像素在i軸向方向偏移1/2個像素的位置處的像素的像素值的計算方法的一個例子的圖示。圖6(b)是表示在1/2像素過濾器中，計算從已有的像素在j軸向方向偏移1/2個像素的位置處的像素的像素值的計算方法的一個例子的圖示。
圖7(a)是表示表示代動態(tài)圖像的各幀的圖像的種類和像素插補的方法之間的關(guān)系的圖示。圖7(b)、上表示本發(fā)明的圖像編碼裝置和圖像譯碼裝置中的插補方法的選擇順序的流程圖。
圖8是表示用幀單位切換像素插補方法的圖像編碼裝置的結(jié)構(gòu)的框圖。
圖9是表示圖像編碼裝置的插補方法的選擇順序的流程圖。
圖10(a)是表示本發(fā)明的編碼信號Bitstream的位流結(jié)構(gòu)的圖示。
圖10(b)是以幀為單位切換像素插補的方法的情況下的編碼信號Bitstream的位流結(jié)構(gòu)的圖示。
圖11是表示本實施形式的另外的圖像譯碼裝置的結(jié)構(gòu)的框圖。
圖12是表示保持在圖11所示的像素插補類別變換部中的插補類別的一個例子的圖示。
圖13是根據(jù)本發(fā)明的實施形式2的圖像編碼裝置的結(jié)構(gòu)的框圖。
圖14是表示將作為圖13所示的圖像編碼裝置的輸出的編碼信號Bitstream3譯碼的圖像譯碼裝置的結(jié)構(gòu)的框圖。
圖15是利用存儲從上述實施形式1至實施形式3的圖像編碼方法或者圖像譯碼方法的軟盤，由計算機加以實施的情況的說明圖。圖15(a)是表示作為記錄媒體的軟盤的物理格式的例子。圖15(b)是表示從軟盤的正面觀察時的外觀、剖面結(jié)構(gòu)，以及軟盤，圖15(c)表示在軟盤FD上進行上述程序的記錄再生用的結(jié)構(gòu)。
圖16是表示實現(xiàn)內(nèi)容分配發(fā)送服務(wù)的內(nèi)容供應(yīng)系統(tǒng)的整個結(jié)構(gòu)的框圖。
圖17是表示便攜式電話的外觀的一個例子的圖示。
圖18是表示便攜式電話的框圖。
圖19是說明使用進行上述實施形式所述的編碼處理或者譯碼處理的設(shè)備、以及使用該設(shè)備的系統(tǒng)的圖示。
具體實施例方式
下面，參照

本發(fā)明的具體的實施形式。
(實施形式1)圖4是表示本發(fā)明的圖像編碼裝置400的結(jié)構(gòu)的框圖。此外，對于圖2所示的現(xiàn)有技術(shù)的圖像編碼裝置100中各結(jié)構(gòu)部件和完成相同動作的結(jié)構(gòu)部件及信號，賦予相同的參考標號，省略其說明。
圖像編碼裝置400，是按照從外部輸入的圖像類別信號PicType，選擇性地進行精度不同的像素插補的圖像編碼裝置，包括差分器101，圖像編碼部102，可變長編碼部103，圖像譯碼部104，加法器105，圖像存儲器106，像素塊獲取部107，開關(guān)108，開關(guān)109，開關(guān)401，開關(guān)402，像素插補部A403，像素插補部B404，運動推斷部111以及像素插補使用判斷部112。圖像編碼裝置400，從外部輸入包含圖像類別信號PicType的圖像信號Img。在開關(guān)401和開關(guān)402上，作為圖像類別信號PicType，例如通常輸入在不參照其它幀、表示B圖像的“1”的情況下，開關(guān)401和開關(guān)402切換到端子“1”側(cè)，利用像素插補部A403進行像素插補。即，在開關(guān)401和開關(guān)402分別連接到端子“1”上時，對于像素塊信號Blk，采用由像素插補部A403進行的像素插補。在像素插補部A403，利用過濾器抽頭少的、例如抽頭數(shù)為“4”的簡化的插補方法。作為圖像類別信號PicType，例如，在輸入表示參照其它幀的圖像的“2”時，即，在輸入表示B圖像的“1”以外的值時，開關(guān)401和開關(guān)402切換到端子“2”側(cè)，對于像素塊信號Blk，采用用像素插補部B404進行的像素插補。在像素插補部B404，利用過濾器抽頭數(shù)多的，例如抽頭數(shù)為“8”的精度高的插補方法。這樣，被進行像素插補的像素塊Blk，作為預(yù)測圖像信號Pred，被輸入到差分器101。
此外，由于B圖像同時參照兩個圖像生成預(yù)測圖像，所以，在參照的各圖像中有必要進行像素插補。從而，與僅參照一個圖像的P圖像相比，像素插補的運算量成為2倍，所以，在B圖像中使用簡化的插補方法，在各圖像中可以將必要的運算量平滑化，是有效的。從而，在用另外的幀參照的B圖像中，使用簡化的插補方法也是有益的。
此外，圖像類別信號PicType的值“2”、“1”、“0”，是為了說明方便而定義的值，只要是能夠區(qū)別多個像素的插補方法的值，可以是任何值。通過將表示所使用的像素插補方法的圖像類別信號PicType通知圖像譯碼裝置，在圖像譯碼裝置中，可以使用和在圖像編碼裝置中使用的像素插補部相同的像素插補方法。
圖5是表示本發(fā)明的圖像譯碼裝置500的結(jié)構(gòu)的框圖。此外，在該圖中，由于和圖3所示的圖像譯碼裝置200同樣的結(jié)構(gòu)部件已經(jīng)進行過說明，所以賦予相同的標號，省略器說明。圖像譯碼裝置500，是將每一種圖像類別使用的不同的像素插補方法編碼的信號Bitstream進行譯碼的圖像譯碼裝置，包括可變長譯碼部210，圖像譯碼部202，加法器203，圖像存儲器204，像素塊獲取部207，開關(guān)208，開關(guān)209，像素插補使用判斷部212，開關(guān)501，開關(guān)502，像素插補部A503以及像素插補部B504。在圖像譯碼裝置500中，可變長編碼部505，將從外部輸入的編碼信號Bitstream可變長譯碼，將圖像類別信號PicType和差分圖像編碼信號CodedRes和運動參數(shù)MotionParam從可變長譯碼信號Bitstream中分離出來，分別將圖像類別信號PicType輸入到開關(guān)501和開關(guān)502，將運動參數(shù)信號MotionParam輸入到像素插補使用判斷部212和像素塊獲取部207，將差分圖像編碼信號CodedRes輸入到圖像譯碼部202。當作為圖像類別效果picType，例如，將表示不參照其它幀的B圖像的“1”輸入到開關(guān)501和502上時，開關(guān)501和開關(guān)502切換到端子“1”側(cè)，利用像素插補部A503進行像素插補。即，當開關(guān)501和開關(guān)502分別連接到端子“1”上時，對像素塊信號Blk，采用由像素插補部A503進行的像素插補。在像素插補部A503采用過濾器抽頭數(shù)少，例如抽頭數(shù)“4”的簡化插補方法。作為圖像類別信號PicType，例如，輸入表示參照其它幀的P圖像的“2”時，即，輸入表示B圖像的“1”以外的值時，開關(guān)501和開關(guān)502切換到端子“2”側(cè)，對像素塊信號Blk，采用由像素插補部B504進行所像素插補。在像素插補部B504，采用過濾器抽頭數(shù)多的、例如抽頭數(shù)為“8”的精度高的插補方法。
此外，由于B圖像同時參照兩個圖像生成預(yù)測圖像，所以，在所參照的各圖像有必要進行像素插補。從而，與僅參照一個圖像的P圖像相比，像素插補運算量成為2倍，所以，在B圖像中使用簡化的插補方法，可以將在各圖像中必要的運算量平滑化，是有效的。從而，在參照其它幀的B圖像中，使用簡化的插補方法是有益的。
此外，在用圖像編碼裝置對P、B圖像都使用了相同像素插補過濾器的像素插補位流進行譯碼的場合，在圖像譯碼裝置500中，可以使用僅簡化B圖像的。在這種情況下，由于B圖像的像素插補過濾器與在圖像編碼裝置中使用的像素插補過濾器不同，所以，在B圖像中發(fā)生畫質(zhì)惡化，但由于B圖像被其它圖像參照的少，所以，與P圖像中發(fā)生畫質(zhì)惡化的情況相比，對以后圖像，畫質(zhì)惡化傳播較少。
進而，在圖像譯碼裝置500中不安裝和圖像編碼裝置中使用的像素插補過濾器相同的過濾器情況下，可以代之以使用在圖像編碼裝置中采用的像素插補過濾器的抽頭數(shù)以下的最接近的抽頭數(shù)的像素插補過濾器。在這種情況下，由于使用和在圖像編碼裝置中所使用的像素插補過濾器不同的像素插補過濾器，所以，會發(fā)生畫質(zhì)惡化，但可以繼續(xù)進行位流的譯碼。
圖6(a)是表示在1/2像素過濾器中，計算在位于從已有的像素在i軸方向偏移1/2個像素的位置處的像素的像素值的方法的一個例子的圖示。圖6(b)是表示在1/2像素過濾器中，計算在位于從已有的像素在j軸方向偏移1/2個像素的位置處的像素的像素值的方法的一個例子的圖示。在圖6(a)和圖6(b)中，○表示整數(shù)位置的像素，×表示小數(shù)位置的像素。此外，在該圖中，i，j是整數(shù)。I(x，y)表示在座標(x，y)處的像素值。1/2像素過濾器由利用○表示的整數(shù)位置的像素處的像素值計算用×表示的實際上像素不存在的小數(shù)位置的像素的像素值的軟件和集成電路來實現(xiàn)。在圖6(a)中，對位于座標(i-0.5，j)位置處的像素的像素值I(i-0.5，j)時的情況進行說明。例如，抽頭數(shù)N(N為偶數(shù)自然數(shù))為“2”時，對座標(i-0.5，j)，利用i軸方向的兩側(cè)鄰接的兩個像素的像素值(I(i-1，j)和像素值I(i，j)。像素值I(i-0.5，j)，利用作為i軸方向的像素值的積和的公式1，表示如下。
I(i-0.5,j)=Σk=0Nak·I(i-trunc(N/2)+k,j)]]>…(式1)在式1中，ak表示過濾器系數(shù)，trunc(n)表示相對于n舍去小數(shù)。這樣，在式1中，通過選擇適當?shù)倪^濾器系數(shù)ak，在作為1/2像素的(i-0.5，j)的位置上的像素的像素值I(i-0.5，j)，是作為在其兩側(cè)的像素中的N個像素值的平均值求出的。此外，例如，在抽頭數(shù)N為“4”時，對(i-0.5，j)的位置上的像素，除i軸方向兩側(cè)的鄰接的兩個像素的像素值I(i-1，j)和像素值I(i，j)之外，進一步利用i軸方向的兩側(cè)鄰接的像素的像素值I(i-2，j)和像素值I(i+1，j)。同樣地，在抽頭數(shù)N增加到“6”，“8”時，通過把這些值代入到式1中的N，可以很容易地求出。
在圖6(b)中，對求出在座標(i，j-0.5)位置處的像素的像素值I(i，j-0.5)的情況進行說明。即，預(yù)測圖像在參照圖像的j軸方向移動小數(shù)像素的情況。例如，在抽頭數(shù)M(M是偶數(shù)自然數(shù))為“2”時，對座標在(i，j-0.5)位置處的像素，利用j軸方向的兩側(cè)鄰接的兩個像素值I(i，j-1)和像素值I(i，j)。該像素值II(i，j-0.5)，用作為j軸方向的像素值的積和的公式2，表示如下。
I(i,j-0.5)=Σm=0Mam·I(i,j-trunc(M/2)+m)]]>…(式2)
在式2中，am表示過濾器系數(shù)。在這種情況下，在抽頭數(shù)增加到“4”，“6”，“8”時，通過將該值代入式2的M，可以求出座標(i，j-0.5)的位置處的像素的像素值。
此外，圖中沒有示出，在預(yù)測圖像在參照圖像的i軸方向、j軸方向分別移動1/2像素時，在座標(i-0.5，j-0.5)處預(yù)測圖像的像素值I(i-0.5，j-0.5)，用作為i軸方向和j軸方向的像素值的積和的式3表示如下。
I(i-0.5,j-0.5)=Σm=0MΣk=0Nam·ak·I(i-trunc(N/2)+k,j-trunc(M/2)+m)]]>…(式3)如從以上的公式可以看出的，實現(xiàn)像素插補部A和像素插補部B的像素過濾器過濾器抽頭(tap)數(shù)越多，預(yù)測精度越高，反過來，運算處理量增多，圖像編碼裝置的處理負荷加重。
如上所述，在圖像編碼裝置400和圖像譯碼裝置500的像素插補部之間，可以使用多個不同預(yù)測性能、處理量的像素插補部。使用不同預(yù)測性能、處理量的像素插補部有以下優(yōu)點。為了說明簡單起見，像素插補部A比像素插補部B處理量少，像素插補部B比像素插補部A預(yù)測效率高。作為將本發(fā)明的圖像編碼裝置輸出的編碼信號進行譯碼的圖像譯碼裝置，考慮只配備有像素插補部A的圖像譯碼裝置、和配備有像素插補部A和像素插補部B兩者的圖像譯碼裝置兩種圖像編碼裝置。
前一種圖像編碼裝置適合于要求的處理量少，處理能力低的設(shè)備。后一種圖像譯碼裝置適合于處理量大的設(shè)備。后一種圖像譯碼裝置，能夠?qū)⑹褂孟袼夭逖a部A和像素插補B中的任何一個像素插補部的編碼信號進行譯碼，對前一種圖像譯碼裝置可以具有上位互換性。如上面說明的，通過根據(jù)圖像譯碼裝置，選擇具有適當?shù)念A(yù)測性能、處理量的像素插補部，可以將編碼方式應(yīng)用于種類廣泛的設(shè)備。
此外，除用于生成適應(yīng)于圖像譯碼裝置的處理能力的編碼信號之外，可以根據(jù)圖像編碼裝置的處理能力，切換像素插補部。例如，在編碼圖像的尺寸和幀滯后大的情況下，要求整個編碼處理的處理量大。從而，在編碼的圖像尺寸和幀滯后在一定值以下的情況下，使用像素插補部B，在編碼的圖像尺寸和幀滯后在一定值以上的情況下，使用要求處理能力低，即，處理負荷小的像素插補部A，可以不提高要求整個編碼處理的處理量。
此外，在用同時執(zhí)行多個處理的分時系統(tǒng)圖像編碼的場合，由于其它處理的影響花費在圖像編碼上的處理量有可能動態(tài)地變化。因此，當花費在圖像編碼上的處理量在一定值以上時，可以使用處理量多的像素插補部B，在當花費在圖像編碼上的處理量在一定值以下時，可以使用處理量少的像素插補部A。
此外，也可以配備多個適合于特定性質(zhì)的圖像像素插補部，按照圖像所性質(zhì)以幀為單位切換像素插補部。例如，在文字等邊緣信息重要的情況下，使用邊緣的保存性能優(yōu)異的像素插補部。如果能夠進行多個像素插補部的切換的話，由于可以選擇最適合于圖像性質(zhì)的像素插補方法，所以，可以進一步提高預(yù)測效率。
進而，在如B圖像等那樣同時參照兩個圖像生成預(yù)測圖像的情況下，有必要在各參照圖像中進行像素插補，與只參照一個圖像的P圖像相比，像素插補的運算量成為2倍，所以，如果只在B圖像中使用簡化的插補方法的話，由于可以將各圖像必須的運算量平滑化，所以，可以容易實現(xiàn)實時動作的軟件。
圖7(a)是表示表達動態(tài)圖像的各幀的圖像類別和像素插補的方法的關(guān)系圖示。圖7(b)上表示在本發(fā)明的圖像編碼裝置400和圖像譯碼裝置500的選擇插補方法的順序的流程圖。如圖7(a)所示，將表示各幀是I圖像，或者是B圖像或者是P圖像的圖像類別信號PicType，從外部給予圖像編碼裝置400。在I圖像，由于進行畫面內(nèi)編碼，所以，預(yù)測圖像的像素值為“0”。從而，像素插補使用判斷部112將開關(guān)108和開關(guān)109切換到端子“1”，不進行像素插補。此外，在B圖像，按照圖像類別信號PicType的值，開關(guān)401和開關(guān)402切換到端子“1”，使用像素插補部A403進行簡易的像素插補A。此外，在P圖像，按照圖像類別信號PicType，開關(guān)401和開關(guān)402切換到端子“2”，使用像素插補部B402進行高精度的像素插補B。
即，在圖像編碼裝置400，通過根據(jù)圖像類別信號PicType的值切換開關(guān)401和開關(guān)402，進行圖7(b)的流程圖所示的選擇處理。開關(guān)401和開關(guān)402判斷輸入的圖像類別信號PicType的值是否上表示B圖像的值(S701)，如果是表示B圖像的值，通過分別連接到端子“1”上，選擇由像素插補部A403進行的插補方法A(S702)。此外，在圖像類別效果PicType的值表不是表示B圖像的值的情況下，通過分別連接到端子“2”上，選擇由像素插補部B404進行的插補方法B(S703)。在圖像編碼裝置400中，對于每一個輸入的圖像信號Img的幀反復(fù)進行上述步驟S701至S703的處理。
如上所述，采用圖像編碼裝置400，由于對于本來為了進行圖像編碼處理的處理負荷比較大的B圖像，可以選擇處理負荷更小的像素插補部，所以，即使在處理能力比較低的圖像編碼裝置中，也可以進行像素插補。此外，對于不容易被其它幀參照的B圖像，由于選擇精度更低的像素插補部，可以縮小由于選擇精度更低的像素插補部對其它幀的影響。進而，通常，由于根據(jù)包含在圖像信號中的圖像類別信號PicType選擇像素插補部，所以，在編碼信號Bitstream中，不必包含表示哪個像素插補部對應(yīng)于哪個幀的信息，可以相應(yīng)減少在可變長編碼部的處理量，所減少的量相對于這部分信息。此外，對于本來圖像編碼裝置的處理負荷比較小的P圖像，處理負荷變大，但由于可以選擇預(yù)測精度更高的像素插補部，所以，即使在處理能力較低的圖像編碼裝置中，也能夠進行預(yù)測精度更高的像素插補。此外，由于對于參照其它幀的P圖像，可以進行預(yù)測精度更高的像素插補，所以，可以最大限度地防止畫質(zhì)的惡化。
圖8是表示以幀為單位切換像素插補方法的圖像編碼裝置800的結(jié)構(gòu)的框圖。在圖8中，與圖2的圖像編碼裝置100和圖4的圖像編碼裝置400相同的結(jié)構(gòu)部件和信號賦予相同的標號，省略其說明。圖像編碼裝置800配備有差分器101，圖像編碼部102，圖像譯碼部104，加法器105，圖像存儲器106，像素塊獲取部107，開關(guān)108，開關(guān)109，運動推斷部111，像素插補使用判斷部112，像素插補部A403，像素插補部B404，像素插補切換位置判斷部801，開關(guān)802，可變長編碼部803，開關(guān)804和開關(guān)805。像素插補切換位置判斷部801在從輸入的圖像信號Img中檢測出像素插補部A403和像素插補部B404的切換單位(幀，片，微型塊，塊等)的情況下，通過輸出像素插補切換控制信號SetPolatorType“1”，將開關(guān)802接通(導(dǎo)通狀態(tài))。
這里，例如，將圖像信號Img的幀作為像素插補方法的切換單位，切換開關(guān)802。開關(guān)802的作用是，在成為切換單位的各幀的開頭處，只在極短的時間區(qū)間內(nèi)，使像素插補類別信號PolatorType與開關(guān)804和805導(dǎo)通，而在前述切換單位的其它時間區(qū)間內(nèi)，遮斷像素插補類別信號向PolatorType與開關(guān)804和開關(guān)805的輸入。這是為了防止在切換單位的編碼的中途，像素插補部A403和像素插補部B404進行切換。開關(guān)802以各幀的開頭作為切換定時，當被像素插補切換控制信號SetPolatorType“1”接通時，在一定的時間，閉合端子，將從外部輸入的像素類別信號PolatorType導(dǎo)通開關(guān)804和開關(guān)805。這種像素插補類別信號PolatorType，是以圖像編碼裝置800內(nèi)的圖中未示出的傳送緩存器中的數(shù)據(jù)的殘余量等作為標準測定的、根據(jù)圖像編碼裝置800的處理負荷或者根據(jù)預(yù)定的圖像譯碼裝置的譯碼能力，用于選擇像素插補類別用的從外部輸入的信號。當經(jīng)過前述一定時間時，開關(guān)802打開端子，變成斷開，當再次輸入像素插補控制信號SetPolatorType“1”時，變成接通。此外，當開關(guān)804和開關(guān)805，經(jīng)過開關(guān)802從外部輸入像素插補類別信號PolatorType時，直到輸入不同值的像素插補類別信號PolatorType為止，一直保持連接到由該像素插補類別信號PolatorType的值表示的連接端子上的狀態(tài)。
例如，在某一個幀的開頭，開關(guān)802導(dǎo)通的短時間內(nèi)輸入的像素類別信號PolatorType的值為“1”時，開關(guān)804和開關(guān)805分別連接到端子“1”上，并保持在該狀態(tài)。然后，當在下一個幀的開頭，在開關(guān)802導(dǎo)通的短時間內(nèi)輸入的像素插補類別信號PolatorType為“0”時，開關(guān)804和開關(guān)805分別連接到端子“2”上，并保持在該狀態(tài)。借此，引起僅在幀的開頭進行像素插補方法的切換，可以防止在幀的編碼中途切換像素插補方法。
在利用切換判斷的插補中，備有預(yù)測精度不同的多個像素插補部，在每一幀，通過從多個像素插補方法中在不超越處理量的范圍內(nèi)選擇預(yù)測效率最佳的過濾器來進行。此外，作為使用切換判斷的其它像素插補，在各幀編碼過程當中，圖像編碼裝置的處理能力變得不足的情況下，可以在下一幀切換成處理少的像素插補方法。其結(jié)果是，利用像素插補類別信號PolatorType選擇新的像素插補部。
圖9是表示在圖像編碼裝置800中插補方法的選擇順序的流程圖。具體地說，在圖像編碼裝置800中，按照像素插補切換控制信號SetPolator的值連接開關(guān)802，通過在連接開關(guān)802期間，按照從外部輸入的像素插補類別信號PolatorType的值切換開關(guān)804和開關(guān)805，進行圖9的流程圖所示的選擇處理。圖像編碼裝置800從表示各幀開頭的幀標題等當中檢測出圖像信號Img(S901)，從像素插補切換位置判斷部801，例如輸出像素插補切換控制信號SetPolatorType“1”，將開關(guān)802接通(S902)。圖像編碼裝置800，判斷在開關(guān)802接通的期間輸入的像素插補類別信號PolatorType的值是否為“1”(S903)，如果是“1”的話，使開關(guān)804和開關(guān)805分別連接到端子“1”上，選擇利用像素插補部A403的插補方法A(S904)。如果像素插補類別信號PolatorType不是“1”的話，使開關(guān)804和開關(guān)805分別連接到端子“2”上，選擇利用像素插補部B404的插補方法B(S905)。圖像編碼裝置800，對輸入的圖像信號Img的每一幀重復(fù)進行從上述步驟S901至S905的處理。
進而，圖像編碼裝置800在可變長編碼部803，在將像素插補類別切換單位作為幀的情況下，對于作為圖像編碼裝置800的輸出的編碼信號Bitstream的每一幀，例如，在編碼信號Bitstream的各幀標題上記錄輸出像素插補類別信號PolatorType的值。圖10(a)是表示本發(fā)明的編碼信號Bitstream的位流結(jié)構(gòu)的圖示。圖10(b)是表示以幀為單位切換像素插補方法時的編碼信號Bitstream的位流結(jié)構(gòu)的圖示。本發(fā)明的編碼信號的特征是，將像素插補類別信號PolatorType包含在編碼信號Bitstream內(nèi)。通過該位流，在將本發(fā)明的編碼信號Bitstream譯碼的譯碼裝置，通過研究像素插補類別信號，可以使用與在編碼時使用的像素插補部相同的像素插補方法。
在圖10(a)所示的編碼信號Bitstream中，在給予整個編碼信號Bitstream的標題1001內(nèi)(例如斜線部)，記述表示用于各幀的像素插補的插補方法的像素插補類別信號PolatorType的值。此外，在圖10(b)所示的編碼信號Bitstream中，在設(shè)于每一幀的幀標題1002內(nèi)(例如斜線部)，記述表示用于該幀的像素插補的插補方法的像素插補類別信號PolatorType的值。這樣，通過將像素插補類別信號PolatorType存儲在作為編碼信號Bitstream的開頭部分的標題1001和成為隨機存取點的開頭的幀標題1022等內(nèi)，在圖像編碼裝置中，通過從標題1001或者隨機存取點輸入編碼信號Bitstream，在所述幀的編碼前可以指定該幀的像素插補類別。
此外，這里，說明了以幀為單位切換像素插補部的情況，但不僅以幀為單位，也可以以小于幀的圖像區(qū)域位單位(也可以是集合一個像素以上的區(qū)域，例如MPEG的片、微型塊、塊等)切換像素插補部。例如，在以片作為切換單位時，可以對應(yīng)于各片的像素插補類別信號PolatorType的值記述在加在整個編碼信號Bitstream上的標題上，也可以匯總到每一個幀上記述在幀標題上。此外，也可以在對應(yīng)于各個片的片標題上，記述各片的像素插補類別信號的值。此外，在以微型塊或者塊作為像素插補方法的切換單位的情況下，可以將各微型塊或者各塊的像素插補類別信號的值匯總到每一個片上，記述在片標題上。
如上面說明的，通過設(shè)定輸入到本發(fā)明的圖像編碼裝置中的像素插補類別信號PolatorType的值，使得按照圖像譯碼裝置的處理能力選擇像素插補部，可以制成與再生本發(fā)明的圖像編碼裝置輸出的編碼信號的圖像譯碼裝置的處理能力相適應(yīng)的編碼信號。此外，可以選擇適應(yīng)于圖像編碼裝置的處理能力的圖像插補部。
此外，在已有的圖像編碼方式中，有按照預(yù)測圖像信號的位置，切換成生成該位置的像素值的像素插補方法的編碼方式。例如，生成1/2像素位置的像素值的場合，選擇1/2像素位置用的像素插補方法，在生成1/4像素位置的像素值時，選擇1/4像素位置用像素插補方法的編碼方式。但是，這些編碼方式，對于所需的像素位置，不得不選擇其中的一個像素插補方法，與此不同，在本發(fā)明的編碼方式中，由于對于預(yù)測圖像信號的同一個位置的像素值的計算配備有多個像素插補部，對同一個像素位置的像素值的計算，則可以自由地選擇多個像素插補方法。在本發(fā)明的圖像編碼方式中，對于不同的像素位置，可以將切換多個像素插補方法的上述方法相互組合。在這種情況下，在配備對于不同的像素位置計算各個像素值的多個像素插補部的同時，還配備有對于同一個像素位置計算預(yù)測精度不同的像素值的多個像素插補部。
此外，在上述各個實施形式中，對配備有兩個像素插補部的圖像編碼裝置進行了說明，但也可以配備有三個以上的像素插補部。在這種情況下，選擇使用三個以上的像素插補中之一，也可以包含將表示所使用的像素插補部的類別的像素插補類別信號進行編碼的信號。
圖11是表示本實施形式的另外的圖像譯碼裝置1100的結(jié)構(gòu)的框圖。在圖11中，由于對于完成和圖5所示的圖像編碼裝置500相同動作的結(jié)構(gòu)部件和信號已經(jīng)進行過說明，所以，賦予相同的標號，省略其說明。圖像譯碼裝置1100包括圖像譯碼部202，加法器203，圖像存儲器204，像素塊獲取部207，開關(guān)208，開關(guān)209，像素插補使用判斷部212，像素插補部A503，像素插補部B504，可變長譯碼部1101，像素插補類別變換部1102，開關(guān)1103和開關(guān)1104。由圖8所示的圖像編碼裝置800輸出的編碼信號Bitstream2，輸入到圖像譯碼裝置1100中。即，輸入到圖像譯碼裝置1100中的編碼信號Bitstream2上記述有像素插補類別信號PolatorType1。圖像譯碼裝置1100的特征為，在用編碼信號Bitstream2中的像素插補類別信號PolatorType1表示的像素插補部未配備在圖像譯碼裝置1100中的情況下，使用圖像譯碼裝置1100配備的像素插補部中之一進行替代。
圖像譯碼裝置1100只配備表示像素插補類別信號PolatorType的值“1”和“2”的兩種像素插補部，即，只配備像素插補部A503(過濾器抽頭數(shù)N＝4)和像素插補部B504(過濾器抽頭數(shù)N＝8)。在圖像譯碼裝置1100中，可變長譯碼部1101將編碼信號Bitstream2可變長譯碼，分離成差分圖像編碼信號CodedRes和運動參數(shù)出MotionParam和像素插補類別信號PolatorType1。像素插補類別變換部1102，將表示利用像素插補類別信號PolatorType1指定的像素插補類別、表述所述各像素插補部的特性的參數(shù)、有無安裝的、預(yù)先制成的插補類別表保持在內(nèi)部。像素類別變換部1102，根據(jù)所述插補類別表判斷用像素插補類別信號PolatorType1的值表示的像素插補部是否安裝到圖像譯碼裝置1100中。
圖12是表示保持在圖11所示的像素插補類別變換部1102內(nèi)的插補類別表1200中一個例子的圖示。如圖所示，在插補類別表1200中，記述了用像素插補類別信號PolatorType1的值表示的各像素插補部的安裝的有無1201、像素插補類別信號PolatorType1的值1201和用像素插補類別信號PolatorType1的值1表示的各像素插補部的特性的過濾器抽頭數(shù)(N)1203。像素插補類別變換部1102，在像素插補類別信號PolatorType1的值是表示圖像譯碼裝置1100中沒有安裝像素插補部C(過濾器抽頭數(shù)N＝16)的值例如是“3”的情況下，在安裝的像素插補部中，選擇記述在像素插補類別表1200中記述所過濾器抽頭數(shù)(N)1203最接近由像素插補類別信號PolatorType1表示的像素插補部C的像素插補部B504(過濾器抽頭數(shù)N＝8)，將像素插補類別信號PolatorType1值，例如變換成“2”的值，作為像素插補類別信號PolatorType2輸出。不可否認，通過這種變換處理，在圖像譯碼裝置1100中，由于利用與編碼時使用的像素插補部不同的像素插補部，所以會造成畫質(zhì)的惡化，但是，由于能夠進行差分圖像編碼信號CodedRes和運動參數(shù)信號MotionParam的譯碼處理，所以，可以預(yù)覽(預(yù)測)譯碼的映像。作為像素插補類別信號PolatorType2輸入“1”時，開關(guān)1103和開關(guān)1104切換到端子“1”側(cè)，對譯碼圖像信號Recon使用像素插補部A503。在作為像素插補類別信號PolatorType2輸入“2”時，開關(guān)1103和開關(guān)1104切換到端子“2”側(cè)，對譯碼圖像信號Recon使用像素插補部B504。
如上面說明的，根據(jù)本發(fā)明的圖像譯碼裝置1100，即使在輸入編碼信號Bitstream，該編碼信號Bitstream包括表示未安裝在圖像譯碼裝置1100中的像素插補部的像素插補類別信號PolatorType2的情況下，對于能夠沒有障礙地將輸入的編碼信號Bitstream進行譯碼的效果。此外，在圖像譯碼裝置1100所具有的像素插補部是一個的情況下，通過強制地使用該像素插補部，可以將輸入的編碼信號Bitstream譯碼。此外，在本實施形式的圖像譯碼裝置110中，配備有兩個像素插補部，但即使配備三個以上的像素插補部也可以進行同樣的處理。此外，如實施形式1所示，在以幀為單位，或者比幀小的圖像區(qū)域為單位切換像素插補類別的場合，圖像譯碼裝置1100在像素插補類別變更的時刻切換像素插補部。此外，這里，用過濾器抽頭數(shù)表示多個像素插補部的特性，但并不一定是過濾器的抽頭數(shù)，也可以是其它參數(shù)。進而，在清楚圖像譯碼裝置1100全部配備具有在圖像編碼裝置中使用的可能性的像素插補過濾器的情況下，也可以沒有圖像譯碼裝置1100的像素插補類別變換部1102。在這種情況下，將像素插補類別信號PolatorType1原封不動作為像素插補類別信號PolatorType2使用。
(實施形式2)圖13是表示根據(jù)本發(fā)明的實施形式2的圖像編碼裝置1300的結(jié)構(gòu)的框圖。此外，對于與圖2、圖4和圖8所示的圖像編碼裝置100，圖像編碼裝置400和圖像編碼裝置800中各結(jié)構(gòu)部件進行同樣動作的結(jié)構(gòu)部件以及信號，賦予相同的參考標號，省略其說明。圖像編碼裝置1300，在成為編碼對象的幀是不被其它的幀參照的幀的情況下，使用像素插補中處理量更小的像素插補部，在另外的幀中被作為參照幀使用的情況下，使用處理量大的像素插補部，包括差分器101，圖像編碼部102，圖像譯碼部104，加法器105，圖像存儲器106，像素塊獲取部107，開關(guān)108，開關(guān)109，像素使用判斷部112，開關(guān)1301，開關(guān)1302，可變長編碼部1303，空洞1304和運動推斷部1305。將表示編碼對象幀在以后是否作為參照幀使用的參照指示信號AvairableRef，從外部輸入到運動推斷部1305內(nèi)。參照指示信號AvairableRef，是根據(jù)圖像編碼裝置1300的操作者用圖中未示出的鍵盤等輸入部輸入的設(shè)定，從外部輸入的信號，當值為“0”時，表示所示編碼對象幀不作為參照幀使用，當值為“1”時，表示所示編碼對象幀在以后作為參照幀使用。
與此對應(yīng)地，開關(guān)1301和開關(guān)1302，當參照指示信號AvairableRef的值為“0”時，即，對于不被其它幀參照的編碼對象的幀，分別連接到動作“1”上，選擇處理量更小的像素插補部A403。此外，當參照指示信號AvairableRef為“1”時，即，對于在以后被作為參照幀使用的編碼對象的幀，分別連接到端子“2”上，選擇預(yù)測效率高然而處理量大的像素插補部B404。此外，當參照指示信號AvairableRef為“0”時，開關(guān)1304接通，所述幀譯碼差分圖像信號ReconRes部被存儲在圖像存儲器106中。反之，當參照指示信號AvairableRef為“1”時，開關(guān)1304變成接通，所述幀譯碼差分信號ReconRes被存儲在圖像存儲器106中?？勺冮L編碼部1303，對于作為圖像編碼裝置1300的輸出的、具有圖10所示的片結(jié)構(gòu)的編碼信號Bitstream3的每個幀，在編碼信號Bitstream3的各幀的標題上記錄輸出參照指示信號AvairableRef的值。
圖14是表示將圖13所示的作為圖像編碼裝置1300的輸出的編碼信號Bitstream3譯碼的圖像譯碼裝置1400的結(jié)構(gòu)的框圖。在該圖上，對于和圖3、圖5和圖11中所示的圖像譯碼裝置200，圖像譯碼裝置500和圖像譯碼裝置1100的各結(jié)構(gòu)部件相同動作的結(jié)構(gòu)部件和信號，由于已經(jīng)進行過說明，所以賦予相同的參考標號省略其說明。圖像譯碼裝置1400，是將包含前述參照指示信號AvairableRef的編碼信號Bitstream3譯碼的圖像譯碼裝置，包括圖像譯碼部202，加法器203，圖像存儲器204，像素塊獲取部207，開關(guān)208，開關(guān)209，像素插補使用判斷部212、可變長譯碼部1401、開關(guān)1402、開關(guān)1403和開關(guān)1404?？勺冮L譯碼部1401，將輸入的編碼信號Bitstream3可變長譯碼，分離成差分圖像編碼信號CodedRef/運動參數(shù)MotionParam和參照指示信號AvairableRef。被分離出來的參照指示信號AvairableRef，被輸入到開關(guān)1402和開關(guān)1403及開關(guān)1404。當參照指示信號AvairableRef的值為“0”時，即，不使用所述幀的編碼信號Recon作為參照幀時，開關(guān)1404斷開。從而，所述幀譯碼圖像信號Recon不被存儲在圖像存儲器204內(nèi)。反之當參照指示信號AvairableRef的值為“1”時，即，將所述幀的編碼信號Recon作為參照幀時，開關(guān)1404接通。從而，所述幀譯碼圖像信號Recon被存儲在圖像存儲器204內(nèi)。此外，當參照指示信號AvairableRef的值為“0”時，即，不使用所述幀的編碼信號Recon作為參照幀時，開關(guān)1402和開關(guān)1403分別連接到端子“1”上，選擇像素插補處理量少的像素插補部A503。反之，當參照指示信號AvairableRef的值為“1”時，分別連接到端子“2”上，選擇像素插補的處理量多但預(yù)測效率高的像素插補部B504。
如上所述，在本實施形式的圖像編碼裝置1300和圖像譯碼裝置1400中，當在被其它幀參照的作編碼對象幀中使用處理量量少的像素插補方法時，處理量少的像素插補方法的預(yù)測精度低引起的畫質(zhì)的惡化對其它的幀的畫質(zhì)也有影響，但是，由于只對不被其它幀參照的編碼對象的幀使用處理量少的像素插補方法，所以，由于預(yù)測精度低引起的編碼對象的幀的畫質(zhì)的惡化不會對其它的幀造成影響，可以減輕用于圖像編碼裝置1300和圖像譯碼裝置的像素插補的處理的負荷。從而，作為圖像編碼裝置1300和譯碼裝置，可以將預(yù)測精度造成的惡化保持在最低限度，并且可以大幅度地降低圖像編碼處理中的處理負荷。
此外，在本實施形式的圖像譯碼裝置1400中，設(shè)置開關(guān)1404，不把不被其它幀參照的幀的譯碼圖像信號Recon存儲在圖像存儲器204上，但，在已經(jīng)說明過的本發(fā)明的其它圖像譯碼裝置中，也可以配備開關(guān)1404。
此外，在上述實施形式1和實施形式2中，對利用開關(guān)切換使用像素插補部A403和像素插補部B404的情況進行了說明，但本發(fā)明并不局限于此，也可以將像素插補部A403和像素插補部B404，置換成在多個動作模式中動作的一個像素插補部。該像素插補部，例如是根據(jù)作為目的的預(yù)測精度或者處理負荷，根據(jù)多個運算方法或者多個運算公式進行運算的一個像素過濾器，根據(jù)從外部給予的參數(shù)決定一個動作模式(運算方法或者運算公式)。
(實施形式3)進而，通過將實現(xiàn)上述實施形式中所示的圖像編碼方法裝置圖像譯方法的結(jié)構(gòu)的程序記錄在軟盤等記錄媒體上，能夠在獨立的計算機系統(tǒng)中簡單地實施上述各實施形式中所示的處理。
圖15是利用存儲從上述實施形式1至實施形式3的圖像編碼方法或者圖像譯碼方法的程序的軟盤，利用計算機系統(tǒng)進行實施的情況的說明圖。
圖15(b)表示從軟盤的正面觀察時的外觀、剖面結(jié)構(gòu)以及軟盤，圖15(a)是表示作為記錄媒體主體的軟盤的物理格式的例子的。軟盤FD內(nèi)裝于外殼F內(nèi)，在該盤的表面上，從外周向內(nèi)周形成同心圓狀的多個磁道Tr，各磁道沿角度方向分割成16個扇區(qū)Se。從而，在存儲上述程序的軟盤中，在分配于上述軟盤FD上的區(qū)域內(nèi)，記錄作為上述程序的圖像編碼方法。
此外，圖15(c)表示用于在軟盤FD上進行上述程序的記錄再生的結(jié)構(gòu)。在把上述程序記錄在軟盤FD上的情況下，經(jīng)由軟盤驅(qū)動器FD將作為上述程序的圖像編方法或者圖像譯碼方法從計算機系統(tǒng)Cs上寫入。此外，利用軟盤內(nèi)的程序?qū)⑸鲜鰣D像編碼方法構(gòu)筑到計算機系統(tǒng)中的情況下，利用軟盤驅(qū)動器從軟盤上讀出程序，傳送給計算機系統(tǒng)。
此外，在上面的說明中，對作為記錄媒體使用軟盤的情況進行了說明，但利用光盤也同樣可以進行。此外，簡略媒體并不限于這些，利用IC卡，ROM盒等可以記錄程序的裝置，同樣可以加以實施。
圖16至圖19是說明進行上述實施形式所示的編碼處理或者譯碼處理的設(shè)備，以及利用這些設(shè)備的系統(tǒng)的說明圖。
圖16是實現(xiàn)內(nèi)容分配發(fā)送的內(nèi)容供應(yīng)系統(tǒng)ex100的整體結(jié)構(gòu)的框圖。將提供通信服務(wù)的區(qū)域分割成所需的大小，在各單元內(nèi)分別設(shè)置作為固定無線電臺的基地電臺ex107～ex110。該內(nèi)容供應(yīng)系統(tǒng)ex100，例如，在互聯(lián)網(wǎng)ex101上經(jīng)由互聯(lián)網(wǎng)服務(wù)提供者ex102和電話網(wǎng)ex104，連接到計算機ex111，PDA(personal digital assistant個人數(shù)字輔助裝置)ex112，攝像機ex113，便攜式電話ex114上。但是，內(nèi)容供應(yīng)系統(tǒng)ex100并不局限于圖16所示的組合，可以進行任何一種組合連接。此外，也可不經(jīng)由作為固定無線電臺的基地電臺ex107～ex110，而直接連接到電話網(wǎng)ex104上。
攝像機ex113是數(shù)字式電視攝像機等可攝制動畫的設(shè)備。此外便攜式電話可以是PDC(Personal Digital Communications)方式，CDMA(Code Division Multiple Accses)方式，W-CDMA(Wideband-CodDivision Multiple Accses)方式，或GSM(Global System for MobileCommunication)方式的便攜式電話機，或者PHS(Personal HandyphoneSystem)等均可。
此外，數(shù)據(jù)流服務(wù)器ex103，從攝像機ex113通過基地電臺ex109、電話網(wǎng)ex104連接，可以進行利用攝像機ex113根據(jù)用戶發(fā)送的經(jīng)過編碼處理的數(shù)據(jù)的實況轉(zhuǎn)播等。攝影的數(shù)據(jù)的編碼處理可以用攝像機exl13進行，也可以用進行數(shù)據(jù)傳送處理的服務(wù)器等進行。此外，用照相機116攝制的動畫數(shù)據(jù)可以經(jīng)由計算機ex111傳送到數(shù)據(jù)流服務(wù)器ex103。照相機ex116上數(shù)字照相機等可以攝制靜止圖像、動態(tài)圖像的設(shè)備。在這種情況下，動態(tài)圖像數(shù)據(jù)的編碼可以用照相機ex116進行，也可以由計算機ex111進行。此外，編碼處理在計算機ex111和照相機ex116具有的LSIex117中進行處理。此外，圖像編碼、譯碼用的軟件可以裝入到能夠用計算機ex111等讀出作為記錄媒體的任何一種存儲介質(zhì)(CD-ROM，軟盤，硬盤等)內(nèi)。進而，也可以用帶有照相機的便攜式電話ex115傳送動態(tài)圖像數(shù)據(jù)。這時的動態(tài)圖像數(shù)據(jù)是用便攜式電話ex115所具有的LSI進行過編碼處理的數(shù)據(jù)。
圖17是表示便攜式電話ex115的一個例子的圖示。便攜式電話ex115具有與基地電臺ex110之間傳送接受無線電波用的天線ex210；CCD攝像機等可以攝制影像、靜止圖像的攝像部ex203；顯示由攝像部ex203攝制的影像、由天線ex201接受的影像等經(jīng)過譯碼的數(shù)據(jù)的液晶顯示器等顯示部ex202；由操作鍵組構(gòu)成的主體部ex204；用于輸出聲音的揚聲器等聲音輸出部ex208；用于輸入聲音的話筒等聲音輸入部ex205；保存攝制的動畫或者靜止圖像的數(shù)據(jù)、接受的郵件的數(shù)據(jù)、動畫數(shù)據(jù)或者靜止圖像數(shù)據(jù)等編碼數(shù)據(jù)或者譯碼數(shù)據(jù)用的存儲介質(zhì)ex207；用于將存儲介質(zhì)ex207安裝到便攜式電話ex115內(nèi)的狹槽部ex206。存儲介質(zhì)ex207是SD卡等塑料盒內(nèi)可以用電學的方式寫入和擦除的非易失性存儲器的EEPROM(Electrically Erasable andProgrammable Read Only Memory)中的一種的閃速存儲元件的存儲介質(zhì)。
在這種內(nèi)容供應(yīng)系統(tǒng)ex100中，將用戶利用攝像機ex113、照相機ex116等攝制的內(nèi)容(例如，攝制的音樂實況的影像等)和上述實施形式一樣進行編碼處理傳送到數(shù)據(jù)流服務(wù)器ex103，另一方面，數(shù)據(jù)流服務(wù)器ex103對有要求的客戶用數(shù)據(jù)流分配發(fā)送上述內(nèi)容的數(shù)據(jù)。作為客戶，有能夠?qū)⑸鲜鼍幋a處理過的數(shù)據(jù)進行譯碼的計算機ex111，PDAex112，攝像機ex113，便攜式電話ex114等。這樣，內(nèi)容供應(yīng)系統(tǒng)ex100是一種客戶能夠接受再生進行過編碼的數(shù)據(jù)、進而通過在客戶處實時接受譯碼、再生，可以實現(xiàn)個人發(fā)送的系統(tǒng)。
下面，用圖18對便攜式電話ex115進一步進行說明。圖18是表示便攜式電話ex115的結(jié)構(gòu)的框圖。便攜式電話ex115，相對于總括控制顯示部ex202及主體部ex204各部的主控制部ex311，其電源回路部ex310，操作輸入控制部ex304，圖像編碼部ex312，攝像機接口部ex303，LCD(Liquid Crystal Display)控制部ex302，圖像譯碼部ex309，復(fù)用分離部ex308，記錄再生部ex307，調(diào)制解調(diào)回路部ex306以及聲音處理部ex305經(jīng)由同步總線ex313相互連接。電源回路部ex310，當通過用戶的操作結(jié)束通話和電源鍵接通時，通過由電池向各部供應(yīng)電力，將帶有攝像機的數(shù)字便攜式電話ex115起動到可動作狀態(tài)。便攜式電話ex115根據(jù)CPU，ROM及RAM等構(gòu)成的主控制部ex311的控制，在聲音通話模式時，將用聲音輸入部ex205輸入的聲音信號利用聲音處理部ex306變換成數(shù)字聲音數(shù)據(jù)，用調(diào)制解調(diào)回路部ex306將其進行擴頻處理，在發(fā)送接受回路部ex301進行數(shù)字模擬變換處理及頻率變換處理后，經(jīng)由天線ex201發(fā)送。此外，便攜式電話ex115，在聲音通話模式時，將由天線ex201接受的接受信號放大，進行頻率變換處理和模擬數(shù)字變換處理，在調(diào)制解調(diào)回路部ex306進行頻譜反向擴展處理，利用聲音處理部ex205變換成模擬聲音信號后，經(jīng)由聲音輸出部208將其輸出。進而，在數(shù)字通信模式時，在發(fā)送電子郵件的場合，通過主體部ex204的操作鍵的操作輸入的電子郵件的文本數(shù)據(jù)，經(jīng)由操作輸入控制部ex304送到主控制部ex311。主控制部ex311把文本數(shù)據(jù)在調(diào)制解調(diào)回路部ex306進行擴頻處理，在發(fā)送接受回路部ex301進行數(shù)字模擬變換處理及頻率變換處理之后，經(jīng)由天線ex201發(fā)送到基地電臺ex110。
在數(shù)據(jù)通信模式時，在發(fā)送圖像數(shù)據(jù)的情況下，將由攝像部ex203攝制的圖像數(shù)據(jù)經(jīng)由攝像機接口部ex303提供給天線編碼部ex312。此外，在不發(fā)送圖像數(shù)據(jù)的情況下，也可以將攝像部ex203攝制的圖像數(shù)據(jù)經(jīng)由攝像機接口部ex303和LCD控制部ex302直接顯示在顯示部ex202上。
圖像編碼部ex312，通過利用上述實施形式所述的編碼方法，將從攝像部ex203供應(yīng)的圖像數(shù)據(jù)壓縮編碼，變換成編碼圖像數(shù)據(jù)，將其送到復(fù)用分離部ex308。此外，這時，便攜式電話機ex115，將在用攝像部ex203進行攝像時聲音輸入部ex205集音的聲音，經(jīng)由聲音處理部ex305作為數(shù)字的聲音數(shù)據(jù)送往復(fù)用分離部ex308。
復(fù)用分離部ex308，以規(guī)定的方式將從圖像編碼部ex312供應(yīng)的編碼圖像數(shù)據(jù)和從聲音處理部ex305供應(yīng)的聲音數(shù)據(jù)復(fù)用化，將作為其結(jié)果所獲得的復(fù)用化數(shù)據(jù)在調(diào)制解調(diào)回路部ex306進行擴頻處理，在發(fā)送接受回路部ex301進行數(shù)字模擬變換處理和頻率變換處理后，經(jīng)由天線ex201發(fā)送。
在數(shù)據(jù)通信模式時，在接受與主頁等鏈接的動態(tài)圖像文件的數(shù)據(jù)的情況下，將經(jīng)由天線ex201從基地電臺ex110接受的接受信號在調(diào)制解調(diào)回路ex306進行反向擴頻處理，將由其結(jié)果獲得的復(fù)用化數(shù)據(jù)送往復(fù)用分離部ex308。
此外，為了將經(jīng)由天線ex201接受的復(fù)用化數(shù)據(jù)譯碼，復(fù)用分離部ex308通過分離復(fù)用數(shù)據(jù)，分成編碼圖像數(shù)據(jù)和聲音數(shù)據(jù)，經(jīng)由同步總線ex313將所述編碼圖像數(shù)據(jù)提供給圖像譯碼部ex309，同時，將所述聲音數(shù)據(jù)提供給聲音處理部ex305。
其次，圖像譯碼部ex309，通過利用上述實施形式所述的編碼方法對應(yīng)的譯碼方法將編碼圖像數(shù)據(jù)譯碼，生成再生動態(tài)圖像數(shù)據(jù)，借此，例如，顯示包含在與主頁鏈接的動態(tài)圖像文件內(nèi)的動態(tài)圖像。與此同時，聲音處理部ex305，將聲音數(shù)據(jù)變換成模擬聲音信號之后，將其提供給聲音輸出部ex208，借此，例如，再生包含在與主頁鏈接的動態(tài)圖像文件中的聲音數(shù)據(jù)。
此外，并不局限于上述系統(tǒng)的例子，最近，利用衛(wèi)星、地面波進行數(shù)字廣播正在成為人們討論的話題，如圖19所示，可以將上述實施形式的至少編碼方法或者譯碼方法裝入到數(shù)字廣播用系統(tǒng)中。具體地說，在廣播臺ex409進行影像編碼的位流，經(jīng)由無線電波傳送給通信或者廣播衛(wèi)星ex410。接受到它的廣播衛(wèi)星ex410，發(fā)射廣播用無線電波，用具有衛(wèi)星廣播接受設(shè)備的家庭天線ex406接受該無線電波，利用電視接收機ex401或者機頂盒ex407等裝置將編碼的位流譯碼，并將其再生。此外，可以在讀出記錄在作為記錄媒體的存儲介質(zhì)ex402上的編碼位流、進行譯碼的再生裝置ex403上，安裝上述實施形式所述的譯碼方法。在這種情況下，再生的影像信號顯示在監(jiān)視器ex404上。此外，也可以在連接到有線電視用電纜ex405或者衛(wèi)星/地面波廣播的天線ex406上的機頂盒ex407內(nèi)安裝譯碼裝置，將其用監(jiān)視器ex408再生。這時，也可以不把編碼裝置裝入到機頂盒內(nèi)，而是裝入到電視機內(nèi)。此外，也可以由具有天線ex411的車ex412接受從衛(wèi)星ex410或者從基地電臺ex107來的信號，將動態(tài)圖像再生在車ex412所具有的汽車駕駛自動導(dǎo)航系統(tǒng)ex413等的顯示裝置上。
此外，汽車駕駛自動導(dǎo)航系統(tǒng)ex413的結(jié)構(gòu)，例如，可以考慮采用圖18所示的結(jié)構(gòu)中，除攝像部ex203和攝像機接口部ex303之外的結(jié)構(gòu)，也可以考慮采用計算機ex303和電視接受機ex401等。此外，上述便攜式電話ex114等終端，除具有編碼器和譯碼器兩者的發(fā)送接受的終端之外，也可以考慮采用只安裝編碼器的發(fā)送終端，和只安裝譯碼器的接受終端的三種安裝形式。
這樣，通過安裝本說明書所述的編碼方法、譯碼方法，可以實現(xiàn)本實施形式所述的任何一種裝置、系統(tǒng)。
工業(yè)上的可利用性如上所述，根據(jù)本發(fā)明的圖像編碼裝置和圖像譯碼裝置，作為配置在傳送圖像的電話機上的圖像編碼裝置和圖像譯碼裝置，以及，作為配置在汽車駕駛自動導(dǎo)航系統(tǒng)中的圖像編碼裝置和圖像譯碼裝置，是有用的。此外，作為執(zhí)行本發(fā)明的圖像編碼方法和圖像譯碼方法的程序以及記錄所述程序的記錄媒體是有用的。進而，作為記錄利用本發(fā)明的圖像編碼裝置生成的編碼信號的記錄媒體，是有用的。
權(quán)利要求
1.一種圖像編碼方法，利用由參照圖像生成的預(yù)測圖像對輸入圖像進行編碼，其特征在于，在上述預(yù)測圖像的生成過程中使用如下的像素插補方法通過像素插補并根據(jù)位于小數(shù)位置像素的周邊的多個整數(shù)位置像素的像素值，求出對上述參照圖像的上述小數(shù)位置像素的像素值；該圖像編碼方法包括如下步驟在利用N個像素生成一個插補像素的過濾處理中，從N的數(shù)值不同的、具有多個上述過濾處理的像素插補方法中選擇一個像素插補方法的選擇步驟；使用選擇出的像素插補方法，根據(jù)上述參照圖像生成上述預(yù)測圖像的預(yù)測圖像生成步驟；利用上述預(yù)測圖像將上述輸入圖像編碼的編碼步驟。
2.如權(quán)利要求1所述的圖像編碼方法，其特征在于，對每個幀進行上述像素插補方法的選擇，將確定被選擇出的上述圖像插補方法的像素插補類別信號作為編碼信號配置在幀標題中。
3.如權(quán)利要求1所述的圖像編碼方法，其特征在于，利用N個像素生成一個插補像素的上述過濾處理，是抽頭數(shù)為N的過濾器的運算處理。
4.一種圖像譯碼方法，利用由參照圖像生成的預(yù)測圖像對編碼信號進行譯碼，其特征在于，在上述預(yù)測圖像的生成中使用如下的像素插補方法通過像素插補并根據(jù)位于小數(shù)位置像素的周邊的多個整數(shù)位置像素的像素值，求出對上述參照圖像的上述小數(shù)位置像素的像素值；該圖像譯碼方法包括如下步驟在利用N個像素生成一個插補像素的過濾處理中，從N的數(shù)值不同的、具有多個上述過濾處理的像素插補方法中選擇一個像素插補方法的選擇步驟；使用選擇出的像素插補方法，根據(jù)上述參照圖像生成上述預(yù)測圖像的預(yù)測圖像生成步驟；利用上述預(yù)測圖像將上述編碼信號譯碼的譯碼步驟。
5.如權(quán)利要求4所述的圖像譯碼方法，其特征在于，對每個幀選擇上述像素插補方法，上述像素插補方法的選擇是根據(jù)作為編碼信號配置在幀標題中的像素插補類別信號來選擇。
6.如權(quán)利要求5所述的圖像譯碼方法，其特征在于，利用N個像素生成一個插補像素的上述過濾處理，是抽頭數(shù)為N的過濾器的運算處理。
全文摘要
本發(fā)明提供一種可以根據(jù)編碼的圖像信號，選擇不同的像素插補方法的圖像編碼方法和圖像譯碼方法。在預(yù)測圖像生成中伴隨著像素插補的圖像編碼裝置(400)，按照圖像類別信號PicType的值，選擇像素插補部A(403)和像素插補部B(404)中之一。在圖像類別信號PicType的值為表示B圖像的“0”時，選擇通過計算出預(yù)測圖像的1/2像素的像素值的過濾器抽頭數(shù)為“4”的像素過濾器實現(xiàn)的像素插補部A(403)，在圖像類別信號PicType的值為表示B圖像之外的幀的“1”場合，選擇用過濾器抽頭數(shù)為“8”實現(xiàn)的像素插補部B(404)。
文檔編號H04N7/32GK1801942SQ20051011810
公開日2006年7月12日 申請日期2002年8月12日 優(yōu)先權(quán)日2001年9月18日
發(fā)明者羽飼誠, 角野真也, 近藤敏志, 安倍清史 申請人:松下電器產(chǎn)業(yè)株式會社