動(dòng)態(tài)圖像預(yù)測(cè)解碼裝置、動(dòng)態(tài)圖像預(yù)測(cè)解碼方法
【專利說明】動(dòng)態(tài)圖像預(yù)測(cè)解碼裝置、動(dòng)態(tài)圖像預(yù)測(cè)解碼方法
[0001]本申請(qǐng)是申請(qǐng)?zhí)枮?01180013583.6的發(fā)明專利申請(qǐng)(國(guó)際申請(qǐng)?zhí)?PCT/JP2011/055915，申請(qǐng)日:2011年03月14日，發(fā)明名稱:動(dòng)態(tài)圖像預(yù)測(cè)編碼裝置、動(dòng)態(tài)圖像預(yù)測(cè)編碼方法、動(dòng)態(tài)圖像預(yù)測(cè)編碼程序、動(dòng)態(tài)圖像預(yù)測(cè)解碼裝置、動(dòng)態(tài)圖像預(yù)測(cè)解碼方法、動(dòng)態(tài)圖像預(yù)測(cè)解碼程序)的分案申請(qǐng)。
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及動(dòng)態(tài)圖像預(yù)測(cè)解碼裝置、和方法。
【背景技術(shù)】
[0003]為了高效地進(jìn)行動(dòng)態(tài)圖像數(shù)據(jù)的傳輸和蓄積，采用了壓縮編碼技術(shù)。對(duì)于動(dòng)態(tài)圖像廣泛采用了 MPEGl?4和H.261?H.264的方式。
[0004]在這些編碼方式中，將作為編碼的對(duì)象的圖像分割為多個(gè)塊，對(duì)各個(gè)塊進(jìn)行編碼/解碼處理。為了提高編碼效率采用了如下所述的預(yù)測(cè)編碼方法。在畫面內(nèi)的預(yù)測(cè)編碼中，使用與對(duì)象塊相同畫面內(nèi)的相鄰的已再現(xiàn)的圖像信號(hào)(將過去被編碼的圖像數(shù)據(jù)復(fù)原得到的信號(hào))來生成預(yù)測(cè)信號(hào)，并對(duì)從對(duì)象塊的信號(hào)中減去預(yù)測(cè)信號(hào)得到的差分信號(hào)進(jìn)行編碼。在畫面間的預(yù)測(cè)編碼中，參照與對(duì)象塊不同的畫面內(nèi)的已再現(xiàn)的圖像信號(hào)而檢索信號(hào)的位移，并對(duì)該位移量進(jìn)行補(bǔ)償而生成預(yù)測(cè)信號(hào)，對(duì)從對(duì)象塊的信號(hào)中減去預(yù)測(cè)信號(hào)得到的差分信號(hào)進(jìn)行編碼。將此時(shí)為了進(jìn)行動(dòng)態(tài)的檢索/補(bǔ)償而參照的已再現(xiàn)的圖像稱為參照?qǐng)D像。
[0005]另外，在雙向畫面間預(yù)測(cè)中存在如下情況，即不僅參照在顯示時(shí)間順序中被顯示于對(duì)象圖像前面的過去的圖像，而且也一并參照被顯示于對(duì)象圖像后面的未來的圖像(但是，需要先于對(duì)象圖像對(duì)未來的圖像進(jìn)行編碼并預(yù)先再現(xiàn))。并且，對(duì)從過去的圖像取得的預(yù)測(cè)信號(hào)和從未來的圖像取得的預(yù)測(cè)信號(hào)雙方進(jìn)行平均，由此對(duì)被隱藏的新出現(xiàn)的物體的信號(hào)的預(yù)測(cè)比較有效，并且具有減輕雙方的預(yù)測(cè)信號(hào)中包含的雜音的效果。
[0006]另外，在H.264的畫面間預(yù)測(cè)編碼中，關(guān)于針對(duì)對(duì)象塊的預(yù)測(cè)信號(hào)，參照過去被編碼并再現(xiàn)的多個(gè)參照?qǐng)D像，在進(jìn)行動(dòng)態(tài)檢索的同時(shí)將誤差最小的圖像信號(hào)選擇為最佳的預(yù)測(cè)信號(hào)。并且，求出對(duì)象塊的像素信號(hào)與該最佳的預(yù)測(cè)信號(hào)之差分，對(duì)差分實(shí)施離散余弦變換并進(jìn)行量化，然后進(jìn)行熵編碼。同時(shí)，對(duì)有關(guān)從哪個(gè)參照?qǐng)D像取得針對(duì)對(duì)象塊的最佳的預(yù)測(cè)信號(hào)的信息(參照索引)以及有關(guān)從參照?qǐng)D像內(nèi)的哪個(gè)區(qū)域取得最佳的預(yù)測(cè)信號(hào)的信息(運(yùn)動(dòng)向量)一并進(jìn)行編碼。在H.264中，已被再現(xiàn)的4?5張圖像被作為參照?qǐng)D像被存儲(chǔ)在幀存儲(chǔ)器中。另外，在本說明書中，假設(shè)幀存儲(chǔ)器包括所謂再現(xiàn)圖像緩沖器(decodedpicture buffer)ο
[0007]畫面間預(yù)測(cè)編碼雖然能夠運(yùn)用圖像間的相關(guān)高效地進(jìn)行壓縮編碼，但是為了能夠通過電視的頻道切換從中途視聽影像節(jié)目，需要切斷畫面間的依賴性。下面，在動(dòng)態(tài)圖像的壓縮比特流中，將不存在畫面間的依賴性的位置稱為“隨機(jī)訪問點(diǎn)(random accesspoint) ”。除頻道的切換之外，在編輯動(dòng)態(tài)圖像的情況下以及將不同的動(dòng)態(tài)圖像的壓縮數(shù)據(jù)連接起來的情況下，都需要隨機(jī)訪問點(diǎn)。在H.264中，指定IDR圖片，利用上述的畫面內(nèi)預(yù)測(cè)編碼方法對(duì)所指定的IDR圖片進(jìn)行編碼，同時(shí)將存儲(chǔ)在幀存儲(chǔ)器中的再現(xiàn)圖像設(shè)定為不要，將該再現(xiàn)圖像設(shè)為不可參照，由此實(shí)質(zhì)上將幀存儲(chǔ)器釋放(刷新(refresh))。這種處理被稱為“存儲(chǔ)器刷新”，根據(jù)情況也被稱為“幀存儲(chǔ)器刷新(memory refresh) ”或者“緩沖器刷新(buffer refresh) ”。
[0008]圖11⑷是表示包括IDR圖片的動(dòng)態(tài)圖像的預(yù)測(cè)構(gòu)造的示意圖。該圖11⑷所示的多個(gè)圖像901、902、…、909是構(gòu)成動(dòng)態(tài)圖像的圖像組的一部分，將各個(gè)圖像也稱為“圖片”或者“幀”。各個(gè)箭頭表示預(yù)測(cè)的方向。例如，圖像902將朝向圖像902的兩個(gè)箭頭的起點(diǎn)即圖像903、905作為參照?qǐng)D像取得預(yù)測(cè)信號(hào)。另外，假設(shè)圖1l(A)的圖像901是參照?qǐng)D1l(A)未示出的過去的圖像進(jìn)行了編碼的圖像。然后對(duì)圖像902、903、904進(jìn)行編碼，但此時(shí)采用上述的雙向預(yù)測(cè)編碼方法，以便提高壓縮率。即，先對(duì)圖像905進(jìn)行編碼/再現(xiàn)，然后參照已再現(xiàn)的圖像901和905對(duì)圖像903進(jìn)行編碼(在圖11 (A)中省略了源自圖像901的箭頭)。并且，圖像902、904分別將已再現(xiàn)的3個(gè)圖像901、905、903作為參照?qǐng)D像進(jìn)行編碼(在圖11㈧中省略了源自圖像901的箭頭)。同樣地，圖像906、907、908參照?qǐng)D像905和909進(jìn)行編碼。并且，這樣被編碼(壓縮)后的各個(gè)圖像的壓縮數(shù)據(jù)按照?qǐng)D1l(B)所示的順序進(jìn)行傳輸或者蓄積。關(guān)于圖1l(B)的壓縮數(shù)據(jù)和圖1l(A)的圖像，利用P1、IDR5、B3等共同的符號(hào)示出其對(duì)應(yīng)關(guān)系。例如，壓縮數(shù)據(jù)910是指附加了相同符號(hào)Pl的圖像901的壓縮數(shù)據(jù)，壓縮數(shù)據(jù)911是指附加了相同符號(hào)IDR5的圖像905的壓縮數(shù)據(jù)。
[0009]另外，考慮到隨機(jī)訪問，對(duì)將圖像905指定為IDR圖片進(jìn)行畫面內(nèi)預(yù)測(cè)編碼的情況進(jìn)行說明。在這種情況下，根據(jù)H.264中的IDR規(guī)則，在剛剛對(duì)壓縮數(shù)據(jù)911進(jìn)行解碼來再現(xiàn)圖像905后(或者也可以是即將開始?jí)嚎s數(shù)據(jù)911的解碼之前)，必須將在幀存儲(chǔ)器中存儲(chǔ)的全部參照?qǐng)D像(即包括圖像901的過去的再現(xiàn)圖像)設(shè)定為不要，使不可參照。其結(jié)果是，圖11 (A)的圖像901不可參照，在對(duì)圖像902、903、904進(jìn)行編碼時(shí)不能參照?qǐng)D像901。這種與IDR圖片相關(guān)的處理例如記述在下述的非專利文獻(xiàn)I中。
[0010]現(xiàn)有技術(shù)文獻(xiàn)
[0011]專利文獻(xiàn)
[0012]專利文獻(xiàn)1:日本國(guó)際公開公報(bào)TO2005/006763A1
[0013]非專利文獻(xiàn)
[0014]非專利文獻(xiàn)1:1ain E.G.Richardson, “H.264and MPEG_4VideoCompress1n，，，John ffiley&Sons, 2003, sect1n6.4.2

【發(fā)明內(nèi)容】

[0015]發(fā)明要解決的問題
[0016]由于IDR圖片的導(dǎo)入，在上述預(yù)測(cè)中使用的參照?qǐng)D像受限制，因而不能高效地對(duì)在圖像的顯示順序中位于IDR圖片前面的圖像(圖1l(A)的圖像902、903、904)進(jìn)行編碼。為了解決該問題，在上述專利文獻(xiàn)I中公開了如下的方法:使刷新幀存儲(chǔ)器的定時(shí)(即將幀存儲(chǔ)器內(nèi)的參照?qǐng)D像設(shè)定為不要的定時(shí))延遲到對(duì)在IDR圖片后面被編碼的圖像執(zhí)行編碼的時(shí)刻。通過延遲幀存儲(chǔ)器刷新的定時(shí)，在圖1l(A)的圖像902、903、904的編碼執(zhí)行時(shí)刻，圖像901殘留在幀存儲(chǔ)器中，因而在對(duì)圖像902、903、904進(jìn)行編碼時(shí)能夠參照?qǐng)D像901，能夠高效地進(jìn)行編碼。
[0017]根據(jù)專利文獻(xiàn)1，關(guān)于延遲存儲(chǔ)器刷新的定時(shí)的方法公開了如下的方法。
[0018]方法1:對(duì)IDR圖片附加與使延遲的圖像的張數(shù)相關(guān)的信息。
[0019]方法2:對(duì)與實(shí)施存儲(chǔ)器刷新的定時(shí)對(duì)應(yīng)的圖像的壓縮數(shù)據(jù)附加用于指示執(zhí)行存儲(chǔ)器刷新的信號(hào)(標(biāo)志)。
[0020]方法3:將在IDR圖片之后出現(xiàn)的第一個(gè)P圖片(單向預(yù)測(cè)圖像)設(shè)為刷新的定時(shí)。
[0021]可是，上述的方法具有下述缺點(diǎn)。
[0022]缺點(diǎn)1:在上述的方法I中，在編輯動(dòng)態(tài)圖像時(shí)是這樣進(jìn)行的，即將多張圖像中的一部分圖像舍去，將另一部分圖像連接起來并插入另一部分圖像，因而對(duì)IDR圖片附加的“與使延遲的圖像的張數(shù)相關(guān)的信息”不貼切，存在導(dǎo)致錯(cuò)誤動(dòng)作的情況。
[0023]缺點(diǎn)2:在上述的方法2中，同樣即使是在采用標(biāo)志的情況下，在通過編輯動(dòng)態(tài)圖像而使得對(duì)應(yīng)的圖像的壓縮數(shù)據(jù)被刪除時(shí)，附加于被刪除的壓縮數(shù)據(jù)的標(biāo)志消失，也存在導(dǎo)致錯(cuò)誤動(dòng)作的情況。
[0024]缺點(diǎn)3:在上述的方法3中，存儲(chǔ)器刷新的信號(hào)(定時(shí))被限定為P圖片，因而存在不能利用其它方法進(jìn)行編碼的情況。例如，對(duì)于場(chǎng)景的變化銜接處，不能作為畫面內(nèi)預(yù)測(cè)(I圖片)進(jìn)行編碼。
[0025]另外，此處的“錯(cuò)誤動(dòng)作”是指由于不能在恰當(dāng)?shù)亩〞r(shí)進(jìn)行存儲(chǔ)器刷新，致使成為在對(duì)后續(xù)數(shù)據(jù)進(jìn)行解碼時(shí)需要的參照?qǐng)D像沒有存儲(chǔ)在幀存儲(chǔ)器中的狀態(tài)，其結(jié)果是后續(xù)的圖像不能準(zhǔn)確再現(xiàn)。
[0026]本發(fā)明目的在于解決上述問題，對(duì)作為隨機(jī)訪問的位置的圖像的前后圖像高效地進(jìn)行壓縮編碼，同時(shí)消除由于現(xiàn)有技術(shù)的缺點(diǎn)導(dǎo)致的問題。
[0027]用于解決問題的手段
[0028]為了達(dá)到上述目的，本發(fā)明的一個(gè)實(shí)施方式的動(dòng)態(tài)圖像預(yù)測(cè)編碼裝置的特征在于，該動(dòng)態(tài)圖像預(yù)測(cè)編碼裝置具有:輸入單元，其輸入構(gòu)成動(dòng)態(tài)圖像的多個(gè)圖像；編碼單元，其利用畫面內(nèi)預(yù)測(cè)方法或者畫面間預(yù)測(cè)方法對(duì)所輸入的所述圖像進(jìn)行編碼，生成包含成為隨機(jī)訪問的圖像即隨機(jī)訪問圖像在內(nèi)的壓縮圖像數(shù)據(jù)，并且對(duì)與所述圖像的顯示順序信息相關(guān)的數(shù)據(jù)進(jìn)行編碼；復(fù)原單元，其對(duì)所生成的所述壓縮圖像數(shù)據(jù)進(jìn)行解碼，由此復(fù)原再現(xiàn)圖像；圖像存儲(chǔ)單元，其將被復(fù)原的所述再現(xiàn)圖像作為用于對(duì)后續(xù)的圖像進(jìn)行編碼的參照?qǐng)D像進(jìn)行存儲(chǔ)；以及存儲(chǔ)器管理單元，其控制所述圖像存儲(chǔ)單元，在生成所述隨機(jī)訪問圖像的編碼處理結(jié)束后，所述存儲(chǔ)器管理單元在對(duì)顯示順序信息比所述隨機(jī)訪問圖像的顯示順序信息大的第一個(gè)圖像即將進(jìn)行編碼之前或者剛剛進(jìn)行編碼之后，將存儲(chǔ)于所述圖像存儲(chǔ)單元的參照?qǐng)D像中除所述隨機(jī)訪問圖像之外的參照?qǐng)D像設(shè)定為不要，由此刷新所述圖像存儲(chǔ)單元。
[0029]也可以是，對(duì)于包括顯示順序信息比所述隨機(jī)訪問圖像的顯示順序信息大、而且在生成所述隨機(jī)訪問圖像的編碼處理結(jié)束后第一個(gè)成為編碼對(duì)象的圖像在內(nèi)的一個(gè)以上的編碼對(duì)象圖像，所述編碼單元對(duì)所述編碼對(duì)象圖像的顯示順序信息與所述隨機(jī)訪問圖像的顯示順序信息之間的差分值進(jìn)行編碼，作為與所述編碼對(duì)象圖像的顯示順序信息相關(guān)的數(shù)據(jù)。
[0030]并且，也可以是，所述編碼單元對(duì)于從在隨機(jī)訪問圖像之后成為編碼對(duì)象的圖像開始、到顯示順序信息比所述隨機(jī)訪問圖像的顯示順序信息大、而且在生成所述隨機(jī)訪問圖像的編碼處理結(jié)束后第一個(gè)成為編碼對(duì)象的圖像為止的各個(gè)圖像，對(duì)各個(gè)圖像的顯示順序信息與所述隨機(jī)訪問圖像的顯示順序信息之間的差分值進(jìn)行編碼，作為與該各個(gè)圖像的顯示順序信息相關(guān)的數(shù)據(jù)。
[0031]本發(fā)明的一個(gè)實(shí)施方式的動(dòng)態(tài)圖像預(yù)測(cè)解碼裝置的特征在于，該動(dòng)態(tài)圖像預(yù)測(cè)解碼裝置具有:輸入單元，其輸入利用畫面內(nèi)預(yù)測(cè)方法或者畫面間預(yù)測(cè)方法對(duì)構(gòu)成動(dòng)態(tài)圖像的多個(gè)圖像進(jìn)行編碼得到的、包括成為隨機(jī)訪問的圖像即隨機(jī)訪問圖像在內(nèi)的壓縮圖像數(shù)據(jù)、以及通過對(duì)與所述圖像的顯示順序信息相關(guān)的數(shù)據(jù)進(jìn)行編碼得到的顯示順序編碼數(shù)據(jù)；復(fù)原單元，其通過對(duì)所述壓縮圖像數(shù)據(jù)進(jìn)行解碼而復(fù)原再現(xiàn)圖像，并且通過對(duì)所述顯示順序編碼數(shù)據(jù)進(jìn)行解碼而復(fù)原顯示順序信息；圖像存儲(chǔ)單元，其將被復(fù)原的所述再現(xiàn)圖像作為用于對(duì)后續(xù)的圖像進(jìn)行解碼的參照?qǐng)D像進(jìn)行存儲(chǔ)；以及存儲(chǔ)器管理單元，其控制所述圖像存儲(chǔ)單元，在對(duì)所述隨機(jī)訪問圖像進(jìn)行解碼的解碼處理結(jié)束后，在對(duì)顯示順序信息比所述隨機(jī)訪問圖像的顯示順序信息大的第一個(gè)圖像即將進(jìn)行解碼之前或者剛剛進(jìn)行解碼之后，所述存儲(chǔ)器管理單元將存儲(chǔ)于所述圖像存儲(chǔ)單元的參照?qǐng)D像中除所述隨機(jī)訪問圖像之外的參照?qǐng)D像設(shè)定為不要，由此刷新所述圖像存儲(chǔ)單元。
[0032]也可以是，所述復(fù)原單元對(duì)于包括顯示順序信息比所述隨機(jī)訪問圖像的顯示順序信息大、而且在對(duì)所述隨機(jī)訪問圖像進(jìn)行解碼的解碼處理結(jié)束后第一個(gè)成為解碼對(duì)象的圖像在內(nèi)的一個(gè)以上的解碼對(duì)象圖像的顯示順序信息，將對(duì)該解碼對(duì)象圖像的顯示順序編碼數(shù)據(jù)進(jìn)行解碼得到的該解碼對(duì)象圖像的顯示順序信息與所述隨機(jī)訪問圖像的顯示順序信息之間的差分值、和所述隨機(jī)訪問圖像的顯示順序信息進(jìn)行相加，由此復(fù)原該解碼對(duì)象圖像的顯示順序信息。
[0033]并且，也可以是，所述復(fù)原單元對(duì)于從在隨機(jī)訪問圖像之后成為解碼對(duì)象的圖像開始、到顯示順序信息比所述隨機(jī)訪問圖像的顯示順序信息大、而且在生成所述隨機(jī)訪問圖像的解碼處理結(jié)束后第一個(gè)成為解碼對(duì)象的圖像為止的各個(gè)圖像的顯示順序信息，將對(duì)該各個(gè)圖像的顯示順序編碼數(shù)據(jù)進(jìn)