專利名稱：圖像編碼方法以及對應的圖像解碼方法、編碼裝置和解碼裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種按照權(quán)利要求1的前序部分的圖像編碼方法以及按照權(quán)利要求9的前序部分的圖像解碼方法。此外，本發(fā)明還涉及按照權(quán)利要求11和13的前序部分的編碼裝置和解碼裝置。
背景技術(shù)：
按照[1]，對圖像序列進行高效編碼的視頻編碼方法利用了特殊的信號特性。其中考慮各個圖像或這些圖像的圖像點之間的位置和時間相關(guān)性。圖像或視頻編碼方法能夠越好地利用各個圖像或圖像點之間的相關(guān)性，一般可以達到的壓縮比例就越大。
在當前用于視頻編碼的技術(shù)中，如按照標準ITU-T H.263或ITU-TH.264[2，3]的混合編碼方法與所謂的三維頻率編碼規(guī)則是有所區(qū)別的。雖然兩種方法都試圖對由圖像序列組成的視頻信號進行位置以及時間的編碼，但是在混合編碼方法中首先在時間方向進行補償運動的預測，然后例如借助二維離散余項變換(DCT)對產(chǎn)生的差值圖像進行二維變換，以由此去掉該差值圖像內(nèi)相鄰圖像點之間的位置相關(guān)性。
而在三維頻率編碼規(guī)則如補償運動的、在時間上進行濾波的子帶編碼中，與混合編碼方法相反不執(zhí)行時間預測，而是在時間軸方向進行“真實”的變換，以由此利用連續(xù)圖像的時間相關(guān)性。在這種子帶編碼中，圖像序列在位置的二維去相關(guān)之前就被解碼成多個“時間上的”頻帶，如對于兩個頻帶來說被解碼成一個高頻帶和一個低頻帶分別用于時間上的高頻和低頻圖像分量。在頻譜分解時，出現(xiàn)在這些頻帶中的頻率的分布極大地取決于出現(xiàn)在視頻信號中的運動大小。只要所考察的視頻信號沒有運動或變化的元素，則所有高頻“時間頻譜分量”都等于0，而整個能量集中在低頻帶。但在正常情況下將會在圖像序列中始終觀察到時間上的圖像變化，如局部的對象移動、對象大小的變化或者場景變換。這導致能量分布在多個頻譜系數(shù)上，其中還形成高頻分量。
為了減少在時間的高頻帶中的頻譜分量并由此將能量集中在時間的低頻帶上，在對視頻信號進行時間上的濾波之前在多個“時間的”頻帶中對將要在時間上濾波的圖像進行位置的運動估計和運動補償。
根據(jù)[4]也可以將補償運動的、經(jīng)過時間上的濾波的子帶編碼用于產(chǎn)生可縮放的視頻數(shù)據(jù)流。由此實現(xiàn)了時間上的、數(shù)量上的以及位置上的可縮放性。此外在[4]的3.2.4章中介紹了一種組合的縮放。其中借助混合編碼方法達到兩種不同的基礎(chǔ)質(zhì)量。為了改善圖像質(zhì)量而添加其它經(jīng)過縮放的視頻數(shù)據(jù)流。在[4]中，借助補償運動的、經(jīng)過時間上的濾波的子帶編碼來產(chǎn)生該其它經(jīng)過縮放的視頻數(shù)據(jù)流。由此公知，借助按照補償運動的、預測性編碼的第一編碼方法以及按照補償運動的、時間上進行濾波的子帶編碼的第二編碼方法可以產(chǎn)生可縮放的視頻數(shù)據(jù)流。
官方申請?zhí)枮?02004031407.1的德國申請公開了一種方法，其中為了產(chǎn)生可縮放的視頻流采用混合編碼方法和三維頻率編碼方法。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是提供一種圖像編碼方法、圖像解碼方法、編碼裝置和解碼裝置，它們可以采用第一和第二編碼方法進行高效的圖像編碼和圖像解碼。
該技術(shù)問題從按照權(quán)利要求1的前序部分的圖像編碼方法出發(fā)通過其特征部分的特征以及從按照權(quán)利要求9的前序部分的圖像解碼方法出發(fā)通過其特征部分的特征來解決。此外該技術(shù)問題還從按照權(quán)利要求11和13前序部分的編碼裝置和解碼裝置出發(fā)通過其特征部分的特征解決。
在圖像編碼方法、尤其是根據(jù)申請?zhí)枮?02004031407.1的德國申請的權(quán)利要求1至8中任一項的圖像編碼方法中，借助第一編碼方法從原始圖像序列中產(chǎn)生解碼圖像序列，借助第二編碼方法從該原始圖像序列的一個圖像組中產(chǎn)生第二圖像序列，其中借助第二編碼方法的INTER編碼模式對一張第二圖像的至少一個圖像區(qū)域進行編碼，其中通過INTER編碼模式采用至少一張解碼圖像作為參考圖像，其中通過用作參考圖像的解碼圖像來代表與通過待編碼的圖像區(qū)域的所述第二圖像所代表的原始圖像不同的原始圖像。
通過本發(fā)明的圖像編碼方法，在產(chǎn)生第二圖像時考慮至少一張解碼圖像。由此可以提高編碼效率，因為在根據(jù)第二編碼方法的INTER編碼模式產(chǎn)生時可以改善預測。
優(yōu)選的，為了對一張第二圖像進行編碼考慮至少兩張解碼圖像，其中另外引入這樣的解碼圖像作為參考圖像，其與待產(chǎn)生的第二圖像代表相同的原始圖像。由此可以找到很好的代表，從而進一步改善預測或壓縮。
優(yōu)選如果在對一張第二圖像的至少一個圖像區(qū)域進行編碼前將具有第一圖像大小的解碼圖像的至少一個子區(qū)域放大或縮小到第二圖像大小，則當該第二圖像的圖像大小與該解碼圖像的圖像大小不同時也可以采用本發(fā)明的圖像編碼方法。由此進一步改善預測和壓縮。
此外，如果至少一張解碼圖像是借助第一編碼方法用INTRA編碼模式和/或INTER編碼模式和/或雙向預測編碼模式產(chǎn)生的，則可以進一步提高產(chǎn)生第二圖像時的編碼效率。
此外，可以通過第一編碼方法產(chǎn)生具有第一圖像重復頻率的解碼圖像序列，以及通過第二編碼方法產(chǎn)生具有第二圖像重復頻率的第二圖像序列。由此還可以在第二圖像和解碼圖像的圖像重復頻率不相同時采用本發(fā)明的圖像編碼方法，并由此提高壓縮率。
優(yōu)選的，通過所述第一編碼方法產(chǎn)生位于多個第一圖像質(zhì)量級別中的解碼圖像序列，通過所述第二編碼方法產(chǎn)生位于多個第二圖像質(zhì)量級別中的第二圖像序列，其中為了產(chǎn)生第二圖像序列而考慮尤其是具有最高的第一圖像質(zhì)量級別的解碼圖像序列。由此本發(fā)明的圖像編碼方法還可以用在支持縮放級別的第一和/或第二編碼方法中。這導致壓縮率的提高。
此外，優(yōu)選作為第一編碼方法和第二編碼方法可以采用相同的編碼方法或者兩種不同的編碼方法，其中尤其是作為第一編碼方法采用補償運動的預測編碼，作為第二編碼方法采用補償運動的、時間上經(jīng)過濾波的子帶編碼。由此通過本發(fā)明的編碼方法既可以采用相同的編碼方法，又可以采用兩種不同的編碼方法來對原始圖像序列編碼。
在本發(fā)明方法的另一個替換方式中，在圖像編碼方法的范圍內(nèi)這樣產(chǎn)生位流，即該位流包括至少一個標識，該標志表明在產(chǎn)生至少一張第二圖像時采用了至少一張解碼圖像。從而編碼裝置可以向解碼裝置傳送按照本發(fā)明方法產(chǎn)生的位流，其中該位流詳細描述在產(chǎn)生第二圖像時對至少一張第一解碼圖像的依賴性。
本發(fā)明還涉及一種圖像解碼方法、尤其是根據(jù)申請?zhí)枮?02004031407.1的德國申請的權(quán)利要求8的圖像解碼方法，其特征在于對至少一張按照所述圖像編碼方法編碼的圖像、尤其是第二圖像進行解碼的步驟，其中借助第二解碼方法從第二圖像序列中產(chǎn)生再現(xiàn)的原始圖像，其中借助第二解碼方法的INTER解碼模式對一張第二圖像的至少一個圖像區(qū)域進行解碼，其中通過INTER解碼模式采用至少一張通過第一編碼方法產(chǎn)生的解碼圖像作為參考圖像，其中通過用作參考圖像的解碼圖像來代表與通過待解碼的圖像區(qū)域的所述第二圖像所代表的原始圖像不同的原始圖像。借助該圖像解碼方法可以對用所述圖像編碼方法產(chǎn)生的解碼或第二圖像進行解碼。在此通過第二解碼方法對采用第二編碼方法產(chǎn)生的第二圖像進行解碼，其中所述第二解碼方法包括INTER、TNTRA和/或雙向預測解碼模式的至少一個。
優(yōu)選的，通過所述圖像解碼方法在該圖像解碼方法的范圍內(nèi)對位流進行解碼，其中該位流包括至少一個標識，該標識表明在產(chǎn)生至少一張第二圖像時使用了至少一張解碼圖像。由此該解碼方法可以接收按照本發(fā)明的方法產(chǎn)生的位流并對其進行解碼，其中該位流詳細描述在產(chǎn)生第二圖像時對至少一張第一解碼圖像的依賴性。
此外，本發(fā)明還涉及一種編碼裝置、尤其是根據(jù)申請?zhí)枮?02004031407.1的德國申請的權(quán)利要求9的編碼裝置，包括用于執(zhí)行圖像編碼方法的裝置，用于借助第一編碼方法從原始圖像序列中產(chǎn)生解碼圖像序列的第一裝置，用于借助第二編碼方法從原始圖像序列的一個圖像組中產(chǎn)生第二圖像序列的第二裝置，其中借助第二編碼方法的INTER編碼模式對一張第二圖像的至少一個圖像區(qū)域進行編碼，其中通過INTER編碼模式采用至少一張解碼圖像作為參考圖像，其中通過用作參考圖像的解碼圖像來代表與通過待編碼的圖像區(qū)域的所述第二圖像所代表的原始圖像不同的原始圖像。借助本發(fā)明的編碼裝置可以實施本發(fā)明的圖像編碼方法并借助該方法制造。
優(yōu)選的，所述編碼裝置包括用于發(fā)送位流的發(fā)送裝置，該位流這樣產(chǎn)生，即該位流包括至少一個標識，該標識表明在產(chǎn)生至少一張第二圖像時使用了至少一張解碼圖像。由此可以從編碼裝置向解碼裝置發(fā)送該位流。
此外，本發(fā)明還涉及一種解碼裝置、尤其是根據(jù)申請?zhí)枮?02004031407.1的德國申請的權(quán)利要求10的解碼裝置，包括用于執(zhí)行圖像解碼方法的裝置，用于借助第二解碼方法從第二圖像序列中產(chǎn)生再現(xiàn)的原始圖像的第三裝置，其中借助第二解碼方法的INTER解碼模式對一張第二圖像的至少一個圖像區(qū)域進行解碼，其中通過INTER解碼模式采用至少一張通過第一編碼方法產(chǎn)生的解碼圖像作為參考圖像，其中通過用作參考圖像的解碼圖像來代表與通過待解碼的圖像區(qū)域的所述第二圖像所代表的原始圖像不同的原始圖像。本發(fā)明的解碼裝置實現(xiàn)了在設(shè)備中實施和執(zhí)行本發(fā)明的圖像解碼方法。編碼裝置和/解碼裝置可以在一個無線設(shè)備中，尤其是根據(jù)UMTS(通用移動電信系統(tǒng))標準和/或GSM(全球移動通信系統(tǒng))標準的無線設(shè)備，或者在例如與企業(yè)內(nèi)部網(wǎng)和/或互聯(lián)網(wǎng)連接的固網(wǎng)設(shè)備中實施和運行。
優(yōu)選如果在所述解碼裝置設(shè)置用于接收包括至少一個標識的位流的接收裝置，該標識表明在產(chǎn)生至少一張第二圖像時使用了至少一張解碼圖像，則可以由該接收裝置接收和處理位流。


下面借助圖1至圖9詳細解釋本發(fā)明的其它細節(jié)和優(yōu)點。具體示出圖1以示意圖示出對原始圖像序列的編碼，其中采用按照補償運動的預測編碼的第一編碼方法產(chǎn)生解碼圖像，采用按照補償運動的、經(jīng)過時間上濾波的子帶編碼的第二編碼方法在考慮第一編碼方法的解碼圖像的情況下對第二圖像進行編碼；圖2示出在對第二圖像編碼過程中對解碼圖像的依賴性；圖3示出在對第二圖像編碼過程中對解碼圖像的依賴性，其中每張第二圖像都由至少兩張解碼圖像預測出來；圖4示出在對第二圖像編碼過程中對解碼圖像的依賴性，其中解碼圖像通過增大圖像大小而從按照第一編碼方法的編碼圖像中產(chǎn)生；圖5以示意圖示出對第二圖像編碼過程中對解碼圖像的依賴性，其中解碼圖像序列具有比第二圖像序列小的圖像重復頻率；圖6示出包含用于執(zhí)行本發(fā)明方法的編碼裝置和解碼裝置的移動終端設(shè)備；圖7示出具有網(wǎng)絡(luò)單元的網(wǎng)絡(luò)，該網(wǎng)絡(luò)單元包括用于執(zhí)行本發(fā)明方法的編碼裝置和解碼裝置；圖8示出在對第二圖像編碼時對解碼圖像的第一質(zhì)量級別的依賴性；圖9示出與傳輸網(wǎng)絡(luò)連接的、實施本發(fā)明方法的編碼裝置和解碼裝置。
具體實施例方式
在圖1至圖9中對具有相同功能和作用方式的元件標以相同的附圖標記。
在圖1中可以看見本發(fā)明方法的實施例。在此應當采用第一編碼方法CV1和第二編碼方法CV2來壓縮原始圖像序列O1，...，ON。該原始圖像O1，...，ON例如由照相機產(chǎn)生并以具有一個亮度分量和兩個色度分量的彩色格式按照640×480個圖像點的圖像大小提供。此外，可以在對原始圖像O1，...，ON編碼之前對其進行圖像預處理，例如進行噪聲抑制或邊緣銳化。
首先，第一編碼方法CV1對原始圖像O1，...，ON進行補償運動的預測編碼。[5]公開了這種補償運動的預測編碼方法，如ITU-T H.263標準。利用該方法可以從原始圖像O1，...，ON中在采用例如INTRA編碼模式和/或INTER編碼模式的情況下產(chǎn)生編碼圖像B1，...，BM。INTRA編碼模式對各原始圖像O1，...，ON的每個圖像塊在不考慮其它原始圖像O1，...，ON的情況下進行編碼。相反，在INTER編碼模式中在考慮一張或多張已經(jīng)編碼的圖像B1，...，BM或一張或多張解碼圖像D1，...D4＝參考圖像RB的情況下壓縮各個原始圖像O1，...，ON的每個圖像塊。另外，在INTER編碼模式中優(yōu)選在編碼之前對原始圖像O1，...，ON的各個待編碼的圖像塊進行運動估計，然后在運動補償之后才對該圖像塊進行編碼。用于運動估計和運動補償?shù)姆椒ㄓ蒣5]公開。此外，編碼圖像B1，...，BM的數(shù)量M可以不等于原始圖像O1，...，ON的數(shù)量N，因為例如不是對所有原始圖像O1，...，ON都編碼。
在下個步驟中，借助第一編碼方法CV1從編碼圖像B1，...，BM中產(chǎn)生解碼圖像序列D1，...DM。此外，可以為每個解碼圖像D1，...DM產(chǎn)生自己的解碼列表，該列表給出各解碼圖像D1，...DM的哪些圖像塊是例如用INTRA編碼模式編碼，哪些是使用INTER編碼模式編碼的。解碼圖像D1，...DM將在后面的處理步驟中由第二編碼方法CV2考慮。對于圖1的實施例，對使用INTRA編碼模式產(chǎn)生所有圖像塊的解碼圖像D1，...DM標以“I”，對至少一個圖像塊是借助INTER編碼模式編碼的解碼圖像標以“P”，對借助雙向預測編碼模式編碼的解碼圖像標以“B”。
在隨后的步驟中，借助第二編碼方法CV2對各圖像組GOP的所有連續(xù)的原始圖像O1，...ON進行編碼。在本實施例中可以看見3個不同的圖像組GOP1，GOP2，GOP3。在此，第二圖像組GOP2的待編碼原始圖像的數(shù)量選擇為4。每個圖像組GOP的待編碼原始圖像的數(shù)量可以變化，例如各圖像組GOP1，GOP2，GOP3中首先是2，然后是4，最后是8張原始圖像被編碼。從而例如第二圖像組GOP2的第一張待編碼原始圖像是第三原始圖像O3。
解碼圖像D1，...D4應當理解為對各對應的編碼圖像B1，...，B4進行完全的解碼，或者從各對應編碼圖像B1，...，B4中提取一個或多個語法元素，如塊類型或宏塊類型，或運動向量。
在本發(fā)明的范圍內(nèi)，補償運動的、在時間上經(jīng)過濾波的子帶編碼應當理解為這樣一種編碼方法，其中在多個分辨率平面R1、R2中由每至少兩張輸入圖像分別產(chǎn)生至少一張輸出圖像A1’、A3。另外還可以產(chǎn)生中間圖像Z2’，Z1，Z2，Z3。各中間圖像代表第一子帶的對應輸入圖像的補償了運動的分量。各輸出圖像包括第二子帶的對應輸入圖像的補償了運動的分量。第一子帶例如包括高頻分量，第二子帶包括低頻分量。較高分辨率平面R1的輸出圖像A1、A2成為各個較低分辨率平面R2中的輸入圖像E5，E6。
在圖1中描繪的第二編碼方法CV2在第二圖像組GOP2內(nèi)由兩個分辨率平面R1、R2組成。在第一分辨率平面R1中，從每兩張輸入圖像E1和E2，E3和E4以及兩張對應的解碼圖像D4，D6中分別產(chǎn)生一張中間圖像Z1，Z2和一張輸出圖像A1，A2。兩張輸出圖像A1，A2用作第二分辨率平面R2的輸入圖像E5，E6。在該實施例中對應于較低分辨率平面的第二分辨率平面R2中，從輸入圖像E5，E6和解碼圖像D3，D5中產(chǎn)生第三中間圖像Z3和第三輸出圖像A3。在該實施例中，低分辨率平面R2同時代表最低分辨率平面。最低分辨率平面應當理解為在圖像組GOP內(nèi)只產(chǎn)生一張輸出圖像的分辨率平面。低分辨率平面R2的輸出圖像A1’，A3以及中間圖像Z2’，Z1，Z2，Z3稱為第二圖像。
借助圖2簡化地示出如在圖1詳細解釋的第二圖像Z1，Z2，Z3，A3與解碼圖像D3，D4，D5，D6的相關(guān)性。通過箭頭標記出在對特定的一張第二圖像編碼時應當考慮的解碼圖像。從而例如在產(chǎn)生第二圖像A3時考察第三解碼圖像D3。在此可以例如在對第二圖像A3進行預測INTRA編碼時將第三解碼圖像D3用作參考圖像RB。原始圖像O1，...，ON的說明在圖2中應當只是表明各解碼圖像或第二圖像在時間上屬于哪張原始圖像。例如，第二圖像Z3和解碼圖像D5都代表原始圖像O5。
在圖1或圖2中具有第一編碼方法CV1的編碼模式如INTRA編碼模式的解碼圖像D3在產(chǎn)生第二圖像A3時的分配只是一個可能的實施方式。這樣，也可以利用采用與INTRA編碼模式不同的編碼模式如雙向預測編碼模式編碼的解碼圖像D3來產(chǎn)生第二圖像A3。
在圖3中可以看見本發(fā)明圖像編碼方法的一個變形。在此可以看出，采用至少一張按照第二編碼方法CV2的解碼圖像來產(chǎn)生各第二圖像。其中在產(chǎn)生第二圖像Z1時考慮解碼圖像D5。在此解碼圖像D1，...，DN稱為參考圖像RB，因為例如在具有時間預測的INTER編碼時將該解碼圖像用于產(chǎn)生第二圖像Z3。原則上用于產(chǎn)生一張第二圖像的解碼圖像的數(shù)量不是固定為預定義的值，如1或3。在產(chǎn)生一張第二圖像時待考慮的解碼圖像的數(shù)量也可以變化。從而為了產(chǎn)生第二圖像A3考慮兩張解碼圖像D1和D4，為了產(chǎn)生第二圖像Z3而考慮三張解碼圖像D4，D5，D6。此外也不需要只將相鄰的解碼圖像用于產(chǎn)生第二圖像。例如，考慮將解碼圖像D1用于產(chǎn)生第二圖像A3。按照本發(fā)明，在產(chǎn)生一張第二圖像時要考慮至少一張解碼圖像，但是作為參考圖像RB應當使用至少一張解碼圖像D5，該解碼圖像代表與通過第二圖像Z1代表的原始圖像O5不同的原始圖像O5。
此外，在本發(fā)明的范圍中在考慮相同參考圖像RB的情況下也不需要總是對一整張圖像、即一張圖像的所有待編碼的圖像區(qū)域進行編碼。從而可以借助參考圖像RB＝D1產(chǎn)生第二圖像Z1的第一圖像區(qū)域，借助參考圖像RB＝D1，D3來產(chǎn)生第二圖像區(qū)域。一個圖像區(qū)域包括任意數(shù)量的圖像點，例如8×8個圖像點的圖像塊，和/或例如16×16個圖像點的宏塊，和/或被任意形狀的圖像區(qū)域包圍的圖像點。
此外，在實踐中合適的是，在產(chǎn)生一張第二圖像時考慮那些與待產(chǎn)生的第二圖像代表相同原始圖像的解碼圖像。從而例如在產(chǎn)生第二圖像Z3時也考慮解碼圖像D5。該措施是很合適的，因為在與待產(chǎn)生的第二圖像Z3代表相同原始圖像O5的解碼圖像D5中，可以找到用于預測的最佳相關(guān)性并由此實現(xiàn)高度壓縮。
在本發(fā)明視頻編碼方法的另一變形中，在產(chǎn)生一張第二圖像Z1，Z2，Z3，A3之前將具有第一圖像大小BG1的解碼圖像D1，...DM的至少一個子區(qū)域放大或縮小到第二圖像大小BG2。這種子區(qū)域描述了多個圖像點，其中該子區(qū)域可以是任意形狀。在下面的例子中該字區(qū)域包括一張完整的解碼圖像。為了改善該變形的表示，在圖4中示出對應于解碼圖像D1，...DM的編碼圖像B1，...BM。從而一張編碼圖像B1，...BM的第一圖像大小BG1大約等于100×120個圖像點。現(xiàn)在優(yōu)選的是，為了產(chǎn)生第二圖像一張或多張解碼圖像應當具有第二圖像大小BG2。第二圖像大小BG2例如等于200×240個圖像點。為此首先對編碼圖像B1，...BM進行解碼，然后借助放大工具從第一圖像大小放大到第二圖像大小BG2。經(jīng)過放大的解碼圖像就是解碼圖像D1，...DM。在另一個實施例中，合適的是在產(chǎn)生一張第二圖像之前縮小一張解碼圖像的至少一個子區(qū)域。此外在實踐中合適的是，對于編碼圖像B1，...B4的一個子區(qū)域在其解碼之后進行縮小，對于其余的編碼圖像B5，...BM則在其解碼之后放大至少一個子區(qū)域(未在圖中示出)。
在另一個實施方式中，優(yōu)選借助第一編碼方法CV1利用INTRA編碼模式或者INTER編碼模式和/或雙向預測編碼模式來產(chǎn)生至少一張解碼圖像D1，...DM。在該雙向預測編碼模式中，通過兩張或多張解碼圖像的預測來產(chǎn)生一張解碼圖像或編碼圖像。借助該雙向預測編碼模式可以使解碼圖像的數(shù)量超過原始圖像的數(shù)量。由此為了產(chǎn)生第二圖像還可以考慮借助該雙向預測編碼模式產(chǎn)生的解碼圖像。這可以導致壓縮率的提高。此外在產(chǎn)生至少一張第二圖像時還可以采用分級的B圖像。分級的B圖像分別是借助兩張B圖像產(chǎn)生的。
此外在實踐中合適的是，通過第一編碼方法CV1產(chǎn)生具有第一圖像重復頻率BWF1的解碼圖像序列D1，...DM，通過第二編碼方法CV2產(chǎn)生具有第二圖像重復頻率BWF2的第二圖像序列Z1，Z2，Z3，A3。將借助圖5對其詳細解釋。在圖5中，只是針對每張第二原始圖像產(chǎn)生解碼圖像序列。因此對于原始圖像O2，O4，O6沒有對應的解碼圖像。為了產(chǎn)生第二圖像只訪問存在的解碼圖像。由此例如為了產(chǎn)生第二圖像Z2而考慮解碼圖像D7，D5。在產(chǎn)生了所有的第二圖像之后，按照圖5示出第二圖像重復頻率BWF2是第一圖像重復頻率BWF1的兩倍，因為產(chǎn)生了兩倍于解碼圖像的第二圖像。
在按照圖8的本發(fā)明圖像編碼方法的另一變形中，可以通過第一編碼方法CV1產(chǎn)生處于多個第一圖像質(zhì)量級別Q1，Q2中的解碼圖像D1_Q1，D1-Q2，...，DM_Q1，DM_Q2，通過第二編碼方法CV2產(chǎn)生處于多個第二圖像質(zhì)量等級Q1’，Q2’的第二圖像序列Z1，Z2，Z3，A3，其中為了產(chǎn)生第二圖像序列Z1，Z2，Z3，A3尤其是考慮具有最高第一圖像質(zhì)量級別Q2的解碼圖像D1_Q1，D1_Q2，...，DM_Q1，DM_Q2。例如，對于每張解碼圖像D1，...DM都提供兩個不同的第一質(zhì)量級別，例如D1_Q1，D1_Q2。從而解碼圖像D1_Q1具有第一質(zhì)量級別＝基礎(chǔ)質(zhì)量級別，解碼圖像D1-Q2具有相對于該基礎(chǔ)質(zhì)量級別有所改善的第二質(zhì)量級別。由此第一圖像質(zhì)量級別的數(shù)量等于2。此外，每張解碼圖像D1_Q1，...，DM_Q2的質(zhì)量級別的數(shù)量都可以不同。在優(yōu)選的變形中，為了產(chǎn)生第二圖像A3，Z1，Z2，Z3而考慮解碼圖像的對應于最高第一圖像質(zhì)量級別的質(zhì)量級別，即例如針對最高第一圖像質(zhì)量級別Q2的解碼圖像D1_Q2。此外，第二圖像Z1，Z2，Z3，A3還可以具有多個質(zhì)量級別，例如具有3個質(zhì)量級別Q1’，Q2’，Q3’。在此第二圖像質(zhì)量級別的數(shù)量等于3。
本發(fā)明對于第一和第二編碼方法CV1、CV2既可以采用唯一的一種編碼方法，也可以采用兩種不同的編碼方法。此外，本發(fā)明不僅限于只采用兩種編碼方法，即第一和第二編碼方法，還可以采用三種和更多的編碼方法。例如，用第一和第二編碼方法對原始圖像編碼，第三編碼方法采用第一和/或第二編碼方法的編碼或解碼圖像來產(chǎn)生第二圖像。
圖像編碼方法可以用編碼裝置EV來執(zhí)行。該圖像編碼方法借助編碼裝置EV的第一和第二裝置M1，M2來實現(xiàn)。此外該編碼裝置還包括發(fā)送裝置MS。由此由編碼裝置EV產(chǎn)生并包括至少一個標識KN、一張解碼圖像D1和至少一張第二圖像Z1的位流BS通過傳輸網(wǎng)絡(luò)UE發(fā)送給解碼裝置DV。
本發(fā)明還涉及一種圖像解碼方法，該方法執(zhí)行用于解碼至少一張按照圖像編碼方法編碼的圖像，尤其是一張第二圖像Z1，Z2，Z3，A3的一個或多個步驟。借助本發(fā)明的圖像解碼方法可以從該第二圖像中重新獲得一張或多張再現(xiàn)的原始圖像K1，...，KN，其中再現(xiàn)的原始圖像K1，...，KN代表一張或多張原始圖像O1，...，ON。在執(zhí)行該圖像解碼方法時考慮那些在產(chǎn)生第二圖像時采用的解碼圖像D1，...，DN作為參考圖像RB。該圖像解碼方法可以用解碼裝置DV執(zhí)行。此外，解碼單元可以包括用于接收位流BS的接收模塊ME，該位流包括至少一個標識KN、一張解碼圖像D1和至少一張第二圖像Z1。圖像解碼方法可以借助解碼裝置DV來實現(xiàn)，該解碼裝置包括用于執(zhí)行本發(fā)明方法的第三裝置。
在圖6中可以看見移動終端設(shè)備MG。編碼裝置EV和/或解碼裝置DV可以實施在該終端設(shè)備MG中，并實現(xiàn)本發(fā)明的圖像編碼方法和圖像解碼方法。移動終端設(shè)備MG尤其是按照GSM(全球移動通信系統(tǒng))標準的移動無線設(shè)備。
在圖7中示出網(wǎng)絡(luò)NET。該網(wǎng)絡(luò)NET包括例如實現(xiàn)編碼裝置EV和/或解碼裝置DV的網(wǎng)絡(luò)單元NE。此外還可以在該網(wǎng)絡(luò)NET內(nèi)另外設(shè)置第一和第二網(wǎng)絡(luò)元件NW1，NW2，該網(wǎng)絡(luò)元件例如相互連接和/或與網(wǎng)絡(luò)單元NE連接。包括編碼裝置EV和/或解碼裝置DV的網(wǎng)絡(luò)單元NE可以借助這些裝置執(zhí)行本發(fā)明的圖像編碼方法和圖像解碼方法。
在圖9中既示出包括第一、第二裝置M1、M2和用于產(chǎn)生位流BS的發(fā)送裝置MS的編碼單元EV，該位流包括至少一個標識KN、一張解碼圖像D1和至少一張第二圖像Z1，還示出包括第三裝置M3和用于接收位流BS的接收裝置ME的解碼單元DV。編碼裝置EV和解碼裝置DV通過傳輸網(wǎng)絡(luò)UE相互連接以交換有效數(shù)據(jù)和檢查數(shù)據(jù)。傳輸網(wǎng)絡(luò)UE例如是按照GSM標準或ISDN(綜合服務數(shù)字網(wǎng)絡(luò))標準建立的。
文獻[1]K.Hanke，RWTH-Aachen，http:/www.ient.rwth-aachen.de/forschung/pdf/3D-videocodierung.pdf[2]Videocodierstandard ITU-T H.263，“Videocoding for LowBitrate Communication”，02/1998[3]Videocodierstandard ITU-T H.264，“Advanced Video Codingfor Generic Audio Visual Services”，05/2003[4]H.Schwarz，D.Marpe和T.Wigand，F(xiàn)raunhofer Institut fuerTelekommunikation，Heinrich Herz Institut，“ScalableExtension of H.264/AVC”，ISO/IECJTC1/SC29/WG11，MPEG04/M10569/S03，Maerz 2004[5]S.Jun，S.Huifang，“Image and Video Compression forMultimedia Engineering”，CRC-Press，2000
權(quán)利要求
1.一種圖像編碼方法，尤其是根據(jù)申請?zhí)枮?02004031407.1的德國申請的權(quán)利要求1至8中任一項的圖像編碼方法，具有以下步驟a)借助第一編碼方法(CV1)從原始圖像序列(01，...，0N)中產(chǎn)生解碼圖像序列(D1，...，DM)，b)借助第二編碼方法(CV2)從原始圖像序列(01，...，0N)的一個圖像組(GOP)中產(chǎn)生第二圖像序列(Z1，Z2，Z3，A3)，其中借助第二編碼方法(CV2)的INTER編碼模式對一張第二圖像(Z1)的至少一個圖像區(qū)域進行編碼，通過INTER編碼模式采用至少一張解碼圖像(D5)作為參考圖像(RB)，通過用作參考圖像(RB)的解碼圖像(D5)來代表與通過待編碼的圖像區(qū)域的所述第二圖像(Z1)所代表的原始圖像(04)不同的原始圖像(05)。
2.根據(jù)權(quán)利要求1所述的圖像編碼方法，其特征在于，為了對一張第二圖像(Z3)進行編碼考慮至少兩張解碼圖像(D4，D5)，其中另外引入這樣的解碼圖像(D5)作為參考圖像(RB)，其與待產(chǎn)生的第二圖像(Z3)代表相同的原始圖像(05)。
3.根據(jù)上述權(quán)利要求之一所述的圖像編碼方法，其特征在于，在對一張第二圖像(Z1，Z2，Z3，A3)的至少一個圖像區(qū)域進行編碼前將具有第一圖像大小(BG1)的解碼圖像(D1，...，DM)的至少一個子區(qū)域放大或縮小到第二圖像大小(BG2)。
4.根據(jù)上述權(quán)利要求之一所述的圖像編碼方法，其特征在于，至少一張解碼圖像(D1，...，DM)是借助第一編碼方法(CV1)用INTRA編碼模式和/或INTER編碼模式和/或雙向預測編碼模式產(chǎn)生的。
5.根據(jù)上述權(quán)利要求之一所述的圖像編碼方法，其特征在于，通過第一編碼方法(CV1)產(chǎn)生具有第一圖像重復頻率(BWF1)的解碼圖像序列(D1，...，DM)，以及通過第二編碼方法(CV2)產(chǎn)生具有第二圖像重復頻率(BWF2)的第二圖像序列(Z1，Z2，Z3，A3)。
6.根據(jù)上述權(quán)利要求之一所述的圖像編碼方法，其特征在于，通過所述第一編碼方法(CV1)產(chǎn)生位于多個第一圖像質(zhì)量級別(Q1，Q2)中的解碼圖像(D1_Q1，D1_Q2，...，DM_Q1，DM_Q2)，通過所述第二編碼方法(CV2)產(chǎn)生位于多個第二圖像質(zhì)量級別中的第二圖像序列(Z1，Z2，Z3，A3)，其中為了產(chǎn)生第二圖像序列(Z1，Z2，Z3，A3)而考慮尤其是具有最高的第一圖像質(zhì)量級別的解碼圖像序列(D1_Q1，D1_Q2，...，DM_Q1，DM_Q2)。
7.根據(jù)上述權(quán)利要求之一所述的圖像編碼方法，其特征在于，作為第一編碼方法(CV1)和第二編碼方法(CV2)采用相同的編碼方法或者兩種不同的編碼方法，其中尤其是作為第一編碼方法(CV1)采用補償運動的預測編碼，作為第二編碼方法(CV2)采用補償運動的、時間上經(jīng)過濾波的子帶編碼。
8.根據(jù)上述權(quán)利要求之一所述的圖像編碼方法，其特征在于，在圖像編碼方法的范圍內(nèi)這樣產(chǎn)生位流(BS)，即該位流包括至少一個標識(KN)，該標識表明在產(chǎn)生至少一張第二圖像(Z1，A3)時采用了至少一張解碼圖像(D1，D1_Q1，D1_Q2)。
9.一種圖像解碼方法，尤其是根據(jù)申請?zhí)枮?02004031407.1的德國申請的權(quán)利要求8的圖像解碼方法，其特征在于對至少一張按照上述權(quán)利要求之一所述圖像編碼方法編碼的圖像、尤其是第二圖像(Z1，Z2，Z3，A3)進行解碼的步驟，其中借助第二解碼方法(DV2)從第二圖像序列(Z1，Z2，Z3，A3)中產(chǎn)生再現(xiàn)的原始圖像(K1，...，KN)，其中借助第二解碼方法(DV2)的INTER解碼模式對一張第二圖像(Z1)的至少一個圖像區(qū)域進行解碼，通過INTER解碼模式采用至少一張通過第一編碼方法(CV1)產(chǎn)生的解碼圖像(D5)作為參考圖像(RB)，通過用作參考圖像(RB)的解碼圖像(D5)來代表與通過待解碼的圖像區(qū)域的所述第二圖像(Z1)所代表的原始圖像(04)不同的原始圖像(05)。
10.根據(jù)上述權(quán)利要求之一所述的圖像解碼方法，其特征在于，在該圖像解碼方法的范圍內(nèi)對位流(BS)進行解碼，其中該位流包括至少一個標識(KN)，該標識表明在產(chǎn)生至少一張第二圖像(Z1，A3)時使用了至少一張解碼圖像(D1，D1_Q1，D1_Q2)。
11.一種編碼裝置(EV)，尤其是根據(jù)申請?zhí)枮?02004031407.1的德國申請的權(quán)利要求9的編碼裝置，包括用于執(zhí)行權(quán)利要求1至8中任一項所述圖像編碼方法的裝置，還具有a)借助第一編碼方法(CV1)從原始圖像序列(01，...，0N)中產(chǎn)生解碼圖像序列(D1，...，DM)的第一裝置(M1)，b)借助第二編碼方法(CV2)從原始圖像序列(01，...，0N)的一個圖像組(GOP)中產(chǎn)生第二圖像序列(Z1，Z2，Z3，A3)的第二裝置(M2)，其中借助第二編碼方法(CV2)的INTER編碼模式對一張第二圖像(Z1)的至少一個圖像區(qū)域進行編碼，通過INTER編碼模式采用至少一張解碼圖像(D5)作為參考圖像(RB)，通過用作參考圖像(RB)的解碼圖像(D5)來代表與通過待編碼的圖像區(qū)域的所述第二圖像(Z1)所代表的原始圖像(04)不同的原始圖像(05)。
12.根據(jù)權(quán)利要求10所述的編碼裝置(EV)，其特征在于，所述編碼裝置包括用于發(fā)送位流(BS)的發(fā)送裝置(MS)，該位流這樣產(chǎn)生，即該位流包括至少一個標識(KN)，該標識表明在產(chǎn)生至少一張第二圖像(Z1，A3)時使用了至少一張解碼圖像(D1，D1_Q1，D1_Q2)。
13.一種解碼裝置(DV)，尤其是根據(jù)申請?zhí)枮?02004031407.1的德國申請的權(quán)利要求10的解碼裝置，包括用于執(zhí)行根據(jù)權(quán)利要求9或10所述圖像解碼方法的裝置，用于借助第二解碼方法(DV2)從第二圖像序列(Z1，Z2，Z3，A3)中產(chǎn)生再現(xiàn)的原始圖像(K1，...，KN)的第三裝置(M3)，其中借助第二解碼方法(DV2)的INTER解碼模式對一張第二圖像(Z1)的至少一個圖像區(qū)域進行解碼，通過INTER解碼模式采用至少一張通過第一編碼方法(CV1)產(chǎn)生的解碼圖像(D5)作為參考圖像(RB)，通過用作參考圖像(RB)的解碼圖像(D5)來代表與通過待解碼的圖像區(qū)域的所述第二圖像(Z1)所代表的原始圖像(04)不同的原始圖像(05)。
14.根據(jù)權(quán)利要求13所述的解碼裝置(DV)，其特征在于用于接收包括至少一個標識(KN)的位流(BS)的接收裝置(ME)，該標識表明在產(chǎn)生至少一張第二圖像(Z1，A3)時使用了至少一張解碼圖像(D1，D1_Q1，D1_Q2)。
全文摘要
在圖像編碼方法中借助第一編碼方法從原始圖像序列中產(chǎn)生解碼圖像序列。此外借助第二編碼方法的INTER編碼模式從原始圖像序列的一個圖像組中產(chǎn)生第二圖像序列，其中采用至少一張解碼圖像作為參考圖像，其中該參考圖像代表與通過待編碼的圖像區(qū)域的所述第二圖像所代表的原始圖像不同的原始圖像。本發(fā)明還涉及圖像解碼方法，可用于對通過該圖像編碼方法產(chǎn)生的第二圖像進行解碼。最后編碼裝置和解碼裝置都是本發(fā)明的組成部分，利用它們可以執(zhí)行該圖像編碼方法和圖像解碼方法。
文檔編號H04N7/26GK101088296SQ200580044555
公開日2007年12月12日 申請日期2005年12月9日 優(yōu)先權(quán)日2004年12月22日
發(fā)明者P·阿蒙, G·貝斯, A·赫特, J·潘德爾, B·蒂默曼 申請人:西門子公司