專利名稱：編碼和解碼多視像的方法和裝置的制作方法
技術(shù)領(lǐng)域：
與本發(fā)明一致的方法和裝置一般涉及編碼和解碼多視像，更具體地，涉及編碼和解碼多視像以便執(zhí)行高速編碼和解碼所需的視圖間預(yù)測和時間預(yù)測。
背景技術(shù)：
在多視像編碼中，同時編碼從提供多視像的多個照相機(jī)輸入的圖像。使用時間相關(guān)性和視圖間空間相關(guān)性來壓縮編碼多視像。圖1示出了根據(jù)現(xiàn)有技術(shù)的多視像的序列。
在圖1中，水平軸為時間軸，垂直軸為視圖軸。在多視像編碼中，
對于來自于基本視圖和時間預(yù)測的圖像周期性地產(chǎn)生內(nèi)(I)圖片(picture),或者基于產(chǎn)生的I圖片執(zhí)行視圖間預(yù)測，從而預(yù)測編碼其它的圖片。
使用同一視圖(即，同一行)中的圖像之間的時間相關(guān)性來執(zhí)行時間預(yù)測。使用同一時間點(即，同一列)處的圖像之間的空間相關(guān)性來執(zhí)行視圖間預(yù)測。
在圖1中，每行示出了多視像的每個視圖隨時間的圖像序列，每列自上而下依次示出了視圖0、 1、 2到7的圖像序列。視圖0為基本視圖，以及第一行中的圖像序列來自于該基本視圖。僅僅使用時間預(yù)測而不使用視圖間預(yù)測來對包括在來自于基本視圖的圖像序列中的圖片進(jìn)行預(yù)測編碼。
每列示出了同一時間點處的多視像。包括在列110、 120和130中的圖片(其中，來自于基本視圖的圖像為I圖片)被稱為錨(anchor)圖片。僅僅使用視圖間預(yù)測來對錨圖片進(jìn)行編碼。
除了包括I圖片的列110、 120和130之外的其余列中包括的圖片被稱為非錨圖片。使用時間預(yù)測和視圖間預(yù)測二者來對非錨圖片進(jìn)行預(yù)測編碼。
在圖l所示的序列當(dāng)中，將以第二行和第五列中的圖片141作為示例。使用視圖間預(yù)測和時間預(yù)測二者來對包括在圖片141中的每個塊進(jìn)行預(yù)測。由于預(yù)測方法可以對于每個塊都不同，因此將參考位于鄰近于圖片141處的奇數(shù)行中的圖片142和143以及在時間上在圖片141之前或之后的圖片111和121，以Y更預(yù)測圖片141。
相似地，根據(jù)現(xiàn)有技術(shù)，將不得不使用需要參考四個圖片的視圖間預(yù)測和時間預(yù)測來預(yù)測編碼非錨圖片，結(jié)果導(dǎo)致低速的多視像編碼
發(fā)明內(nèi)容
技術(shù)方案
本發(fā)明提供一種用于對多視像進(jìn)行編碼和解碼的方法和裝置以及其上記錄有用于執(zhí)行該方法的程序的計算機(jī)可讀記錄介質(zhì)，其中可以高效地對多視像序列進(jìn)行高速編碼和解碼。
有益效果
在預(yù)測中，基于提取的信息確定不是用于視圖間預(yù)測的參考圖像的圖片不被參考用于視圖間預(yù)測。由于可以高效地以高速執(zhí)行視圖間預(yù)測，因此多視像解碼的速度也提高了 。
如上所述，根據(jù)本發(fā)明，在多視像的編碼和解碼期間，使用視圖間預(yù)測來對包括在多視像序列中的僅僅一些圖片進(jìn)行預(yù)測編碼和解碼，從而加速了編碼和解碼。
此外，當(dāng)預(yù)測不使用視圖間預(yù)測的圖片時，僅參考少量圖片，從而使得可以有效利用預(yù)測編碼和解碼所需的存儲器。


通過下面參考附圖對本發(fā)明的示范性實施例的詳細(xì)描述，本發(fā)明的上述及其它方面將變得更加明顯，其中
圖1示出了根據(jù)現(xiàn)有技術(shù)的多視像的序列；
圖2是示出了根據(jù)本發(fā)明的示范性實施例的用于編碼多視像的裝置的框圖3示出了根據(jù)本發(fā)明的示范性實施例的多視像的序列的時間級別(temporal level);
圖4A示出了根據(jù)本發(fā)明的示范性實施例的多 一見像的序列；
圖4B示出了根據(jù)本發(fā)明的示范性實施例的多視像的序列和它們的時間級別；
圖5示出了根據(jù)本發(fā)明的示范性實施例的網(wǎng)絡(luò)提取層(NAL)單元報頭的語法；
圖6A和6B示出了根據(jù)本發(fā)明的示范性實施例的序列參數(shù)集的語法；圖6C和6D示出了根據(jù)本發(fā)明的示范性實施例的補(bǔ)充增強(qiáng)信息(SEI)消息的語法；
圖7是根據(jù)本發(fā)明的示范性實施例的編碼多視像的方法的流程圖；圖8是才艮據(jù)本發(fā)明的另 一個示范性實施例的編碼多#見像的方法的流程圖9是示出了根據(jù)本發(fā)明的示范性實施例的用于解碼多視像的裝置的才匡圖；以及
圖10是根據(jù)本發(fā)明的示范性實施例的解碼多視像的方法的流程圖。
具體實施例方式
根據(jù)本發(fā)明的一方面，提供一種編碼多視像的方法。該方法包括確定包括在該多視像的序列(以下將被稱為多視像序列)中的每個圖片是否為被包括在該多視像序列中的其它圖片參考用于視圖間預(yù)測的參考圖片；以及基于確定結(jié)果^f吏用#見圖間預(yù)測和時間預(yù)測中的至少 一個來編碼該圖片。
該圖片的編碼可以包括編碼每個圖片的參數(shù)，其指示每個圖片是否為該參考圖片。
根據(jù)本發(fā)明的另一方面，提供一種用于編碼多視像的裝置。該裝置包括確定單元，確定包括在該多視像序列中的每個圖片是否為被包括在該多視像序列中的其它圖片參考用于視圖間預(yù)測的參考圖片；以及編碼單元，基于確定結(jié)果使用視圖間預(yù)測和時間預(yù)測中的至少一個來編碼該圖片。
該編碼單元可以基于該確定結(jié)果編碼關(guān)于被每個圖片參考以用于視圖間預(yù)測和時間預(yù)測中的至少 一 個的參考圖片的信息。
根據(jù)本發(fā)明的另 一方面，提供一種解碼多視像的方法。該方法包括接收比特流，該比特流包括指示包括在多視像序列中的每個圖片是否為被包括在該多視像序列中的其它圖片參考以用于視圖間預(yù)測的參考圖片的信息和關(guān)于該多視像序列的數(shù)據(jù)；從接收到的比特流中提取該信息和關(guān)于該多視像序列的數(shù)據(jù)；以及基于提取的信息解碼該關(guān)于多視像序列的數(shù)據(jù)。
該信息可以包括在每個圖片的參數(shù)中。
根據(jù)本發(fā)明的另一方面，提供一種用于解碼多視像的裝置。該裝置包括提取單元，接收比特流，該比特流包括指示包括在多視像序列中的每個圖片是否為被包括在該多視像序列中的其它圖片參考以用于視圖間預(yù)測的參考圖片的信息和關(guān)于該多視像序列的數(shù)據(jù)，以及/人接收到的比特流中提取該信息和關(guān)于該多視像序列的數(shù)據(jù)；以及解碼單元，基于提取的信息解碼該關(guān)于多視像序列的數(shù)據(jù)。
根據(jù)本發(fā)明的另一方面，提供一種編碼多視像的方法。該方法包括基于時間 級別從多視像序列中選擇要使用視圖間預(yù)測和時間預(yù)測編碼的圖片；以及使用視圖間預(yù)測和時間預(yù)測編碼所選擇的圖片，并且使用視圖間預(yù)測和時間預(yù)測中的一個來編碼包括在該多3見像序列中的其余圖片。
所述選擇圖片可以包括從包括在該多視像序列中的所有圖片當(dāng)中選擇時間級別小于預(yù)定值的非錨圖片。
所述編碼選擇的圖片可以包括編碼關(guān)于選擇的圖片的信息。
根據(jù)本發(fā)明的另一方面，提供一種用于編碼多視像的裝置。該裝置包括選擇單元，基于時間級別從多視像序列中選擇要被使用視圖間預(yù)測和時間預(yù)測編碼的圖片；以及編碼單元，使用視圖間預(yù)測和時間預(yù)測編碼所選擇的圖片，并且使用視圖間預(yù)測和時間預(yù)測中的一個來編碼包括在該多視像序列中的其余圖片。
沖艮據(jù)本發(fā)明的另一方面，提供一種解碼多視像的方法。該方法包括接收比特流，該比特流包括關(guān)于多視像序列中使用視圖間預(yù)測和時間預(yù)測編碼的圖片的信息和關(guān)于該多視像序列的數(shù)據(jù)；從接收到的比特流中提取該信息；以及基于所提取的信息來解碼關(guān)于該多視像序列的數(shù)據(jù)。
該信息可以包括在序列參數(shù)中或補(bǔ)充增強(qiáng)信息(SEI)消息中。
根據(jù)本發(fā)明的另一方面，提供一種用于解碼多視像的裝置。該裝置包括提取單元，接收比特流，該比特流包括關(guān)于多視像序列中使用視-圖間預(yù)測和時間預(yù)測編碼的圖片的信息和關(guān)于該多視圖圏像序列的數(shù)據(jù)，以及從接收到的比特流中提取該信息；以及解碼單元，基于所提取的信息來解碼關(guān)于該多視像序列的數(shù)據(jù)。
根據(jù)本發(fā)明的另一方面，提供一種計算機(jī)可讀記錄介質(zhì)，其上記錄有用 于執(zhí)行編碼多視像的方法和解碼多視像的方法的程序
在下文中，將參考附圖詳細(xì)描述本發(fā)明的示范性實施例。應(yīng)當(dāng)注意，相 似的參考數(shù)字指代一個或多個附圖中所示的相似的元件。在本發(fā)明的以下描 述中，為了簡明清楚，將略去合并于此的已知功能和配置的詳細(xì)說明。
圖2是示出了根據(jù)本發(fā)明的示范性實施例的用于編碼多視像的裝置
200的框圖。
參考圖2，裝置200包括控制單元210和編碼單元220。
根據(jù)本發(fā)明的示范性實施例，控制單元210確定包括在多視像的序 列(以下將被稱為多視像序列)中的圖片是否為被包括在該多視像 序列中的其它圖片參考以用于視圖間預(yù)測的參考圖片。
使用時間上相鄰的圖片之間的時間相關(guān)性和相鄰的^L圖中的圖片之間 的空間相關(guān)性來預(yù)測編碼多視像序列。多視像序列中的一些可以具 有高的時間相關(guān)性和低的空間相關(guān)性。在這種情況下，對于如圖l所示的所 有非錨圖片使用空間相關(guān)性進(jìn)行的視圖間預(yù)測僅僅增加了多視像編碼 所需的時間，而并未有助于壓縮率的改善。
因而，根據(jù)本發(fā)明的示范性實施例的用于編碼多視像的裝置200通 過僅僅對一些非錨圖片執(zhí)行視圖間預(yù)測而不是對所有非錨圖片執(zhí)行視圖間 預(yù)測來執(zhí)行預(yù)測編碼。為此，控制單元210確定包括在多視像序列中的 每個圖片是否充當(dāng)用于視圖間預(yù)測的參考圖片。換句話說，控制單元210確 定每個圖片是否被其它圖片參考以通過視圖間預(yù)測進(jìn)行預(yù)測編碼。
根據(jù)本發(fā)明的另一個示范性實施例，控制單元210基于時間級別從多視 像序列中選擇要被使用視圖間預(yù)測和時間預(yù)測編碼的圖片。控制單元 210選擇哪一個圖片將被使用視圖間預(yù)測編碼，而不是確定每個圖片是否被 其它圖片參考以用于視圖間預(yù)測。根據(jù)現(xiàn)有技術(shù)，使用視圖間預(yù)測和時間預(yù) 測來預(yù)測編碼所有非錨圖片。但是，根據(jù)本發(fā)明，為了使用視圖間預(yù)測編碼 僅僅一些非錨圖片，基于時間級別從多視像序列中選擇要被使用視圖間 預(yù)測和時間預(yù)測編碼的圖片。
時間級別是用于通過將圖像序列分割成多個電平(level)來提供時間可 分級的參數(shù)，以便使得在圖像解碼期間僅僅選擇一些電平并解碼，下面將參考圖3進(jìn)行詳細(xì)描述。
圖3示出了根據(jù)本發(fā)明的示范性實施例的多視像序列的時間級別。
參考圖3，多視像序列中的錨圖片310和312的時間級別為'0，。 插入在錨圖片310和錨圖片312之間的圖片314的時間級別為T。插入在 時間級別為'0，的圖片和時間級別為'1，的圖片之間的圖片316和318的 時間級別為'2，。多視像序列的其余圖片的時間級別為'3，。
圖4A示出了根據(jù)本發(fā)明的示范性實施例的多視像序列。
圖4A所示的多視像序列是通過控制單元210確定包括在多視 像序列中的每個圖片是否被參考以用于視圖間預(yù)測或通過控制單元210選擇 要被使用視圖間預(yù)測和時間預(yù)測編碼的圖片來產(chǎn)生的。因而，圖4A所示的 多視像序列不同于根據(jù)圖1所示的現(xiàn)有技術(shù)的多視像序列。
例如，在根據(jù)圖1所示的現(xiàn)有技術(shù)的多視像序列中，第二行和第二 列中的圖片144參考第一行和第二列中的圖片145以及第三行和第二列中的 圖片146用于視圖間預(yù)測。換句話說，第一行和第二列中的圖片145以及第 三行和第二列中的圖片146為用于圖片144的視圖間預(yù)測的參考圖片。
但是，在根據(jù)圖4A所示的本發(fā)明的示范性實施例的多視像中，第 二行和第二列中的圖片420不參考第一行和第二列中的圖片422以及第三行 和第二列中的圖片用于視圖間預(yù)測。取而代之，圖片420僅參考第二行和第 三列中的圖片426以及第二行和第一列中的圖片428用于時間預(yù)測。
在根據(jù)圖1所示的現(xiàn)有技術(shù)的多視像序列中，非錨圖片當(dāng)中的所有 奇數(shù)行的圖片被其它圖片參考用于視圖間預(yù)測。但是，在根據(jù)圖4A所示的 本發(fā)明的示范性實施例的多視像序列中，非錨圖片當(dāng)中的奇數(shù)行的圖片 中的僅僅一些被其它圖片參考用于視圖間預(yù)測。換句話說，在圖4A中，奇 數(shù)行的非錨圖片當(dāng)中的僅僅奇數(shù)列的非錨圖片使用視圖間預(yù)測來編碼。
圖4B示出了根據(jù)本發(fā)明的示范性實施例的多視像序列和時間級別。
現(xiàn)在將參考圖4B來描述選擇包括在多視像序列中的一些圖片以用 于如圖4A所示的使用視圖間預(yù)測來編碼僅僅選擇的圖片的方式。
在圖4B中，基于時間級別來確定要被參考以用于視圖間預(yù)測的圖片。 在圖4B中，確定時間級別-'3，沖的非錨圖片不使用視圖間預(yù)測來編碼。換 句話說，從非錨圖片當(dāng)中僅僅選擇時間級別小于預(yù)定值的圖片來使用視圖間預(yù)測和時間預(yù)測編碼。
充當(dāng)控制單元210的確定或選擇的準(zhǔn)則的時間級別根據(jù)多視像序列
的特征而變化，不局限于圖4B所示的那些。例如，當(dāng)由于拍才聶多視像 的照相機(jī)之間的距離很大導(dǎo)致視圖之間的空間相關(guān)性不高時，沒有必要使用 視圖間預(yù)測來預(yù)測所有非錨圖片。在這種情況下，可以使用視圖間預(yù)測僅僅 預(yù)測時間級別為l或更小的圖片，以及在極端情況下，可以不使用視圖間預(yù) 測來預(yù)測非錨圖片。
反回來參考圖2，根據(jù)本發(fā)明的示范性實施例，編碼單元220基于控制 單元210的確定或選擇結(jié)果來編碼多視像序列。換句話說，編碼單元220 基于控制單元210的確定或選擇結(jié)果使用視圖間預(yù)測和時間預(yù)測中的至少一 個來預(yù)測編碼該多視像序列。
編碼單元220預(yù)測包括在多視像序列中的每個圖片，并從原始圖片 中減去每個圖片的預(yù)測值，從而產(chǎn)生多視像序列的殘差數(shù)據(jù)。
為了預(yù)測，編碼單元220將參考圖片存儲在預(yù)定存儲器中，并通過參考 存儲的參考圖片來執(zhí)行視圖間預(yù)測或時間預(yù)測。根據(jù)現(xiàn)有技術(shù)，當(dāng)預(yù)測非錨 圖片時，用于視圖間預(yù)測和時間預(yù)測的所有圖片應(yīng)當(dāng)被存儲在該存儲器中。 但是，根據(jù)本發(fā)明，對于由控制單元210確定不使用視圖間預(yù)測編碼的圖片， 沒有必要將用于視圖間預(yù)測的參考圖片存儲在該存儲器中。
例如，為了編碼圖4A中第二行和第二列中的圖片420,位于與圖片420 的視圖相鄰的視圖處且在圖片420之上和之下的圖片422和424不是用于視 圖間預(yù)測的參考圖片，因而不需要被存儲在存儲器中，從而使得能夠有效利 用存儲器。
由控制單元210確定不被參考用于視圖間預(yù)測的圖片不被參考用于視圖 間預(yù)測，從而加速了預(yù)測。
反回來參考圖2，根據(jù)本發(fā)明的示范性實施例，當(dāng)編碼單元220預(yù)測編 碼多視像序列時，它也編碼指示控制單元210的關(guān)于每個圖片是否為用 于視圖間預(yù)測的參考圖片的確定結(jié)果的參數(shù)，并且將編碼的參數(shù)插入到比特 流中。 一旦控制單元210確定每個圖片是否被參考用于視圖間預(yù)測，則編碼 單元220編碼關(guān)于控制單元210的確定結(jié)果的信息。
由于執(zhí)行確定以確定每個圖片是否被其它圖片參考用于視圖間預(yù)測，因—-— 此在每個圖片的參數(shù)中包括關(guān)于每個圖片是否被其它圖片參考用于視圖間預(yù)測的信息。
圖f 的語法。
NAL單元是圖像數(shù)據(jù)的分組化的單位。由于一個NAL單元一般包括 關(guān)于單個圖片的數(shù)據(jù)，因此在NAL單元報頭中包括關(guān)于每個圖片是否被其 它圖片參考用于視圖間預(yù)測的信息，以便被編碼。
參考圖5，根據(jù)現(xiàn)有技術(shù)，將語法元素'nal—ref—idc一view ，添加到NAL 單元報頭，從而指示每個圖片是否被其它圖片參考以用于視圖間預(yù)測。例如， 'nal—refjdc一view = 1 ，意思是相應(yīng)的圖片被其它圖片參考用于視圖間預(yù) 觀'J，以及'nal一ref—idc一view = 0，意思是該圖片不被其它圖片參考用于視圖 間預(yù)測。
由于新的比特分配給'nal—ref_idc—view ，，因此也添加i吾法元素 'reserved—zero—four—bits'以改變預(yù)留比特的數(shù)目。
反回來參考圖2，當(dāng)編碼單元220執(zhí)行編碼時，它也編碼關(guān)于被每個圖 片參考以用于視圖間預(yù)測和時間預(yù)測的參考圖片的信息。語法元素 'RefPicList，指示這樣的信息。由于控制單元210確定是否每個圖片充當(dāng)用 于視圖間預(yù)測的參考圖片，因此當(dāng)編碼單元220編碼多視像序列時，不 充當(dāng)參考圖片用于視圖間預(yù)測的圖片不被其它圖片參考。
因而，當(dāng)編碼單元220編碼關(guān)于用于每個圖片的參考圖片的信息時，它 可以產(chǎn)生'RefPicList，，以排除由控制單元210確定為不被參考用于視圖間 預(yù)測的圖片。
例如，當(dāng)根據(jù)現(xiàn)有技術(shù)編碼圖4A所示的圖片420時，在與圖片420的 視圖相鄰的視圖處、位于圖片420之上和之下的圖片422和424是參考圖片， 以及關(guān)于圖片422和424的信息包括在'RefPicList'中。但是，根據(jù)本發(fā)明 的示范性實施例，關(guān)于由控制單元210確定為不是圖片420的參考圖片的圖 片422和424的信息不包括在'RefPicList'中。
根據(jù)本發(fā)明的另一個示范性實施例，編碼單元220也編碼關(guān)于由控制單 元210選擇的要^f吏用^L圖間預(yù)測和時間預(yù)測編碼的圖片的信息，并且將編碼 的信息插入到比特流中，下面將參考圖6A和6B進(jìn)^f亍詳細(xì)描述。
圖6A示出了根據(jù)本發(fā)明的示范性實施例的序列參數(shù)集的語法-?！?br> 參考圖6A，編碼單元220可以在序列參數(shù)集中包括用于指明由控制單元210選擇的圖片的信息并且編碼該序列參數(shù)集。根據(jù)本發(fā)明的序列參數(shù)集 包 括語 法 元 素 'temporal—level—max ' 和 語 法 元 素 'use—interview_pred_temporal_level[i]，。
'temporalJevel一max，是指示由用于編碼多視像的裝置200編碼的 多視像序列的不同時間級別的數(shù)目的信息。圖3B所示的多視像序 列具有從'0，到'3，的時間級別，因而'temporal—level—max'為'3，。
'use—interview_pred—temporal—level[i]，是用于指明要使用視圖間預(yù)測 和時間預(yù)測預(yù)測編碼的圖片的信息。當(dāng)l義僅對如圖4B所示的時間級別為'1， 或 '2， 的圖片執(zhí)4亍^見圖間子貞測時，'use—interview_pred—temporal—level[l]， 為 '1，, 以及 'use—interview_pred—temporal—level[2]' 為 '1，。
'use—interview_pred_temporal—level[3]' 可以被設(shè)置為 '0，。值 '0， 和 '1，為指示是否使用視圖間預(yù)測來預(yù)測相應(yīng)時間級別的圖片的標(biāo)志信息。 時間級別為'0，的圖片是錨圖片。由于僅僅使用視圖間預(yù)測來預(yù)測編 碼4苗圖片，因此不單獨i殳置'use—interview_pred—temporal—level[O]，。
圖6B示出了根據(jù)本發(fā)明的另一個示范性實施例的序列參數(shù)集的語法。 在圖4B中，控制單元210基于時間級別選擇要被使用視圖間預(yù)測和時 間預(yù)測進(jìn)行預(yù)測編碼的圖片。換句話說，特定時間級別的圖片不被時間預(yù)測。 但是，也可以基于視圖以及時間級別來選擇那些圖片。
例如，視圖1的多視像序列的圖片當(dāng)中的時間級別為'1，或'2， 的圖片被視圖間預(yù)測和時間預(yù)測，以及視圖3的多視像序列的圖片當(dāng)中 的時間級別為1的圖片被視圖間預(yù)測和時間預(yù)測。換句話說，對于每個視圖 單獨地選擇要被視圖間預(yù)測和時間預(yù)測的圖片。在這種情況下，需要用于指 明對于每個視圖的選擇的圖片的語法元素。
參考圖6B,序列參數(shù)集包括語法元素 'temporal—level_ max ， 和 'use—interview_pred_temporal_level [i][j]，。
'temporal—level—max' 與圖6A所示的 'temporal—level—max'相同，j旦 是 'use—interviewjpred—temporal—level[i][j]， 不同于圖 6A 所示的 'use—interview_pred—temporal—level[i]，。
在 'use—interview_pred—temporal—level [i] [j]， 中,'i' 指示視圖，'j, 指示時間級別。如上所述，假定視圖1的多視像序列的圖片當(dāng)中的時間 級別為'1，或'2，的圖片^皮視圖間預(yù)測和時間預(yù)測，以及視圖3的多視4象序列的圖片當(dāng)中的時間級別為'1，的圖片凈皮^L圖間預(yù)測和時間預(yù)測。
在這種情況下，'use—interview_pred—temporal一level[l][l]， 為 '1，， 'use—interview_pred—temporal一level[ 1 ] [2] 'use—interview_pred—temporal—level[ 1 ] [3] 'use—interview_pred_temporal—level [3 ] [ 1 ] 'use—interview_pred—temporal—level [3 ] [2] 'use—interview_pred—temporal—level [3 ] [3 ] 相應(yīng)視圖的多視像序列中相應(yīng)時間級別的圖片是否使用視圖間預(yù)測來 預(yù)測的標(biāo)志信息，如圖6A所示。
圖6C示出了根據(jù)本發(fā)明的示范性實施例的補(bǔ)充增強(qiáng)信息(SEI)消息。 參考圖6C,編碼單元220可以在SEI消息中包括用于指明由控制單元 210選擇的圖片的信息并且編碼該SEI消息。
SEI消息是解碼視頻編碼層所需的附加信息，以及可以包括每個圖片的 定時信息、關(guān)于pan/scan功能的信息、和隨機(jī)存取所需的信息。SEI消息也 可以包括用戶單獨定義的信息。才艮據(jù)本發(fā)明的示范性實施例的SEI消息包括 用于指明由控制單元210選擇的用于視圖間預(yù)測的圖片的信息。
在 圖 6C 中 ，' temporal—level—max ， 和 'use—interview_prediction—temporal—level [i]， 與圖6A的相同。 圖6D示出了根據(jù)本發(fā)明的另一個示范性實施例的SEI消息。 在 圖 6D 中 ,' temporal—level—max ， 和 'use—interviewjprediction—temporal—level [i][j]， 與圖6B的相同。
圖7是示出了根據(jù)本發(fā)明的示范性實施例的編碼多視像的方法的流 程圖。
參考圖7，在操作710,圖2所示的用于編碼多視像的裝置200確 定包括在多視像序列中的每個圖片是否是用于視圖間預(yù)測的參考圖片。 換句話說，確定每個圖片是否被包括在該多視像序列中的其它圖片參考 用于視圖間預(yù)測。
在根據(jù)本發(fā)明的示范性實施例的編碼多視像的方法中，使用視圖間 預(yù)測來預(yù)測僅僅一些非錨圖片，而不是使用視圖間預(yù)測來預(yù)測編碼所有非錨 國片。因而，僅僅一些圖片被其它S^卓考用于視圖間預(yù)測。為此，在操作 710中確定是否每個圖片被其它圖片參考用于視圖間預(yù)測。可以基于時間級
為'r， 為'o，， 為'r, 為'o，， 為'o'。
以及
值'o'和'r為指示別來確定用于視圖間預(yù)測的參考圖片。
在操作720，裝置200基于操作710的確定，使用視圖間預(yù)測和時間預(yù) 測中的至少一個來編碼多^f見<象序列中的圖片。
使用視圖間預(yù)測和時間預(yù)測中的至少 一 個來預(yù)測多視像序列中的 每個圖片，并且從原始圖片中減去每個圖片的預(yù)測值，從而產(chǎn)生多視像 序列的殘差數(shù)據(jù)。
不用參考在操作710中確定為不是用于視圖間預(yù)測的參考圖片的圖片而 執(zhí)行視圖間預(yù)測，從而加速了預(yù)測并且使得能夠高效使用存儲器。
在多視像序列編碼中，關(guān)于在操作710中確定為用于視圖間預(yù)測的
參考圖片的圖片的信息也被編碼并且#:插入到比特流中。更具體地說，將指
示每個圖片是否為用于視圖間預(yù)測的參考圖片的信息插入到每個圖片的參 數(shù)中。該信息可以包括在NAL單元報頭中以便被編碼，如上所述。
圖8是示出了根據(jù)本發(fā)明的另 一個示范性實施例的編碼多視像的方 法的流程圖。
參考圖8，在操作810,圖2所示的用于編碼多視像的裝置200基 于時間級別選擇要被使用視圖間預(yù)測和時間預(yù)測編碼的圖片。裝置200也可 以對于多視像序列的每個視圖，選擇要4皮使用視圖間預(yù)測和時間預(yù)測編 碼的圖片。更具體地說，時間級別小于預(yù)定值的非錨圖片被選擇作為要被使 用^L圖間預(yù)測和時間預(yù)測編碼的圖片。
在操作820,裝置200基于操作810的選擇結(jié)果來編碼多視像序列。 更具體地說，使用視圖間預(yù)測和時間預(yù)測來預(yù)測編碼在操作810中選擇的圖 片，以及使用視圖間預(yù)測和時間預(yù)測中的一個來預(yù)測編碼多視像序列中 的其余圖片。根據(jù)現(xiàn)有技術(shù)使用視圖間預(yù)測和時間預(yù)測來預(yù)測編碼多視 像序列中的所有非錨圖片，而根據(jù)本發(fā)明的示范性實施例，則使用視圖間預(yù) 測和時間預(yù)測來預(yù)測編碼非錨圖片中的僅僅一些圖片，從而加速了多視 像編碼。
在多視像序列編碼期間，關(guān)于在操作810中選擇用于視圖間預(yù)測的 圖片的信息也被編碼并被插入到比特流中。如前所述，該信息可以按照序列 參凄史或SEI消息的形式^皮編碼并^皮插入到比特流中。
圖9是示出了根據(jù)本發(fā)明的示范性實施例的用于解碼多視像的裝置 900的框圖。參考圖9，裝置900包括^提取單元910和解碼單元920。 提取單元910接收比特流，該比特流包括關(guān)于通過才艮據(jù)本發(fā)明的編碼多 視像的方法編碼的多視像序列的數(shù)據(jù)。這里，關(guān)于多視像序列 的數(shù)據(jù)是多視像序列的殘差數(shù)據(jù)，以及該比特流包括關(guān)于多視像序 列中的每個圖片是否為用于視圖間預(yù)測的參考圖片的信息或關(guān)于每個圖片 是否已被視圖間預(yù)測和時間預(yù)測編碼的信息。
在接收到比特流后，提取單元910從接收的比特流中提取信息。更具體 地說，提取單元910提取指示每個圖片是用于視圖間預(yù)測的參考圖片的參數(shù) 或指示每個圖片已被使用視圖間預(yù)測和時間預(yù)測編碼的參數(shù)。優(yōu)選地，但不 是必須地，提取單元910提取包括在NAL單元報頭、序列參數(shù)或SEI消息 中的信息。
解碼單元920基于提取單元910提取的信息解碼關(guān)于多視像序列的 數(shù)據(jù)。包括在比特流中的關(guān)于多視像序列的數(shù)據(jù)是多視像序列的殘 差數(shù)據(jù)。
因而，解碼單元920基于提取單元910提取的信息，使用視圖間預(yù)測和 時間預(yù)測中的至少一個，來預(yù)測多視像序列中的每個圖片，并且將預(yù)測 結(jié)果添加到多視像序列的殘差數(shù)據(jù)中，從而重構(gòu)多視像序列。
為了預(yù)測，解碼單元920將參考圖片存儲在預(yù)定存儲器中并執(zhí)行預(yù)測。 但是，對于視圖間預(yù)測，裝置卯0基于提取單元910提取的信息，在存儲器 中不存儲不是用于視圖間預(yù)測的參考圖片的圖片。因而，在預(yù)測期間降低了 要被存儲在存儲器中的參考圖片的數(shù)目，從而使得能夠有效地利用存儲器。
此外，不是所有的非錨圖片都被視圖間預(yù)測，從而提高了預(yù)測速度。此 外，可以進(jìn)行快速的隨才幾存取。例如，當(dāng)圖4A中第二^f亍和第二列中的圖片 420被隨機(jī)存取時，不必要解碼位于與圖片420的視圖相鄰的視圖處且在圖 片420之上和之下的圖片422和424，因為已經(jīng)確定它們不是用于視圖間預(yù) 測的參考圖片。因而，可以進(jìn)行快速的預(yù)測和隨機(jī)存取。
圖10是根據(jù)本發(fā)明的示范性實施例的解碼多視像的方法的流程圖。
參考圖10,在操作1010,圖9中用于解碼多視像的裝置900接收 包括關(guān)于多視像序列的數(shù)據(jù)的比特流。關(guān)于多視像序列的數(shù)據(jù)是多 視想園像,參H的殘差數(shù)據(jù)。
在操作1020，裝置900從接收的比特流中提取指示包括在多視像序列中的每個圖片是否為用于視圖間預(yù)測的參考圖片的信息或指示每個圖片 是否已被使用視圖間預(yù)測和時間預(yù)測編碼的信息。也提取關(guān)于該多視像
序列的數(shù)據(jù)，即殘差數(shù)據(jù)。為此，可以提取包括在NAL單元報頭、序列參 數(shù)或SEI消息中的信息。
在操作1030，裝置900基于在操作1020中提取的信息來解碼多視 像序列。更具體地說，基于提取的信息使用視圖間預(yù)測和時間預(yù)測中的至少 一個來預(yù)測多視像序列，并且將在操作1020中提取的殘差數(shù)據(jù)添加到 預(yù)測結(jié)果，從而重構(gòu)多視像序列。
同時，本發(fā)明的示范性實施例可以被寫為計算機(jī)程序并且可以被使用計 算機(jī)可讀記錄介質(zhì)或其它傳輸介質(zhì)執(zhí)行該程序的通用數(shù)字計算機(jī)實現(xiàn)。計算 機(jī)可讀記錄介質(zhì)的例子包括;茲存儲介質(zhì)(例如，ROM、軟盤、硬盤等)和光 記錄介質(zhì)(例如，CD-ROM、或DVD)。其它傳輸介質(zhì)可以包括載波(例如， 通過互聯(lián)網(wǎng)的傳輸)。計算才幾可讀記錄介質(zhì)也可以-陂分布在網(wǎng)絡(luò)耦合的計算 機(jī)系統(tǒng)之上以使得計算機(jī)可讀代碼以分布式被存儲和執(zhí)行。
但是本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，在不脫離由以下權(quán)利要求書所定義的本發(fā)明 的精神和范圍的情況下，可以對本發(fā)明做出形式和細(xì)節(jié)上的各種修改。
權(quán)利要求
1.一種編碼多視像的方法，該方法包括確定包括在多視像序列中的每個圖片是否為被包括在該多視像序列中的其它圖片參考用于視圖間預(yù)測的參考圖片，以產(chǎn)生確定結(jié)果；以及基于該確定結(jié)果使用視圖間預(yù)測和時間預(yù)測中的至少一個來編碼該圖片。
2. 如權(quán)利要求l所述的方法，其中所述編碼圖片步驟包括編碼每個圖 片的參數(shù)，其指示每個圖片是否為該參考圖片。
3. 如權(quán)利要求2所述的方法，其中該參數(shù)是每個圖片的網(wǎng)絡(luò)提取層 (NAL)單元^艮頭。
4. 如權(quán)利要求1所述的方法，其中所述編碼圖片步驟包括基于該確定 結(jié)果編碼關(guān)于被其它圖片參考以用于視圖間預(yù)測和時間預(yù)測中的至少一個的參考圖片的信息。
5. 如權(quán)利要求l所述的方法，其中所述確定包括基于每個圖片的時間 級別來進(jìn)行該確定。
6. —種用于編碼多視像的裝置，該裝置包括確定單元，確定包括在多視像序列中的每個圖片是否為被包括在該 多視像序列中的其它圖片參考用于視圖間預(yù)測的參考圖片，以產(chǎn)生確定 結(jié)果；以及編碼單元，基于確定結(jié)果使用視圖間預(yù)測和時間預(yù)測中的至少一個來編 碼該圖片。
7. 如權(quán)利要求6所述的裝置，其中該編碼單元編碼每個圖片的參數(shù)，其 指示每個圖片是否為該參考圖片。
8. 如權(quán)利要求7所述的裝置，其中該參數(shù)是每個圖片的網(wǎng)絡(luò)提取層 (NAL)單元報頭。
9. 如權(quán)利要求6所述的裝置，其中該編碼單元基于該確定結(jié)果編碼關(guān)于 被其它圖片參考以用于視圖間預(yù)測和時間預(yù)測中的至少一個的參考圖片的 信息。
10. 如權(quán)利要求6所述的裝置，其中該確定單元基于每個圖片的時間級別來進(jìn)4于該確定。
11. 一種解碼多視像的方法，該方法包括接收比特流，該比特流包括指示包括在多視像序列中的每個圖片是否為被包括在該多視像序列中的其它圖片參考以用于視圖間預(yù)測的參考圖片的信息和關(guān)于該多視像序列的數(shù)據(jù)；從接收到的比特流中提取該信息和關(guān)于該多視像序列的數(shù)據(jù)；以及基于提取的信息解碼該關(guān)于多視像序列的數(shù)據(jù)。
12. 如權(quán)利要求11所述的方法，其中該信息包括在每個圖片的參數(shù)中。
13. 如權(quán)利要求12所述的方法，其中該參數(shù)是每個圖片的網(wǎng)絡(luò)^t是取層(NAL)單元報頭。
14. 如權(quán)利要求11所述的方法，其中基于每個圖片的時間級別來確定包括在該多視像序列中的每個圖片是否為該參考圖片。
15. —種用于解碼多視像的裝置，該裝置包括提取單元，接收比特流，該比特流包括指示包括在多視像序列中的每個圖片是否為被包括在該多視像序列中的其它圖片參考以用于視圖間預(yù)測的參考圖片的信息和關(guān)于該多視像序列的數(shù)據(jù)，以及從接收到的比特流中提取該信息和關(guān)于該多視像序列的數(shù)據(jù)；以及解碼單元，基于提取的信息解碼該關(guān)于多視像序列的數(shù)據(jù)。
16. 如權(quán)利要求15所述的裝置，其中該信息包括在每個圖片的參數(shù)中。
17. 如權(quán)利要求16所述的裝置，其中該參數(shù)是每個圖片的網(wǎng)絡(luò)提取層(NAL)單元報頭。
18. 如權(quán)利要求15所述的裝置，其中基于每個圖片的時間級別來確定包括在該多視像序列中的每個圖片是否為該參考圖片。
19. 一種編碼多視像的方法，該方法包括基于時間級別從多視像序列中選擇要被使用視圖間預(yù)測和時間預(yù)測編碼的圖片；以及使用視圖間預(yù)測和時間預(yù)測編碼所選擇的圖片，并且使用視圖間預(yù)測和時間預(yù)測中的一個來編碼包括在該多視像序列中的其余圖片。
20. 如權(quán)利要求19所述的方法，其中所述選擇圖片步驟包括從包括在該多視像序列中的所有圖片當(dāng)中選擇時間級別小于給定值的非錨圖片。
21. 如權(quán)利要求19所述的方法，其中所述選擇圖片步驟包括基于該時間級別，對于該多視像序列的每個視圖，選擇要被使用視圖間預(yù)測和時間預(yù)測編碼的圖片。
22. 如權(quán)利要求19所述的方法，其中所述編碼該選擇的圖片包括編碼關(guān)于該選擇的圖片的信息。
23. 如權(quán)利要求22所述的方法，其中所述編碼該選擇的圖片包括編碼包括該信息的序列參數(shù)或補(bǔ)充增強(qiáng)信息(SEI)消息。
24. —種用于編碼多視像的裝置，該裝置包括選擇單元，基于時間級別從多視像序列中選擇要被使用視圖間預(yù)測和時間預(yù)測編碼的圖片；以及編碼單元，使用視圖間預(yù)測和時間預(yù)測來編碼所選擇的圖片，并且使用i見圖間預(yù)測和時間預(yù)測中的 一個來編碼包括在該多^f見^f象序列中的其余圖片。
25. 如權(quán)利要求24所述的裝置，其中該選擇單元從包括在該多視像序列中的所有圖片當(dāng)中選擇時間級別小于給定值的非錨圖片。
26. 如權(quán)利要求24所述的裝置，其中該選擇單元基于該時間級別，對于該多視像序列的每個視圖，選擇要凈皮使用視圖間預(yù)測和時間預(yù)測編碼的圖片。
27. 如權(quán)利要求24所述的裝置，其中該編碼單元編碼關(guān)于該選擇的圖片的信息。
28. 如權(quán)利要求27所述的裝置，其中該編碼單元編碼包括該信息的序列參數(shù)或補(bǔ)充增強(qiáng)信息(SEI)消息。
29. —種解碼多視像的方法，該方法包括接收比特流，該比特流包括關(guān)于多視像序列中使用視圖間預(yù)測和時間預(yù)測編碼的圖片的信息以及關(guān)于該多視像序列的數(shù)據(jù)；從接收到的比特流中提取該信息和關(guān)于該多視像序列的數(shù)據(jù)；以及基于所提取的信息來解碼關(guān)于該多視像序列的數(shù)據(jù)。
30. 如權(quán)利要求29所述的方法，其中該編碼的圖片已基于時間級別被選擇。
31. 如權(quán)利要求29所述的方法，其中該信息包括在序列參數(shù)中或補(bǔ)充增強(qiáng)信息(SEI)消息中。
32. —種用于解碼多視像的裝置，該裝置包括提取單元，接收比特流，該比特流包括關(guān)于多視像序列中使用視圖間預(yù)測和時間預(yù)測編碼的圖片的信息以及關(guān)于該多視像序列的數(shù)據(jù)，以及從接收到的比特流中提取該信息和關(guān)于該多視像序列的數(shù)據(jù)；以及解碼單元，基于所提取的信息來解碼關(guān)于該多視像序列的數(shù)據(jù)。
33. 如權(quán)利要求32所述的裝置，其中該編碼的圖片已基于時間級別被選擇。
34. 如權(quán)利要求32所述的裝置，其中該信息包括在序列參數(shù)中或補(bǔ)充增強(qiáng)信息(SEI)消息中。
35. —種計算機(jī)可讀記錄介質(zhì)，其上記錄有用于執(zhí)行如權(quán)利要求1所述的方法的程序。
36. —種計算機(jī)可讀記錄介質(zhì)，其上記錄有用于執(zhí)行如權(quán)利要求11所述的方法的程序。
37. —種計算機(jī)可讀記錄介質(zhì)，其上記錄有用于執(zhí)4亍如權(quán)利要求19所述的方法的程序。
38. —種計算機(jī)可讀記錄介質(zhì)，其上記錄有用于執(zhí)行如權(quán)利要求29所述的方法的程序。
全文摘要
提供一種編碼和解碼多視像的方法和裝置。該編碼多視像的方法包括確定包括在多視像序列中的每個圖片是否為被包括在該多視像序列中的其它圖片參考用于視圖間預(yù)測的參考圖片；以及基于確定結(jié)果使用視圖間預(yù)測和時間預(yù)測中的至少一個來編碼該圖片，從而高速高效地編碼和解碼多視像。
文檔編號H04N7/24GK101682779SQ200880019798
公開日2010年3月24日 申請日期2008年3月6日 優(yōu)先權(quán)日2007年4月11日
發(fā)明者宋學(xué)燮, 崔鐘凡, 文榮豪, 沈優(yōu)星 申請人:三星電子株式會社