視頻編碼裝置和方法、視頻解碼裝置和方法、以及其程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻編碼裝置、視頻解碼裝置、視頻編碼方法、視頻解碼方法、視頻編 碼程序以及視頻解碼程序，特別地涉及時(shí)間方向和視差方向的幀間預(yù)測(cè)編碼和解碼。
【背景技術(shù)】
[0002] 在通常的視頻編碼中，利用被攝物的空間上/時(shí)間上的連續(xù)性，將視頻的各幀分 割為多個(gè)處理單元塊，按照每個(gè)塊對(duì)其視頻信號(hào)在空間上/時(shí)間上進(jìn)行預(yù)測(cè)，對(duì)示出其預(yù) 測(cè)方法的預(yù)測(cè)信息和預(yù)測(cè)殘差信號(hào)進(jìn)行編碼，由此，與對(duì)視頻信號(hào)本身進(jìn)行編碼的情況相 比，謀求大幅度的編碼效率的提高。此外，在通常的二維視頻編碼中，進(jìn)行參照相同的幀內(nèi) 的已經(jīng)編碼完畢的塊來(lái)對(duì)編碼對(duì)象信號(hào)進(jìn)行預(yù)測(cè)的幀內(nèi)預(yù)測(cè)以及參照已經(jīng)編碼完畢的其 他的幀基于運(yùn)動(dòng)補(bǔ)償?shù)葋?lái)對(duì)編碼對(duì)象信號(hào)進(jìn)行預(yù)測(cè)的幀間預(yù)測(cè)。
[0003] 在此，對(duì)多視點(diǎn)視頻編碼進(jìn)行說(shuō)明。多視點(diǎn)視頻編碼是指對(duì)使用多個(gè)攝像機(jī)拍攝 了相同的場(chǎng)景的多個(gè)視頻利用該視頻間的冗余性以高的效率進(jìn)行編碼。關(guān)于多視點(diǎn)視頻編 碼，熟悉非專利文獻(xiàn)1。
[0004] 此外，在多視點(diǎn)視頻編碼中，除了在通常的視頻編碼中使用的預(yù)測(cè)方法之外，還 使用參照已經(jīng)編碼完畢的另外的視點(diǎn)的視頻基于視差補(bǔ)償對(duì)編碼對(duì)象信號(hào)進(jìn)行預(yù)測(cè)的視 點(diǎn)間預(yù)測(cè)以及通過(guò)幀間預(yù)測(cè)對(duì)編碼對(duì)象信號(hào)進(jìn)行預(yù)測(cè)并對(duì)其殘差信號(hào)參照已經(jīng)編碼完 畢的另外的視點(diǎn)的視頻的編碼時(shí)的殘差信號(hào)進(jìn)行預(yù)測(cè)的視點(diǎn)間殘差預(yù)測(cè)等方法。關(guān)于 視點(diǎn)間預(yù)測(cè)，在MVC等多視點(diǎn)視頻編碼中，統(tǒng)一為幀間預(yù)測(cè)而被處理為幀間預(yù)測(cè)（inter prediction)，能夠在B圖片中對(duì)2個(gè)以上的預(yù)測(cè)圖像進(jìn)行插值來(lái)做成預(yù)測(cè)圖像。
[0005] 像這樣，在多視點(diǎn)視頻編碼中，在能夠進(jìn)行幀間預(yù)測(cè)和視點(diǎn)間預(yù)測(cè)雙方的圖片中， 能夠進(jìn)行利用它們雙方的預(yù)測(cè)。
[0006] 現(xiàn)有技術(shù)文獻(xiàn) 非專利文獻(xiàn) 非專利文南犬 1 :M.Flier1andB.Girod,"Multiviewvideocompression,'，Signal ProcessingMagazine，IEEE,no.November2007，pp. 66-76， 2007〇

【發(fā)明內(nèi)容】

[0007] 發(fā)明要解決的課題 然而，在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)和視差補(bǔ)償預(yù)測(cè)中，誤差的性質(zhì)不同，由于（圖像信號(hào)的）順序的 性質(zhì)，與僅進(jìn)行幀間預(yù)測(cè)的情況相比，難以得到彼此抵消誤差的效果。
[0008] 在這樣的誤差中，存在例如在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)中由于被攝物的變形等造成的誤差、 由于搖晃造成的誤差、在視差補(bǔ)償預(yù)測(cè)中由于攝像機(jī)的性質(zhì)的不同造成的誤差、由于遮擋 的發(fā)生造成的誤差等。在這樣的情況下，偏向選擇精度更高的預(yù)測(cè)方法，使用雙方的預(yù)測(cè)幾 乎不被使用。
[0009] 因此，在例如能夠進(jìn)行前向預(yù)測(cè)和視點(diǎn)間預(yù)測(cè)的種類的B圖片中，存在如下這樣 的問(wèn)題：無(wú)論構(gòu)造上能夠進(jìn)行使用雙方的預(yù)測(cè)，實(shí)際上只能使用單向預(yù)測(cè)，因此，存在針對(duì) 預(yù)測(cè)殘差的減少不會(huì)得到充分的效果的情況。
[0010] 本發(fā)明是鑒于這樣的情況而完成的，其目的在于提供能夠減少預(yù)測(cè)殘差來(lái)削減預(yù) 測(cè)殘差編碼所需要的碼量的視頻編碼裝置、視頻解碼裝置、視頻編碼方法、視頻解碼方法、 視頻編碼程序和視頻解碼程序。
[0011] 用于解決課題的方案 本發(fā)明提供一種視頻編碼裝置，進(jìn)行時(shí)間方向和視差方向的幀間預(yù)測(cè)，生成對(duì)誤差進(jìn) 行校正后的預(yù)測(cè)圖像來(lái)對(duì)編碼對(duì)象視頻進(jìn)行預(yù)測(cè)編碼，所述視頻編碼裝置的特征在于，具 備： 預(yù)測(cè)單元，在所述時(shí)間方向和所述視差方向的每一個(gè)上將已經(jīng)解碼完畢的圖像作為參 照?qǐng)D片來(lái)對(duì)編碼對(duì)象圖像進(jìn)行預(yù)測(cè)，決定示出各個(gè)參照目的地的幀間參照信息和視點(diǎn)間參 照信息； 一次預(yù)測(cè)圖像生成單元，根據(jù)所述視點(diǎn)間參照信息來(lái)生成視差預(yù)測(cè)圖像，根據(jù)所述幀 間參照信息來(lái)生成運(yùn)動(dòng)預(yù)測(cè)圖像；校正預(yù)測(cè)圖像生成單元，根據(jù)所述視點(diǎn)間參照信息和所 述幀間參照信息來(lái)生成校正預(yù)測(cè)圖像；以及預(yù)測(cè)圖像生成單元，根據(jù)所述視差預(yù)測(cè)圖像、所 述運(yùn)動(dòng)預(yù)測(cè)圖像和所述校正預(yù)測(cè)圖像來(lái)生成所述預(yù)測(cè)圖像。
[0012] 作為典型例，所述預(yù)測(cè)圖像生成單元將所述運(yùn)動(dòng)預(yù)測(cè)圖像和所述視差預(yù)測(cè)圖像相 加并從其減去所述校正預(yù)測(cè)圖像來(lái)生成所述預(yù)測(cè)圖像。
[0013] 作為優(yōu)選例，所述視點(diǎn)間參照信息和所述幀間參照信息包含對(duì)所述參照?qǐng)D片進(jìn)行 特別指定的信息，所述校正預(yù)測(cè)圖像生成單元將與所述視點(diǎn)間參照信息示出的所述參照?qǐng)D 片相同的視點(diǎn)的參照?qǐng)D片之中的與所述幀間參照信息示出的所述參照?qǐng)D片相同的幀的參 照?qǐng)D片作為校正參照?qǐng)D片進(jìn)行參照來(lái)生成所述校正預(yù)測(cè)圖像。
[0014] 在該情況下，所述視點(diǎn)間參照信息和所述幀間參照信息還包含對(duì)位于所述參照?qǐng)D 片上的參照位置進(jìn)行特別指定的信息，所述校正預(yù)測(cè)圖像生成單元基于所述幀間參照信息 和所述視點(diǎn)間參照信息來(lái)決定所述校正參照?qǐng)D片上的參照位置，生成所述校正預(yù)測(cè)圖像也 可。
[0015] 作為另一優(yōu)選例，還具有：預(yù)測(cè)信息編碼單元，所述預(yù)測(cè)信息編碼單元編碼對(duì)所述 視點(diǎn)間參照信息和所述幀間參照信息進(jìn)行特別指定的信息來(lái)作為預(yù)測(cè)信息。
[0016]所述預(yù)測(cè)單元基于所述視點(diǎn)間參照信息和所述幀間參照信息之中的任一個(gè)示出 的參照目的地的編碼時(shí)的預(yù)測(cè)信息來(lái)生成另一個(gè)參照信息也可。
[0017] 本發(fā)明還提供一種視頻解碼裝置，進(jìn)行時(shí)間方向和視差方向的幀間預(yù)測(cè)，生成對(duì) 誤差進(jìn)行校正后的預(yù)測(cè)圖像來(lái)對(duì)預(yù)測(cè)編碼后的碼數(shù)據(jù)進(jìn)行解碼，所述視頻解碼裝置的特征 在于，具備：預(yù)測(cè)單元，在所述時(shí)間方向和所述視差方向的每一個(gè)上將已經(jīng)解碼完畢的圖像 作為參照?qǐng)D片來(lái)對(duì)解碼對(duì)象圖像進(jìn)行預(yù)測(cè)，決定示出各個(gè)參照目的地的幀間參照信息和視 點(diǎn)間參照信息；一次預(yù)測(cè)圖像生成單元，根據(jù)所述視點(diǎn)間參照信息來(lái)生成視差預(yù)測(cè)圖像，根 據(jù)所述幀間參照信息來(lái)生成運(yùn)動(dòng)預(yù)測(cè)圖像；校正預(yù)測(cè)圖像生成單元，根據(jù)所述視點(diǎn)間參照 信息和所述幀間參照信息來(lái)生成校正預(yù)測(cè)圖像；以及預(yù)測(cè)圖像生成單元，根據(jù)視差預(yù)測(cè)圖 像、運(yùn)動(dòng)預(yù)測(cè)圖像和校正預(yù)測(cè)圖像來(lái)生成預(yù)測(cè)圖像。
[0018] 作為典型例，在所述預(yù)測(cè)圖像生成單元中，將所述運(yùn)動(dòng)預(yù)測(cè)圖像和所述視差預(yù)測(cè) 圖像相加并從其減去所述校正預(yù)測(cè)圖像來(lái)生成所述預(yù)測(cè)圖像。
[0019] 作為優(yōu)選例，所述視點(diǎn)間參照信息和所述幀間參照信息包含對(duì)所述參照?qǐng)D片進(jìn)行 特別指定的信息，在所述校正預(yù)測(cè)圖像生成單元中，將與所述視點(diǎn)間參照信息示出的所述 參照?qǐng)D片相同的視點(diǎn)的參照?qǐng)D片之中的與所述幀間參照信息示出的所述參照?qǐng)D片相同的 幀的參照?qǐng)D片作為校正參照?qǐng)D片進(jìn)行參照來(lái)生成所述校正預(yù)測(cè)圖像。
[0020] 在該情況下，所述視點(diǎn)間參照信息和所述幀間參照信息還包含對(duì)位于所述參照?qǐng)D 片上的參照位置進(jìn)行特別指定的信息，在所述校正預(yù)測(cè)圖像生成單元中，基于所述幀間參 照信息和所述視點(diǎn)間參照信息來(lái)決定所述校正圖片上的參照位置，生成所述校正預(yù)測(cè)圖像 也可。
[0021] 作為另一優(yōu)選例，還具有：預(yù)測(cè)信息解碼單元，所述預(yù)測(cè)信息解碼單元根據(jù)所述碼 數(shù)據(jù)解碼預(yù)測(cè)信息來(lái)生成對(duì)所述幀間參照信息和所述視點(diǎn)間參照信息進(jìn)行特別指定的預(yù) 測(cè)信息，所述預(yù)測(cè)單元基于所生成的所述預(yù)測(cè)信息來(lái)決定所述幀間參照信息和所述視點(diǎn)間 參照信息。
[0022] 所述預(yù)測(cè)單元根據(jù)所述碼數(shù)據(jù)對(duì)所述視點(diǎn)間參照信息和所述幀間參照信息之中 的任一個(gè)進(jìn)行解碼，基于解碼后的參照信息示出的參照目的地的解碼化時(shí)的預(yù)測(cè)信息來(lái)生 成另一個(gè)參照信息也可。
[0023] 本發(fā)明此外還提供一種視頻編碼方法，所述視頻編碼方法是視頻編碼裝置進(jìn)行的 視頻編碼方法，所述視頻編碼裝置進(jìn)行時(shí)間方向和視差方向的幀間預(yù)測(cè)而生成對(duì)誤差進(jìn)行 校正后的預(yù)測(cè)圖像來(lái)對(duì)編碼對(duì)象視頻進(jìn)行預(yù)測(cè)編碼，所述視頻編碼方法的特征在于，具有： 在所述時(shí)間方向和所述視差方向的每一個(gè)上將已經(jīng)解碼完畢的圖像作為參照?qǐng)D片來(lái)對(duì)編 碼對(duì)象圖像進(jìn)行預(yù)測(cè)而決定示出各個(gè)參照目的地的幀間參照信息和視點(diǎn)間參照信息的預(yù) 測(cè)步驟；根據(jù)所述視點(diǎn)間參照信息來(lái)生成視差預(yù)測(cè)圖像并且根據(jù)所述幀間參照信息來(lái)生成 運(yùn)動(dòng)預(yù)測(cè)圖像的預(yù)測(cè)圖像生成步驟；根據(jù)所述視點(diǎn)間參照信息和所述幀間參照信息來(lái)生成 校正預(yù)測(cè)圖像