對(duì)積分圖像進(jìn)行編碼和解碼的方法、對(duì)積分圖像進(jìn)行編碼和解碼的裝置及對(duì)應(yīng)的計(jì)算機(jī)程序的制作方法
【專(zhuān)利摘要】本發(fā)明涉及至少一個(gè)積分圖像（InI）的編碼，該積分圖像代表場(chǎng)景視域中的至少一個(gè)對(duì)象并包含多個(gè)基元圖像，所述編碼涉及根據(jù)所述多個(gè)基元圖像來(lái)生成多個(gè)K個(gè)子圖像（SI1、SI2、……、SIK）的步驟。這個(gè)編碼方法的特征在于包括下列步驟：根據(jù)預(yù)定模式排列（C3）所述子圖像，以形成所述對(duì)象的多視角圖像，所述視角分別對(duì)應(yīng)于所述子圖像；根據(jù)所述場(chǎng)景中的對(duì)象運(yùn)動(dòng)類(lèi)型來(lái)對(duì)所形成的所述多視角圖像進(jìn)行自適應(yīng)壓縮（C4）。
【專(zhuān)利說(shuō)明】對(duì)積分圖像進(jìn)行編碼和解碼的方法、對(duì)積分圖像進(jìn)行編碼和解碼的裝置及對(duì)應(yīng)的計(jì)算機(jī)程序
【技術(shù)領(lǐng)域】
[0001]本發(fā)明通常涉及圖像處理，更具體而言，涉及對(duì)積分圖像以及積分圖像序列進(jìn)行編碼和解碼。
[0002]本發(fā)明可特別地，但不僅限于，應(yīng)用于在現(xiàn)有的視頻編碼器及其修正(MPEG，H.264，H.264SVC,H.264MVC 等)、或?qū)?lái)的視頻編碼器(ITU-T/VCEG(H.265)或 IS0/MPEG))中使用的視頻編碼以及相應(yīng)的解碼。
【背景技術(shù)】
[0003]積分圖像是一種鮮明地顯示圖像的技術(shù)。它被認(rèn)為在3D電視的發(fā)展中尤其有前景，特別是因?yàn)樗峁┝艘环N完全視差的，而不是立體的圖像顯示。
[0004]積分圖像通常包含大量代表三維場(chǎng)景的不同角度的基本圖像。因此，積分圖像的壓縮實(shí)際就是壓縮所有這些基元圖像。
[0005]已知的用于壓縮積分圖像的方法包含使用MPEG-4AVC視頻格式來(lái)對(duì)積分圖像的每個(gè)基本圖像進(jìn)行編碼。這個(gè)方法相對(duì)直接，因?yàn)樗簧婕鞍逊e分圖像當(dāng)做傳統(tǒng)的視頻序列來(lái)處理。
[0006]這種方法的缺點(diǎn)在于這樣的事實(shí)，那就是空間和時(shí)間冗余被不加區(qū)別地減少了。根據(jù)該積分圖像的具體形式，基元圖像彼此間可能呈現(xiàn)大量空間和時(shí)間冗余，因此積分圖像的具體形式?jīng)]有被最佳地利用。
[0007]不超出MPEG-4AVC標(biāo)準(zhǔn)的更有效的用于壓縮積分圖像的方法牽涉重組所述基元圖像。這使得基元圖像之間的冗余可以得到利用，但是大量的冗余信息仍未被利用，特別是在當(dāng)前積分圖像的基元圖像與其相鄰積分圖像的對(duì)應(yīng)基元圖像之間的顯著相關(guān)性。
[0008]另一種已知方法牽涉使用3D-DCT壓縮算法來(lái)對(duì)積分圖像進(jìn)行編碼，這在R.Zaharia, A.Aggoun 和 M.McCormick 發(fā)表于 Signal Processing:1mage Communication,2002 年第 17 期，231 - 242 頁(yè)的文章 “Adaptive3D_DCT compression algorithm forcontinuous parallax3D integral imaging”里有所描述。這種方法比較接近于前述的基于MPEG-4AVC標(biāo)準(zhǔn)的方法。事實(shí)上，對(duì)于基元圖像的重組是相同的。這另一種已知方法與前述方法的區(qū)別在于圖像序列的編碼結(jié)構(gòu)。這種方法無(wú)疑改進(jìn)了積分圖像的壓縮，但沒(méi)有使得積分圖像的冗余特性減少。

【發(fā)明內(nèi)容】

[0009]本發(fā)明的目標(biāo)之一是克服前述現(xiàn)有技術(shù)的缺點(diǎn)。
[0010]因?yàn)檫@個(gè)目的，根據(jù)第一方面，本發(fā)明涉及一種用于對(duì)至少一個(gè)積分圖像進(jìn)行編碼的方法，該積分圖像代表場(chǎng)景視域中的至少一個(gè)對(duì)象，并包含多個(gè)基元圖像，這種方法實(shí)現(xiàn)其中從多個(gè)基元圖像中生成多個(gè)K個(gè)子圖像的步驟。
[0011]根據(jù)本發(fā)明的編碼方法的值得注意之處在于它實(shí)現(xiàn)了下列步驟:[0012]-以預(yù)定模式排列所述子圖像，以形成對(duì)象的多視角圖像，這些視角分別對(duì)應(yīng)于所述子圖像。
[0013]-作為場(chǎng)景中對(duì)象運(yùn)動(dòng)類(lèi)型的函數(shù)來(lái)自適應(yīng)地壓縮所形成的多視角圖像。
[0014]由于根據(jù)預(yù)定模式彼此相關(guān)地排列的子圖像的重組，這種排列使得最佳利用在積分圖像的基元圖像之間的空間和時(shí)間的多重冗余成為可能。這讓積分圖像的編碼更有效率。
[0015]這種子圖像的重組連同這些子圖像的自適應(yīng)壓縮也消除了在要傳送的信號(hào)中包括冗余的需要，并因此也不需要在所述信號(hào)中包括編碼信息。這使得信令成本顯著減少。
[0016]根據(jù)具體的實(shí)施例，自適應(yīng)壓縮步驟為當(dāng)前多視角圖像實(shí)現(xiàn)了下列子步驟:
[0017]-作為先前已編碼并然后解碼的參考多視角圖像的K個(gè)參考子圖像的函數(shù)來(lái)相應(yīng)地預(yù)測(cè)當(dāng)前多視角圖像的K個(gè)當(dāng)前子圖像中的每個(gè)子圖像，傳送所預(yù)測(cè)的K個(gè)子圖像，
[0018]-通過(guò)比較與K個(gè)當(dāng)前子圖像中的每個(gè)、并相應(yīng)地與所預(yù)測(cè)的K個(gè)子圖像中的每個(gè)相關(guān)的數(shù)據(jù)來(lái)確定殘余數(shù)據(jù)，
[0019]-計(jì)算用于描述在K個(gè)當(dāng)前子圖像和相應(yīng)的K個(gè)參考子圖像之間的運(yùn)動(dòng)的K個(gè)運(yùn)
動(dòng)矢量，
[0020]-如果計(jì)算出的與位于當(dāng)前多視角圖像中心的當(dāng)前子圖像相關(guān)的運(yùn)動(dòng)矢量有零值，則計(jì)算對(duì)象在場(chǎng)景中移動(dòng)的深度，
[0021]根據(jù)本發(fā)明的編碼方法還將實(shí)現(xiàn):
[0022]-如果計(jì)算出的與位于當(dāng)前多視角圖像中心的當(dāng)前子圖像相關(guān)的運(yùn)動(dòng)矢量具有值零，則傳送至少包括所確定的殘余數(shù)據(jù)和所計(jì)算的深度值的數(shù)據(jù)信號(hào)，
[0023]-如果計(jì)算出的K個(gè)運(yùn)動(dòng)矢量有相同的值，則傳送至少包含所確定的殘余數(shù)據(jù)和所計(jì)算的K個(gè)運(yùn)動(dòng)矢量之一的值的數(shù)據(jù)信號(hào)，
[0024]-如果計(jì)算出的K個(gè)運(yùn)動(dòng)矢量中的至少兩個(gè)具有不同的值，則傳送至少包含確定的殘余數(shù)據(jù)和所計(jì)算的K個(gè)運(yùn)動(dòng)矢量的相應(yīng)值的數(shù)據(jù)信號(hào)。
[0025]這種安排使得顯著地減少編碼成本成為可能，特別是在下列兩種情況下:
[0026]-如果對(duì)象僅在水平方向上在場(chǎng)景中移動(dòng)，
[0027]-如果對(duì)象僅在垂直方向上在場(chǎng)景中移動(dòng)。
[0028]根據(jù)另一具體的實(shí)施例，如果計(jì)算出的K個(gè)運(yùn)動(dòng)矢量中的至少兩個(gè)具有不同的值，則使用MVC編碼。
[0029]這種安排使得有效地編碼積分圖像成為可能，通過(guò)對(duì)它們施用標(biāo)準(zhǔn)MVC(多視角編碼的英文縮寫(xiě))編碼技術(shù)來(lái)利用空間和時(shí)間冗余，這種編碼技術(shù)至今仍用于編碼多視角圖像。
[0030]為了更有效率地編碼積分圖像，本發(fā)明提出一種變化形式，包含修正的MVC編碼結(jié)構(gòu)。
[0031]相應(yīng)地，本發(fā)明涉及一種用于對(duì)至少一個(gè)積分圖像進(jìn)行編碼的裝置，該積分圖像代表場(chǎng)景視域中的至少一個(gè)對(duì)象、并且包含多個(gè)基元圖像，這種裝置包含從多個(gè)基元圖像中生成多個(gè)K個(gè)子圖像的部件。
[0032]這種編碼裝置的值得注意之處在于它包含:
[0033]-用于以預(yù)定模式排列所述子圖像以形成對(duì)象的多視角圖像的部件，多視角圖像的多個(gè)視角分別對(duì)應(yīng)于子圖像；
[0034]-用于作為場(chǎng)景中對(duì)象運(yùn)動(dòng)類(lèi)型的函數(shù)來(lái)自適應(yīng)地壓縮所形成的多視角圖像的部件。
[0035]根據(jù)具體的實(shí)施例，對(duì)于當(dāng)前的多視角圖像，所述自適應(yīng)壓縮部件包括:
[0036]-用于作為先前已編碼并然后解碼的參考多視角圖像的K個(gè)參考子圖像的函數(shù)來(lái)相應(yīng)地預(yù)測(cè)當(dāng)前多視角圖像的K個(gè)當(dāng)前子圖像中的每個(gè)子圖像、傳送所預(yù)測(cè)的K個(gè)子圖像的子部件，
[0037]-用于通過(guò)比較與K個(gè)當(dāng)前子圖像中的每個(gè)、并相應(yīng)地與所預(yù)測(cè)的K個(gè)子圖像中的每個(gè)相關(guān)的數(shù)據(jù)來(lái)確定殘余數(shù)據(jù)的子部件，
[0038]-用于計(jì)算用于描述在K個(gè)當(dāng)前子圖像和相應(yīng)的K個(gè)參考子圖像之間的運(yùn)動(dòng)的K個(gè)運(yùn)動(dòng)矢量的子部件，
[0039]-用于傳送至少包含所確定的殘余數(shù)據(jù)的數(shù)據(jù)信號(hào)的子部件，該傳送子部件還發(fā)送:
[0040].或者在計(jì)算出的與位于當(dāng)前多視角圖像中心的當(dāng)前子圖像相關(guān)的運(yùn)動(dòng)矢量有零值的情況下、預(yù)先計(jì)算的對(duì)象已經(jīng)在場(chǎng)景中移動(dòng)的深度值，
[0041].或所計(jì)算的K個(gè)運(yùn)動(dòng)矢量之一的值，
[0042]?或在所計(jì)算出 的K個(gè)運(yùn)動(dòng)矢量中的至少兩個(gè)具有不同的值的情況下、所計(jì)算的K
個(gè)運(yùn)動(dòng)矢量的相應(yīng)值。
[0043]根據(jù)另一種具體的實(shí)施例，如果所計(jì)算出的K個(gè)運(yùn)動(dòng)矢量中的至少兩個(gè)值具有不相同的值，將使用MVC編碼。
[0044]根據(jù)第二個(gè)方面，本發(fā)明涉及一種用于對(duì)代表至少一個(gè)先前已編碼的積分圖像的數(shù)據(jù)信號(hào)進(jìn)行解碼的方法，所述積分圖像代表場(chǎng)景視域中的至少一個(gè)對(duì)象、并包括多個(gè)基元圖像。
[0045]根據(jù)本發(fā)明的該方法的值得注意之處在于它實(shí)現(xiàn)了下列步驟:
[0046]-作為包含在數(shù)據(jù)信號(hào)中的場(chǎng)景中的對(duì)象運(yùn)動(dòng)類(lèi)型的函數(shù)，對(duì)先前編碼的當(dāng)前多視角圖像進(jìn)行自適應(yīng)解壓縮，
[0047]-根據(jù)給定模式排列當(dāng)前多視角圖像的多個(gè)K個(gè)當(dāng)前子圖像，以重構(gòu)所述對(duì)象的多視角圖像，所述多視角圖像的視角分別對(duì)應(yīng)于所述子圖像，
[0048]-從K個(gè)子圖像的排列中生成多個(gè)基元圖像，以重構(gòu)所述積分圖像。
[0049]根據(jù)具體的實(shí)施例，自適應(yīng)解壓縮步驟為待重構(gòu)的當(dāng)前積分圖像實(shí)現(xiàn)下列子步驟:
[0050]-解碼與先前已編碼的多視角圖像的多個(gè)K個(gè)子圖像相關(guān)的殘余數(shù)據(jù)，所述殘余數(shù)據(jù)被包含于數(shù)據(jù)信號(hào)中，
[0051]-如果數(shù)據(jù)信號(hào)包含所述對(duì)象在場(chǎng)景中移動(dòng)的深度值，則:
[0052].計(jì)算對(duì)應(yīng)于運(yùn)動(dòng)的運(yùn)動(dòng)矢量，
[0053].使用所解碼的殘余數(shù)據(jù)和所計(jì)算出的運(yùn)動(dòng)矢量、作為先前已解碼的參考多視角圖像的K個(gè)參考子圖像的函數(shù)來(lái)預(yù)測(cè)當(dāng)前多視角圖像的K個(gè)當(dāng)前子圖像中的每個(gè)子圖像，并傳送所預(yù)測(cè)的K個(gè)子圖像，
[0054].如果所述數(shù)據(jù)信號(hào)包含在編碼期間計(jì)算出的單個(gè)運(yùn)動(dòng)矢量值，所述矢量用于描述在待重構(gòu)的K個(gè)子圖像之一與先前已解碼的K個(gè)參考子圖像之一之間的運(yùn)動(dòng)，則作為先前已解碼的參考多視角圖像的K個(gè)參考子圖像的函數(shù)、使用所解碼的殘余數(shù)據(jù)和所計(jì)算出的運(yùn)動(dòng)矢量來(lái)相應(yīng)地預(yù)測(cè)當(dāng)前多視角圖像的K個(gè)當(dāng)前子圖像中的每個(gè)，并傳送所預(yù)測(cè)的K個(gè)子圖像，
[0055]-如果所述數(shù)據(jù)信號(hào)包含在編碼期間計(jì)算的K個(gè)運(yùn)動(dòng)矢量值，該K個(gè)運(yùn)動(dòng)矢量描述在待重構(gòu)的K個(gè)子圖像與相應(yīng)的先前已解碼的K個(gè)參考子圖像之間的運(yùn)動(dòng)，則使用所解碼的殘余數(shù)據(jù)和所述K個(gè)運(yùn)動(dòng)矢量值作為先前已解碼的參考多視角圖像的K個(gè)參考子圖像的函數(shù)來(lái)相應(yīng)地預(yù)測(cè)當(dāng)前多視角圖像的K個(gè)當(dāng)前子圖像中的每個(gè)，并傳送所預(yù)測(cè)的K個(gè)子圖像。
[0056]根據(jù)另一具體的實(shí)施例，如果所述數(shù)據(jù)信號(hào)包含K個(gè)運(yùn)動(dòng)矢量值，則使用MVC解碼。
[0057]相應(yīng)地，本發(fā)明涉及一種用于對(duì)代表至少一個(gè)先前已編碼的積分圖像的數(shù)據(jù)信號(hào)進(jìn)行解碼的裝置，所述積分圖像代表場(chǎng)景視域中的至少一個(gè)對(duì)象、并包括多個(gè)基元圖像。
[0058]這種裝置的值得注意之處在于它包含:
[0059]-用于作為包含在所述信號(hào)中的場(chǎng)景中的對(duì)象運(yùn)動(dòng)類(lèi)型的函數(shù)而對(duì)先前編碼的當(dāng)前多視角圖像進(jìn)行自適應(yīng)解壓縮的部件，
[0060]-用于根據(jù)給定模式排列當(dāng)前多視角圖像的多個(gè)K個(gè)當(dāng)前子圖像以重構(gòu)所述對(duì)象的多視角圖像的部件，所述多視角圖像的視角分別對(duì)應(yīng)于所述子圖像，
[0061]-用于從K個(gè)子圖像的排列中生成多個(gè)基元圖像以重構(gòu)所述積分圖像的部件。
[0062]根據(jù)一個(gè)具體的實(shí)施例，所述自適應(yīng)解壓縮部件包括:
[0063]-用于對(duì)與先前已編碼的多個(gè)K個(gè)子圖像相關(guān)的殘余數(shù)據(jù)進(jìn)行解碼的子部件，所述殘余數(shù)據(jù)包含于所述數(shù)據(jù)信號(hào)中，
[0064]-用于使用已解碼的殘余數(shù)據(jù)、作為先前已解碼的參考多視角圖像的K個(gè)參考子圖像的函數(shù)來(lái)相應(yīng)地預(yù)測(cè)當(dāng)前多視角圖像的K個(gè)當(dāng)前子圖像中的每個(gè)、并傳送所預(yù)測(cè)的K個(gè)子圖像的子部件，所述預(yù)測(cè)子部件為了預(yù)測(cè)目的還使用下列值:
[0065].在所述數(shù)據(jù)信號(hào)中包含基于對(duì)象已經(jīng)在場(chǎng)景中移動(dòng)的深度值而計(jì)算的運(yùn)動(dòng)矢量值的情況下的該運(yùn)動(dòng)矢量值，
[0066].或在所述數(shù)據(jù)信號(hào)中包含在編碼期間計(jì)算出的單個(gè)運(yùn)動(dòng)矢量值的情況下的該單個(gè)運(yùn)動(dòng)矢量值，該矢量描述在待重構(gòu)的K個(gè)子圖像之一與先前已解碼的K個(gè)參考子圖像之一之間的運(yùn)動(dòng)，
[0067].或在所述數(shù)據(jù)信號(hào)中包含在編碼期間計(jì)算的K個(gè)運(yùn)動(dòng)矢量值的情況下的該K個(gè)運(yùn)動(dòng)矢量值，該K個(gè)運(yùn)動(dòng)矢量描述在待重構(gòu)的K個(gè)子圖像與相應(yīng)的先前已解碼的K個(gè)參考子圖像之間的運(yùn)動(dòng)。
[0068]根據(jù)另一個(gè)具體的實(shí)施例，如果數(shù)據(jù)信號(hào)包含K個(gè)運(yùn)動(dòng)矢量值，則使用MVC解碼。
[0069]根據(jù)第三個(gè)方面，本發(fā)明涉及計(jì)算機(jī)程序，該計(jì)算機(jī)程序當(dāng)在計(jì)算機(jī)上運(yùn)行時(shí)包括實(shí)現(xiàn)根據(jù)本發(fā)明的方法之一的指令。
[0070]本發(fā)明還涉及在數(shù)據(jù)介質(zhì)上的計(jì)算機(jī)程序，如上所述，該程序包含用于實(shí)現(xiàn)根據(jù)本發(fā)明的方法之一的指令。
[0071]所述程序可使用任何一種編程語(yǔ)言，并且可以是源代碼、目標(biāo)代碼、或源代碼和目標(biāo)代碼之間的中間代碼，例如部分編譯的形式，或所需的任何其他形式。
[0072]如上所述，本發(fā)明還涉及計(jì)算機(jī)可讀的數(shù)據(jù)介質(zhì)，其包含用于計(jì)算機(jī)程序的指令。
[0073]數(shù)據(jù)介質(zhì)可以是任何能夠存儲(chǔ)程序的單元或裝置。舉例來(lái)說(shuō)，這個(gè)介質(zhì)可以是:存儲(chǔ)介質(zhì)，例如R0M，比如CD ROM或微電子電路ROM ;或磁存儲(chǔ)介質(zhì)，例如軟盤(pán)或者硬盤(pán)。
[0074]此外，所述數(shù)據(jù)介質(zhì)可以是可傳輸?shù)慕橘|(zhì)，例如電或光信號(hào)，其能通過(guò)無(wú)線電或使用其他部件由電纜或光纜傳送。根據(jù)本發(fā)明的程序可以具體地從互聯(lián)網(wǎng)下載。
[0075]或者，所述數(shù)據(jù)介質(zhì)可以是合并了所述程序的集成電路，這個(gè)電路被設(shè)計(jì)為在本方法的運(yùn)行中運(yùn)行或使用。
[0076]上述的解碼方法、編碼裝置、解碼裝置和計(jì)算機(jī)程序至少提供與本發(fā)明的編碼方法所提供的優(yōu)勢(shì)相同的優(yōu)勢(shì)。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0077]在結(jié)合附圖所描述的優(yōu)選實(shí)施例中說(shuō)明其它特性和優(yōu)點(diǎn)，在附圖中:
[0078]-圖1示出根據(jù)本發(fā)明的編碼方法的步驟，
[0079]-圖2示出根據(jù)本發(fā)明的編碼裝置的實(shí)施例，
[0080]-圖3A和3B示出根據(jù)本發(fā)明的編碼方法的積分圖像獲取步驟，
[0081]-圖4示出其中從如圖3A所示獲取的積分圖像中生成子圖像的步驟，
[0082]-圖5A到示出用于排列組成多視角圖像的子圖像的不同可能模式，
[0083]-圖6A和6B分別示出對(duì)象在場(chǎng)景中運(yùn)動(dòng)的兩個(gè)具體實(shí)例，
[0084]-圖7A和7B分別示出向圖5B到中的多視角圖像施加的第一類(lèi)型的MVC編碼結(jié)構(gòu)、和向圖5A中的多視角圖像施加的第二類(lèi)型的MVC編碼結(jié)構(gòu)，
[0085]-圖8示出根據(jù)本發(fā)明的解碼裝置，
[0086]-圖9示出根據(jù)本發(fā)明的解碼方法的步驟。
具體實(shí)施例
[0087]下面描述本發(fā)明的實(shí)施例，其中使用根據(jù)本發(fā)明的編碼方法來(lái)對(duì)積分圖像序列進(jìn)行編碼。
[0088]根據(jù)本發(fā)明的編碼方法以包括步驟Cl到C5的算法的形式所表示，如圖1所示。
[0089]根據(jù)本發(fā)明的實(shí)施例，根據(jù)本發(fā)明的編碼方法在圖2所示的編碼裝置CO中實(shí)現(xiàn)。
[0090]如圖1所不，第一步Cl是利用圖2所不的圖像獲取模塊ACI從待編碼的圖像序列中獲取積分圖像Ini。
[0091]積分圖像獲取的例子如圖3A和3B所示。
[0092]在所示的例子中，積分圖像InI代表三維場(chǎng)景SC視域中的對(duì)象OBJ。所述積分圖像InI由CXD (電荷耦合裝置的英文縮寫(xiě))2D掃描儀在Fl箭頭方向上獲取，該2D掃描儀在圖3A中用參考符號(hào)SCN標(biāo)示，然后在箭頭F2的方向上在屏幕EC上重構(gòu)。使用放置在對(duì)象OBJ和掃描儀SCN之間的透鏡屏RL來(lái)影響該獲取。
[0093]在圖3B所示的例子中，透鏡屏RL包括4個(gè)相同的微透鏡ML1、ML2、ML3和ML4。屏幕EC放置于上述微透鏡的焦平面上，這樣的屏幕能夠?yàn)橛^察者再現(xiàn)所述積分圖像Ini。按照已知的方式，屏幕EC包括像素矩陣，它包括幾個(gè)相同的單元，每個(gè)單元都包含多個(gè)不同的彩色像素。每一單元與微透鏡大小相同。在圖3B所示的例子中，屏幕EC包括4個(gè)像素單元CLl、CL2、CL3和CL4，分別對(duì)應(yīng)于4個(gè)微透鏡MLl、ML2、ML3和ML4排列。每個(gè)單元例如由5個(gè)不同的彩色像素組成。對(duì)于給定的單元CLj (I≤j≤4)，所述單元包含5個(gè)像素PjV Pj2、Pj3、Pj4> Pj5。為便于說(shuō)明，圖3B顯示了由5個(gè)像素PI。Pl2, Pl3、Pl4, Pl5組成的單元CLl的結(jié)構(gòu)的放大視圖。
[0094]在獲取過(guò)程中，從對(duì)象OBJ發(fā)出的光線經(jīng)過(guò)每個(gè)微透鏡ML1、ML2、ML3和ML4，然后在所述微透鏡的焦平面PF上擊中每個(gè)單元CL1、CL2、CL3和CL4的像素。考慮到透鏡屏RL和組成屏幕EC的像素矩陣的具體排列，所述光線:
[0095]-以第一入射角擊中CLl單元的Pl1像素、CL2單元的PZ1像素、CL3單元的P3:像素和CL4單元的Pl像素，
[0096]-以第二入射角擊中CLl單元的Pl2像素、CL2單元的P22像素、CL3單元的P32像素和CL4單元的P42像素，
[0097]-以第三入射角擊中CLl單元的Pl3像素、CL2單元的P23像素、CL3單元的P33像素和CL4單元的P43像素，
[0098]-以第四入射角擊中CLl單元的Pl4像素、CL2單元的P24像素、CL3單元的P34像素和CL4單元的P44像素，
[0099]-以第五入射角擊中CLl單元的Pl5像素、CL2單元的P25像素、CL3單元的P35像素和CL4單元的P 45像素。
[0100]以已知的方式，每個(gè)入射角對(duì)應(yīng)于觀察者能夠看到視域中的對(duì)象OBJ的具體觀察角。這些角度值受限于微透鏡ML1、ML2、ML3和ML4視角的值。為便于說(shuō)明，對(duì)應(yīng)于微透鏡ML2視角的觀察角在圖3B中用粗實(shí)線示出。
[0101]為了圖3B的清楚，只顯示了兩條不同入射角的光線。在圖3B所示的例子中:
[0102]-光線Rl以對(duì)應(yīng)于特殊視角的特定角度擊中CL4單元的PA像素，在這個(gè)視角上，觀察者能夠以對(duì)應(yīng)于所述視角的特殊角度觀察對(duì)象0BJ，
[0103]-光線R3以O(shè)度入射角分別擊中CLl單元的Pl3像素、CL2單元的P23像素、CL3單元的P33像素和CL4單元的P43像素。
[0104]在所示例子中，因?yàn)橛?個(gè)微透鏡，所以接著所述獲取步驟Cl，對(duì)象OBJ從4個(gè)不同角度的4個(gè)圖像被記錄下來(lái)。以已知的方式，這4個(gè)圖像組成積分圖像InI的基元圖像。
[0105]在圖1所示的步驟C2中，以已知的方式，接著所述獲得步驟Cl，從所述形成積分圖像InI的多個(gè)基元圖像中生成多個(gè)K個(gè)子圖像SI1、SI2、……、SIK，其中K為與所使用的像素矩陣的像素單元的像素?cái)?shù)量對(duì)應(yīng)的整數(shù)。子圖像的這個(gè)生成過(guò)程由如圖2所示的GSI軟件模塊來(lái)實(shí)現(xiàn)。
[0106]圖4不出了其中從圖3A所不的積分圖像生成子圖像的步驟C2的例子。
[0107]在所示例子中，積分圖像InI包括4個(gè)基元圖像IE1、IE2、IE3和IE4，如上所述，它們分別包含5個(gè)不同的彩色像素。在子圖像生成步驟C2中，執(zhí)行下列操作:
[0108]-在第一子圖像SIl中分組與視域中的第一視角對(duì)應(yīng)的每個(gè)基元圖像IE1、IE2、IE3, IE4 的各個(gè)像素 Plp P2p P3p P41;
[0109]-在第二子圖像SI2中分組與視域中第二視角對(duì)應(yīng)的每個(gè)基元圖像IE1、IE2、IE3、IE4 的各個(gè)像素 Pl2、P22、P32、P42，[0110]-在第三子圖像SI3中分組與視域中第三視角對(duì)應(yīng)的每個(gè)基元圖像IE1、IE2、IE3、IE4 的各個(gè)像素 Pl3、P23、P33、P43，
[0111]-在第四子圖像SI4中分組與視域中第四視角對(duì)應(yīng)的每個(gè)基元圖像IE1、IE2、IE3、IE4 的各個(gè)像素 Pl4、P24、P34、P44，
[0112]-在第五子圖像SI5中分組與視域中第五視角對(duì)應(yīng)的每個(gè)基元圖像IE1、IE2、IE3、IE4 的各個(gè)像素 Pl5、P25、P35、P45，
[0113]為了圖示的清楚，只用箭頭示出前兩個(gè)分組操作。
[0114]在圖1所示的步驟C3中，根據(jù)本發(fā)明，根據(jù)預(yù)定模式排列在步驟C2中生成的子圖像，以形成對(duì)象OBJ的多視角圖像，該多視角圖像的視角分別包含生成的子圖像。多視角圖像中的子圖像的這個(gè)排列特別有用，因?yàn)樗昧嗽谔幚矸e分圖像時(shí)生成的子圖像之間的空間和時(shí)間冗余、以及在處理當(dāng)前積分圖像期間生成的每個(gè)子圖像與處理一個(gè)或多個(gè)其他先前積分圖像期間生成的每個(gè)子圖像之間的空間和時(shí)間冗余。
[0115]選擇所述模式的形式來(lái)優(yōu)化在所生成的子圖像之間的空間與時(shí)間相關(guān)性。
[0116]所述排列步驟C3由圖2所示的軟件模塊ASI_C0實(shí)現(xiàn)，它從編碼器CO的數(shù)據(jù)庫(kù)BD中選擇一預(yù)定模式。
[0117]不同形式的模式如圖5A至所示。
[0118]在所有情況下，對(duì)于在步驟C2期間生成的多個(gè)K個(gè)子圖像SI 1、SI2、……、SIK，根據(jù)本發(fā)明，其中對(duì)應(yīng)的第r個(gè)視角具有零值的子圖像Sir (I ^ K)構(gòu)成多視角圖像MVVl的參考視角Vr，它將在tl時(shí)刻形成并被放置于所述多視角圖像的中心。
[0119]根據(jù)如圖5A所示的第一優(yōu)選示例，K個(gè)子圖像SI1、SI2、……、SIK依次分配到9個(gè)子圖像的K/9個(gè)組G1、G2、……、GK/9，由此形成了分別形成多視角圖像MVV的視角V1、V2、......、VK 的子圖像 SI1、SI2、......、SIK。
[0120]根據(jù)圖5B所示的第二示例，K個(gè)子圖像SI1、SI2、……、SIK呈螺旋狀依次排列，位于螺旋中心的視角Vr為前述的子圖像Sir，與其對(duì)應(yīng)的第r視角具有零值。
[0121]根據(jù)圖5C所示的第三示例，K個(gè)子圖像SI1、SI2、……、SIK從左到右依次排列。
[0122]根據(jù)圖所示的第四示例，K個(gè)子圖像SI1、SI2、……、SIK從左到右依次排列。
[0123]在圖1所示隨后的步驟C4中，作為場(chǎng)景SC中的對(duì)象OBJ的運(yùn)動(dòng)類(lèi)型的函數(shù)對(duì)在步驟C3中形成的多視角圖像進(jìn)行自適應(yīng)壓縮。
[0124]這個(gè)步驟由如圖2所示的CMP壓縮軟件模塊來(lái)實(shí)現(xiàn)。
[0125]再次參考圖1，這樣的自適應(yīng)壓縮步驟C4包括第一子步驟C41，其中圖3A和圖3B所示的對(duì)象OBJ以及所述對(duì)象的背景被分段用于當(dāng)前多視角圖像MVVn的每個(gè)當(dāng)前子圖像SIln 到 SIKn。
[0126]此步驟由如圖2所示的完全傳統(tǒng)的SGM分段軟件模塊實(shí)現(xiàn)。
[0127]在圖1所示的子步驟C42中，計(jì)算K個(gè)運(yùn)動(dòng)矢量MVl、MV2、……、MVK，所述K個(gè)運(yùn)動(dòng)矢量描述了在K個(gè)當(dāng)前子圖像SIln到SIKn與相應(yīng)的K個(gè)參考子圖像SIref l、SIref2、……、SIrefK之間的運(yùn)動(dòng)。
[0128]此步驟由如圖2所示的第一計(jì)算軟件模塊CAL1_C0執(zhí)行。
[0129]根據(jù)圖6A所示的第一替換，其中對(duì)象OBJ僅在與掃描儀SCN相關(guān)的深度方向上移動(dòng)，運(yùn)動(dòng)矢量MVr具有零值，該運(yùn)動(dòng)矢量MVr描述了在第r當(dāng)前中心子圖像SIrn (其第r對(duì)應(yīng)視角值為零)與參考多視角圖像MVVref的對(duì)應(yīng)參考子圖像SIrref之間的運(yùn)動(dòng)。因此，如圖6A所示，與當(dāng)前子圖像而不是第r個(gè)當(dāng)前子圖像相關(guān)聯(lián)的運(yùn)動(dòng)矢量取決于與所談及的子圖像相關(guān)的視角。在圖6A所示的情況中，使用下列三角函數(shù)關(guān)系式來(lái)計(jì)算給定的運(yùn)動(dòng)矢量MVi (1 ≤ i ≤ 5):
[0130]MVi=AZ X tan0 i，其中Λ Z代表對(duì)象OBJ移動(dòng)的深度，并且Θ i代表所考慮的第j個(gè)像素單元CLj (1 ≤ j ≤ 4)的第i個(gè)像素Pji的視角。
[0131]因?yàn)镸Vi和Θ i對(duì)于編碼器CO是已知值，在步驟C43a中執(zhí)行計(jì)算
【權(quán)利要求】
1.一種用于對(duì)至少一個(gè)積分圖像(InI)進(jìn)行編碼的方法，該積分圖像代表場(chǎng)景視域中的至少一個(gè)對(duì)象(OBJ)、并包含多個(gè)基元圖像(EI)，所述方法實(shí)現(xiàn)其中基于所述多個(gè)基元圖像來(lái)生成多個(gè)K個(gè)子圖像(SI1、SI2、……、SIK)的步驟，所述方法的特征在于它實(shí)現(xiàn)如下步驟: -以預(yù)定模式排列(C3)所述子圖像，以形成所述對(duì)象的多視角圖像，所述視角分別對(duì)應(yīng)于所述子圖像； -作為所述場(chǎng)景中的對(duì)象運(yùn)動(dòng)類(lèi)型的函數(shù)來(lái)對(duì)所形成的所述多視角圖像進(jìn)行自適應(yīng)壓縮(C4)。
2.如權(quán)利要求1所述的編碼方法，其中，所述自適應(yīng)壓縮步驟對(duì)當(dāng)前多視角圖像實(shí)現(xiàn)下列子步驟: -作為先前已編碼并然后解碼的參考多視角圖像的K個(gè)參考子圖像(SIref)的函數(shù)來(lái)相應(yīng)地預(yù)測(cè)(C44)所述當(dāng)前多視角圖像的K個(gè)當(dāng)前子圖像中的每個(gè)，傳送所預(yù)測(cè)的K個(gè)子圖像， -通過(guò)比較與K個(gè)當(dāng)前子圖像中的每個(gè)、并相應(yīng)地與所預(yù)測(cè)的所述K個(gè)子圖像中的每個(gè)相關(guān)的數(shù)據(jù)來(lái)確定(C45)殘余數(shù)據(jù)， -計(jì)算(C42)用于描述在所述K個(gè)當(dāng)前子圖像和所述參考多視角圖像的相應(yīng)K個(gè)參考子圖像(SIref )之間的運(yùn)動(dòng)的K個(gè)運(yùn)動(dòng)矢量， -如果計(jì)算出的與位于當(dāng)前多視角圖像中心的當(dāng)前子圖像相關(guān)的運(yùn)動(dòng)矢量有零值，計(jì)算所述對(duì)象在場(chǎng)景中已移動(dòng)的深度值(Λ Z)， 所述編碼方法還實(shí)現(xiàn): -如果計(jì)算出的與位于當(dāng)前多視角圖像中心的當(dāng)前子圖像相關(guān)的運(yùn)動(dòng)矢量具有零值，則傳送(C5)至少包括所確定的所述殘余數(shù)據(jù)和所計(jì)算的所述深度值(Λ Ζ)的數(shù)據(jù)信號(hào)， -如果計(jì)算出的K個(gè)運(yùn)動(dòng)矢量有相同的值，則傳送(C5)至少包含所確定的所述殘余數(shù)據(jù)和所計(jì)算的所述K個(gè)運(yùn)動(dòng)矢量之一的值的數(shù)據(jù)信號(hào)， -如果計(jì)算出的K個(gè)運(yùn)動(dòng)矢量中的至少兩個(gè)具有不同的值，則傳送至少包含所確定的所述殘余數(shù)據(jù)和所計(jì)算的K個(gè)運(yùn)動(dòng)矢量的相應(yīng)值的數(shù)據(jù)信號(hào)。
3.如權(quán)利要求1或權(quán)利要求2所述的編碼方法，其中，如果計(jì)算出的K個(gè)運(yùn)動(dòng)矢量中的至少兩個(gè)具有不同的值，則使用MVC編碼。
4.一種用于對(duì)至少一個(gè)積分圖像(InI)進(jìn)行編碼的裝置，該積分圖像代表場(chǎng)景視域中的至少一個(gè)對(duì)象、并且包含多個(gè)基元圖像(ΕΙ)，所述裝置包括基于所述多個(gè)基元圖像來(lái)生成多個(gè)K個(gè)子圖像(SI)的部件(GSI)，所述裝置的特征在于包含下列部件: -用于以預(yù)定模式排列所述子圖像以形成所述對(duì)象的多視角圖像的部件(ASI_C0)，所述視角分別對(duì)應(yīng)于所述子圖像； -用于作為場(chǎng)景中的對(duì)象運(yùn)動(dòng)類(lèi)型的函數(shù)來(lái)自適應(yīng)地壓縮所形成的多視角圖像的部件(CMP)0
5.如權(quán)利要求4中所述的編碼裝置，其中，對(duì)于當(dāng)前多視角圖像，所述自適應(yīng)壓縮部件包括: -用于作為先前已編碼并然后解碼的參考多視角圖像的K個(gè)參考子圖像(SIref)的函數(shù)來(lái)相應(yīng)地預(yù)測(cè)所述當(dāng)前 多視角圖像的K個(gè)當(dāng)前子圖像中的每個(gè)子圖像、傳送所預(yù)測(cè)的K個(gè)子圖像的子部件(PRD_CO )， -用于通過(guò)比較與K個(gè)當(dāng)前子圖像中的每個(gè)、并相應(yīng)地與所預(yù)測(cè)的所述K個(gè)子圖像中的每個(gè)相關(guān)的數(shù)據(jù)來(lái)確定殘余數(shù)據(jù)的子部件(CAL2_C0)， -用于計(jì)算用于描述在所述K個(gè)當(dāng)前子圖像和相應(yīng)的K個(gè)參考子圖像之間的運(yùn)動(dòng)的K個(gè)運(yùn)動(dòng)矢量的子部件(CAL1_C0)， -用于傳送至少包含所確定的所述殘余數(shù)據(jù)的數(shù)據(jù)信號(hào)的子部件(1C)，所述傳送子部件還發(fā)送: ?在計(jì)算出的與位于當(dāng)前多視角圖像中心的當(dāng)前子圖像相關(guān)的運(yùn)動(dòng)矢量有零值的情況下的、預(yù)先計(jì)算的所述對(duì)象已經(jīng)在場(chǎng)景中移動(dòng)的深度值(ΛΖ)， ?或所計(jì)算的K個(gè)運(yùn)動(dòng)矢量之一的值， ?或在所計(jì)算出的K個(gè)運(yùn)動(dòng)矢量中的至少兩個(gè)具有不同的值的情況下的、所計(jì)算的K個(gè)運(yùn)動(dòng)矢量的相應(yīng)值。
6.如權(quán)利要求4或權(quán)利要求5所述的編碼裝置，其中，如果所計(jì)算出的K個(gè)運(yùn)動(dòng)矢量中的至少兩個(gè)具有不相同的值，則使用MVC編碼。
7.一種計(jì)算機(jī)程序，該計(jì)算機(jī)程序如果在計(jì)算機(jī)上運(yùn)行則包括實(shí)現(xiàn)如權(quán)利要求1至權(quán)利要求3中任一項(xiàng)所述的編碼方法的指令。
8.一種用于對(duì)數(shù)據(jù)信號(hào)進(jìn)行解碼的方法，該數(shù)據(jù)信號(hào)代表先前已編碼的至少一個(gè)積分圖像(Inl)，所述積分圖像代表場(chǎng)景視域中的至少一個(gè)對(duì)象、并包括多個(gè)基元圖像(EI)，所述方法的特征在于它實(shí)現(xiàn)如下步驟: -作為包含在所述數(shù)據(jù)信號(hào)中的場(chǎng)景中的對(duì)象運(yùn)動(dòng)類(lèi)型的函數(shù)，對(duì)先前編碼的當(dāng)前多視角圖像進(jìn)行自適應(yīng)解壓縮(Dl )， -根據(jù)給定模式排列(D2)所述當(dāng)前多視角圖像的多個(gè)K個(gè)當(dāng)前子圖像，以重構(gòu)所述對(duì)象的多視角圖像，所述視角分別對(duì)應(yīng)于所述子圖像， -基于所述K個(gè)子圖像的排列來(lái)生成(D3)所述多個(gè)基元圖像(EI)，以重構(gòu)所述積分圖像(Ini)。
9.如權(quán)利要求8所述的解碼方法，其中，所述自適應(yīng)解碼步驟對(duì)于待重構(gòu)的當(dāng)前積分圖像而實(shí)現(xiàn)下列子步驟: -解碼(Dl I)與先前已編碼的多視角圖像的所述多個(gè)K個(gè)子圖像相關(guān)的殘余數(shù)據(jù)，所述殘余數(shù)據(jù)被包含于所述數(shù)據(jù)信號(hào)中， -如果所述數(shù)據(jù)信號(hào)包含所述對(duì)象已經(jīng)在場(chǎng)景中移動(dòng)的深度值(ΛΖ)，則: ?計(jì)算(D13a)與所述運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量， ?使用所解碼的所述殘余數(shù)據(jù)和所計(jì)算出的所述運(yùn)動(dòng)矢量、作為先前已解碼的參考多視角圖像的K個(gè)參考子圖像的函數(shù)來(lái)相應(yīng)地預(yù)測(cè)(D14)所述當(dāng)前多視角圖像的K個(gè)當(dāng)前子圖像中的每個(gè)，并傳送所預(yù)測(cè)的K個(gè)子圖像， -如果所述數(shù)據(jù)信號(hào)包含在編碼期間計(jì)算出的單個(gè)運(yùn)動(dòng)矢量值，所述矢量用于描述在待重構(gòu)的K個(gè)子圖像之一與先前已解碼的K個(gè)參考子圖像之一之間的運(yùn)動(dòng)，則作為先前已解碼的參考多視角圖像的K個(gè)參考子圖像的函數(shù)、使用所解碼的所述殘余數(shù)據(jù)和所計(jì)算出的所述運(yùn)動(dòng)矢量來(lái)相應(yīng)地預(yù)測(cè)(D14)所述當(dāng)前多視角圖像的K個(gè)當(dāng)前子圖像中的每個(gè)，并傳送所預(yù)測(cè)的K個(gè)子圖像，-如果所述數(shù)據(jù)信號(hào)包含在編碼期間計(jì)算的K個(gè)運(yùn)動(dòng)矢量值，所述K個(gè)運(yùn)動(dòng)矢量描述在待重構(gòu)的K個(gè)子圖像與相應(yīng)的先前已解碼的K個(gè)參考子圖像之間的運(yùn)動(dòng)，則作為先前已解碼的參考多視角圖像的K個(gè)參考子圖像的函數(shù)使用所解碼的所述殘余數(shù)據(jù)和所述K個(gè)運(yùn)動(dòng)矢量值來(lái)相應(yīng)地預(yù)測(cè)所述當(dāng)前多視角圖像的K個(gè)當(dāng)前子圖像中的每個(gè)，并傳送所預(yù)測(cè)的K個(gè)子圖像。
10.如權(quán)利要求8或權(quán)利要求9所述的解碼方法，其中，如果所述數(shù)據(jù)信號(hào)包含K個(gè)運(yùn)動(dòng)矢量值，則使用MVC解碼。
11.一種用于對(duì)數(shù)據(jù)信號(hào)進(jìn)行解碼的裝置(DO)，該數(shù)據(jù)信號(hào)代表至少一個(gè)先前已編碼的積分圖像(Inl)，所述積分圖像代表場(chǎng)景視域中的至少一個(gè)對(duì)象、并包括多個(gè)基元圖像(EI)，所述裝置的特征在于它包含: -用于作為包含在所述信號(hào)中的場(chǎng)景中的對(duì)象運(yùn)動(dòng)類(lèi)型的函數(shù)而對(duì)先前編碼的當(dāng)前多視角圖像進(jìn)行自適應(yīng)解壓縮的部件(DCMP )， -用于根據(jù)給定模式排列所述當(dāng)前多視角圖像的多個(gè)K個(gè)當(dāng)前子圖像以重構(gòu)所述對(duì)象的多視角圖像的部件(ASI_DO)，所述視角分別對(duì)應(yīng)于所述子圖像， -用于基于所述K個(gè)子圖像的排列來(lái)生成所述多個(gè)基元圖像(EI)以重構(gòu)所述積分圖像(InI)的部件(MGEI)。
12.如權(quán)利要求11所述的解碼裝置，其中，所述自適應(yīng)解壓縮部件包括: -用于對(duì)與先前已編碼的所述多個(gè)K個(gè)子圖像相關(guān)的殘余數(shù)據(jù)進(jìn)行解碼的子部件(DB),所述殘余數(shù)據(jù)包含于所述數(shù)據(jù)信號(hào)中， -用于使用所述已解碼的殘余數(shù)據(jù)、作為先前已解碼的參考多視角圖像的K個(gè)參考子圖像的函數(shù)來(lái)相應(yīng)地預(yù)測(cè)所述當(dāng)前多視角圖像的K個(gè)當(dāng)前子圖像中的每個(gè)、傳送所預(yù)測(cè)的K個(gè)子圖像的子部件(PRD_DO)，所述預(yù)測(cè)子部件為了預(yù)測(cè)還用到下列值: ?在所述數(shù)據(jù)信號(hào)中包含基于所述對(duì)象已經(jīng)在場(chǎng)景中移動(dòng)的深度值(ΛΖ)而計(jì)算的運(yùn)動(dòng)矢量值的情況下的該運(yùn)動(dòng)矢量值， ?或在所述數(shù)據(jù)信號(hào)中包含在編碼期間計(jì)算出的單個(gè)運(yùn)動(dòng)矢量值的情況下的該單個(gè)運(yùn)動(dòng)矢量值，所述矢量描述在待重構(gòu)的K個(gè)子圖像之一與先前已解碼的K個(gè)參考子圖像之一之間的運(yùn)動(dòng)， ?或在所述數(shù)據(jù)信號(hào)中包含在編碼期間計(jì)算的K個(gè)運(yùn)動(dòng)矢量值的情況下的該K個(gè)運(yùn)動(dòng)矢量值，該K個(gè)運(yùn)動(dòng)矢量描述在待重構(gòu)的K個(gè)子圖像與相應(yīng)的先前已解碼的K個(gè)參考子圖像之間的運(yùn)動(dòng)。
13.如權(quán)利要求11或權(quán)利要求12所述的解碼裝置，其中，如果數(shù)據(jù)信號(hào)包含K個(gè)運(yùn)動(dòng)矢量值，則使用MVC解碼。
14.一種計(jì)算機(jī)程序，該計(jì)算機(jī)程序如果在計(jì)算機(jī)上運(yùn)行則包括實(shí)現(xiàn)如權(quán)利要求8-10中任一項(xiàng)所述的解碼方法的指令。
【文檔編號(hào)】H04N19/523GK103703782SQ201280033078
【公開(kāi)日】2014年4月2日 申請(qǐng)日期:2012年4月26日 優(yōu)先權(quán)日:2011年5月5日
【發(fā)明者】史莎莎, P.喬伊亞 申請(qǐng)人:奧林奇公司