專利名稱：壓縮編碼裝置、解壓縮解碼裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及應(yīng)用于對(duì)在多視點(diǎn)上所拍攝的圖像進(jìn)行編碼/解碼的裝置 和方法等中十分有效的技術(shù)。
背景技術(shù)：
近些年來，應(yīng)用在多視點(diǎn)中同時(shí)拍攝的動(dòng)態(tài)圖像的技術(shù)受人矚目。 通過使用這種動(dòng)態(tài)圖像，以往在立體照相機(jī)系統(tǒng)中無法實(shí)現(xiàn)的技術(shù)得以 實(shí)現(xiàn)。例如，可以不使用立體顯示器而由用戶以自由的視點(diǎn)來觀看相機(jī) 動(dòng)態(tài)圖像。具體而言，通過在多視點(diǎn)同時(shí)拍攝演唱會(huì)的情形，用戶可以 不僅從一個(gè)視點(diǎn)觀看演唱會(huì)的狀況，還能從橫向和后方等任意的視點(diǎn)來 鑒賞。
但一般動(dòng)態(tài)圖像的信息量非常大。因此，不壓縮動(dòng)態(tài)圖像的數(shù)據(jù)來 進(jìn)行媒體蓄積和網(wǎng)絡(luò)傳輸，在傳輸速度和成本方面十分不利。因而，已 開發(fā)有用可逆或者不可逆的方式對(duì)動(dòng)態(tài)圖像數(shù)據(jù)進(jìn)行壓縮編碼的技術(shù)。
例如，用Moving Picture Experts Group (MPEG)所標(biāo)準(zhǔn)化的MPEG-1 、 MPEG-2、 MPEG-4等。
但伴隨同時(shí)進(jìn)行拍攝的視點(diǎn)數(shù)量增加(相機(jī)臺(tái)數(shù)增加)，動(dòng)態(tài)圖像的 數(shù)量也增加。因此，相比使用單一的相機(jī)拍攝的動(dòng)態(tài)圖像的數(shù)據(jù)量，在 多視點(diǎn)同時(shí)拍攝的動(dòng)態(tài)圖像的總數(shù)據(jù)量增大。所以，希望出現(xiàn)一種能高 效地對(duì)在多視點(diǎn)同時(shí)拍攝的動(dòng)態(tài)圖像的數(shù)據(jù)進(jìn)行壓縮編碼的技術(shù)。
對(duì)于這種問題，提出了通過使用在各視點(diǎn)中所拍攝的動(dòng)態(tài)圖像之間 的相關(guān)性，從而提高預(yù)測(cè)效率的技術(shù)。在這些技術(shù)中，伴隨預(yù)測(cè)效率的 提高，編碼效率也提高。所謂在各視點(diǎn)中所拍攝的動(dòng)態(tài)圖像之間的相關(guān) 性，指反映在某視點(diǎn)的相機(jī)中的物體和背景的一部分也反映于其他視點(diǎn) 的相機(jī)中的情況。例如如果比較相機(jī)m中的幀和相機(jī)n中同一時(shí)刻的幀，
則具有兩個(gè)相機(jī)在相近的位置拍攝相近的方向的情況、拍攝相同物體和 相同背景的情況。因此，通過將這種用不同相機(jī)在相同時(shí)刻拍攝的幀看 作為用相同的相機(jī)所拍攝的幀，可以進(jìn)行使用了動(dòng)作矢量的預(yù)測(cè)編碼。
例如相比以前那樣的僅使用相同相機(jī)(相機(jī)n)所拍攝的幀對(duì)相機(jī)n的幀 進(jìn)行動(dòng)作預(yù)測(cè)編碼的情況，還使用其他相機(jī)(相機(jī)m)的幀來進(jìn)行動(dòng)作 預(yù)測(cè)編碼的情況可以提高編碼效率。此時(shí)，動(dòng)作矢量相當(dāng)于兩個(gè)相機(jī)之 間的視差。作為這種技術(shù)的例子具有專利文獻(xiàn)1~7。
專利文獻(xiàn)h日本特開2001-186516號(hào)公報(bào)
專利文獻(xiàn)2:日本特表2002-523943號(hào)公報(bào)
專利文獻(xiàn)3:日本特開2002-300607號(hào)公報(bào)
專利文獻(xiàn)4:日本特許3426668號(hào)公報(bào)
專利文獻(xiàn)5:日本特開平06-98312號(hào)公報(bào)
專利文獻(xiàn)6:日本特幵平10-191394號(hào)公報(bào)
專利文獻(xiàn)7:日本特開2000-23918號(hào)公報(bào)
但是，為了提高視差預(yù)測(cè)的效率，需要設(shè)定最合適的基準(zhǔn)相機(jī)。所 謂基準(zhǔn)相機(jī)是指拍攝用于相機(jī)間的預(yù)測(cè)的幀的相機(jī)。并且，將除此以外 的相機(jī)稱為參照相機(jī)。以往停留于僅根據(jù)各視點(diǎn)相機(jī)的配置信息設(shè)定基 準(zhǔn)相機(jī)，沒有提出過有效的設(shè)定基準(zhǔn)。因而沒有充分實(shí)現(xiàn)編碼效率的提 高。
圖9、 10是表示以往的技術(shù)的問題點(diǎn)的圖。使用圖9、 IO說明現(xiàn)有 技術(shù)的問題點(diǎn)。在圖9中，三個(gè)三角形分別表示相機(jī)C1、 C2、 C3。而且 在圖9中，排列在相機(jī)的移動(dòng)方向上的三個(gè)橢圓表示被攝體。并且，相 機(jī)C1、 C2、 C3分別一邊向右方向移動(dòng)一邊在攝像方向上拍攝。圖10是 表示在各時(shí)刻T (n-l)、 T (n)、 T (n+l)各相機(jī)C1、 C2、 C3所拍攝的 幀(a) ~ (i)的例子的圖。
研究一下僅根據(jù)相機(jī)C1的時(shí)刻T (n-l)的幀(b)來預(yù)測(cè)作為相同 相機(jī)的相機(jī)Cl的時(shí)刻T (n)的幀(b)的情況。該情況下，右端的被 攝體A沒有拍攝到用于預(yù)測(cè)的幀(a)中。因此，預(yù)測(cè)效率降低。另一方 面，該時(shí)刻T (ri)的相機(jī)C2的幀(e)中拍攝有被攝體A。所以如果用
該幀(e)來預(yù)測(cè)幀(b)，則預(yù)測(cè)效率提高。
再研究一下使用時(shí)刻T (n)的相機(jī)Cl的幀(b)來視差預(yù)測(cè)相機(jī) C2的同時(shí)刻T (n)中的幀(e)的情況。該情況下，拍攝于幀(e)中的 被攝體C的右側(cè)部分沒有拍攝于幀(b)中，因而預(yù)測(cè)效率不提高。這樣， 與預(yù)測(cè)效率在想要從幀(b)來視差預(yù)測(cè)幀(e)的情況下得到提高的情 況不同，即使想要從幀(e)來視差預(yù)測(cè)幀(b)也不會(huì)提高預(yù)測(cè)效率。
這樣，為了提高預(yù)測(cè)效率，需要根據(jù)該相機(jī)所拍攝的幀的狀態(tài)來選 擇最適用于預(yù)測(cè)的幀。

發(fā)明內(nèi)容
因而本發(fā)明的目的在于，解決這些課題，通過選擇最適用于預(yù)測(cè)的 幀，從而提供一種可以提高預(yù)測(cè)效率、編碼效率的裝置和方法。
為了解決上述課題，本發(fā)明采取如下結(jié)構(gòu)。本發(fā)明的第一方式是一 種壓縮編碼裝置，該壓縮編碼裝置對(duì)用多臺(tái)相機(jī)所拍攝的幀進(jìn)行壓縮編 碼，該多臺(tái)相機(jī)包括通過僅使用了本身所拍攝的幀的動(dòng)作預(yù)測(cè)來對(duì)本身 所拍攝的幀進(jìn)行壓縮編碼的基準(zhǔn)相機(jī)、和通過使用了本身所拍攝的幀的 動(dòng)作預(yù)測(cè)和使用了其他的相機(jī)所拍攝的幀的動(dòng)作預(yù)測(cè)來對(duì)本身所拍攝的 幀進(jìn)行壓縮編碼的參照相機(jī)，該壓縮編碼裝置包含確定單元、壓縮編碼 單元、預(yù)測(cè)信息制作單元和合成單元。
確定單元在對(duì)參照相機(jī)所拍攝的幀進(jìn)行壓縮編碼時(shí)，根據(jù)在拍攝成 為處理對(duì)象的幀之前所拍攝的幀中的被攝體的動(dòng)作，來確定用于動(dòng)作預(yù) 測(cè)的其他的相機(jī)的幀。
壓縮編碼單元對(duì)于參照相機(jī)所拍攝的幀，通過使用了確定單元所確 定的其他相機(jī)的幀和該參照相機(jī)所拍攝的其他幀的動(dòng)作預(yù)測(cè)來進(jìn)行壓縮 編碼。另外，壓縮編碼單元對(duì)于基準(zhǔn)相機(jī)所拍攝的幀，通過幀內(nèi)預(yù)測(cè)或 者僅使用了該基準(zhǔn)相機(jī)所拍攝的其他幀的動(dòng)作預(yù)測(cè)來進(jìn)行壓縮編碼。換 言之，壓縮編碼單元對(duì)于基準(zhǔn)相機(jī)所拍攝的各幀，通過與僅使用由相同 相機(jī)所拍攝的幀來進(jìn)行動(dòng)作預(yù)測(cè)的現(xiàn)有方法相同的方法，進(jìn)行壓縮編碼。
預(yù)測(cè)信息制作單元生成預(yù)測(cè)信息，該預(yù)測(cè)信息包含表示各幀是基準(zhǔn)
相機(jī)所拍攝的幀還是參照相機(jī)所拍攝的幀的信息，和針對(duì)參照相機(jī)所拍 攝的幀，將該幀與用于動(dòng)作預(yù)測(cè)的其他幀對(duì)應(yīng)起來的信息。
合成單元生成一個(gè)動(dòng)態(tài)圖像數(shù)據(jù)，該一個(gè)動(dòng)態(tài)圖像數(shù)據(jù)包含由基準(zhǔn) 相機(jī)所拍攝的多個(gè)編碼后的幀、由參照相機(jī)所拍攝的多個(gè)編碼后的幀和 動(dòng)作預(yù)測(cè)信息。
根據(jù)這樣構(gòu)成的本發(fā)明的第一方式，通過確定單元根據(jù)以前所拍攝 的幀中的被攝體的動(dòng)作來確定對(duì)參照相機(jī)所拍攝的幀進(jìn)行壓縮編碼時(shí)用 于動(dòng)作預(yù)測(cè)的幀。而且通過使用了由確定單元所確定的幀的動(dòng)作預(yù)測(cè)， 對(duì)參照相機(jī)所拍攝的該幀進(jìn)行壓縮編碼。因此，根據(jù)被攝體在過去的幀 中的動(dòng)作來確定用于動(dòng)作預(yù)測(cè)的最合適的幀，可以實(shí)現(xiàn)預(yù)測(cè)效率、編碼 效率的提高。
并且，本發(fā)明的第一方式的確定單元還可以構(gòu)成為按照在拍攝成為 處理對(duì)象的幀之前所拍攝的幀中實(shí)施的動(dòng)作預(yù)測(cè)時(shí)所獲得的動(dòng)作矢量的 朝向來判斷被攝體的動(dòng)作，確定用于動(dòng)作預(yù)測(cè)的其他相機(jī)的幀。
并且，本發(fā)明的第一方式的確定單元還可以構(gòu)成為對(duì)于拍攝了成為 處理對(duì)象的幀的參照相機(jī)，將設(shè)置在與在拍攝成為處理對(duì)象的幀之前所 拍攝的幀中實(shí)施的動(dòng)作預(yù)測(cè)時(shí)所獲得的動(dòng)作矢量的朝向相反的方向上的 其他相機(jī)所拍攝的幀確定為用于動(dòng)作預(yù)測(cè)的幀。通過這樣構(gòu)成，可以使 用與處理對(duì)象的幀的相關(guān)性更高的幀來進(jìn)行動(dòng)作預(yù)測(cè)。因此，可以實(shí)現(xiàn) 預(yù)測(cè)效率、編碼效率的提高。
并且，本發(fā)明的第一方式還可以構(gòu)成為該壓縮編碼裝置還具有以規(guī) 定周期來判斷應(yīng)將多臺(tái)相機(jī)中哪個(gè)相機(jī)判定為基準(zhǔn)相機(jī)的基準(zhǔn)相機(jī)判斷 單元。通過這樣構(gòu)成，可以準(zhǔn)確地選擇基準(zhǔn)相機(jī)，確定用于動(dòng)作預(yù)測(cè)的 最合適的幀，可以實(shí)現(xiàn)預(yù)測(cè)效率、編碼效率的提高。
并且，本發(fā)明的第一方式的基準(zhǔn)相機(jī)判斷單元還可以構(gòu)成為根據(jù)在 拍攝成為處理對(duì)象的幀之前所拍攝的幀中的被攝體的動(dòng)作來確定基準(zhǔn)相 機(jī)。
并且，本發(fā)明的第一方式的基準(zhǔn)相機(jī)判斷單元還可以構(gòu)成為按照在 拍攝成為處理對(duì)象的幀之前所拍攝的幀中實(shí)施的動(dòng)作預(yù)測(cè)時(shí)所獲得的動(dòng)
作矢量的朝向來判斷被攝體的動(dòng)作，確定基準(zhǔn)相機(jī)。
并且，本發(fā)明的第一方式的動(dòng)作預(yù)測(cè)信息制作單元還可以構(gòu)成為在 動(dòng)作預(yù)測(cè)信息中包含有對(duì)由參照相機(jī)所拍攝的幀不實(shí)施使用由其他相機(jī) 所拍攝的幀的動(dòng)作預(yù)測(cè)而進(jìn)行壓縮編碼的時(shí)間的信息。
本發(fā)明的第二方式是對(duì)由作為本發(fā)明的第一方式的壓縮編碼裝置所
制作的動(dòng)態(tài)圖像數(shù)據(jù)進(jìn)行解壓縮解碼的解壓縮解碼裝置，包含判斷單元 和解壓縮解碼單元。
判斷單元從動(dòng)態(tài)圖像數(shù)據(jù)中提取出動(dòng)作預(yù)測(cè)信息，判斷各幀是由基 準(zhǔn)相機(jī)還是參照相機(jī)所拍攝的幀。并且，解壓縮解碼單元對(duì)于由判斷單 元判斷為是基準(zhǔn)相機(jī)所拍攝的幀的幀，通過僅基于由相同的相機(jī)所拍攝 的其他幀的動(dòng)作預(yù)測(cè)進(jìn)行解壓縮解碼，對(duì)于由判斷單元判斷為是參照相 機(jī)所拍攝的幀的幀，通過基于由相同的相機(jī)所拍攝的其他幀和由其他相 機(jī)拍攝的幀的動(dòng)作預(yù)測(cè)進(jìn)行解壓縮解碼。
第一方式和第二方式都可以通過由信息處理裝置執(zhí)行程序來實(shí)現(xiàn)。 即，本發(fā)明可以特定為用于使信息處理裝置執(zhí)行上述第一方式和第二方 式的各單元所執(zhí)行的處理的程序或者記錄了該程序的記錄介質(zhì)。另外， 本發(fā)明還可以特定為信息處理裝置執(zhí)行上述各單元所執(zhí)行的處理的方 法。
根據(jù)本發(fā)明，可以確定用于動(dòng)作預(yù)測(cè)的最合適的幀，實(shí)現(xiàn)預(yù)測(cè)效率、 編碼效率的提高。


圖1是表示基準(zhǔn)相機(jī)所拍攝的各幀的預(yù)測(cè)編碼方法和參照相機(jī)所拍 攝的各幀的預(yù)測(cè)編碼方法的圖。
圖2是表示動(dòng)態(tài)圖像數(shù)據(jù)的結(jié)構(gòu)例的圖。 圖3是表示壓縮編碼裝置的功能框的例子的圖。 圖4是表示基準(zhǔn)相機(jī)確定處理和參照目的地確定處理的處理例的流 程圖。
圖5是表示相機(jī)的配置例的圖。
圖6是表示各相機(jī)是否為基準(zhǔn)相機(jī)以及為參照相機(jī)時(shí)成為參照目的 地的幀為哪個(gè)基準(zhǔn)相機(jī)的表。
圖7是表示解壓縮解碼裝置的功能框的例子的圖。
圖8是表示解碼相機(jī)判斷處理的處理例的流程圖。
圖9是表示現(xiàn)有技術(shù)的問題點(diǎn)的圖。
圖IO是表示現(xiàn)有技術(shù)的問題點(diǎn)的圖。
符號(hào)說明
1壓縮編碼裝置
101輸入幀緩沖器
102減法器
103 DCT量子化部
104 IDCT逆量子化部 105加法器
106幀緩沖器
107動(dòng)作/視差矢量補(bǔ)償部
108可變長度編碼部
109頭附加部
110控制部
2解壓縮解碼裝置
201頭解析部
202編碼動(dòng)態(tài)圖像緩沖器
203可變長度解碼部
204 IDCT逆量子化部
205加法器
206顯示動(dòng)態(tài)圖像緩沖器 207幀緩沖器 208動(dòng)作/視差矢量補(bǔ)償部 209控制部
具體實(shí)施方式
[原理]
首先，說明本發(fā)明中的預(yù)測(cè)編碼的方法的原理。圖1是表示基準(zhǔn)相 機(jī)所拍攝的各幀的預(yù)測(cè)編碼方法和參照相機(jī)所拍攝的各幀的預(yù)測(cè)編碼方 法的圖。在圖1中，位于箭頭根部的幀通過參照位于箭頭尖部的幀來進(jìn) 行預(yù)測(cè)編碼。
I幀表示進(jìn)行幀內(nèi)編碼的幀。I幀一概不參照其他幀來進(jìn)行編碼。P 幀表示前方向時(shí)間預(yù)測(cè)編碼幀。P幀是由相同相機(jī)所拍攝的幀，通過參照 位于時(shí)間上之前的I幀或者其他的P幀來進(jìn)行預(yù)測(cè)編碼。通過這樣參照 相同相機(jī)所拍攝的其他幀來進(jìn)行預(yù)測(cè)編碼的情況在下面稱為"動(dòng)作預(yù)測(cè)
編碼"。B幀表示雙向時(shí)間預(yù)測(cè)編碼幀。B幀是由相同相機(jī)所拍攝的幀，
通過參照位于時(shí)間上之前的I幀或者p幀和位于時(shí)間上之后的I幀或者p
幀來進(jìn)行預(yù)測(cè)編碼。I幀、P幀、B幀的概念與MPEG-1、 2、 4相同。
r幀通過僅參照由基準(zhǔn)相機(jī)所拍攝的同時(shí)刻的I幀而進(jìn)行預(yù)測(cè)編碼。
這種通過參照由其他相機(jī)所拍攝的幀來進(jìn)行預(yù)測(cè)編碼的情況在下面被稱 為"視差預(yù)測(cè)編碼"。P'幀通過參照基準(zhǔn)相機(jī)所拍攝的同時(shí)刻的P幀和作 為相同相機(jī)所拍攝的幀且位于時(shí)間上之前的I'幀或者其他的P'幀來進(jìn)行 預(yù)測(cè)編碼。B'幀通過參照基準(zhǔn)相機(jī)所拍攝的同時(shí)刻的B幀、作為相同相
機(jī)所拍攝的幀且在時(shí)間上位于之前的r幀或者p'幀、以及作為相同相機(jī) 所拍攝的幀且在時(shí)間上位于之后的r幀或者p'幀來進(jìn)行預(yù)測(cè)編碼。
接著，說明用本發(fā)明的預(yù)測(cè)編碼制作的動(dòng)態(tài)圖像數(shù)據(jù)的結(jié)構(gòu)。圖2 是表示動(dòng)態(tài)圖像數(shù)據(jù)的結(jié)構(gòu)例的圖。動(dòng)態(tài)圖像數(shù)據(jù)包含SEQH和GOP。 SEQH插入于GOP (Group of pictures)的全部相機(jī)單位中。SEQH (n) 表示以下連接的GOP為第n個(gè)GOP。 SEQH包含相機(jī)總數(shù)、各相機(jī)的視 差預(yù)測(cè)方式(即，拍攝了各幀的相機(jī)是基準(zhǔn)相機(jī)和參照相機(jī)之中的哪個(gè))、 表示各參照相機(jī)中的參照目的地的相機(jī)的識(shí)別符。GOP是對(duì)沿時(shí)間軸排 列的幀分組后的數(shù)據(jù)。GOP (m、 n)表示相機(jī)m的第n個(gè)GOP。
一個(gè)GOP包含GOPH和多個(gè)Frame。 GOPH是GOP的頭信息。GOPH 包含表示拍攝了該幀的相機(jī)的識(shí)別符、未進(jìn)行視差預(yù)測(cè)的時(shí)間信息(從
GOP開頭起的幀號(hào)碼相對(duì)值)。Frame是被編碼的幀的數(shù)據(jù)。
一個(gè)Frame中包含F(xiàn)rame Header和多個(gè)MB (Macro Block)。 Frame Header是幀的頭信息。Frame Header包含該幀的預(yù)測(cè)類別(1、 P、 B、 I'、 P'、 B')。 MB表示宏塊信息。
各MB包含MBType、 MV和DCTCoeff。 MBType包含各宏塊的預(yù) 測(cè)類別(Intra, Inter, Bi-Direction)和量子化系數(shù)。預(yù)測(cè)類別還包括在單 向預(yù)測(cè)(Inter)和雙向預(yù)測(cè)(Bi-Direction)中進(jìn)行參照的幀的識(shí)別符。 預(yù)測(cè)類別在單向預(yù)測(cè)時(shí)包含一個(gè)識(shí)別符，在雙向預(yù)測(cè)時(shí)包含兩個(gè)識(shí)別符。 MV是矢量信息。下面將該矢量信息區(qū)分為動(dòng)作矢量和視差矢量來描述。 所謂動(dòng)作矢量表示相同相機(jī)所拍攝的幀之間的矢量信息，所謂視差矢量 表示不同相機(jī)所拍攝的幀之間的矢量信息。DCTCoeff是預(yù)測(cè)誤差的量子 化DCT系數(shù)信息。
接著，說明通過對(duì)各相機(jī)所拍攝的動(dòng)態(tài)圖像進(jìn)行壓縮編碼來生成上 述那樣的動(dòng)態(tài)圖像數(shù)據(jù)的壓縮編碼裝置1和對(duì)由該壓縮編碼裝置1生成 的動(dòng)態(tài)圖像數(shù)據(jù)進(jìn)行解碼的解壓縮解碼裝置2。
首先，說明壓縮編碼裝置1的結(jié)構(gòu)例。壓縮編碼裝置1在硬件上具 有經(jīng)由總線連接的CPU (中央運(yùn)算處理裝置)、主存儲(chǔ)裝置(RAM)、輔 助存儲(chǔ)裝置等。輔助存儲(chǔ)裝置使用非易失性存儲(chǔ)裝置來構(gòu)成。此處所說 的非易失性存儲(chǔ)裝置指所謂的ROM (Read-Only Memory:包含EPROM
(Erasable Programmable Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory),掩模ROM等)、FRAM
(Ferroelectric RAM)、硬盤等。
圖3是表示壓縮編碼裝置1的功能框的例子的圖。壓縮編碼裝置1 將存儲(chǔ)在輔助存儲(chǔ)裝置中的各種程序(OS、應(yīng)用等)加載到主存儲(chǔ)裝置 中，并使用CPU執(zhí)行，從而作為包含輸入幀緩沖器101、減法器102、 DCT量子化部103、 IDCT逆量子化部104、加法器105、幀緩沖器106、 動(dòng)作/視差矢量補(bǔ)償部107、可變長度編碼部108、頭附加部109和控制部 110等的裝置而發(fā)揮作用。DCT量子化部103、 IDCT逆量子化部104、
動(dòng)作/視差矢量補(bǔ)償部107、可變長度編碼部108、頭附加部109和控制部 IIO通過由CPU執(zhí)行程序來實(shí)現(xiàn)。另外，DCT量子化部103、 IDCT逆量 子化部104、動(dòng)作/視差矢量補(bǔ)償部107、可變長度編碼部108、頭附加部 109和控制部110也可以構(gòu)成為專用的芯片。接著，說明壓縮編碼裝置l 包含的各功能部分。 <輸入幀緩沖器〉
輸入幀緩沖器101對(duì)輸入給壓縮編碼裝置1的動(dòng)態(tài)圖像進(jìn)行緩存。 壓縮編碼裝置1被輸入基本相機(jī)拍攝的動(dòng)態(tài)圖像、參照相機(jī)拍攝的動(dòng)態(tài) 圖像。因此，輸入幀緩沖器101緩存基本相機(jī)拍攝的動(dòng)態(tài)圖像和參照相 機(jī)拍攝的動(dòng)態(tài)圖像。輸入幀緩沖器101按照來自控制部110的指示，以 各相機(jī)的編碼處理單位輸出幀數(shù)據(jù)。所謂編碼處理單位，既可以是1幀， 也可以是1G0P (Group of Pictures)那樣的多幀。下面將輸入幀緩沖器 101所輸出的幀、即成為壓縮編碼的處理對(duì)象的幀稱為輸入幀。
<減法器〉
減法器102計(jì)算輸入幀和基于動(dòng)作補(bǔ)償及視差補(bǔ)償?shù)念A(yù)測(cè)信息之間 的差值，將該結(jié)果作為預(yù)測(cè)差值信息輸出。 < DCT量子化部>
DCT量子化部103進(jìn)行DCT (Discrete Cosine Transform)運(yùn)算、量 子化運(yùn)算。DCT量子化部103以塊單位對(duì)減法器102所計(jì)算出的預(yù)測(cè)差 值信息進(jìn)行DCT運(yùn)算，將DCT系數(shù)量子化，輸出作為其結(jié)果的量子化 DCT系數(shù)。
〈IDCT逆量子化部〉
IDCT逆量子化部104進(jìn)行IDCT (Inverse Discrete Cosine Transform) 運(yùn)算(下面稱為"逆DCT運(yùn)算")、逆量子化運(yùn)算。IDCT逆量子化部104 進(jìn)行量子化DCT系數(shù)的逆量子化和逆DCT運(yùn)算，得到逆DCT運(yùn)算結(jié)果。
<加法器〉
加法器105對(duì)逆DCT運(yùn)算結(jié)果和基于動(dòng)作補(bǔ)償及視差補(bǔ)償?shù)念A(yù)測(cè)結(jié) 果進(jìn)行相加，生成本地解碼動(dòng)態(tài)圖像。 <幀緩沖器〉
幀緩沖器106蓄積本地解碼動(dòng)態(tài)圖像。另外，幀緩沖器106按照來 自控制部110的指示，輸出由所指定的相機(jī)動(dòng)態(tài)圖像所指定的幀。下面 將幀緩沖器106輸出的幀、即用于動(dòng)作預(yù)測(cè)和視差預(yù)測(cè)的幀稱為預(yù)測(cè)方 幀。
<動(dòng)作/視差矢量補(bǔ)償部>
動(dòng)作/視差矢量補(bǔ)償部107按照來自控制部110的指示，使用輸入幀 和預(yù)測(cè)方幀進(jìn)行基于塊匹配的預(yù)測(cè)。動(dòng)作/視差矢量補(bǔ)償部107將動(dòng)作矢 量信息和視差矢量信息輸出給可變長度編碼部108。另外，動(dòng)作/視差矢 量補(bǔ)償部107將預(yù)測(cè)信息輸出給減法器102。動(dòng)作矢量信息和視差矢量信 息以及預(yù)測(cè)信息用于使預(yù)測(cè)誤差最小化。而且，動(dòng)作/視差矢量補(bǔ)償部107 將幀整體的動(dòng)作矢量信息輸出給控制部IIO。所謂動(dòng)作矢量信息，例如是 所有塊中的動(dòng)作矢量信息的平均和方差等。
<可變長度編碼部>
可變長度編碼部108通過使量子化的結(jié)果進(jìn)行可變長度編碼，生成 被壓縮編碼的幀的數(shù)據(jù)。另外，將用于動(dòng)作補(bǔ)償?shù)膭?dòng)作矢量信息和用于 視差補(bǔ)償?shù)囊暡钍噶啃畔⒔唤o頭附加部109。
<頭附加部>
頭附加部109通過將相機(jī)號(hào)碼、相機(jī)類別(基準(zhǔn)相機(jī)或者參照相機(jī))、 要參照的其他相機(jī)等的信息附加在被壓縮編碼后的各幀或者多幀單位 上，從而生成動(dòng)態(tài)圖像數(shù)據(jù)。
<控制部>
控制部110進(jìn)行各相機(jī)所拍攝的動(dòng)態(tài)圖像的編碼控制、基準(zhǔn)相機(jī)的 確定(基準(zhǔn)相機(jī)確定處理)、為了參照相機(jī)所拍攝的幀的預(yù)測(cè)編碼而對(duì)要 參照的幀進(jìn)行確定(參照目的地確定處理)等。另外，控制部110連接 成可對(duì)各功能部進(jìn)行指示。另外，從外部向控制部110輸入有各相機(jī)的 參數(shù)(關(guān)于各相機(jī)的配置信息)。配置信息可以是各相機(jī)的絕對(duì)位置也可 以是相對(duì)位置。下面說明基準(zhǔn)相機(jī)確定處理和參照目的地確定處理。
圖4是表示基準(zhǔn)相機(jī)確定處理和參照目的地確定處理中的控制部110 的動(dòng)作例的流程圖。使用圖4說明控制部110的動(dòng)作例。而且，下面的
17
處理以一組GOP單位來執(zhí)行。即，以由一個(gè)SEQH所歸納的多個(gè)GOP 單位來執(zhí)行圖4的處理。
首先，控制部110判斷在之前的GOP的最后幀中是否產(chǎn)生了平移 (Panning) (SOl)?？刂撇?10例如根據(jù)之前的GOP的最后幀中的動(dòng)作 矢量信息(例如在整塊中的動(dòng)作矢量信息的平均和方差等)判斷平移的 產(chǎn)生。換言之，根據(jù)該最后幀中所拍攝的被攝體在圖像內(nèi)的動(dòng)作，判斷 平移的產(chǎn)生。此時(shí)，控制部110判斷橫向的動(dòng)作矢量的平均值是否在閾 值以上而且方差是否在閾值以下。在滿足該兩個(gè)條件的情況下，控制部 110判斷為產(chǎn)生了平移。另一方面，這兩個(gè)條件都沒有滿足的情況下，控 制部110判斷為沒有產(chǎn)生平移。
當(dāng)判斷為沒有產(chǎn)生平移時(shí)(S01"否")，控制部110計(jì)算C(N/2土nK), 將對(duì)應(yīng)該計(jì)算結(jié)果的相機(jī)作為基準(zhǔn)相機(jī)(S03)。而且，C (m)是表示第 m個(gè)相機(jī)的識(shí)別符，假定數(shù)字以排列的順序被分配到朝一個(gè)方向排列的 多個(gè)相機(jī)上。另外，N表示相機(jī)總數(shù)。而且，n表示0以上的整數(shù)。并且， K的值是表示正值的值，是根據(jù)相機(jī)間的間隔和相機(jī)與被攝體之間的距 離等而由設(shè)計(jì)者適當(dāng)設(shè)定的值。該情況下，將相機(jī)列的中心以及從中心 起等間隔(K)位于左右兩個(gè)方向上的相機(jī)設(shè)定為基準(zhǔn)相機(jī)。
然后，確定成為處理對(duì)象的GOP所含的幀中用于對(duì)參照相機(jī)所拍攝 的幀進(jìn)行預(yù)測(cè)編碼的參照目的地幀。此時(shí)，控制部110對(duì)各幀進(jìn)行確定 以使中心側(cè)臨近處的基準(zhǔn)幀成為參照目的地幀(S06)。圖5是表示相機(jī) 的配置例的圖。另外，圖6是表示各相機(jī)是否為基準(zhǔn)相機(jī)以及為參照相 機(jī)時(shí)成為參照目的地的幀為哪個(gè)基準(zhǔn)相機(jī)的表。在圖5中按照號(hào)碼順序 在X軸上排列著7臺(tái)相機(jī)C (1) C (7)。而且，在圖5中各相機(jī)在垂直 于拍攝方向(Z軸方向)的方向上以等間隔或者任意的間隔排列著。另外 在圖6中將K的值設(shè)定為"2"。而且在圖6中，O表示基準(zhǔn)相機(jī)，C(m) 表示該相機(jī)所拍攝的幀成為參照目的地幀。上述那樣被判斷為沒有產(chǎn)生 平移時(shí)，在S03的處理的結(jié)果中，將C (2)、 C (4)、 C (6)設(shè)定為基準(zhǔn) 相機(jī)。而且，C (1)將C (2)作為參照目的地、C (3)和C (5)將C (4)作為參照目的地、C (7)將C (6)作為參照目的地。 接著，說明被判斷為產(chǎn)生了平移的情況(S01 "是")。此時(shí)，控制部
110判斷向哪個(gè)方向產(chǎn)生平移(S02)。該方向可以通過判斷平移的產(chǎn)生時(shí) 所用的動(dòng)作矢量信息來判斷。即，可以通過該矢量的朝向來判斷平移的 產(chǎn)生方向?？刂撇?10在判斷為向左產(chǎn)生平移時(shí)(S02"左")，將C(l+nK) 作為基準(zhǔn)相機(jī)(S04)。然后控制部110將對(duì)于參照相機(jī)所拍攝的各幀而 言的參照目的地幀確定為右側(cè)臨近處的基準(zhǔn)幀(S07)。換言之，控制部 110將對(duì)于參照相機(jī)所拍攝的各幀而言的參照目的地幀設(shè)定為設(shè)置于與 產(chǎn)生平移的方向相反的方向上的臨近處的基準(zhǔn)相機(jī)。
另一方面，控制部110在判斷為向右產(chǎn)生平移時(shí)(S02 "右")，將C (N-nK)作為基準(zhǔn)相機(jī)(S05)。然后控制部110將對(duì)于參照相機(jī)所拍攝 的各幀而言的參照目的地幀確定為左側(cè)臨近處的基準(zhǔn)幀(S08)。
接著，說明解壓縮解碼裝置2的結(jié)構(gòu)例。解壓縮解碼裝置2在硬件 上具有經(jīng)由總線連接的CPU (中央運(yùn)算處理裝置)、主存儲(chǔ)裝置(RAM)、 輔助存儲(chǔ)裝置等。輔助存儲(chǔ)裝置使用非易失性存儲(chǔ)裝置來構(gòu)成。此處所 說的非易失性存儲(chǔ)裝置指所謂的ROM(Read-Only Memory:包含EPROM
(Erasable Programmable Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory),掩模ROM等)、FRAM
(Ferroelectric RAM)、硬盤等。
圖7是表示解壓縮解碼裝置2的功能框的例子的圖。解壓縮解碼裝 置2將存儲(chǔ)在輔助存儲(chǔ)裝置中的各種程序(OS、應(yīng)用等)加載到主存儲(chǔ) 裝置中，使用CPU執(zhí)行，從而作為包含頭解析部201、編碼動(dòng)態(tài)圖像緩 沖器202、可變長度解碼部203、 IDCT逆量子化部204、加法器205、顯 示動(dòng)態(tài)圖像緩沖器206、幀緩沖器207、動(dòng)作/視差矢量補(bǔ)償部208和控制 部209等的裝置而發(fā)揮作用。頭解析部201、可變長度解碼部203、 IDCT 逆量子化部204、動(dòng)作/視差矢量補(bǔ)償部208和控制部209通過由CPU執(zhí) 行程序來實(shí)現(xiàn)。另外，頭解析部201、可變長度解碼部203、 IDCT逆量 子化部204、動(dòng)作/視差矢量補(bǔ)償部208和控制部209也可以構(gòu)成為專用 的芯片。接著，說明解壓縮解碼裝置2包含的各功能部分。
<頭解析部〉
頭解析部201從所輸入的動(dòng)態(tài)圖像數(shù)據(jù)(壓縮編碼裝置1所制作的 動(dòng)態(tài)圖像數(shù)據(jù))中提取頭信息。所謂頭信息，具體而言為拍攝了各幀的 相機(jī)的識(shí)別符及其類別(基準(zhǔn)相機(jī)或者參照相機(jī))、拍攝了參照目的地幀
的相機(jī)的識(shí)別符等。另外，頭解析部201從控制部209接受拍攝了應(yīng)該 解碼的幀的相機(jī)的識(shí)別符。然后，頭解析部201根據(jù)該識(shí)別符判斷是否
應(yīng)該對(duì)所輸入的各幀進(jìn)行解碼，僅將判斷為應(yīng)該解碼的幀交給編碼動(dòng)態(tài)
圖像緩沖器202。具體而言，頭解析部201判斷包括各相機(jī)所拍攝的幀的 GOP中對(duì)應(yīng)于應(yīng)該進(jìn)行解碼的相機(jī)的GOP (解碼相機(jī)判斷處理)。通過 執(zhí)行該處理，可以省略對(duì)不需要的幀的解碼處理，可以實(shí)現(xiàn)處理的高速 化。同時(shí)，也能削減應(yīng)緩存的數(shù)據(jù)量，可以減小例如顯示動(dòng)態(tài)圖像緩沖 器206和幀緩沖器207的規(guī)模。還有，頭解析部201對(duì)控制部209通知 已交給編碼動(dòng)態(tài)圖像緩沖器202的幀的識(shí)別符。
下面說明解碼相機(jī)判斷處理。而且，在下面的說明中，假定參照相 機(jī)所拍攝的圖像僅使用作為參照目的地幀而由基準(zhǔn)相機(jī)所拍攝的幀進(jìn)行 了壓縮編碼。但沒有必要限定于此。圖8是表示解碼相機(jī)判斷處理中的 頭解析部201處理例的流程圖。該流程圖所示的處理每當(dāng)檢測(cè)出SEQH 時(shí)執(zhí)行。首先，頭解析部201從控制部209獲得表示相機(jī)的識(shí)別符(Sll)。 接著，頭解析部201從所輸入的動(dòng)態(tài)圖像數(shù)據(jù)中提取出SEQH進(jìn)行解析 (S12)。通過該解析，頭解析部201獲得各相機(jī)的誤差預(yù)測(cè)方式和成為 參照目的地的相機(jī)的識(shí)別符等。
接著，頭解析部201探索GOPH。此時(shí)，在檢測(cè)出下一個(gè)SEQH時(shí)， 即沒有由下一個(gè)相機(jī)所拍攝的幀的情況下結(jié)束該處理(S13 "否")。另一 方面，當(dāng)檢測(cè)出GOPH時(shí)(S13 "是")，頭解析部201解析該GOPH，獲 得相機(jī)的識(shí)別符。然后，頭解析部201判斷GOPH所含的識(shí)別符和控制 部209給予的識(shí)別符是否一致。 一致的情況下(S14"是")，判斷為應(yīng)該 對(duì)該GOP所含的各幀執(zhí)行解碼(S19)。然后再次執(zhí)行S13及以后的處理。
另一方面，頭解析部201在識(shí)別符不一致的情況下(S14"否")，判 斷是否為與從控制部209發(fā)送來的識(shí)別符的相機(jī)的參照目的地對(duì)應(yīng)的相
機(jī)。不是參照目的地時(shí)(S15"否")，執(zhí)行S13及以后的處理。另一方面， 是參照目的地時(shí)(S15 "是")，頭解析部201解析GOPH并解析沒有進(jìn)行 視差預(yù)測(cè)的時(shí)間(S16)。然后，在整個(gè)時(shí)間內(nèi)進(jìn)行視差預(yù)測(cè)的情況下(S17 "是")，判斷為應(yīng)對(duì)該GOP所含的各幀執(zhí)行解碼(S19)。另一方面，在 一部分時(shí)間內(nèi)沒有進(jìn)行視差預(yù)測(cè)的情況下(S17"否")，頭解析部201判 斷正在進(jìn)行視差預(yù)測(cè)的幀，判斷為應(yīng)該僅對(duì)該幀進(jìn)行解碼(S18)。然后 再次執(zhí)行S13及以后的處理。 <編碼動(dòng)態(tài)圖像緩沖器>
編碼動(dòng)態(tài)圖像緩沖器202對(duì)被頭解析部201判斷為應(yīng)執(zhí)行解碼的各 幀進(jìn)行緩存。編碼動(dòng)態(tài)圖像緩沖器202按照來自控制部209的指示，以 解碼處理單位輸出幀。所謂解碼處理單位，既可以是1幀，也可以是GOP 那樣的多幀。
<可變長度解碼部〉
可變長度解碼部203對(duì)進(jìn)行了可變長度編碼的量子化DCT系數(shù)進(jìn)行 可變長度解碼，將該結(jié)果交給IDCT逆量子化部204。另外，可變長度解 碼部203還對(duì)動(dòng)作矢量信息和視差矢量信息進(jìn)行可變長度解碼，并交給 動(dòng)作/視差矢量補(bǔ)償部208。
< IDCT逆量子化部>
IDCT逆量子化部204進(jìn)行IDCT運(yùn)算、逆量子化運(yùn)算。IDCT逆量 子化部204進(jìn)行量子化DCT系數(shù)的逆量子化和逆DCT運(yùn)算，得到逆DCT 運(yùn)算結(jié)果。
<加法器〉
加法器205對(duì)逆DCT運(yùn)算結(jié)果和基于動(dòng)作補(bǔ)償及視差補(bǔ)償?shù)念A(yù)測(cè)結(jié) 果進(jìn)行相加，生成解碼動(dòng)態(tài)圖像。 <顯示動(dòng)態(tài)圖像緩沖器>
顯示動(dòng)態(tài)圖像緩沖器206對(duì)加法器205生成的解碼動(dòng)態(tài)圖像的數(shù)據(jù) 進(jìn)行緩存。此時(shí)，顯示動(dòng)態(tài)圖像緩沖器208將與從外部指定了進(jìn)行顯示 的相機(jī)對(duì)應(yīng)的解碼動(dòng)態(tài)圖像的數(shù)據(jù)進(jìn)行緩存。然后，顯示動(dòng)態(tài)圖像緩沖 器206依次輸出正在緩存的數(shù)據(jù)。
<幀緩沖器>
幀緩沖器207與顯示動(dòng)態(tài)圖像緩沖器206同樣地緩存解碼動(dòng)態(tài)圖像 的數(shù)據(jù)。另外，幀緩沖器207不管來自外部的指定如何，還蓄積處理對(duì) 象的幀的解碼所需的其他相機(jī)所拍攝的幀。
<動(dòng)作/視差矢量補(bǔ)償部〉
動(dòng)作/視差矢量補(bǔ)償部208按照來自控制部209的指示，將成為處理 對(duì)象的幀的解碼所需的動(dòng)作預(yù)測(cè)/視差預(yù)測(cè)所用的幀從幀緩沖器207中讀 取。然后，動(dòng)作/視差矢量補(bǔ)償部208從可變長度解碼部203獲得動(dòng)作矢 量信息/視差矢量信息。然后，獲得預(yù)測(cè)結(jié)果，將該預(yù)測(cè)結(jié)果交給加法器 205。
<控制部>
控制部209對(duì)所輸入的動(dòng)態(tài)圖像數(shù)據(jù)進(jìn)行解碼控制。另外，控制部 209連接為可以對(duì)各功能部進(jìn)行指示。另外，從外部向控制部209輸入表 示拍攝了應(yīng)該從顯示動(dòng)態(tài)圖像緩沖器208向外部輸出的動(dòng)態(tài)圖像的相機(jī) 的識(shí)別符。該識(shí)別符可以是一個(gè)也可以是多個(gè)。然后，控制部209將所 輸入的該識(shí)別符交給頭解析部201。
用參照相機(jī)所拍攝的各幀(r幀、P'幀、B'幀)不限于用基準(zhǔn)相機(jī)在 同時(shí)刻拍攝的幀，也可以參照其他的參照相機(jī)拍攝的幀進(jìn)行預(yù)測(cè)編碼， 還可以參照用基準(zhǔn)相機(jī)和其他的參照相機(jī)在不同時(shí)刻拍攝的幀進(jìn)行預(yù)測(cè) 編碼。
另外，沒有必要將相機(jī)設(shè)置為排列在一條直線上，例如可以設(shè)置為 按照波浪狀或圓形或十字形或四邊形等任意形狀進(jìn)行排列。 產(chǎn)業(yè)上的可利用性
本發(fā)明通過應(yīng)用于對(duì)在多視點(diǎn)中所拍攝的圖像進(jìn)行編碼/解碼的裝置 中可以得到效果。
權(quán)利要求
1.一種壓縮編碼裝置，該壓縮編碼裝置對(duì)用多臺(tái)相機(jī)所拍攝的幀進(jìn)行壓縮編碼，該多臺(tái)相機(jī)包括通過僅使用了本身所拍攝的幀的動(dòng)作預(yù)測(cè)來對(duì)本身所拍攝的幀進(jìn)行壓縮編碼的基準(zhǔn)相機(jī)、和通過使用了本身所拍攝的幀的動(dòng)作預(yù)測(cè)和使用了其他的相機(jī)所拍攝的幀的動(dòng)作預(yù)測(cè)來對(duì)本身所拍攝的幀進(jìn)行壓縮編碼的參照相機(jī)，其特征在于，該壓縮編碼裝置包含確定單元，其在對(duì)上述參照相機(jī)所拍攝的幀進(jìn)行壓縮編碼時(shí)，根據(jù)在拍攝成為處理對(duì)象的幀之前所拍攝的幀中的被攝體的動(dòng)作，來確定用于動(dòng)作預(yù)測(cè)的其他的相機(jī)的幀；壓縮編碼單元，其對(duì)于上述參照相機(jī)所拍攝的幀，通過使用了上述確定單元所確定的幀和該參照相機(jī)所拍攝的其他幀的動(dòng)作預(yù)測(cè)來進(jìn)行壓縮編碼，對(duì)于上述基準(zhǔn)相機(jī)所拍攝的幀，通過幀內(nèi)預(yù)測(cè)或者僅使用了該基準(zhǔn)相機(jī)所拍攝的其他幀的動(dòng)作預(yù)測(cè)來進(jìn)行壓縮編碼；動(dòng)作預(yù)測(cè)信息制作單元，其生成預(yù)測(cè)信息，該預(yù)測(cè)信息包含表示各幀是基準(zhǔn)相機(jī)所拍攝的幀還是參照相機(jī)所拍攝的幀的信息，和針對(duì)參照相機(jī)所拍攝的幀，將該幀與用于動(dòng)作預(yù)測(cè)的其他幀對(duì)應(yīng)起來的信息；以及合成單元，其生成一個(gè)動(dòng)態(tài)圖像數(shù)據(jù)，該一個(gè)動(dòng)態(tài)圖像數(shù)據(jù)包含由上述基準(zhǔn)相機(jī)所拍攝的多個(gè)編碼后的幀、由上述參照相機(jī)所拍攝的多個(gè)編碼后的幀、和上述動(dòng)作預(yù)測(cè)信息。
2. 根據(jù)權(quán)利要求1所述的壓縮編碼裝置，其特征在于，上述確定單 元按照在拍攝成為處理對(duì)象的幀之前所拍攝的幀中實(shí)施的動(dòng)作預(yù)測(cè)時(shí)所 獲得的動(dòng)作矢量的朝向來判斷上述被攝體的動(dòng)作，確定用于動(dòng)作預(yù)測(cè)的 其他相機(jī)的幀。
3. 根據(jù)權(quán)利要求2所述的壓縮編碼裝置，其特征在于，上述確定單 元對(duì)于拍攝了成為處理對(duì)象的幀的參照相機(jī)，將設(shè)置在與在拍攝成為處 理對(duì)象的幀之前所拍攝的幀中實(shí)施的動(dòng)作預(yù)測(cè)時(shí)所獲得的動(dòng)作矢量的朝 向相反的方向上的其他相機(jī)所拍攝的幀，確定為用于上述動(dòng)作預(yù)測(cè)的幀。
4. 根據(jù)權(quán)利要求1所述的壓縮編碼裝置，其特征在于，該壓縮編碼 裝置還具有以規(guī)定周期來判斷應(yīng)將上述多臺(tái)相機(jī)中哪個(gè)相機(jī)確定為上述 基準(zhǔn)相機(jī)的基準(zhǔn)相機(jī)判斷單元。
5. 根據(jù)權(quán)利要求4所述的壓縮編碼裝置，其特征在于，上述基準(zhǔn)相機(jī)判斷單元根據(jù)在拍攝成為處理對(duì)象的幀之前所拍攝的幀中的被攝體的 動(dòng)作來確定基準(zhǔn)相機(jī)。
6. 根據(jù)權(quán)利要求5所述的壓縮編碼裝置，其特征在于，上述基準(zhǔn)相 機(jī)判斷單元按照在拍攝成為處理對(duì)象的幀之前所拍攝的幀中實(shí)施的動(dòng)作 預(yù)測(cè)時(shí)所獲得的動(dòng)作矢量的朝向來判斷上述被攝體的動(dòng)作，確定基準(zhǔn)相 機(jī)。
7. 根據(jù)權(quán)利要求1所述的壓縮編碼裝置，其特征在于，上述動(dòng)作預(yù) 測(cè)信息制作單元還在上述動(dòng)作預(yù)測(cè)信息中包含有對(duì)由上述參照相機(jī)所拍 攝的幀不實(shí)施使用了由其他相機(jī)所拍攝的幀的動(dòng)作預(yù)測(cè)而進(jìn)行了壓縮編 碼的時(shí)間的信息。
8. —種解壓縮解碼裝置，該解壓縮解碼裝置對(duì)由壓縮編碼裝置所制 作的動(dòng)態(tài)圖像數(shù)據(jù)進(jìn)行解壓縮解碼，上述壓縮編碼裝置對(duì)用多臺(tái)相機(jī)所 拍攝的幀進(jìn)行壓縮編碼，該多臺(tái)相機(jī)包括通過僅使用了本身所拍攝的幀 的動(dòng)作預(yù)測(cè)來對(duì)本身所拍攝的幀進(jìn)行壓縮編碼的基準(zhǔn)相機(jī)、和通過使用 了本身所拍攝的幀的動(dòng)作預(yù)測(cè)和使用了其他的相機(jī)所拍攝的幀的動(dòng)作預(yù) 測(cè)來對(duì)本身所拍攝的幀進(jìn)行壓縮編碼的參照相機(jī)，該壓縮編碼裝置包含-在對(duì)上述參照相機(jī)所拍攝的幀進(jìn)行壓縮編碼時(shí)，根據(jù)在拍攝成為處理對(duì) 象的幀之前所拍攝的幀中的被攝體的動(dòng)作，來確定用于動(dòng)作預(yù)測(cè)的其他 的相機(jī)的幀的確定單元；對(duì)于上述參照相機(jī)所拍攝的幀，通過使用了上 述確定單元所確定的幀和該參照相機(jī)所拍攝的其他幀的動(dòng)作預(yù)測(cè)來進(jìn)行 壓縮編碼，對(duì)于上述基準(zhǔn)相機(jī)所拍攝的幀，通過幀內(nèi)預(yù)測(cè)或者僅使用了 該基準(zhǔn)相機(jī)所拍攝的其他幀的動(dòng)作預(yù)測(cè)來進(jìn)行壓縮編碼的壓縮編碼單 元；生成預(yù)測(cè)信息的動(dòng)作預(yù)測(cè)信息制作單元，該預(yù)測(cè)信息包含表示各幀 是基準(zhǔn)相機(jī)所拍攝的幀還是參照相機(jī)所拍攝的幀的信息，和針對(duì)參照相 機(jī)所拍攝的幀，將該幀與用于動(dòng)作預(yù)測(cè)的其他幀對(duì)應(yīng)起來的信息；以及 生成一個(gè)動(dòng)態(tài)圖像數(shù)據(jù)的合成單元，該一個(gè)動(dòng)態(tài)圖像數(shù)據(jù)包含由上述基 準(zhǔn)相機(jī)所拍攝的多個(gè)編碼后的幀、由上述參照相機(jī)所拍攝的多個(gè)編碼后 的幀、和上述動(dòng)作預(yù)測(cè)信息，其特征在于，該解壓縮解碼裝置包含判斷單元，其從上述動(dòng)態(tài)圖像數(shù)據(jù)中提取出動(dòng)作預(yù)測(cè)信息，判斷各 幀是由基準(zhǔn)相機(jī)還是參照相機(jī)所拍攝的幀；以及解壓縮解碼單元，其對(duì)于由上述判斷單元判斷為是基準(zhǔn)相機(jī)所拍攝 的幀的幀，通過僅基于由相同的相機(jī)所拍攝的其他幀的動(dòng)作預(yù)測(cè)進(jìn)行解 壓縮解碼，對(duì)于由上述判斷單元判斷為是參照相機(jī)所拍攝的幀的幀，通 過基于由相同的相機(jī)所拍攝的其他幀和由其他相機(jī)拍攝的幀的動(dòng)作預(yù)測(cè) 進(jìn)行解壓縮解碼。
9. 一種壓縮編碼方法，該壓縮編碼方法對(duì)用多臺(tái)相機(jī)所拍攝的幀進(jìn) 行壓縮編碼，該多臺(tái)相機(jī)包括通過僅使用了本身所拍攝的幀的動(dòng)作預(yù)測(cè) 來對(duì)本身所拍攝的幀進(jìn)行壓縮編碼的基準(zhǔn)相機(jī)、和通過使用了本身所拍 攝的幀的動(dòng)作預(yù)測(cè)和使用了其他的相機(jī)所拍攝的幀的動(dòng)作預(yù)測(cè)來對(duì)本身 所拍攝的幀進(jìn)行壓縮編碼的參照相機(jī)，其特征在于，該壓縮編碼方法包 含信息處理裝置在對(duì)上述參照相機(jī)所拍攝的幀進(jìn)行壓縮編碼時(shí)，根據(jù) 在拍攝成為處理對(duì)象的幀之前所拍攝的幀中的被攝體的動(dòng)作，來確定用于動(dòng)作預(yù)測(cè)的幀的步驟；信息處理裝置對(duì)于上述參照相機(jī)所拍攝的幀，通過使用了上述確定 步驟所確定的幀和該參照相機(jī)所拍攝的其他幀的動(dòng)作預(yù)測(cè)來進(jìn)行壓縮編 碼，對(duì)于上述基準(zhǔn)相機(jī)所拍攝的幀，通過幀內(nèi)預(yù)測(cè)或者僅使用了該基準(zhǔn) 相機(jī)所拍攝的其他幀的動(dòng)作預(yù)測(cè)來進(jìn)行壓縮編碼的步驟；信息處理裝置生成預(yù)測(cè)信息的步驟，該預(yù)測(cè)信息包含表示各幀是基 準(zhǔn)相機(jī)所拍攝的幀還是參照相機(jī)所拍攝的幀的信息，和針對(duì)參照相機(jī)所 拍攝的幀，將該幀與用于動(dòng)作預(yù)測(cè)的其他幀對(duì)應(yīng)起來的信息；以及信息處理裝置生成一個(gè)動(dòng)態(tài)圖像數(shù)據(jù)的步驟，該一個(gè)動(dòng)態(tài)圖像數(shù)據(jù) 包含由上述基準(zhǔn)相機(jī)所拍攝的多個(gè)編碼后的幀、由上述參照相機(jī)所拍攝 的多個(gè)編碼后的幀、和上述動(dòng)作預(yù)測(cè)信息。
10. —種解壓縮解碼方法，該解壓縮解碼方法對(duì)由壓縮編碼裝置所制 作的動(dòng)態(tài)圖像數(shù)據(jù)進(jìn)行解壓縮解碼，上述壓縮編碼裝置對(duì)用多臺(tái)相機(jī)所 拍攝的幀進(jìn)行壓縮編碼，該多臺(tái)相機(jī)包括通過僅使用了本身所拍攝的幀 的動(dòng)作預(yù)測(cè)來對(duì)本身所拍攝的幀進(jìn)行壓縮編碼的基準(zhǔn)相機(jī)、和通過使用 了本身所拍攝的幀的動(dòng)作預(yù)測(cè)和使用了其他的相機(jī)所拍攝的幀的動(dòng)作預(yù) 測(cè)來對(duì)本身所拍攝的幀進(jìn)行壓縮編碼的參照相機(jī)，該壓縮編碼裝置包含: 在對(duì)上述參照相機(jī)所拍攝的幀進(jìn)行壓縮編碼時(shí)，根據(jù)在拍攝成為處理對(duì) 象的幀之前所拍攝的幀中的被攝體的動(dòng)作，來確定用于動(dòng)作預(yù)測(cè)的幀的 確定單元；對(duì)于上述參照相機(jī)所拍攝的幀，通過使用了上述確定單元所 確定的幀和該參照相機(jī)所拍攝的其他幀的動(dòng)作預(yù)測(cè)來進(jìn)行壓縮編碼，對(duì) 于上述基準(zhǔn)相機(jī)所拍攝的幀，通過幀內(nèi)預(yù)測(cè)或者僅使用了該基準(zhǔn)相機(jī)所 拍攝的其他幀的動(dòng)作預(yù)測(cè)來進(jìn)行壓縮編碼的壓縮編碼單元生成預(yù)測(cè)信息的動(dòng)作預(yù)測(cè)信息制作單元，該預(yù)測(cè)信息包含表示各幀是基準(zhǔn)相機(jī)所拍 攝的幀還是參照相機(jī)所拍攝的幀的信息，和針對(duì)參照相機(jī)所拍攝的幀，將該幀與用于動(dòng)作預(yù)測(cè)的其他幀對(duì)應(yīng)起來的信息；以及生成一個(gè)動(dòng)態(tài)圖 像數(shù)據(jù)的合成單元，該一個(gè)動(dòng)態(tài)圖像數(shù)據(jù)包含由上述基準(zhǔn)相機(jī)所拍攝的 多個(gè)編碼后的幀、由上述參照相機(jī)所拍攝的多個(gè)編碼后的幀、和上述動(dòng) 作預(yù)測(cè)信息，其特征在于，該解壓縮解碼方法包含-信息處理裝置從上述動(dòng)態(tài)圖像數(shù)據(jù)中提取出動(dòng)作預(yù)測(cè)信息，判斷各 幀是由基準(zhǔn)相機(jī)還是參照相機(jī)所拍攝的幀的步驟；以及信息處理裝置對(duì)于由上述判斷步驟判斷為是基準(zhǔn)相機(jī)所拍攝的幀的 幀，通過僅基于由相同的相機(jī)所拍攝的其他幀的動(dòng)作預(yù)測(cè)進(jìn)行解壓縮解 碼，對(duì)于由上述判斷步驟判斷為是參照相機(jī)所拍攝的幀的幀，通過基于 由相同的相機(jī)所拍攝的其他幀和由其他相機(jī)拍攝的幀的動(dòng)作預(yù)測(cè)進(jìn)行解 壓縮解碼的步驟。
11. 一種用于使信息處理裝置執(zhí)行多臺(tái)相機(jī)所拍攝的幀的壓縮編碼 的程序，該多臺(tái)相機(jī)包括通過僅使用了本身所拍攝的幀的動(dòng)作預(yù)測(cè)來對(duì) 本身所拍攝的幀進(jìn)行壓縮編碼的基準(zhǔn)相機(jī)、和通過使用了本身所拍攝的 幀的動(dòng)作預(yù)測(cè)和使用了其他的相機(jī)所拍攝的幀的動(dòng)作預(yù)測(cè)來對(duì)本身所拍 攝的幀進(jìn)行壓縮編碼的參照相機(jī)，其特征在于，該程序用于使信息處理 裝置執(zhí)行下面的步驟'在對(duì)上述參照相機(jī)所拍攝的幀進(jìn)行壓縮編碼時(shí)，根據(jù)在拍攝成為處 理對(duì)象的幀之前所拍攝的幀中的被攝體的動(dòng)作，來確定用于動(dòng)作預(yù)測(cè)的 幀的步驟；對(duì)于上述參照相機(jī)所拍攝的幀，通過使用了上述確定步驟所確定的 幀和該參照相機(jī)所拍攝的其他幀的動(dòng)作預(yù)測(cè)來進(jìn)行壓縮編碼，對(duì)于上述 基準(zhǔn)相機(jī)所拍攝的幀，通過幀內(nèi)預(yù)測(cè)或者僅使用了該基準(zhǔn)相機(jī)所拍攝的其他幀的動(dòng)作預(yù)測(cè)來進(jìn)行壓縮編碼的步驟；生成預(yù)測(cè)信息的步驟，該預(yù)測(cè)信息包含表示各幀是基準(zhǔn)相機(jī)所拍攝 的幀還是參照相機(jī)所拍攝的幀的信息，和針對(duì)參照相機(jī)所拍攝的幀，將該幀與用于動(dòng)作預(yù)測(cè)的其他幀對(duì)應(yīng)起來的信息；以及生成一個(gè)動(dòng)態(tài)圖像數(shù)據(jù)的步驟，該一個(gè)動(dòng)態(tài)圖像數(shù)據(jù)包含由上述基 準(zhǔn)相機(jī)所拍攝的多個(gè)編碼后的幀、由上述參照相機(jī)所拍攝的多個(gè)編碼后 的幀、和上述動(dòng)作預(yù)測(cè)信息。
12. —種用于使信息處理裝置執(zhí)行壓縮編碼裝置所制作的動(dòng)態(tài)圖像 數(shù)據(jù)的解壓縮解碼的程序，上述壓縮編碼裝置對(duì)用多臺(tái)相機(jī)所拍攝的幀 進(jìn)行壓縮編碼，該多臺(tái)相機(jī)包括通過僅使用了本身所拍攝的幀的動(dòng)作預(yù) 測(cè)來對(duì)本身所拍攝的幀進(jìn)行壓縮編碼的基準(zhǔn)相機(jī)、和通過使用了本身所 拍攝的幀的動(dòng)作預(yù)測(cè)和使用了其他的相機(jī)所拍攝的幀的動(dòng)作預(yù)測(cè)來對(duì)本 身所拍攝的幀進(jìn)行壓縮編碼的參照相機(jī)，該壓縮編碼裝置包含在對(duì)上 述參照相機(jī)所拍攝的幀進(jìn)行壓縮編碼時(shí)，根據(jù)在拍攝成為處理對(duì)象的幀 之前所拍攝的幀中的被攝體的動(dòng)作，來確定用于動(dòng)作預(yù)測(cè)的幀的確定單 元；對(duì)于上述參照相機(jī)所拍攝的幀，通過使用了上述確定單元所確定的 幀和該參照相機(jī)所拍攝的其他幀的動(dòng)作預(yù)測(cè)來進(jìn)行壓縮編碼，對(duì)于上述 基準(zhǔn)相機(jī)所拍攝的幀，通過幀內(nèi)預(yù)測(cè)或者僅使用了該基準(zhǔn)相機(jī)所拍攝的 其他幀的動(dòng)作預(yù)測(cè)來進(jìn)行壓縮編碼的壓縮編碼單元；生成預(yù)測(cè)信息的動(dòng) 作預(yù)測(cè)信息制作單元，該預(yù)測(cè)信息包含表示各幀是基準(zhǔn)相機(jī)所拍攝的幀 還是參照相機(jī)所拍攝的幀的信息，和針對(duì)參照相機(jī)所拍攝的幀，將該幀 與用于動(dòng)作預(yù)測(cè)的其他幀對(duì)應(yīng)起來的信息；以及生成一個(gè)動(dòng)態(tài)圖像數(shù)據(jù)的合成單元，該一個(gè)動(dòng)態(tài)圖像數(shù)據(jù)包含由上述基準(zhǔn)相機(jī)所拍攝的多個(gè)編 碼后的幀、由上述參照相機(jī)所拍攝的多個(gè)編碼后的幀、和上述動(dòng)作預(yù)測(cè)信息，其特征在于，該程序用于使信息處理裝置執(zhí)行下面的步驟從上述動(dòng)態(tài)圖像數(shù)據(jù)中提取出動(dòng)作預(yù)測(cè)信息，判斷各幀是由基準(zhǔn)相 機(jī)還是參照相機(jī)所拍攝的幀的步驟；以及對(duì)于由上述判斷步驟判斷為是基準(zhǔn)相機(jī)所拍攝的幀的幀，通過僅基 于由相同的相機(jī)所拍攝的其他幀的動(dòng)作預(yù)測(cè)進(jìn)行解壓縮解碼，對(duì)于由上 述判斷步驟判斷為是參照相機(jī)所拍攝的幀的幀，通過基于由相同的相機(jī) 所拍攝的其他幀和由其他相機(jī)拍攝的幀的動(dòng)作預(yù)測(cè)進(jìn)行解壓縮解碼的步 驟。
13. —種壓縮編碼裝置，該壓縮編碼裝置對(duì)由多臺(tái)相機(jī)所拍攝的幀進(jìn) 行壓縮編碼，其特征在于，該壓縮編碼裝置具有拍攝單元，其由上述多臺(tái)相機(jī)中的分別至少一個(gè)基準(zhǔn)相機(jī)和參照相機(jī)構(gòu)成，所述基準(zhǔn)相機(jī)僅使用本身的相機(jī)所拍攝的幀來進(jìn)行壓縮編碼， 所述參照相機(jī)使用本身和其他相機(jī)所拍攝的幀來進(jìn)行壓縮編碼；確定單元，其在對(duì)上述參照相機(jī)所拍攝的幀進(jìn)行壓縮編碼時(shí)，根據(jù) 在成為處理對(duì)象的幀在時(shí)間上前后所拍攝的幀中的被攝體的動(dòng)作矢量來 確定用于動(dòng)作預(yù)測(cè)的本身或者其他相機(jī)所拍攝的幀；以及編碼單元，其至少對(duì)上述參照相機(jī)所拍攝的幀通過使用了由上述確 定單元所確定的幀和由該參照相機(jī)所拍攝的其他幀的動(dòng)作預(yù)測(cè)來進(jìn)行壓縮編碼。
全文摘要
本發(fā)明提供一種壓縮編碼裝置、解壓縮解碼裝置，可以通過選擇最適用于預(yù)測(cè)的幀來提高預(yù)測(cè)效率、編碼效率。壓縮編碼裝置和方法對(duì)用多臺(tái)相機(jī)所拍攝的幀進(jìn)行壓縮編碼，該多臺(tái)相機(jī)包括通過僅使用了本身所拍攝的幀的動(dòng)作預(yù)測(cè)來對(duì)本身所拍攝的幀進(jìn)行壓縮編碼的基準(zhǔn)相機(jī)、和通過使用了本身所拍攝的幀的動(dòng)作預(yù)測(cè)和使用了其他的相機(jī)所拍攝的幀的動(dòng)作預(yù)測(cè)來對(duì)本身所拍攝的幀進(jìn)行壓縮編碼的參照相機(jī)，該壓縮編碼裝置和方法在對(duì)參照相機(jī)所拍攝的幀進(jìn)行壓縮編碼時(shí)，根據(jù)在拍攝成為處理對(duì)象的幀之前所拍攝的幀中的被攝體的動(dòng)作，來確定用于動(dòng)作預(yù)測(cè)的幀。
文檔編號(hào)H04N7/32GK101099392SQ200580046159
公開日2008年1月2日 申請(qǐng)日期2005年1月7日 優(yōu)先權(quán)日2005年1月7日
發(fā)明者伊藤隆, 山田幸二, 數(shù)井君彥 申請(qǐng)人:富士通株式會(huì)社