專利名稱：影像處理裝置、影像處理方法以及計(jì)算機(jī)程序的制作方法
技術(shù)領(lǐng)域：
涉及進(jìn)行增強(qiáng)輸入影像的深度感的處理的影像處理裝置、影像處理方法、以及用于使計(jì)算機(jī)作為所述影像處理裝置來(lái)工作的計(jì)算機(jī)程序。
背景技術(shù)：
提高顯示于電視、便攜式電話等影像顯示裝置的二維影像的立體感或深度感的各種各樣的手法已經(jīng)被提出。例如，作為提高立體感或深度感的方法之一，提出了利用兩眼視差的立體觀看手法。立體觀看手法是通過(guò)對(duì)觀眾的左右眼分別送出左眼用視差圖像和右眼用視差圖像，來(lái)使觀眾產(chǎn)生錯(cuò)覺(jué)，對(duì)二維平面賦予立體感或深度感的手法。在對(duì)左右眼分別送出左眼用視差圖像以及右眼用視差圖像的方式中，存在如下方式使用了交替地切換左眼用視差圖像和右眼用視差圖像來(lái)進(jìn)行顯示的影像顯示裝置、和與各視差圖像的切換頻率同步地切換左右的擋板來(lái)截?cái)喙饴返难坨R(例如，專利文獻(xiàn)1)。此外，還存在立體影片(anaglyph)方式，該立體影片方式通過(guò)使用將左眼用視差圖像以及右眼用視差圖像分別色變換為紅色圖像以及藍(lán)色圖像，并重疊地顯示色變換后的各圖像的影像顯示裝置、和紅藍(lán)眼鏡，來(lái)對(duì)左右眼分別送出紅色圖像以及藍(lán)色圖像。并且，還存在如下方式通過(guò)使用對(duì)左眼用視差圖像以及右眼用視差圖像分別用不同的偏光來(lái)進(jìn)行顯示的影像顯示裝置和偏光眼鏡，來(lái)向左右眼分別送出左眼用視差圖像以及右眼用視差圖像(例如，專利文獻(xiàn)2)。另一方面，在繪畫領(lǐng)域中，利用透視法、陰影法、前進(jìn)色以及后退色的組合等繪畫技巧來(lái)提高繪畫的立體感或深度感。利用這些繪畫技巧而制作的繪畫作品，被稱作錯(cuò)覺(jué)藝術(shù)(trick art)或錯(cuò)覺(jué)畫法(trompe loeil)。錯(cuò)覺(jué)藝術(shù)通過(guò)利用前述的繪畫技巧來(lái)描繪平面作品中的背景、各對(duì)象間的重疊關(guān)系，能夠產(chǎn)生二維描繪的對(duì)象的一部分宛如突出到實(shí)際世界的三維空間中的錯(cuò)覺(jué)，能夠?qū)ζ矫孀髌焚x予立體感或深度感。(先行技術(shù)文獻(xiàn))專利文獻(xiàn)專利文獻(xiàn)1 JP特開昭60-7291號(hào)公報(bào)專利文獻(xiàn)2 JP特開平1-171390號(hào)公報(bào)但是，在專利文獻(xiàn)1、2所涉及的系統(tǒng)中，需要準(zhǔn)備專用的影像顯示裝置以及特殊的眼鏡。而且，存在觀眾必須佩戴特殊的眼鏡，視聽方法受到很大限制的問(wèn)題。

發(fā)明內(nèi)容
本發(fā)明鑒于這種情況而作，目的在于提供一種能夠不使用專用的影像顯示裝置以及特殊的眼鏡，僅通過(guò)圖像處理來(lái)提高影像的深度感的影像處理裝置、影像處理方法以及用于使計(jì)算機(jī)作為所述影像處理裝置來(lái)工作的計(jì)算機(jī)程序。本發(fā)明所涉及的影像處理裝置，其進(jìn)行增強(qiáng)輸入的影像的深度感的處理，所述影像處理裝置的特征在于，具備深度信息取得單元，其取得深度信息，該深度信息表示構(gòu)成所述影像的多個(gè)影像部分各自的深度方向的距離；影像分割單元，其基于由該深度信息取得單元取得的深度信息以及所述影像，來(lái)將該影像分割為深度方向的距離不同的多個(gè)影像部分；和影像合成單元，其按照在由該影像分割單元分割出的一個(gè)影像部分上重疊用于增強(qiáng)所述影像的深度的深度增強(qiáng)影像，并且在該深度增強(qiáng)圖像上重疊與所述一個(gè)影像部分相比深度方向的距離較短的其他影像部分的方式來(lái)合成各影像部分以及深度增強(qiáng)圖像。本發(fā)明所涉及的影像處理裝置的特征在于，還具備生成單元，其基于輸入的影像的亮度或顏色，來(lái)生成亮度或顏色與該影像不同的深度增強(qiáng)影像，所述影像合成單元對(duì)由所述生成單元生成的深度增強(qiáng)影像進(jìn)行合成。本發(fā)明所涉及的影像處理裝置的特征在于，所述生成單元，基于由所述影像分割單元分割出的一個(gè)影像部分以及/或者其他影像部分的亮度或顏色，來(lái)生成亮度或顏色與該影像部分不同的深度增強(qiáng)影像。本發(fā)明所涉及的影像處理裝置的特征在于，還具備移動(dòng)方向信息取得單元，其構(gòu)成為按照時(shí)間順序輸入多個(gè)影像，并取得表示按照時(shí)間順序輸入的各影像間的影像部分的移動(dòng)方向的移動(dòng)方向信息，所述生成單元，生成具有與由該移動(dòng)方向信息取得單元取得的移動(dòng)方向信息相應(yīng)的形狀的深度增強(qiáng)影像。本發(fā)明所涉及的影像處理裝置的特征在于，還具備移動(dòng)方向信息取得單元，其構(gòu)成為按照時(shí)間順序輸入多個(gè)影像，并取得表示按照時(shí)間順序輸入的各影像間的影像部分的移動(dòng)方向的移動(dòng)方向信息；和生成單元，其生成具有與由該移動(dòng)方向信息取得單元取得的移動(dòng)方向信息相應(yīng)的形狀的深度增強(qiáng)影像，所述影像合成單元對(duì)由所述生成單元生成的深度增強(qiáng)影像進(jìn)行合成。本發(fā)明所涉及的影像處理裝置的特征在于，還具備存儲(chǔ)單元，其存儲(chǔ)規(guī)定的三維圖像，所述生成單元，具備旋轉(zhuǎn)處理單元，該旋轉(zhuǎn)處理單元按照使所述存儲(chǔ)單元所存儲(chǔ)的三維圖像、和由所述移動(dòng)方向信息取得單元取得的一個(gè)影像部分的移動(dòng)方向信息所表示的移動(dòng)方向成為規(guī)定的位置關(guān)系的方式，來(lái)使該三維圖像旋轉(zhuǎn)，并生成具有將被該旋轉(zhuǎn)處理單元旋轉(zhuǎn)后的三維圖像投影于規(guī)定的二維平面而得到的二維形狀的深度增強(qiáng)影像。本發(fā)明所涉及的影像處理方法，進(jìn)行增強(qiáng)輸入的影像的深度感的處理，所述影像處理方法的特征在于，取得深度信息，該深度信息表示構(gòu)成所述影像的多個(gè)影像部分各自的深度方向的距離；基于取得的深度信息以及所述影像，來(lái)將該影像分割為深度方向的距離不同的多個(gè)影像部分；按照在分割出的一個(gè)影像部分上重疊用于增強(qiáng)所述影像的深度的深度增強(qiáng)影像，并且在該深度增強(qiáng)圖像上重疊與所述一個(gè)影像部分相比深度方向的距離較短的其他影像部分的方式來(lái)合成各影像部分以及深度增強(qiáng)圖像。本發(fā)明所涉及的計(jì)算機(jī)程序，使計(jì)算機(jī)執(zhí)行增強(qiáng)影像的深度感的處理，所述計(jì)算機(jī)程序的特征在于，使所述計(jì)算機(jī)執(zhí)行如下步驟基于表示構(gòu)成所述影像的多個(gè)影像部分各自的深度方向的距離的深度信息以及所述影像，來(lái)將該影像分割為深度方向的距離不同的多個(gè)影像部分的步驟；按照在分割出的一個(gè)影像部分上重疊用于增強(qiáng)所述影像的深度的深度增強(qiáng)影像，并且在該深度增強(qiáng)圖像上重疊與所述一個(gè)影像部分相比深度方向的距離較短的其他影像部分的方式來(lái)合成各影像部分以及深度增強(qiáng)圖像的步驟。 在本發(fā)明中，取得表示構(gòu)成影像的多個(gè)影像部分各自的深度方向的距離的深度信息，并基于取得的深度信息，來(lái)將該影像分割為深度方向的距離不同的多個(gè)影像部分。然后，按照在至少一個(gè)影像部分上重疊用于增強(qiáng)所述影像的深度的深度增強(qiáng)影像，并且在該深度增強(qiáng)圖像上重疊與所述一個(gè)影像部分相比深度方向的距離較短的其他影像部分的方式來(lái)合成各影像部分以及深度增強(qiáng)圖像。合成后的影像是將一個(gè)影像部分、深度增強(qiáng)影像、 以及其他影像部分依次重疊地進(jìn)行合成的影像，因此通過(guò)深度增強(qiáng)影像而增強(qiáng)了一個(gè)影像部分以及其他影像部分的深度。具體而言，在一個(gè)影像部分的一部分上重疊地合成了深度增強(qiáng)影像的情況下，觀眾識(shí)別為深度增強(qiáng)影像位于一個(gè)影像部分的面前側(cè)。此外，在深度增強(qiáng)影像的一部分上重疊地合成了其他影像部分的情況下，觀眾識(shí)別為其他影像部分位于深度增強(qiáng)影像部分的面前側(cè)。因此，能夠給觀眾帶來(lái)一個(gè)影像部分和其他影像部分在深度方向上分離的深度感。另外，深度增強(qiáng)影像的個(gè)數(shù)不限定于1個(gè)，將影像分割為3個(gè)以上的影像部分，并按照在各影像部分間分別插入深度增強(qiáng)影像的方式，來(lái)合成各影像部分以及深度增強(qiáng)影像的技術(shù)思想也包含在本發(fā)明中。在本發(fā)明中，生成單元基于輸入的影像的亮度或顏色來(lái)生成亮度或顏色與該影像不同的深度增強(qiáng)影像。因此，深度增強(qiáng)圖像和影像部分具有不同的亮度或顏色。因此，能夠有效地增強(qiáng)一個(gè)影像部分以及其他影像部分的深度。在本發(fā)明中，生成單元基于一個(gè)影像部分以及/或者其他影像部分的亮度或顏色來(lái)生成亮度或顏色與該影像部分不同的深度增強(qiáng)影像。因此，深度增強(qiáng)圖像和影像部分具有不同的亮度或顏色。因此，能夠有效地增強(qiáng)一個(gè)影像部分以及其他影像部分的深度。在本發(fā)明中，移動(dòng)方向信息取得單元取得表示按照時(shí)間順序輸入的各影像間的影像部分的移動(dòng)方向的移動(dòng)方向信息。然后，生成單元生成具有與取得的移動(dòng)方向信息相應(yīng)的形狀的深度增強(qiáng)圖像。即，生成單元生成具有能夠增強(qiáng)影像部分的移動(dòng)的形狀的深度增強(qiáng)圖像。在本發(fā)明中，存儲(chǔ)單元存儲(chǔ)有作為深度增強(qiáng)影像的基礎(chǔ)的三維圖像。旋轉(zhuǎn)處理單元按照使存儲(chǔ)單元所存儲(chǔ)的三維圖像、和由移動(dòng)方向信息取得單元取得的移動(dòng)方向信息所表示的移動(dòng)方向成為規(guī)定的位置關(guān)系的方式，來(lái)使該三維圖像旋轉(zhuǎn)。即，三維圖像按照向著影像部分的移動(dòng)方向的方式旋轉(zhuǎn)。然后，生成單元生成使旋轉(zhuǎn)后的三維圖像投影于規(guī)定的二維平面而得到的具有二維形狀的深度增強(qiáng)影像。因此，合成的深度增強(qiáng)影像成為向著影像部分的移動(dòng)方向的形狀。因此，影像部分的移動(dòng)被增強(qiáng)。另外，三維圖像表示三維空間中的圖像，在三維圖像中，當(dāng)然包括三維空間中的立體圖像，而且還包含平面圖像。(發(fā)明效果)根據(jù)本發(fā)明，能夠不使用專用的影像顯示裝置以及特殊的眼鏡，僅通過(guò)圖像處理來(lái)提高影像的深度感。


圖1是表示本發(fā)明的實(shí)施方式所涉及的影像處理裝置的一個(gè)結(jié)構(gòu)例的框圖。圖2是表示影像取得部所取得的影像的一例的說(shuō)明圖。圖3是概念性地表示深度信息的說(shuō)明圖。圖4A是概念性地表示前景影像部分的說(shuō)明圖。
圖4B是概念性地表示背景影像部分的說(shuō)明圖。圖5A是概念性地表示突出信息的說(shuō)明圖。圖5B是概念性地表示突出信息的說(shuō)明圖。圖6是概念性地表示原三維框?qū)ο蟮恼f(shuō)明圖。圖7A是概念性地表示框?qū)ο蟮男螤顩Q定方法的說(shuō)明圖。圖7B是概念性地表示框?qū)ο蟮男螤顩Q定方法的說(shuō)明圖。圖7C是概念性地表示框?qū)ο蟮男螤顩Q定方法的說(shuō)明圖。圖8A是概念性地表示框?qū)ο蟮牧炼纫约邦伾臎Q定方法的說(shuō)明圖。圖8B是概念性地表示框?qū)ο蟮牧炼纫约邦伾臎Q定方法的說(shuō)明圖。圖8C是概念性地表示框?qū)ο蟮牧炼纫约邦伾臎Q定方法的說(shuō)明圖。圖8D是概念性地表示框?qū)ο蟮牧炼纫约邦伾臎Q定方法的說(shuō)明圖。圖8E是概念性地表示框?qū)ο蟮牧炼纫约邦伾臎Q定方法的說(shuō)明圖。圖8F是概念性地表示框?qū)ο蟮牧炼纫约邦伾臎Q定方法的說(shuō)明圖。圖9A是概念性地表示影像合成部的處理內(nèi)容的說(shuō)明圖。圖9B是概念性地表示影像合成部的處理內(nèi)容的說(shuō)明圖。圖10是表示影像處理裝置所實(shí)施的影像處理方法的流程的流程圖。圖11是表示框?qū)ο笊刹康膭?dòng)作流程的流程圖。圖12是表示變形例1所涉及的影像處理裝置的一個(gè)結(jié)構(gòu)例的框圖。圖13是表示變形例2所涉及的影像處理裝置的一個(gè)結(jié)構(gòu)例的框圖。圖14是表示作為深度增強(qiáng)影像的一例的窗簾對(duì)象的示意圖。圖15是概念性地表示變形例4所涉及的框?qū)ο蟮男螤顩Q定方法的說(shuō)明圖。圖16是概念性地表示變形例5所涉及的影像處理裝置的框圖。
具體實(shí)施例方式以下，對(duì)本發(fā)明基于表示其實(shí)施方式的附圖來(lái)進(jìn)行詳述。圖1是表示本發(fā)明的實(shí)施方式所涉及的影像處理裝置1的一個(gè)結(jié)構(gòu)例的框圖。本實(shí)施方式所涉及的影像處理裝置1具備影像取得部11、深度信息取得部12、影像分割部 13、突出信息取得部14、框?qū)ο笊刹?5以及影像合成部16。<影像取得部>影像取得部11取得提高立體感或深度感的影像處理對(duì)象的影像，并將取得的影像輸出到影像分割部13。由影像取得部11取得的影像可以為靜止圖像或運(yùn)動(dòng)圖像的任意一種。靜止圖像由1幀的影像構(gòu)成，運(yùn)動(dòng)圖像由時(shí)間順序的多幀的影像構(gòu)成。此外， 該影像既可以為用規(guī)定的編碼方式、例如JPEG(Joint Photographic Experts Group)、 MPEG-2 (Moving Picture Expert Group phase2)等壓縮后的影像，也可以為非壓縮的影像。 在為取得編碼后的影像的結(jié)構(gòu)的情況下，影像取得部11按照規(guī)定的編碼方式將取得的影像解碼為例如RGB形式或YUV形式的影像，并將解碼而得到的影像輸出到影像分割部13。以下，在本實(shí)施方式中，為了說(shuō)明的簡(jiǎn)單，說(shuō)明對(duì)構(gòu)成靜止圖像或動(dòng)態(tài)圖像的1幀的影像進(jìn)行的處理，但在動(dòng)態(tài)圖像的情況下，對(duì)按照時(shí)間順序連續(xù)的各幀的影像進(jìn)行同樣的處理。
圖2是表示影像取得部11所取得的影像的一例的說(shuō)明圖。圖2所示的影像是表示二維排列的多個(gè)像素各自的亮度以及顏色的數(shù)據(jù)，由與深度方向的距離不同的多個(gè)對(duì)象、 例如鳥、樹、太陽(yáng)、天空、云等被攝體相當(dāng)?shù)挠跋駱?gòu)成。深度方向的距離是指，對(duì)象涉及的被攝體與規(guī)定位置、例如在該影像的攝像中使用的攝影裝置的位置之間的距離。以下，適當(dāng)將該距離稱作深度。<深度信息取得部>深度信息取得部12取得表示構(gòu)成由影像取得部11得到的影像的多個(gè)對(duì)象各自的深度的深度信息，并將取得的深度信息輸出到影像分割部13。在本實(shí)施方式中，在攝像時(shí)預(yù)先測(cè)量深度方向上的攝影裝置以及各被攝體之間的距離，并將具有測(cè)量而得到的距離的信息的深度信息與影像分別地輸入到影像處理裝置1。另外，攝影裝置以及各被攝體之間的距離，運(yùn)用例如立體(stereo)法來(lái)進(jìn)行測(cè)量即可。具體而言，用分離配置的兩個(gè)攝像部來(lái)對(duì)共同的被攝體進(jìn)行攝像，計(jì)算出由各攝像部拍攝到的兩枚影像中的被攝體的視差，并利用三角測(cè)量的原理來(lái)求出攝像裝置與被攝體之間的距離。此外，也可以在攝像裝置中設(shè)置對(duì)被攝體照射紅外線的測(cè)距用的紅外線照射部、 和測(cè)定被被攝體反射的紅外線的強(qiáng)度的紅外線檢測(cè)部，并基于從各被攝體反射的紅外線的強(qiáng)度，求出攝像裝置與被攝體之間的距離。圖3是概念性地表示深度信息的說(shuō)明圖。如圖3所示，將具有與構(gòu)成影像的多個(gè)對(duì)象分別對(duì)應(yīng)的深度信息的圖像稱作深度圖像。深度例如按照距離從短到長(zhǎng)的順序用1、
2.....5這些升序的數(shù)字來(lái)表示。具體而言，深度圖像由與輸入的影像相同的多個(gè)像素構(gòu)
成，并分配了表示與構(gòu)成輸入的影像的各像素對(duì)應(yīng)的深度的1 5中任意一個(gè)數(shù)值作為深度圖像的各像素的像素值。另外，在此為了說(shuō)明的簡(jiǎn)單，用5個(gè)等級(jí)來(lái)表示深度信息，但深度信息從不足5個(gè)等級(jí)到多于5個(gè)等級(jí)都可以，當(dāng)然用無(wú)等級(jí)來(lái)表示也沒(méi)有問(wèn)題。<影像分割部>影像分割部13基于由深度信息取得部12取得的深度信息，將由影像取得部11取得的影像分割為前景影像部分Fll和背景影像部分F12(參照?qǐng)D4A以及圖4B)。然后，影像分割部13將分割后的前景影像部分Fll以及背景影像部分F12輸出到框?qū)ο笊刹?5以及影像合成部16。具體而言，影像分割部13對(duì)與取得的影像的各像素對(duì)應(yīng)的深度和規(guī)定的閾值進(jìn)行比較，在深度不到閾值的情況下，將該像素作為前景影像部分Fll的像素，在深度為閾值以上的情況下，將該像素作為背景影像部分F12的像素。閾值是影像分割部13所預(yù)先存儲(chǔ)的常數(shù)。在假設(shè)表示各像素的變量為η = 0、1、2...，表示前景影像部分Fll以及背景影像部分F12的區(qū)別的變量為I3x(Ii)，表示各像素的深度的變量為Depth (η)，閾值為Thl的情況下，Px(η)用下式(1)、⑵來(lái)表示。Px (n)=背景(Thl < Depth (η)). . · (1)Px (η)=前景(Thl 彡 Depth (η)). . · (2)圖4A是概念性地表示前景影像部分Fll的說(shuō)明圖，圖4B是概念性地表示背景影像部分F12的說(shuō)明圖。在閾值Thl為2的情況下，圖2所示的影像F1，基于圖3所示的深度圖像Gl以及閾值Thl = 2，被分割為前景影像部分Fll (圖4A中的實(shí)線所包圍的白色區(qū)域)和背景影像部分F 12(圖4B中的實(shí)線所包圍的白色區(qū)域(除了虛線所包圍的灰色區(qū)域以外的區(qū)域))。另外，雖然假設(shè)閾值Thl是預(yù)先記錄在影像分割部13中的值而進(jìn)行了說(shuō)明，但也可以為能夠由使用影像處理裝置1的觀眾自由設(shè)定的值。而且，也可以用計(jì)算來(lái)求出閾值 Thl0例如，閾值Thl用下式(3)來(lái)表示。Th = ( Σ Depth (η)) / (w X h)…(3)其中，η是0、1、2.....wXh的整數(shù)、h是影像Fl的高度(在垂直方向上排列的像
素?cái)?shù))、w是影像Fl的寬度(在水平方向上排列的像素?cái)?shù))。<突出信息取得部>突出信息取得部14取得表示對(duì)影像Fl內(nèi)的各對(duì)象設(shè)定的突出方向的突出信息， 并將取得的突出信息向框?qū)ο笊刹?5輸出。在此，突出方向是表示在對(duì)影像內(nèi)的各對(duì)象的突出進(jìn)行增強(qiáng)時(shí)，應(yīng)在哪個(gè)方向上賦予突出感的信息。圖5A以及圖5B是概念性地表示突出信息的說(shuō)明圖。突出信息例如如圖5A所示， 用以影像Fl的縱方向(垂直方向)為Y軸、以橫方向(水平方向)為X軸、以與影像面垂直的前后方向的假想軸為Z軸的三維空間中的三維向量來(lái)表示。該突出信息，如圖5B所示， 按照每個(gè)對(duì)象來(lái)指定。另外，在本實(shí)施方式中突出信息作為標(biāo)準(zhǔn)化后的單位向量來(lái)處理。<框?qū)ο笊刹?gt;框?qū)ο笊刹?5具備存儲(chǔ)作為用于增強(qiáng)影像的深度的框?qū)ο驢3(參照?qǐng)D9)的基礎(chǔ)的信息的存儲(chǔ)部15a ；用于基于突出信息來(lái)決定框?qū)ο驢3的形狀的旋轉(zhuǎn)處理部15b以及投影變換部15c ；和基于前景影像部分Fll以及背景影像部分F12的亮度以及顏色來(lái)決定框?qū)ο驢3的亮度以及顏色的顏色決定部15d。在此框?qū)ο驢3是指，通過(guò)插入到前景影像部分Fll和背景影像部分F12之間來(lái)賦予前景以及背景之間的相對(duì)距離感，用于使觀眾感覺(jué)到立體感、深度感的對(duì)象。在本實(shí)施方式中，生成包圍影像Fl的外周的框狀的影像作為框?qū)ο驢3。存儲(chǔ)部1 預(yù)先存儲(chǔ)有作為框?qū)ο驢3的基礎(chǔ)的信息。具體而言，存儲(chǔ)有三維空間中的三維圖像。以下，將該三維圖像稱作原三維框?qū)ο驢l (參照?qǐng)D6)。圖6是概念性地表示原三維框?qū)ο驢l的說(shuō)明圖。原三維框?qū)ο驢l的中心位于三維空間中的原點(diǎn)，構(gòu)成與XY平面大致平行的矩形框狀。H2表示原三維框?qū)ο驢l的法線向量H2。首先，框?qū)ο笊刹?5基于原三維框?qū)ο驢l和突出信息來(lái)決定框?qū)ο驢3的形狀。圖7A 圖7C是概念性地表示框?qū)ο驢3的形狀決定方法的說(shuō)明圖。在此，如圖7A 所示，假設(shè)對(duì)象F21存在于影像F2內(nèi)，其突出信息已被指定。另外，影像F2是為了說(shuō)明框?qū)ο驢3的生成方法而將影像Fl簡(jiǎn)化后的影像?？?qū)ο驢3的形狀通過(guò)在圖7B所示的假想三維空間中使原三維框?qū)ο驢l根據(jù)突出方向來(lái)旋轉(zhuǎn)，即賦予傾斜度，并將傾斜后的三維框?qū)ο驢11、H21(參照?qǐng)D7C)投影到XY平面上而獲得。以下，詳細(xì)地說(shuō)明。首先，計(jì)算規(guī)定原三維框?qū)ο驢l的傾斜度的傾斜度向量。傾斜度向量用下式(4) 來(lái)表不。(xl，yl, zl) = (aXx, bXy, cXz). . · (4)CN 102379127 A
說(shuō)明書
7/13 其中，(xl，yl，zl)是突出信息，a、b、c是框?qū)ο笊刹?5所預(yù)先存儲(chǔ)的常數(shù) (0 < a、b、c < 1. 0)。然后，旋轉(zhuǎn)處理部15b按照使原三維框?qū)ο驢l的法線向量H2與傾斜度向量(xl， yl, zl) 一致的方式來(lái)使原三維框?qū)ο驢l旋轉(zhuǎn)。接下來(lái)，投影變換部15c將旋轉(zhuǎn)處理后的三維框?qū)ο驢11、H21變換為正投影于XY 平面的二維形狀，并將該二維形狀作為框?qū)ο驢3的形狀來(lái)存儲(chǔ)。例如，如圖7B所示，在對(duì)象F21的突出信息被賦予為(0，0，1)，且a = 1. 0、b = 1.0、C = 1.0的情況下，傾斜度向量為(0，0，1)。并且，旋轉(zhuǎn)處理部1 按照使原三維框?qū)ο驢l的法線向量H2與傾斜度向量(0，0，1)大體一致的方式，來(lái)使該原三維框?qū)ο驢l旋轉(zhuǎn)。 將旋轉(zhuǎn)處理后的三維框?qū)ο驢ll投影于XY平面上而得到的最終形狀成為圖7B的XY平面所示的形狀。此夕卜，如圖7C所示，在對(duì)象F21的突出信息被賦予為(X，0，/‘ (1 -X ^ 2))，且a = 1. 0、b = 1. 0、c = 1. 0的情況下，傾斜度向量成為(X， 0，f (I-X^ 2))。并且，旋轉(zhuǎn)處理部1 按照使原三維框?qū)ο驢l的法線向量Η2與傾斜度向量(X，0，/" (1一ΧΛ2)大體一致的方式，來(lái)使該原三維框?qū)ο驢l旋轉(zhuǎn)。將旋轉(zhuǎn)處理后的三維框?qū)ο螃?1投影于XY平面上而得到的最終形狀成為圖7C的XY平面所示的形狀。接下來(lái)，框?qū)ο笊刹?5決定框的亮度以及顏色。圖8Α 圖8F是概念性地表示框?qū)ο螃?的亮度以及顏色的決定方法的說(shuō)明圖。顏色決定部15d基于影像整體的亮度、即前景影像部分Fll以及背景影像部分F12雙方的亮度來(lái)決定框?qū)ο驢3的顏色。圖8A表示在某一個(gè)特定時(shí)間點(diǎn)上影像取得部11所取得的影像 F3，圖8B是影像F3的亮度直方圖，用f3來(lái)表示影像F3的亮度的平均值。顏色決定部15d 預(yù)先存儲(chǔ)有閾值Th2、在平均亮度f(wàn)3為閾值Th2以上的情況下的框?qū)ο驢3的顏色Cl、和在平均亮度f(wàn)3不到閾值Th2的情況下的框?qū)ο驢3的顏色C2。另外，顏色Cl以及顏色C2具有不同的亮度。由于影像F3的平均亮度f(wàn)3為閾值Th2以上，因此顏色決定部15d如圖8C 所示將Cl決定為框?qū)ο驢3的顏色。同樣地，圖8D表示在另一時(shí)間點(diǎn)上影像取得部11所取得的影像F4，圖8E是影像 F4的亮度直方圖，用f4來(lái)表示影像F4的亮度的平均值。由于影像F4的平均亮度f(wàn)4不到閾值Th2，因此顏色決定部15d如圖8F所示將顏色C2決定為框?qū)ο驢3的顏色。另外，關(guān)于框?qū)ο驢3的顏色，不作特別限定。但是，優(yōu)選在平均亮度為閾值Th2以上的情況下選擇比閾值Th2亮度低的顏色，在平均亮度低于閾值Th2的情況下選擇比閾值 Th2亮度高的顏色。此外，可以預(yù)先將常數(shù)d存儲(chǔ)于顏色決定部15d中，用下式(5)、(6)來(lái)決定框?qū)ο?H3的亮度?？?qū)ο驢3的亮度=平均亮度-d (平均亮度> 閾值TM)... (5)框?qū)ο驢3的亮度=平均亮度+d (平均亮度< 閾值TM)... (6)并且，也可以構(gòu)成為基于背景影像部分F12來(lái)生成半透明的框?qū)ο驢3。在框?qū)ο?H3為半透明的情況下，即使背景影像部分F12被框?qū)ο驢3遮蓋，觀眾也能夠感知被遮蓋的背景影像部分F12的內(nèi)容。因此，能夠抑制影像的信息削減量，并且增強(qiáng)影像的深度。
此外，也可以將框?qū)ο驢3作為模仿了畫框、窗框或電視邊框等的對(duì)象來(lái)進(jìn)行配置。此外，雖然說(shuō)明了基于影像F3、F4的亮度來(lái)決定框?qū)ο驢3的顏色C1、C2的例子， 但也可以構(gòu)成為基于影像F3、F4的顏色、例如平均彩度，來(lái)與影像的顏色不同地決定框?qū)ο驢3的顏色。此外，也可以構(gòu)成為分別基于影像F3、F4的亮度以及顏色，來(lái)決定框?qū)ο驢3 的亮度以及顏色。此外，雖然說(shuō)明了基于影像整體的亮度來(lái)決定框?qū)ο驢3的顏色以及亮度的例子， 但也可以僅基于前景影像部分Fll的平均亮度來(lái)決定框?qū)ο驢3的顏色以及亮度。即，也可以按照使前景影像部分Fll的亮度和框?qū)ο驢3的亮度不同的方式來(lái)決定該框?qū)ο驢3的顏色以及亮度。在此情況下，由于框?qū)ο驢3和前景影像部分Fll之間的差異顯著，因此能夠有效地增強(qiáng)前景影像部分Fll的深度。同樣地，也可以僅基于背景影像部分F12的平均亮度來(lái)決定框?qū)ο驢3的顏色以及亮度。即，也可以按照使背景影像部分F12的亮度和框?qū)ο驢3的亮度不同的方式來(lái)決定該框?qū)ο驢3的顏色以及亮度。在此情況下，由于框?qū)ο驢3和背景影像部分F12之間的差異顯著，因此能夠有效地增強(qiáng)背景影像部分F12的深度。并且，也可以構(gòu)成為分別算出前景影像部分Fll以及背景影像部分F12的平均亮度，并按照使算出的各平均亮度和框?qū)ο驢3的亮度不同的方式，來(lái)決定該框?qū)ο驢3的亮度以及顏色。在此情況下，由于框?qū)ο驢3、前景影像部分F11、背景影像部分F12各自的差異顯著，因此能夠有效地增強(qiáng)前景影像部分Fll以及背景影像部分F12的深度?？?qū)ο笊刹?5生成具有由投影變換部15c決定的形狀、和由顏色決定部15d決定的顏色的框?qū)ο驢3，并將生成的框?qū)ο驢3輸出到影像合成部16?！从跋窈铣刹俊祱D9A以及圖9B是概念性地表示影像合成部16的處理內(nèi)容的說(shuō)明圖。影像合成部16輸入從影像分割部13輸出的前景影像部分Fl 1以及背景影像部分F12、和從框?qū)ο笊刹?5輸出的框?qū)ο驢3。然后，影像合成部16如圖9A以及圖9B所示，按照在背景影像部分F12上重疊框?qū)ο驢3，進(jìn)而在框?qū)ο驢3上重疊前景影像部分Fll的方式，來(lái)對(duì)背景影像部分F12、框?qū)ο驢3以及前景影像部分Fll進(jìn)行合成。此外，在影像以及框?qū)ο驢3的形狀以及尺寸不一致的情況下，如圖9B所示，產(chǎn)生框?qū)ο驢3的外側(cè)的區(qū)域，而影像合成部16按照不顯示露出到框?qū)ο驢3的外側(cè)的背景影像部分F12的方式，在該區(qū)域中合成規(guī)定的補(bǔ)充影像11、12。另外，原樣顯示露出到框?qū)ο驢3的外側(cè)的前景影像部分F11。即，按照與補(bǔ)充影像II、12重疊的方式來(lái)顯示前景影像部分F11。補(bǔ)充影像II、12，例如是單色的影像、墻壁的紋理等任意的影像。在原樣顯示了露出到框?qū)ο驢3的外側(cè)的背景影像部分F12的情況下，觀眾有可能錯(cuò)誤地識(shí)別背景影像部分F12的深度，而通過(guò)利用補(bǔ)充影像11、12來(lái)遮蓋露出到框?qū)ο驢3的外側(cè)的影像部分，能夠防止深度的誤認(rèn)，能夠有效地增強(qiáng)影像的深度。另外，在能夠取得顯示裝置周邊的影像的情況下，也可以將該影像作為補(bǔ)充影像來(lái)顯示。影像合成部16將通過(guò)背景影像部分F12、框?qū)ο驢3以及前景影像部分Fll的合成而得到的合成影像輸出到外部的顯示部2。顯示部2例如是液晶顯示面板、等離子顯示器、有機(jī)EL(Electro-Luminescence)顯示器，輸入從影像處理裝置11輸出的合成影像，并顯示合成影像。另外，作為合成影像的輸出目標(biāo)，舉例說(shuō)明了顯示部2，但只要能夠輸出合成影像， 則也可以采用打印機(jī)、發(fā)送裝置及其它各種輸出裝置。圖10是表示影像處理裝置1所實(shí)施的影像處理方法的流程的流程圖。在給予了處理動(dòng)作開始的指示的情況下，各構(gòu)成部分開始工作，影像取得部11取得輸入到影像處理裝置1的影像，并將取得的影像輸出到影像分割部13(步驟Sll)。接下來(lái)，深度信息取得部 12取得輸入到影像處理裝置1的深度信息，并將取得的深度信息輸出到影像分割部13 (步驟 S12)。然后，影像分割部13輸入影像以及深度信息，并基于該影像以及深度信息來(lái)決定框?qū)ο驢3的配置位置(步驟Si； )。接下來(lái)，影像分割部13基于深度信息以及框?qū)ο驢3的配置位置，將影像分割為前景影像部分Fll和背景影像部分F12，并將分割后的前景影像部分Fll以及背景影像部分F12輸出到框?qū)ο笊刹?5以及影像合成部16(步驟S14)。接下來(lái)，突出信息取得部14取得輸入到影像處理裝置1的突出信息，并將取得的突出信息輸出到框?qū)ο笊刹?5(步驟S15)。然后，框?qū)ο笊刹?5生成框?qū)ο驢3，并將生成的框?qū)ο驢3輸出到影像合成部 16(步驟 S16)。圖11是表示框?qū)ο笊刹?5的動(dòng)作流程的流程圖。框?qū)ο笊刹?5從存儲(chǔ)部 15a中讀出原三維框?qū)ο驢l (步驟S31)。然后，框?qū)ο笊刹?5的旋轉(zhuǎn)處理部1 根據(jù)突出信息來(lái)執(zhí)行使原三維框?qū)ο驢l旋轉(zhuǎn)的處理(步驟S3》，投影變換部15c通過(guò)旋轉(zhuǎn)處理后的三維框?qū)ο驢ll、H21的投影變換來(lái)決定框?qū)ο驢3的形狀(步驟S33)。然后，顏色決定部15d基于影像的亮度以及顏色來(lái)決定框?qū)ο驢3的亮度以及顏色 (步驟S34)，并結(jié)束與框?qū)ο驢3的生成有關(guān)的處理。在步驟S16的處理之后，影像合成部16輸入前景影像部分Fll以及背景影像部分 F12、和框?qū)ο驢3，并將背景影像部分F12、框?qū)ο驢3、前景影像部分Fll依次重疊地進(jìn)行合成，還合成補(bǔ)充影像II、12，并將合成而得到的合成影像輸出到顯示部2 (步驟S17)。然后，顯示部2輸入從影像合成部16輸出的合成影像，顯示該合成影像(步驟 S18)，并結(jié)束處理。以上，說(shuō)明了針對(duì)1幀影像的影像處理工序，但在處理構(gòu)成動(dòng)態(tài)圖像的多幀影像的情況下，只要對(duì)各影像執(zhí)行同樣的影像處理即可。另外，對(duì)于多幀的影像，若框?qū)ο驢3的配置位置、形狀以及顏色急劇地變化，則有可能給觀眾帶來(lái)不適感，因此也可以具備低通濾波器，該低通濾波器將在時(shí)間順序上相鄰的各影像分別決定的配置位置、生成的形狀以及顏色的變化量抑制在一定程度。在像這樣構(gòu)成的影像處理裝置1以及影像處理方法中，能夠不使用專用的影像顯示裝置以及特殊的眼鏡，僅通過(guò)圖像處理來(lái)提高影像的深度感。另外，本實(shí)施方式所涉及的影像處理裝置1以及影像處理方法，可以應(yīng)用于具備顯示部2的液晶電視、有機(jī)EL電視、等離子電視等電視；具備顯示部2的靜止圖像照相機(jī)、攝像機(jī)、便攜式電話機(jī)、PDA (Personal Digital Assistants)等各種便攜式設(shè)備；個(gè)人計(jì)算機(jī)；信息顯示器；輸出影像的BD(Blu-ray Disc 注冊(cè)商標(biāo))記錄機(jī)、DVD(Digital Versatile Disc)記錄機(jī)、HDD(Hard Disk Drive)記錄機(jī)等各種記錄機(jī)；數(shù)碼相框；其他設(shè)置了顯示器的各種家具以及家電。(變形例1)圖12是表示變形例1所涉及的影像處理裝置101的一個(gè)結(jié)構(gòu)例的框圖。在本實(shí)施方式中，構(gòu)成為將深度信息與影像分別地取得，而變形例1所涉及的影像處理裝置101， 構(gòu)成為根據(jù)由影像取得部111取得的影像通過(guò)各種運(yùn)算來(lái)取得深度信息。具體而言，由于影像取得部111以及深度信息取得部112的結(jié)構(gòu)不同，因此以下主要對(duì)上述不同點(diǎn)進(jìn)行說(shuō)明。影像取得部111取得提高立體感或深度感的影像處理對(duì)象的影像，并將取得的影像輸出到影像分割部13，同時(shí)輸出到深度信息取得部112。深度信息取得部112輸入從影像取得部111輸出的影像，基于輸入的影像來(lái)計(jì)算深度信息，并將計(jì)算而得到的深度信息輸出到影像分割部13。深度信息的計(jì)算方法，利用例如JP特開平9-161074號(hào)公報(bào)所公開的方法即可。此外，在影像以某種方式被編碼的情況下，也可以根據(jù)其編碼信息來(lái)作成深度信息。例如在通過(guò)Moving Picture Experts Group (MPEG)而制作的標(biāo)準(zhǔn)動(dòng)態(tài)圖像標(biāo)準(zhǔn)之一的MPEG-4(Moving Picture Expert Group phase4)中，能夠以背景或人物等對(duì)象為單位來(lái)進(jìn)行編碼。在影像利用該功能，對(duì)背景和人物分別進(jìn)行了編碼的情況下，使用該信息來(lái)作成深度信息。在變形例1中，即使不對(duì)影像處理裝置101提供深度信息，也能夠?qū)⒂跋穹指顬榍熬坝跋癫糠諪11、背景影像部分F12，并插入框?qū)ο驢3，并且能夠增強(qiáng)影像的深度。(變形例2)圖13是表示變形例2所涉及的影像處理裝置201的一個(gè)結(jié)構(gòu)例的框圖。在本實(shí)施方式中，構(gòu)成為將突出信息與影像分別地取得，而變形例2所涉及的影像處理裝置201構(gòu)成為根據(jù)由影像取得部211取得的影像通過(guò)各種運(yùn)算來(lái)取得突出信息。具體而言，由于影像取得部211以及突出信息取得部214的結(jié)構(gòu)不同，因此以下主要對(duì)上述不同點(diǎn)進(jìn)行說(shuō)明。影像取得部211取得提高立體感或深度感的影像處理對(duì)象的影像、特別是以背景和人物等對(duì)象為單位而進(jìn)行了編碼的動(dòng)態(tài)圖像的影像，將取得的影像輸出到影像分割部 13，同時(shí)輸出到突出信息取得部214。突出信息取得部214計(jì)算構(gòu)成連續(xù)幀的影像中的對(duì)象的移動(dòng)方向以及大小的變化。然后，突出信息取得部214基于對(duì)象的水平方向的移動(dòng)量，來(lái)計(jì)算突出信息的X軸向量分量。在圖7所示的三維空間中，在對(duì)象向X軸正方向進(jìn)行了移動(dòng)的情況下，將突出信息的 X軸向量分量設(shè)為正值，且對(duì)象的移動(dòng)量越大，則將該值設(shè)定得越大。反之，在對(duì)象向X軸負(fù)方向進(jìn)行了移動(dòng)的情況下，將突出信息的X軸向量分量設(shè)為負(fù)值，且對(duì)象的移動(dòng)量越大，則將該值的絕對(duì)值設(shè)定得越大。同樣，突出信息取得部214基于對(duì)象的垂直方向的移動(dòng)量來(lái)計(jì)算突出信息的Y軸
向量分量。此外，突出信息取得部214，在對(duì)象的大小向變大的方向變化了的情況下，將突出信息的Z軸向量分量設(shè)正值，且對(duì)象的大小的變化量越大，則將該值設(shè)定得越大。反之，在對(duì)象的大小向變小的方向變化了的情況下，將突出信息的X軸向量分量設(shè)為負(fù)值，且對(duì)象的大小的變化量越大，則將該值的絕對(duì)值設(shè)定得越大。
在變形例2中，即使不對(duì)影像處理裝置201提供突出信息，也能夠?qū)⒂跋穹指顬榍熬坝跋癫糠諪11、背景影像部分F12，并插入框?qū)ο驢3，并且能夠增強(qiáng)影像的深度。另外，也可以構(gòu)成為對(duì)變形例1以及變形例2進(jìn)行組合，根據(jù)輸入到影像處理裝置 201的影像來(lái)分別計(jì)算深度信息以及突出信息。在此情況下，即使不對(duì)影像處理裝置201提供深度信息以及突出信息這兩者，也能夠增強(qiáng)影像的深度。(變形例3)在實(shí)施方式中，作為增強(qiáng)影像深度的深度增強(qiáng)影像，舉例說(shuō)明了畫框型的框?qū)ο?H3，而變形例3所涉及的影像處理裝置1構(gòu)成為取代框?qū)ο驢3而顯示窗簾對(duì)象H301。具體而言，變形例3所涉及的影像處理裝置1取代框?qū)ο笊刹?5，而具備未圖示的窗簾對(duì)象生成部。圖14是表示作為深度增強(qiáng)影像的一例的窗簾對(duì)象H301的示意圖。窗簾對(duì)象生成部存儲(chǔ)有分別位于影像的水平方向兩側(cè)的窗簾形狀的窗簾對(duì)象H301，并將該窗簾對(duì)象 H301輸出到影像合成部16。窗簾對(duì)象H301的形狀以及顏色無(wú)論影像的內(nèi)容如何都為固定。另外，顯然，窗簾對(duì)象生成部也可以構(gòu)成為輸入前景影像部分Fll以及背景影像部分 F12，并基于該前景影像部分Fll以及背景影像部分F12的亮度，來(lái)變更窗簾對(duì)象H301的顏色以及亮度。此外，也可以構(gòu)成為預(yù)先存儲(chǔ)三維形狀的原三維窗簾對(duì)象，輸入突出信息，并使用該突出信息對(duì)原三維窗簾對(duì)象進(jìn)行旋轉(zhuǎn)以及投影變換，由此來(lái)生成二維形狀的窗簾對(duì)象 H301。另外，作為深度增強(qiáng)影像的一例，在實(shí)施方式中舉例說(shuō)明了框形狀，在變形例3中舉例說(shuō)明了窗簾形狀，但只要能夠增強(qiáng)影像深度，則深度增強(qiáng)影像的形狀不限定于此。例如，也可以采用單括號(hào)形狀的深度增強(qiáng)影像。另外，為了背景影像的主要部分不被遮蓋，深度增強(qiáng)影像優(yōu)選構(gòu)成為位于影像的端側(cè)。(變形例4)在實(shí)施方式中，如圖7B所示，在影像的突出信息僅具有Z軸分量的情況下，框?qū)ο?H403的形狀不發(fā)生變形，因此無(wú)法增強(qiáng)向Z軸方向的突出。變形例4所涉及的影像處理裝置1，在突出信息僅具有Z軸分量的情況下，通過(guò)將框?qū)ο驢403的形狀變更為向Z軸方向突出，從而構(gòu)成為能夠增強(qiáng)向Z軸方向、即向觀眾側(cè)的突出。因?yàn)橹挥锌驅(qū)ο笊刹?5的處理內(nèi)容與實(shí)施方式不同，所以以下主要對(duì)上述不同點(diǎn)進(jìn)行說(shuō)明。圖15是概念性地表示變形例4所涉及的框?qū)ο驢403的形狀決定方法的說(shuō)明圖。 框?qū)ο笊刹?5，在突出信息僅含有Z軸分量的情況下，或Z軸分量比X軸分量、Y軸分量大規(guī)定值以上的情況下，特別是Z軸分量為正的情況下，如圖15所示，使原三維框?qū)ο驢401 的水平方向大致中央部按照向X軸正方向突出為山狀的方式彎曲，并且使原三維框?qū)ο?H401的水平框部分(框的長(zhǎng)邊部分)變形為向垂直方向擴(kuò)張的立體形狀。然后，框?qū)ο笊刹?5計(jì)算將變形后的三維框?qū)ο驢401投影變換到XY平面后得到的二維形狀，并將算出的二維形狀決定為框?qū)ο驢403的形狀。反之，在Z軸分量為負(fù)的情況下，框?qū)ο笊刹?5使原三維框?qū)ο驢401的水平方向大致中央部按照向X軸負(fù)方向突出為谷狀的方式彎曲，并且使原三維框?qū)ο驢401的水平框部分(框的長(zhǎng)邊部分)變形為向垂直方向縮小的立體形狀。然后，框?qū)ο笊刹?5計(jì)算將變形后的三維框?qū)ο驢401投影變換到XY平面后得到的二維形狀，并將算出的二維形狀決定為框?qū)ο蟮男螤?。影像合成?6的處理內(nèi)容，與本實(shí)施方式相同。影像合成部16按照在背景影像部分F12上依次重疊框?qū)ο驢403、補(bǔ)充影像1401、1402、1403、1404、以及前景影像部分Fll 的方式進(jìn)行合成，并將合成而得到的合成影像部分輸出到外部。在變形例4所涉及的影像處理裝置1以及影像處理方法中，即使為對(duì)象向Z軸方向逼近、即對(duì)象向面前側(cè)逼近的影像，或者存在兩個(gè)向面前側(cè)突出的對(duì)象，且各自的突出方向左右不同的影像、例如位于中央的人向畫面左右兩端伸出雙手的影像，也能夠增強(qiáng)突出感。(變形例5)圖16是表示變形例5所涉及的影像處理裝置的框圖。變形例5所涉及的影像處理裝置通過(guò)使計(jì)算機(jī)3執(zhí)行本發(fā)明所涉及的計(jì)算機(jī)程序如來(lái)實(shí)現(xiàn)。計(jì)算機(jī)3具備對(duì)裝置整體進(jìn)行控制的CPU (Central Processing Unit) 31 CPU31 與如下部件連接ROM (Read Only Memory) 32 ；存儲(chǔ)伴隨運(yùn)算而產(chǎn)生的暫時(shí)性的信息的 RAM (Random Access Memory) 33 ；記錄了本發(fā)明的實(shí)施方式所涉及的計(jì)算機(jī)程序如的記錄介質(zhì)4a、例如從⑶-ROM讀取計(jì)算機(jī)程序如的外部存儲(chǔ)裝置34 ；和記錄通過(guò)外部存儲(chǔ)裝置 34而讀取的計(jì)算機(jī)程序如的硬盤等內(nèi)部存儲(chǔ)裝置35。CPU31將計(jì)算機(jī)程序如從內(nèi)部存儲(chǔ)裝置35讀出到RAM33中來(lái)執(zhí)行各種運(yùn)算處理，由此來(lái)實(shí)施本發(fā)明所涉及的影像處理方法。 CPU31的處理工序，如圖10以及圖11所示，執(zhí)行步驟Sll 18、步驟S31 ；34的處理工序。 該處理工序與構(gòu)成本實(shí)施方式以及變形例4所涉及的影像處理裝置1的各構(gòu)成部分的處理內(nèi)容相同，因此省略其詳細(xì)的說(shuō)明。在變形例5所涉及的計(jì)算機(jī)3以及計(jì)算機(jī)程序如中，能夠使計(jì)算機(jī)3起到本實(shí)施方式所涉及的影像處理裝置的功能，而且能夠使其實(shí)施本實(shí)施方式所涉及的影像處理方法，并起到與本實(shí)施方式以及變形例1 4相同的效果。另外，本變形例5所涉及的計(jì)算機(jī)程序4a，顯然不限定于記錄在記錄介質(zhì)4中的程序，也可以為通過(guò)有線或無(wú)線的通信網(wǎng)下載、存儲(chǔ)、并執(zhí)行的程序。此外，應(yīng)該認(rèn)為本次公開的實(shí)施方式在所有的點(diǎn)上均為例示，而不是限制性的內(nèi)容。本發(fā)明的范圍并不限定于上述內(nèi)容，而是包含通過(guò)權(quán)利要求公開，并與權(quán)利要求等同的意思以及范圍內(nèi)的所有的變更。(符號(hào)說(shuō)明)1影像處理裝置2輸出部3計(jì)算機(jī)4記錄介質(zhì)如計(jì)算機(jī)程序11影像取得部12深度信息取得部13影像分割部14突出信息取得部15框?qū)ο笊刹?br> 16影像合成部
15a存儲(chǔ)部
15b旋轉(zhuǎn)處理部
15c投影變換部
15d顏色決定部
3ICPU
32R0M
33RAM
35外部存儲(chǔ)裝置
36輸入部
37輸出部
Fll前景影像部分
F12背景影像部分
Hl原三維框?qū)ο?br> H3框?qū)ο?br> 權(quán)利要求
1.一種影像處理裝置，其進(jìn)行增強(qiáng)輸入的影像的深度感的處理， 所述影像處理裝置的特征在于，具備深度信息取得單元，其取得深度信息，該深度信息表示構(gòu)成所述影像的多個(gè)影像部分各自的深度方向的距離；影像分割單元，其基于由該深度信息取得單元取得的深度信息以及所述影像，將該影像分割為深度方向的距離不同的多個(gè)影像部分；影像合成單元，其按照在由該影像分割單元分割出的一個(gè)影像部分上重疊用于增強(qiáng)所述影像的深度的深度增強(qiáng)影像，進(jìn)而在該深度增強(qiáng)圖像上重疊與所述一個(gè)影像部分相比深度方向的距離較短的其他影像部分的方式來(lái)合成各影像部分以及深度增強(qiáng)圖像。
2.根據(jù)權(quán)利要求1所述的影像處理裝置，其特征在于，所述影像處理裝置還具備生成單元，其根據(jù)輸入的影像的亮度或顏色，生成亮度或顏色與該影像不同的深度增強(qiáng)影像，所述影像合成單元對(duì)由所述生成單元生成的深度增強(qiáng)影像進(jìn)行合成。
3.根據(jù)權(quán)利要求2所述的影像處理裝置，其特征在于，所述生成單元根據(jù)由所述影像分割單元分割出的一個(gè)影像部分以及/或者其他影像部分的亮度或顏色，來(lái)生成亮度或顏色與該影像部分不同的深度增強(qiáng)影像。
4.根據(jù)權(quán)利要求2或3所述的影像處理裝置，其特征在于， 所述影像處理裝置構(gòu)成為按照時(shí)間順序輸入多個(gè)影像，且具備移動(dòng)方向信息取得單元，該移動(dòng)方向信息取得單元取得表示按照時(shí)間順序輸入的各影像間的影像部分的移動(dòng)方向的移動(dòng)方向信息，所述生成單元生成具有與由該移動(dòng)方向信息取得單元所取得的移動(dòng)方向信息相應(yīng)的形狀的深度增強(qiáng)影像。
5.根據(jù)權(quán)利要求1所述的影像處理裝置，其特征在于，所述影像處理裝置構(gòu)成為按照時(shí)間順序輸入多個(gè)影像，且具備移動(dòng)方向信息取得單元，該移動(dòng)方向信息取得單元取得表示按照時(shí)間順序輸入的各影像間的影像部分的移動(dòng)方向的移動(dòng)方向信息；和生成單元，其生成具有與由該移動(dòng)方向信息取得單元所取得的移動(dòng)方向信息相應(yīng)的形狀的深度增強(qiáng)影像，所述影像合成單元對(duì)由所述生成單元生成的深度增強(qiáng)影像進(jìn)行合成。
6.根據(jù)權(quán)利要求4或5所述的影像處理裝置，其特征在于， 所述影像處理裝置還具備存儲(chǔ)規(guī)定的三維圖像的存儲(chǔ)單元，所述生成單元具備旋轉(zhuǎn)處理單元，該旋轉(zhuǎn)處理單元按照使所述存儲(chǔ)單元所存儲(chǔ)的三維圖像、和由所述移動(dòng)方向信息取得單元取得的一個(gè)影像部分的移動(dòng)方向信息所表示的移動(dòng)方向成為規(guī)定的位置關(guān)系的方式來(lái)使該三維圖像旋轉(zhuǎn)，且所述生成單元生成具有將由該旋轉(zhuǎn)處理單元旋轉(zhuǎn)后的三維圖像投影于規(guī)定的二維平面而得到的二維形狀的深度增強(qiáng)影像。
7.一種影像處理方法，進(jìn)行增強(qiáng)輸入的影像的深度感的處理，所述影像處理方法的特征在于，取得深度信息，該深度信息表示構(gòu)成所述影像的多個(gè)影像部分各自的深度方向的距基于取得的深度信息以及所述影像，將該影像分割為深度方向的距離不同的多個(gè)影像部分；按照在分割出的一個(gè)影像部分上重疊用于增強(qiáng)所述影像的深度的深度增強(qiáng)影像，進(jìn)而在該深度增強(qiáng)圖像上重疊與所述一個(gè)影像部分相比深度方向的距離較短的其他影像部分的方式來(lái)合成各影像部分以及深度增強(qiáng)圖像。
8. 一種計(jì)算機(jī)程序，使計(jì)算機(jī)執(zhí)行增強(qiáng)影像的深度感的處理， 所述計(jì)算機(jī)程序的特征在于，使所述計(jì)算機(jī)執(zhí)行如下步驟基于表示構(gòu)成所述影像的多個(gè)影像部分各自的深度方向的距離的深度信息以及所述影像，將該影像分割為深度方向的距離不同的多個(gè)影像部分的步驟；按照在分割出的一個(gè)影像部分上重疊用于增強(qiáng)所述影像的深度的深度增強(qiáng)影像，進(jìn)而在該深度增強(qiáng)圖像上重疊與所述一個(gè)影像部分相比深度方向的距離較短的其他影像部分的方式來(lái)合成各影像部分以及深度增強(qiáng)圖像的步驟。
全文摘要
提供一種能夠不使用專用的影像顯示裝置以及特殊的眼鏡，僅通過(guò)圖像處理來(lái)提高影像的深度感的影像處理裝置。在進(jìn)行強(qiáng)調(diào)由影像取得部(11)取得的影像的深度感的處理的影像處理裝置(1)中，具備深度信息取得部(12)，其取得表示構(gòu)成所述影像的多個(gè)影像部分各自的深度方向的距離的深度信息；影像分割部(13)，其基于由深度信息取得部(12)取得的深度信息以及所述影像，來(lái)將影像分割為深度方向的距離不同的多個(gè)影像部分；和影像合成部(16)，其按照在由影像分割部(13)分割出的一個(gè)影像部分上重疊用于增強(qiáng)所述影像的深度的深度增強(qiáng)影像，并且在深度增強(qiáng)圖像上重疊與所述一個(gè)影像部分相比深度方向的距離較短的其他影像部分的方式來(lái)合成各影像部分以及深度增強(qiáng)圖像。
文檔編號(hào)H04N13/04GK102379127SQ20108001509
公開日2012年3月14日 申請(qǐng)日期2010年3月29日 優(yōu)先權(quán)日2009年3月31日
發(fā)明者大津誠(chéng), 山本健一郎, 末永健明, 瀨戶干生, 鹽井正宏 申請(qǐng)人:夏普株式會(huì)社