專利名稱：影像處理裝置及影像處理方法
技術(shù)領(lǐng)域：
本發(fā)明的實(shí)施方式涉及影像處理裝置及影像處理方法。
背景技術(shù)：
近年來，觀眾不使用特殊眼鏡，裸眼就可以觀看立體影像的立體影像顯示裝置(所謂的裸眼3D電視)正在普及。該立體影像顯示裝置顯示視點(diǎn)不同的多個(gè)圖像(視差圖像)。并且，這些圖像的光線例如由視差屏障(parallax barrier)、柱狀透鏡(lenticular lens)等控制輸出方向，并被導(dǎo)向觀眾的雙眼。只要觀眾的位置適當(dāng)，觀眾左右眼會(huì)看到不同的視差圖像，因此，能夠立體地識(shí)別影像。這樣，將觀眾可看到立體影像的區(qū)域稱為視域。該視域是受限制的區(qū)域，當(dāng)觀眾在視域以外時(shí)，無法看到立體影像。因此，立體影像顯示裝置具有使用立體影像顯示裝置中設(shè)置的攝像機(jī)來檢測(cè)觀眾的位置并以觀眾在視域內(nèi)的方式控制視域的功能(臉部追蹤功能)。然而，由于攝像機(jī)的更換等，存在攝像機(jī)的安裝位置偏移的情況。這種情況下，隨著攝像機(jī)的位置偏移量，觀眾的位置會(huì)被誤識(shí)。因此，觀眾沒有進(jìn)入基于觀眾的位置而生成的視域，其結(jié)果，觀眾可能無法觀看到良好的立體影像。

發(fā)明內(nèi)容
本發(fā)明所要解決的課題在于提供一種容易校正攝像機(jī)的位置偏移，觀眾可觀看到良好的立體影像的影像處理裝置以及影像處理方法。根據(jù)本發(fā)明的實(shí)施方式，提供一種影像處理裝置具備觀眾檢測(cè)部，使用由攝像機(jī)拍攝的影像進(jìn)行臉部識(shí)別，取得觀眾的位置信息；校正量算出部，算出用于補(bǔ)償伴隨所述攝像機(jī)的安裝位置的偏移而產(chǎn)生的所述位置信息的誤差的校正量；位置信息校正部，使用由所述校正量算出部算出的所述校正量，校正所述位置信息；視域信息算出部，使用由所述位置信息校正部校正的位置信息，算出用于設(shè)定將所述觀眾納入其中的視域的控制參數(shù)；視域控制部，根據(jù)所述控制參數(shù)控制視域；顯示部，顯示在所述視域內(nèi)的觀眾可作為立體影像觀看的多個(gè)視差圖像；以及開口控制部，將顯示在所述顯示部的多個(gè)視差圖像向指定方向輸出。根據(jù)上述構(gòu)成的影像處理裝置，容易校正攝像機(jī)的位置偏移，觀眾可觀看良好的立體影像。


圖I為一實(shí)施方式涉及的影像處理裝置100的外觀圖。
圖2為表示一實(shí)施方式涉及的影像處理裝置100的概略結(jié)構(gòu)的框圖。圖3為從俯視觀察液晶面板I以及柱狀透鏡2的一部分的圖。圖4為表示影像處理裝置的視聽區(qū)域P的多個(gè)視域21的一例子的俯視圖。圖5為變形例涉及的影像處理裝置100’的概略結(jié)構(gòu)的框圖。圖6A為表示一實(shí)施方式涉及的攝像機(jī)校準(zhǔn)方法的流程圖。圖6B為接圖6A的、表示一實(shí)施方式涉及的重校準(zhǔn)方法的流程圖。圖7為示出了 3D視聽位置檢查畫面的一例子。 圖8(1) (9)分別表示3D視聽位置檢查畫面的第I 第9視差圖像。圖9的(a)及(b)為俯視觀察3D視聽位置檢查畫面的第I 第9視差圖像的光線與觀眾20的圖。圖10為示出了顯示有滑動(dòng)條的3D視聽位置檢查畫面的一例子。圖11的⑴及⑵為俯視觀察3D視聽位置檢查畫面的第I 第9視差圖像的光線與觀眾20的圖。圖12為表示用于算出校正量的各參數(shù)的關(guān)系的圖。圖13為表示變形例涉及的攝像機(jī)校準(zhǔn)方法的流程圖。
具體實(shí)施例方式以下，針對(duì)本發(fā)明涉及的實(shí)施方式，參照附圖具體說明。圖I為一實(shí)施方式涉及的影像顯示裝置100的外觀圖，圖2為表示其概略結(jié)構(gòu)的框圖。影像顯示裝置100具備液晶面板I、柱狀透鏡(lenticular lens，雙凸透鏡)2、攝像機(jī)3、受光部4、控制器10。液晶面板(顯示部)I顯示位于視域內(nèi)的觀眾可作為立體影像而觀看的多個(gè)視差圖像。該液晶面板I例如為55英寸尺寸的面板，在水平方向配置有11520( = 1280X9)個(gè)像素，垂直方向配置有720個(gè)像素。并且，在各像素內(nèi)，在垂直方向上形成有3個(gè)子像素、SPR子像素、G子像素以及B子像素。光從設(shè)于背面的背光裝置(未圖示)照射到液晶面板I。各像素使對(duì)應(yīng)于控制器10供給的視差圖像信號(hào)(后述)的亮度的光透過。柱狀透鏡(開口控制部)2向指定方向輸出顯示于液晶面板I (顯示部)的多個(gè)視差圖像。該柱狀透鏡2具有沿液晶面板I的水平方向配置的多個(gè)凸部，其數(shù)量是液晶面板I的水平方向像素?cái)?shù)的1/9。并且，為使水平方向上配置的每9個(gè)像素對(duì)應(yīng)一個(gè)凸部,柱狀透鏡2被粘貼于液晶面板I的表面。透過了各像素的光從凸部的頂點(diǎn)附近帶有指向性地向指定方向輸出。本實(shí)施方式的液晶面板I能夠以3視差以上的多視差方式(集成成像(integralimaging)方式)或雙視差方式顯示立體影像，此外，也可以顯示普通的二維影像。在以下的說明中，對(duì)可與液晶面板I的各凸部對(duì)應(yīng)地設(shè)置9個(gè)像素并采用9個(gè)視差的多視差方式的例子進(jìn)行說明。多視差方式中，對(duì)與各凸部對(duì)應(yīng)的9個(gè)像素分別顯示第I 第9視差圖像。所謂第I 第9視差圖像是指從沿液晶面板I的水平方向排列的9個(gè)視點(diǎn)分別觀看到被拍攝體的圖像。觀眾通過經(jīng)由柱狀透鏡2，分別由左眼觀看第I 第9視差圖像中的一個(gè)視差圖像，由右眼觀看其他一個(gè)視差圖像，從而可以立體觀看影像。采用多視差方式，隨著視差數(shù)量增加，能夠擴(kuò)大視域。所謂視域是指在從液晶面板I的前方看到液晶面板I時(shí)可立體觀看影像的區(qū)域。另一方面，雙視差方式中，在與各凸部對(duì)應(yīng)的9個(gè)像素中的4個(gè)顯示右眼用視差圖像，在其他5個(gè)顯示左眼用視差圖像。所謂左眼用及右眼用視差圖像是指從水平方向上排列的2個(gè)視點(diǎn)中的左側(cè)視點(diǎn)及右側(cè)視點(diǎn)分別看到拍攝體的圖像。觀眾經(jīng)由柱狀透鏡2用左眼觀看左眼用視差圖像、用右眼觀看右眼用視差圖像，從而可以立體地觀看影像。采用雙視差方式，比多視差方式更容易取得所顯示的影像的立體感，但與多視差方式相比視域變窄。另外，液晶面板I可以對(duì)與各凸部對(duì)應(yīng)的9個(gè)像素顯示同一圖像，也可以顯示二維圖像。另外，在本實(shí)施方式中，根據(jù)柱狀透鏡2的凸部與所顯示的視差圖像的相對(duì)位置關(guān)系、即對(duì)與各凸部對(duì)應(yīng)的9個(gè)像素是如何顯示視差圖像的，可以可變地控制視域。以下，以多視差方式為例，對(duì)視域的控制進(jìn)行說明。
圖3為從上方觀看到液晶面板I以及柱狀透鏡2的一部分的圖。同圖的影線區(qū)域表示視域，從視域觀看液晶面板I便可立體觀看影像。其他區(qū)域?yàn)榘l(fā)生逆視或串?dāng)_的區(qū)域、難以立體觀看影像的區(qū)域。圖3示出了視域因液晶面板I與柱狀透鏡2的相對(duì)位置關(guān)系，更具體而言，因液晶面板I與柱狀透鏡2的距離、或液晶面板I與柱狀透鏡2在水平方向的偏移量而發(fā)生變化的情況。實(shí)際上，柱狀透鏡2被高精度地位置校準(zhǔn)而貼合于液晶面板1，因此很難物理地變更液晶面板I與柱狀透鏡2的相對(duì)位置。因此，在本實(shí)施方式中，通過移動(dòng)對(duì)液晶面板I的各像素所顯示的第I 第9視差圖像的顯示位置，從而從外觀上改變液晶面板I與柱狀透鏡2的相對(duì)位置關(guān)系，由此進(jìn)行視域的調(diào)整。例如，相比對(duì)與各凸部對(duì)應(yīng)的9個(gè)像素分別顯示了第I 第9視差圖像的情況(圖3的(a))，當(dāng)將視差圖像整體向右側(cè)移動(dòng)顯示時(shí)(圖3的(b))，視域向左側(cè)移動(dòng)。相反，當(dāng)將視差圖像整體向左側(cè)移動(dòng)顯示時(shí)，視域向右側(cè)移動(dòng)。另外，在水平方向的中央附近不移動(dòng)視差圖像，越靠近液晶面板I的外側(cè)，視差圖像就越大地向外側(cè)移動(dòng)并顯示的情況下(圖3的(c))，視域向靠近液晶面板I的方向移動(dòng)。另外，移動(dòng)的視差圖像與未移動(dòng)的視差圖像之間的像素、移動(dòng)量不同的視差圖像之間的像素可以根據(jù)周圍的像素適當(dāng)插補(bǔ)。另外，與圖3的(C)相反，在水平方向的中央附近不移動(dòng)視差圖像，越靠近液晶面板I的外側(cè)，視差圖像就越大地向中心側(cè)移動(dòng)并顯示的情況下，視域向遠(yuǎn)離液晶面板I的方向移動(dòng)。這樣，通過移動(dòng)視差圖像的整體或一部分，可以使視域相對(duì)于液晶面板I向左右方向或前后方向移動(dòng)。圖3中，為了簡(jiǎn)化說明只示出了一個(gè)視域，但實(shí)際上，如圖4所示，多個(gè)視域21存在于視聽區(qū)域P內(nèi)，它們聯(lián)動(dòng)地移動(dòng)。視域由后述的圖2的控制器10來控制。另外，視域21以外的視聽區(qū)域是由于發(fā)生逆視或串?dāng)_等而難以看到良好的立體影像的逆視區(qū)域22。返回至圖1，對(duì)影像處理裝置100的各構(gòu)成要素進(jìn)行說明。攝像機(jī)3以規(guī)定的仰角安裝于液晶面板I的下部中央附近，拍攝液晶面板I前方的指定范圍。所拍攝到的影像被供給到控制器10，用于檢測(cè)觀眾的位置或觀眾的臉部等與觀眾有關(guān)的信息。攝像機(jī)3也可以拍攝動(dòng)態(tài)圖像與靜止圖像中的任意。受光部4例如設(shè)置在液晶面板I的下部的左側(cè)。并且，受光部4接收從觀眾使用的遙控器發(fā)送來的紅外線信號(hào)。該紅外線信號(hào)包含表示顯示立體影像還是顯示二維影像、還是在顯示立體影像時(shí)采用多視差方式以及雙視差方式中的任一個(gè)、或是否進(jìn)行視域的控制等的信號(hào)。接著，針對(duì)控制器10的構(gòu)成要素的詳細(xì)進(jìn)行說明。如圖2所示，控制器10具有調(diào)諧器解碼器(tuner decoder) 11、視差圖像轉(zhuǎn)換部12、觀眾檢測(cè)部13、視域信息算出部14、圖像調(diào)整部15、位置信息校正部16、存儲(chǔ)部17、校正量算出部18?？刂破?0例如被安裝為一個(gè)IC(Integrated Circuit),配置于液晶面板I的背側(cè)。當(dāng)然，也可以使用軟件安裝控制器10的一部分。調(diào)諧器解碼器(接收部)11接收被輸入的廣播波(broadcast wave)及進(jìn)行選臺(tái)，并解碼編碼后的影像信號(hào)。在電子節(jié)目表(EPG)等數(shù)據(jù)廣播信號(hào)被重疊于廣播波的情況 下，調(diào)諧器解碼器11將其提取。或者，調(diào)諧器解碼器11從光盤再生裝置或個(gè)人算出機(jī)等影像輸出器械中接收編碼的影像信號(hào)并非廣播波，并對(duì)其解碼。解碼后的信號(hào)也稱為基帶影像信號(hào)，供給到視差圖像轉(zhuǎn)換部12。另外，在影像顯示裝置100不接收廣播波而專門顯示從影像輸出器械中接收的影像信號(hào)的情況下，也可以單獨(dú)地設(shè)置具有解碼功能的解碼器作為接收部來代替調(diào)諧器解碼器11。調(diào)諧器解碼器11接收的影像信號(hào)也可以是二維影像信號(hào)，也可以是以幀封裝(FP)、并排(SBS)或上下(TAB)方式等包含左眼用及右眼用圖像的三維影像信號(hào)。并且，影像信號(hào)也可以是包含3視差以上的圖像的三維影像信號(hào)。為了立體顯示影像，視差圖像轉(zhuǎn)換部12將基帶影像信號(hào)轉(zhuǎn)換為多個(gè)視差圖像信號(hào)并供給至圖像調(diào)整部15。視差圖像轉(zhuǎn)換部12根據(jù)采用多視差方式與雙視差方式中的哪一個(gè)而處理內(nèi)容不同。并且，根據(jù)基帶影像信號(hào)是二維影像信號(hào)還是三維影像信號(hào)，視差圖像轉(zhuǎn)換部12的處理內(nèi)容而不同。在采用雙視差方式(stereo imaging manner)的情況下,視差圖像轉(zhuǎn)換部12生成與左沿用及右眼用視差圖像分別對(duì)應(yīng)的左眼用及右眼用視差圖像信號(hào)。更具體如下。在采用雙視差方式且輸入包含左眼用及右眼用圖像的三維影像信號(hào)的情況下，視差圖像轉(zhuǎn)換部12生成液晶面板I可顯示形式的左眼用及右眼用視差圖像信號(hào)。并且，在輸入包含3個(gè)以上圖像的三維影像信號(hào)的情況下，視差圖像轉(zhuǎn)換部12例如使用其中的任意2個(gè)來生成左眼用及右眼用視差圖像信號(hào)。與此相對(duì)，在采用雙視差方式且輸入不含有視差信息的二維影像信號(hào)的情況下，視差圖像轉(zhuǎn)換部12基于影像信號(hào)中各像素的深度值，生成左眼用及右眼用視差圖像信號(hào)。深度值(depth value)是表示各像素顯示為相對(duì)于液晶面板I看起來靠前到何種程度或者靠后到何種程的值。深度值也可以預(yù)先附加于影像信號(hào)，也可以基于影像信號(hào)的特征進(jìn)行動(dòng)態(tài)檢測(cè)、取景識(shí)別以及人臉檢測(cè)等生成深度值。在左眼用視差圖像中，被看成近前的像素需要比被看成里側(cè)的像素向右側(cè)偏移地顯示。因此，視差圖像轉(zhuǎn)換部12進(jìn)行將影像信號(hào)中被看成近前的像素向右側(cè)移動(dòng)的處理來生成左眼用視差圖像。深度值越大移動(dòng)量越大。另一方面，在采用多視差方式(integral imaging manner)的情況下,視差圖像轉(zhuǎn)換部12生成與第I 第9視差圖像分別對(duì)應(yīng)的第I 第9視差圖像信號(hào)。更具體如下。
在采用多視差方式且輸入二維影像信號(hào)或包含8視差以下的圖像的三維影像信號(hào)的情況下，視差圖像轉(zhuǎn)換部12與根據(jù)二維影像信號(hào)生成左用及右眼用視差圖像信號(hào)一樣，基于深度信息生成第I 第9視差圖像信號(hào)。在采用多視差方式且輸入包含9視差圖像的三維影像信號(hào)的情況下，視差圖像轉(zhuǎn)換部12使用其影像信號(hào)來生成第I 第9視差圖像信號(hào)。觀眾檢測(cè)部13使用攝像機(jī)3拍攝到的影像進(jìn)行臉部識(shí)別，并取得觀眾的位置信息。該位置信息被供給到后述的位置信息校正部16及校正量算出部18。另外，即使觀眾活動(dòng)，觀眾檢測(cè)部13也能追隨，因此也可以把握每位觀眾的視聽時(shí)間。觀眾的位置信息被表示為例如以液晶面板I的中央為原點(diǎn)的X軸(水平方向)、Y軸(垂直方向)以及Z軸(正交于液晶面板I的方向)上的位置。圖4所示的觀眾20的位置用坐標(biāo)(XI，Yl, Zl)來表示。更具體而言，觀眾檢測(cè)部13首先通過從攝像機(jī)3拍攝到的影像來檢測(cè)臉部從而識(shí)別觀眾。接著，觀眾檢測(cè)部13根據(jù)影像中觀眾的位置算出X軸以 及Y軸上的位置(XI，Yl)，并根據(jù)臉部的大小算出Z軸上的位置(Z1)。在有多名觀眾情況下，觀眾檢測(cè)部13也可以檢測(cè)預(yù)定數(shù)量例如10名觀眾。該情況下，檢測(cè)出的臉部的數(shù)量大于10時(shí)，例如按照距離液晶面板I由近及遠(yuǎn)、即Z軸上的位置由小到大的順序檢測(cè)10名觀眾的位置。視域信息算出部14使用從后述的位置信息校正部16供給的觀眾的位置信息，算出用于設(shè)定將被檢測(cè)出的觀眾納入其中的視域的控制參數(shù)。該控制參數(shù)例如為圖3說明的視差圖像移動(dòng)的量、一個(gè)參數(shù)或多個(gè)參數(shù)的組合。并且，視域信息算出部14將算出的控制參數(shù)供給至圖像調(diào)整部15。更詳細(xì)而言，為了設(shè)定希望的視域，視域信息算出部14使用將控制參數(shù)與使用該控制參數(shù)而設(shè)定的視域關(guān)聯(lián)對(duì)應(yīng)的視域數(shù)據(jù)庫(kù)。該視域數(shù)據(jù)庫(kù)預(yù)先存儲(chǔ)于存儲(chǔ)部17。視域信息算出部14通過檢索視域數(shù)據(jù)庫(kù)，找出可將觀眾納入其中的視域。圖像調(diào)整部(視域控制部)15為了控制視域，在根據(jù)算出的控制參數(shù)進(jìn)行了移動(dòng)視差圖像信號(hào)、插補(bǔ)等調(diào)整后，將其供給至液晶面板I。液晶面板I顯示與調(diào)整后的視差圖像信號(hào)對(duì)應(yīng)的圖像。位置信息校正部16使用后述的校正量算出部18算出的校正量，校正由觀眾檢測(cè)部13取得的觀眾的位置信息，并將校正后的位置信息供給至視域信息算出部14。另外，在未進(jìn)行算出校正量時(shí)，位置信息校正部16將觀眾檢測(cè)部13取得的觀眾的位置信息保持原樣地供給至視域信息算出部14。存儲(chǔ)部17是閃存器等非易失性存儲(chǔ)器，并存儲(chǔ)視域數(shù)據(jù)庫(kù)、位置信息的校正量等。另外，該存儲(chǔ)部17也可以設(shè)于控制器10的外部。校正量算出部18算出用于補(bǔ)償隨攝像機(jī)3的安裝位置的偏移而產(chǎn)生的觀眾的位置信息的誤差的、校正量。該校正量的算出如后面詳述，有(a)觀眾不移動(dòng)而改變視差圖像的輸出方向的方式、(b)視差圖像的輸出方向不變但觀眾移動(dòng)的方式。另外，此處提及的安裝位置的偏移包含攝像機(jī)的安裝方向的偏移(光軸的偏移)。以上，對(duì)影像處理裝置100的結(jié)構(gòu)進(jìn)行了說明。本實(shí)施方式中示出了通過使用柱狀透鏡2移動(dòng)視差圖像來控制視域的例子，但也可以使用其他方法控制視域。例如，也可以將視差屏障(parallax barrier)設(shè)置為開口控制部2’來代替柱狀透鏡2。圖5為表示作為圖2所示的本實(shí)施方式的變形例的影像處理裝置100’的概略結(jié)構(gòu)的框圖。如同圖所示，影像處理裝置100’的控制器10具備視域控制部15’以代替圖像調(diào)整部15。該視域控制部15’根據(jù)視域信息算出部14算出的控制參數(shù)來控制開口控制部2’。本變形例的情況下，控制參數(shù)是液晶面板I與開口控制部2’的距離、液晶面板I與開口控制部2’在水平方向的
偏移量等。本變形例中，通過使用開口控制部2’來控制液晶面板I所顯示的視差圖像的輸出方向從而控制視域。這樣，不進(jìn)行移動(dòng)視差圖像的處理，也可以通過視域控制部15’來控制開口控制部2’。接著，針對(duì)上述構(gòu)成的影像處理裝置100(100’ )的影像處理方法(攝像機(jī)的校準(zhǔn)方法)，使用圖6A以及圖6B的流程圖進(jìn)行說明。
(I)液晶面板I顯示3D視聽位置檢查畫面(3D測(cè)試圖)(步驟SI)。3D視聽位置檢查畫面為立體觀看用的測(cè)試圖像，由多個(gè)視差圖像(例如，第I 第9視差圖像)構(gòu)成。進(jìn)而，3D視聽位置檢查畫面顯示表示哪一視差圖像進(jìn)入眼睛的引導(dǎo)字符。這里提及的引導(dǎo)字符不限于字符，如圖7以及圖8中例示的雙圓、圓、三角等記號(hào)，除此之外，也包含畫、圖案、色彩等觀眾可判別的事物。另外，3D視聽位置檢查畫面優(yōu)選顯示提醒觀眾在指定位置按下攝像機(jī)調(diào)整鍵的消息。例如，顯示“請(qǐng)離開lm，盡量在正面附近按下攝像機(jī)調(diào)整鍵?！?。圖7示出了 3D視聽位置檢查畫面的一例子。3D視聽位置檢查畫面包含用于顯示引導(dǎo)字符32的引導(dǎo)顯示部31。并且，如圖7所示，3D視聽位置檢查畫面也可以包含球體或柱體等立體影像。圖8為9視差情況下的3D視聽位置檢查畫面，圖8的(I) (9)分別示出了第I 第9視差圖像。第4視差圖像(圖8的(4))以及第5視差圖像(圖8的(5))顯示表示是視域內(nèi)最佳視聽位置(例如視域中心)的雙圓的引導(dǎo)字符。隨著從最佳視聽位置離開，引導(dǎo)字符變成圓、三角、叉(X)。圖8的(9)中，也可以不顯示引導(dǎo)顯示部31。另外，在第5視差圖像以及第6視差圖像也可以顯示表示是視域內(nèi)最佳視聽位置的引導(dǎo)字符(例如雙圓)。這樣，3D視聽位置檢查畫面由多個(gè)視差圖像構(gòu)成，中心的2張視差圖像具有除此以外的視差圖像中所沒有的共用的引導(dǎo)字符(上述例子中的雙圓)。這里，中心2張視差圖像是指顯示大致中央視野的2張視差圖像。一般而言，在3D視聽位置檢查畫面由第I 第n視差圖像構(gòu)成的情況下，中心2張視差圖像在n為奇數(shù)時(shí)，為第(n+1) /2視差圖像以及第(n+l)/2-l視差圖像(或第(n+l)/2+l視差圖像)，在n為偶數(shù)時(shí)，為第n/2視差圖像以及第n/2+l視差圖像。(2)受光部4接收從遙控器發(fā)送來的紅外線信號(hào)，并判定遙控器的攝像機(jī)調(diào)整鍵是否被按下(步驟S2)。若按下攝像機(jī)調(diào)整鍵，則進(jìn)入步驟S3。另外，也可以從菜單畫面中選擇具有同樣功能的項(xiàng)目來代替按下遙控器的攝像機(jī)調(diào)整鍵。(3)觀眾檢測(cè)部13使用攝像機(jī)3所拍攝的影像(攝像機(jī)影像)進(jìn)行臉部識(shí)別，并算出觀眾的位置信息(XI，Yl, Zl)(步驟S3)。并且，判定是否檢測(cè)到了觀眾(步驟S4)，若檢測(cè)到觀眾，則進(jìn)入步驟S6。另一方面，若未檢測(cè)到觀眾，則液晶面板I顯示錯(cuò)誤消息(例如“無法識(shí)別臉部?！?(步驟S5)。
(4)觀眾檢測(cè)部13判定觀眾是否為I人(步驟S6)。其結(jié)果，若觀眾為I人，則進(jìn)入步驟S9，相反，若觀眾為多人，則液晶面板I顯示錯(cuò)誤消息(例如“攝像機(jī)調(diào)整在I人時(shí)可執(zhí)行?！?(步驟S7)。另外，也可以繼續(xù)顯示步驟S5以及步驟S7的錯(cuò)誤消息，在液晶面板I上顯示攝像機(jī)影像以及臉部識(shí)別的狀態(tài)(例如，識(shí)別出的觀眾的臉部的輪廓圖案)(步驟S8)。(5)基于步驟S3取得的觀眾的位置信息，生成視域(步驟S9)。具體而言，視域信息算出部14基于觀眾檢測(cè)部13取得的位置信息，算出用于設(shè)定視域的控制參數(shù)。然后，如上所述，基于算出的控制參數(shù)生成視域。圖9的(a)以及(b)為從上方觀看到3D視聽位置檢查畫面的第I 第9視差圖像的光線與觀眾20的圖。在圖9的(a)以及(b)中，符號(hào)⑴ (9)分別為圖8的⑴ (9)所示的視差圖像的光線。
在不存在攝像機(jī)的位置偏移時(shí)，如圖9的(a)所示，第4視差圖像進(jìn)入觀眾20的右眼，第5視差圖像進(jìn)入左眼，因此，觀眾20在引導(dǎo)顯示部31內(nèi)看到雙圓的引導(dǎo)字符32。另一方面，如圖9的(b)所示，在攝像機(jī)3向從影像處理裝置100看的右方向偏移時(shí)，與不存在攝像機(jī)3的位置偏移的情況相比，觀眾檢測(cè)部13識(shí)別到觀眾20位于左方向。因此，第I 第9視差圖像以對(duì)應(yīng)于攝像機(jī)3的偏移量，向從影像處理裝置100看的左側(cè)輸出。圖9的(b)的情況下，第6視差圖像進(jìn)入觀眾的右眼，第7視差圖像進(jìn)入左眼，因此，觀眾右眼會(huì)看到圓符號(hào)，左眼會(huì)看到三角符號(hào)。(6)生成視域后，液晶面板I在3D視聽位置檢查畫面顯示攝像機(jī)調(diào)整用的滑動(dòng)條(步驟S10)。并且，本實(shí)施方式中的攝像機(jī)校準(zhǔn)由于以觀眾的位置不變化為前提，因此為使觀眾在攝像機(jī)調(diào)整中不改變視聽位置，在3D視聽位置檢查畫面上顯示消息(例如“請(qǐng)?jiān)诓桓淖円暵犖恢玫那闆r下調(diào)整攝像機(jī)。”)。圖10示出了顯示有滑動(dòng)條的3D視聽位置檢查畫面(攝像機(jī)調(diào)整畫面)的一例子。如圖10所示，3D視聽位置檢查畫面的下部設(shè)有包含滑塊34的滑動(dòng)條33。觀眾可以通過遙控器的方向鍵等，左右移動(dòng)滑塊34的位置。通過移動(dòng)該滑塊34，能夠改變3D視聽位置檢查畫面的第I 第9視差圖像的輸出方向。S卩，可以移動(dòng)視域。例如，當(dāng)觀眾將滑塊34從滑動(dòng)條33的中心向左側(cè)移動(dòng)時(shí)，第I 第9視差圖像向從觀眾看的左方向輸出，當(dāng)觀眾將滑塊34從滑動(dòng)條33的中心向右側(cè)移動(dòng)時(shí)，第I 第9視差圖像向從觀眾看的右方向輸出。另外，在滑塊34初次進(jìn)行攝像機(jī)調(diào)整時(shí)，顯示在滑動(dòng)條33的中心，在已進(jìn)行攝像機(jī)調(diào)整時(shí)，顯示在與上次算出的校正量對(duì)應(yīng)的位置。(7)圖像調(diào)整部15 (視域控制部15’ )判定滑塊34的位置是否變化(步驟Sll)，在滑塊34的位置發(fā)生了變化時(shí)進(jìn)入步驟S12。(8)當(dāng)滑塊34的位置變化時(shí)，圖像調(diào)整部15 (視域控制部15’)根據(jù)滑塊34的位置，改變第I 第9視差圖像的輸出方向(步驟S12)。即，圖像調(diào)整部15(視域控制部15’)根據(jù)來自未改變視聽位置的觀眾的指示，改變3D視聽位置檢查畫面的第I 第9視差圖像的輸出方向。對(duì)于滑塊34的位置與3D視聽位置檢查畫面的第I 第9視差圖像的輸出方向的關(guān)系，使用圖11進(jìn)行說明。圖11的⑴以及⑵為從上方觀看到3D視聽位置檢查畫面的第I 第9視差圖像的光線與觀眾20的圖。攝像機(jī)3與圖9 一樣向右方向偏移。
在如圖10所示滑塊34位于滑動(dòng)條33的中心的左側(cè)的情況下，第I 第9視差圖像與圖9的(b)相比向從觀眾看的左方向(從影像處理裝置100看的右方向)輸出，視域向左方向移動(dòng)。在圖11的(I)所示的狀態(tài)下，第5視差圖像進(jìn)入觀眾的右眼，第6視差圖像進(jìn)入觀眾的左眼。該狀態(tài)下，觀眾右眼看到雙圓符號(hào)，左眼看到圓符號(hào)，仍然不能用兩眼看到雙圓符號(hào)。在滑塊34位于更左側(cè)的情況下，如圖11的⑵所示，第I 第9視差圖像與圖11的⑴的情況相比更向從觀眾20看的左方向輸出，視域向左方向偏移。其結(jié)果，第4視差圖像進(jìn)入觀眾的右眼，第5視差圖像進(jìn)入觀眾的左眼。在該狀態(tài)下，觀眾可以雙眼看到雙圓。觀眾雙眼看到雙圓便按下遙控的確定鍵。另外，也可以從菜單畫面中選擇具有同樣的功能的項(xiàng)目來代替按下遙控器的確定鍵。(9)受光部4接收從遙控器發(fā)送來的紅外線信號(hào)，判定遙控器的確定鍵是否被按下(步驟S13)。若確定鍵已被按下,貝U進(jìn)入步驟S14。 (10)校正量算出部18通過下述式(I)，算出位置信息的校正量，并保存至存儲(chǔ)部17內(nèi)(步驟S14)。Ax = Zl* (tan 0 2-tan 0 I)(I)其中，Ax為校正量，Zl為觀眾在Z軸上的位置，0 I為改變輸出方向前的多個(gè)視差圖像的輸出方向，e 2為觀眾右眼看到中心2張視差圖像中的一張、左眼看到另一張的狀態(tài)下的多個(gè)視差圖像的輸出方向。本實(shí)施方式中，角度0 I為步驟S9中生成視域時(shí)的視差圖像的輸出方向，角度0 2為按下確定鍵時(shí)的視差圖像的輸出方向。圖12示出了式⑴的各參數(shù)的關(guān)系。表示視差圖像的輸出方向的角度0 I、0 2被定義為液晶面板I的法線L與視差圖像的光線Rl、R2所形成的角度。光線Rl是改變視差圖像的輸出方向前的光線，光線R2為改變視差圖像的輸出方向后的光線。并且，Xl以及x2表示X軸上的位置，xl = Zl tan 0 l、x2 = Zl tan 0 2。例如，xl為校正前的位置信息所示的觀眾的位置，x2為校正后的位置信息所示的觀眾的位置(即，真正的觀眾的位置)。另外，雖然以上只針對(duì)X方向求得位置信息的校正量，但針對(duì)Y方向也可以與X方向一樣求得校正量Ay。該情況下，存儲(chǔ)部17中保存的位置信息的校正量是X方向的校正量以及Y方向的校正量的組合(Ax，Ay)。并且，調(diào)整視差圖像的輸出方向的部件不限于滑動(dòng)條33。如上所述，本實(shí)施方式中，觀眾不改變視聽位置，通過改變視差圖像的輸出方向，從而進(jìn)行視域的調(diào)整，算出用于補(bǔ)償觀眾的位置信息的誤差的校正量。更具體而言，為使觀眾能夠用雙眼看到引導(dǎo)顯示部31的引導(dǎo)字符32為雙圓，移動(dòng)3D顯示在視聽位置檢查畫面的滑動(dòng)條33的滑塊34，并根據(jù)滑塊的偏移量算出校正量。接著，針對(duì)算出校正量的其他方法涉及的變形例進(jìn)行說明。與上述攝像機(jī)校準(zhǔn)方法相反，本變形例中，固定視差圖像的輸出方向，并改變觀眾的位置。圖13為表示本變形例涉及的影像處理方法(攝像機(jī)的校準(zhǔn))的流程圖。由于與上述圖6A中說明的步驟SI S9相同，因此省略說明，按照?qǐng)D13，從步驟S9的下一步驟開始說明。(I)液晶面板I顯示提醒觀眾的消息，以提醒觀眾從現(xiàn)在的位置(觀眾移動(dòng)前的位置)移動(dòng)到用右眼看到多個(gè)視差圖像中的中心2張視差圖像的一張、左眼看到另一張的位置(步驟S21)。作為該消息，例如顯示為“請(qǐng)移動(dòng)至雙眼可看到雙圓的位置后按下確定鍵”。(2)觀眾檢測(cè)部13判定確定鍵是否被按下(步驟S22)，若已按下確定鍵則進(jìn)入步驟 S23。(3)當(dāng)按下確定鍵時(shí)，觀眾檢測(cè)部13使用攝像機(jī)影像進(jìn)行臉部識(shí)別，并取得觀眾的位置信息(步驟S23)。在按下確定鍵的時(shí)刻 ，觀眾用雙眼看到雙圓的引導(dǎo)字符32。因此，本步驟中，觀眾檢測(cè)部13取得表示觀眾右眼看到中心2張視差圖像中的一張、左眼看到另一張的位置的位置信息。(4)校正量算出部18根據(jù)表示觀眾移動(dòng)前的位置的位置信息(X1，Y1)(步驟S3中算出)與表示觀眾移動(dòng)后的位置的位置信息(X2，Y2)(步驟S23中算出)，使用式(2)算出校正量(A x，A y)，并保存至存儲(chǔ)部17 (步驟S24)。(Ax, Ay) = (X2, Y2)-(X1, Yl)(2)S卩，校正量算出部18算出移動(dòng)前的位置信息(XI，Yl)與移動(dòng)后的位置信息(X2，Y2)之間的差作為校正量。如上所述，本變形例中，視差圖像的輸出方向固定，通過改變觀眾的視聽位置，進(jìn)行視域的調(diào)整，取得用于補(bǔ)償觀眾的位置信息的誤差的校正量。即，觀眾移動(dòng)用雙眼看到引導(dǎo)顯示部31的引導(dǎo)字符32為雙圓的位置，并根據(jù)移動(dòng)前后的位置信息算出校正量。另外，在上述實(shí)施方式以及變形例中液晶面板I上向觀眾顯示了的各種消息，但取而代之，也可以使用影像處理裝置100的揚(yáng)聲器(未圖示)，通過語音向觀眾傳達(dá)消息。接著，針對(duì)使用上述位置信息的校正量(AX，Ay)，在視聽立體影像時(shí)生成適當(dāng)?shù)囊曈虻姆椒ㄟM(jìn)行說明。(I)觀眾檢測(cè)部13將根據(jù)攝像機(jī)影像算出的觀眾的位置信息(XI，Yl)供給至位置信息校正部16。(2)位置信息校正部16當(dāng)從觀眾檢測(cè)部13獲得觀眾的位置信息時(shí)，從存儲(chǔ)部17中讀出位置信息的校正量(Ax，A y)，并使用該校正量(AX，Ay)，校正由觀眾檢測(cè)部13供給的位置信息(XI，Yl)，并得到校正后的位置信息(XI’，YDo該校正后的位置信息通過式(3)來求得。位置信息校正部16將校正后的位置信息(X1’，Y1’ )供給至視域信息算出部14。(XI，，Y1，)= (XI，Yl) + ( Ax，Ay)(3)(3)如上所述，通過視域信息算出部14以及圖像調(diào)整部15 (視域控制部15’ )生成包含位置(X1’，Y1’ )的視域。更詳細(xì)而言，首先，視域信息算出部14使用校正后的位置信息(X1’，Y1’ )算出控制參數(shù)。然后，圖像調(diào)整部15使用視域信息算出部14算出的控制參數(shù)調(diào)整視差圖像，并供給至液晶面板I。對(duì)于影像處理裝置100’，視域控制部15’使用視域信息算出部14算出的控制參數(shù)，控制開口控制部2’。(4)液晶面板I顯示通過圖像調(diào)整部15調(diào)整后的圖像。對(duì)于影像處理裝置100’，液晶面板I顯示從視差圖像轉(zhuǎn)換部12供給的圖像。如上所述，在視聽立體影像時(shí)，使用校正量校正觀眾的位置信息，在校正后的位置生成視域。由此，即使在發(fā)生攝像機(jī)的位置偏移的情況下，也可以生成將觀眾納入其中的視域。
雖然說明了本發(fā)明的幾個(gè)實(shí)施方式，但這些實(shí)施方式僅作為例子示出，并不用于限定發(fā)明的范圍。這些實(shí)施方式可通過其他各種實(shí)施方式來實(shí)施，在不脫離發(fā)明的要旨范圍內(nèi)，可以進(jìn)行各種省略、代替、變更。這些實(shí)施方式或其變形如果包含于發(fā)明的范圍或要旨內(nèi)，則包含于專利要求的 范圍所記載的發(fā)明與其相等的范圍內(nèi)。
權(quán)利要求
1.一種影像處理裝置，其特征在于，包括 觀眾檢測(cè)部，使用由攝像機(jī)拍攝的影像進(jìn)行臉部識(shí)別，取得觀眾的位置信息； 校正量算出部，算出用于補(bǔ)償伴隨所述攝像機(jī)的安裝位置的偏移而產(chǎn)生的所述位置信息的誤差的校正量； 位置信息校正部，使用由所述校正量算出部算出的所述校正量，校正所述位置信息；以 及 視域信息算出部，使用由所述位置信息校正部校正的位置信息，算出用于設(shè)定納入所述觀眾的視域的控制參數(shù)。
2.根據(jù)權(quán)利要求I所述的影像處理裝置，其特征在于，還包括 視域控制部，根據(jù)所述控制參數(shù)控制視域； 顯示部，顯示在所述視域內(nèi)的觀眾能作為立體影像觀看的多個(gè)視差圖像；以及 開口控制部，將顯示在所述顯示部的多個(gè)視差圖像向指定方向輸出。
3.根據(jù)權(quán)利要求2所述的影像處理裝置，其特征在于 所述顯示部顯示由多個(gè)視差圖像構(gòu)成的3D視聽位置檢查畫面，在所述3D視聽位置檢查畫面中，所述多個(gè)視差圖像中的中心的2張視差圖像具有其它視差圖像中沒有的共用引導(dǎo)字符， 所述視域控制部根據(jù)來自未改變視聽位置的所述觀眾的指示，改變所述3D視聽位置檢查畫面的所述多個(gè)視差圖像的輸出方向， 所述校正量算出部通過式(I)算出所述校正量， Ax = Zl* (tan 0 2-tan 0 I)(I) 其中，Ax為所述校正量，Zl為所述觀眾在Z軸上的位置，0 I為改變輸出方向前的所述多個(gè)視差圖像的輸出方向，9 2為所述觀眾用右眼看到所述中心的2張視差圖像中的一張、用左眼看到另一張的狀態(tài)下的所述多個(gè)視差圖像的輸出方向。
4.根據(jù)權(quán)利要求3所述的影像處理裝置，其特征在于 所述視域控制部根據(jù)顯示在所述3D視聽位置檢查畫面的且所述觀眾能操作的滑動(dòng)條的滑塊的位置，改變所述3D視聽位置檢查畫面的所述多個(gè)視差圖像的輸出方向。
5.根據(jù)權(quán)利要求3所述的影像處理裝置，其特征在于 所述校正量算出部將算出的所述校正量保存至存儲(chǔ)部， 所述位置信息校正部當(dāng)從所述觀眾檢測(cè)部獲得所述位置信息時(shí)，從所述存儲(chǔ)部中讀出所述校正量，并使用讀出的所述校正量校正所述位置信息。
6.根據(jù)權(quán)利要求3所述的影像處理裝置，其特征在于 在所述觀眾檢測(cè)部未檢測(cè)到觀眾時(shí)或檢測(cè)到多個(gè)觀眾時(shí)，所述顯示部顯示錯(cuò)誤消息。
7.根據(jù)權(quán)利要求2所述的影像處理裝置，其特征在于 所述顯示部顯示由多個(gè)視差圖像構(gòu)成的3D視聽位置檢查畫面，在所述3D視聽位置檢查畫面中，所述多個(gè)視差圖像中的中心的2張視差圖像具有其它視差圖像中沒有的共用引導(dǎo)字符， 所述觀眾檢測(cè)部取得表示所述觀眾移動(dòng)前的位置的第I位置信息以及表示所述觀眾移動(dòng)后的位置、即右眼看到所述中心的2張視差圖像中的一張、左眼看到另一張的位置的第2位置信息，所述校正量算出部算出所述第I位置信息與所述第2位置信息的差作為所述校正量。
8.根據(jù)權(quán)利要求7所述的影像處理裝置，其特征在于 所述校正量算出部將算出的所述校正量保存至存儲(chǔ)部， 所述位置信息校正部當(dāng)從所述觀眾檢測(cè)部獲得所述位置信息時(shí)，從所述存儲(chǔ)部中讀出所述校正量，并使用讀出的所述校正量校正所述位置信息。
9.根據(jù)權(quán)利要求7所述的影像處理裝置，其特征在于 在所述觀眾檢測(cè)部未檢測(cè)到觀眾時(shí)或檢測(cè)到多個(gè)觀眾時(shí)，所述顯示部顯示錯(cuò)誤消息。
10.一種影像處理方法，其特征在于 顯示由多個(gè)視差圖像構(gòu)成的3D視聽位置檢查畫面，在所述3D視聽位置檢查畫面中，所述多個(gè)視差圖像中的中心的2張視差圖像具有其它視差圖像中沒有的共用引導(dǎo)字符；使用由攝像機(jī)拍攝的影像進(jìn)行臉部識(shí)別，取得觀眾的位置信息； 根據(jù)所述觀眾的位置信息，生成視域； 根據(jù)來自未改變視聽位置的所述觀眾的指示，改變所述3D視聽位置檢查畫面的多個(gè)視差圖像的輸出方向； 通過式(2)算出所述觀眾的位置信息的校正量， Ax = Zl* (tan 0 2-tan 0 I)(2) 其中，Ax為所述校正量，Zl為所述觀眾在Z軸上的位置，0 I為改變輸出方向前的所述多個(gè)視差圖像的輸出方向，9 2為所述觀眾右眼看到所述中心的2張視差圖像中的一張、左眼看到另一張的狀態(tài)下的所述多個(gè)視差圖像的輸出方向。
11.根據(jù)權(quán)利要求10所述的影像處理方法，其特征在于 根據(jù)顯示在所述3D視聽位置檢查畫面的且所述觀眾能操作的滑動(dòng)條的滑塊的位置，改變所述多個(gè)視差圖像的輸出方向。
12.根據(jù)權(quán)利要求10所述的影像處理方法，其特征在于 使用所述校正量校正所述位置信息， 使用所述校正后的位置信息，算出用于設(shè)定納入所述觀眾的視域的控制參數(shù)， 根據(jù)所述控制參數(shù)控制視域。
13.根據(jù)權(quán)利要求10所述的影像處理方法，其特征在于 在未檢測(cè)到觀眾時(shí)或檢測(cè)到多個(gè)觀眾時(shí)，顯示錯(cuò)誤消息。
14.一種影像處理方法，其特征在于 顯示由多個(gè)視差圖像構(gòu)成的3D視聽位置檢查畫面，在所述3D視聽位置檢查畫面中，所述多個(gè)視差圖像中的中心的2張視差圖像具有其它視差圖像中沒有的共用引導(dǎo)字符； 使用由攝像機(jī)拍攝的影像進(jìn)行臉部識(shí)別，取得表示觀眾移動(dòng)前的位置的第I位置信息； 基于所述第I位置信息，生成視域； 取得表示所述觀眾移動(dòng)后的位置、即右眼看到所述中心的2張視差圖像中的一張、左眼看到另一張的位置的第2位置信息； 算出所述第I位置信息與所述第2位置信息的差，從而算出所述觀眾的位置信息的校正量。
15.根據(jù)權(quán)利要求14所述的影像處理方法，其特征在于使用所述校正量校正所述觀眾的位置信息，使用所述校正后的位置信息，算出用于設(shè)定納入所述觀眾的視域的控制參數(shù)，根據(jù)所述控制參數(shù)控制視域。
16.根據(jù)權(quán)利要求14所述的影像處理方法，其特征在于在未檢測(cè)到觀眾時(shí)或檢測(cè)到多個(gè)觀眾時(shí)，顯示錯(cuò)誤消息。
全文摘要
本發(fā)明提供一種容易校正攝像機(jī)的位置偏移，觀眾可觀看到良好的立體影像的影像處理裝置以及影像處理方法。根據(jù)實(shí)施方式，影像處理裝置具備觀眾檢測(cè)部，使用由攝像機(jī)拍攝的影像進(jìn)行臉部識(shí)別，取得觀眾的位置信息；校正量算出部，算出用于補(bǔ)償伴隨所述攝像機(jī)的安裝位置的偏移而產(chǎn)生的所述位置信息的誤差的校正量；位置信息校正部，使用由所述校正量算出部算出的所述校正量，校正所述位置信息；視域信息算出部，使用由所述位置信息校正部校正的位置信息，算出用于設(shè)定納入所述觀眾的視域的控制參數(shù)；以及視域控制部，根據(jù)所述控制參數(shù)控制視域。
文檔編號(hào)H04N13/04GK102970572SQ20121013594
公開日2013年3月13日 申請(qǐng)日期2012年5月3日 優(yōu)先權(quán)日2011年8月31日
發(fā)明者諸星利弘, 入江豐, 松原伸三, 井上勇一 申請(qǐng)人:株式會(huì)社東芝