攝影裝置以及攝影方法
攝影裝置以及攝影方法
【專利摘要】本發(fā)明提供攝影裝置以及攝影方法。攝影裝置具有攝影部、圖像處理部、視線方向判定部、主要被攝體判定部、強(qiáng)調(diào)處理部。所述視線方向判定部判定通過所述圖像處理部取得的所述圖像數(shù)據(jù)中的所述攝影者的視線方向。所述主要被攝體判定部根據(jù)通過所述視線方向判定部判定的所述視線方向，判定所述攝影者欲攝影的所述主要被攝體。所述強(qiáng)調(diào)處理部對通過所述主要被攝體判定部判定的所述主要被攝體進(jìn)行強(qiáng)調(diào)處理。
【專利說明】攝影裝置以及攝影方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及在全方位、全周、全景等較大的攝影范圍內(nèi)對被攝體攝影的攝影裝置和攝影方法。
【背景技術(shù)】
[0002]關(guān)于在全方位的攝影范圍內(nèi)對被攝體攝影的攝影裝置的技術(shù)，例如具有日本特開2011-40898號公報(bào)。該公報(bào)公開的技術(shù)具有:攝影單元，其對沿著規(guī)定的攝影面的360°方向的全景圖像進(jìn)行攝影；檢測單元，其檢測配設(shè)了攝影單元的該攝影再現(xiàn)裝置的殼體的一個(gè)結(jié)構(gòu)面相對的方位；記錄單元，其將通過攝影單元的攝影得到的全景圖像的圖像數(shù)據(jù)與表示通過檢測單元檢測出的方位的信息關(guān)聯(lián)起來記錄；顯示單元，其顯示圖像；以及顯示控制單元，其根據(jù)與通過記錄單元記錄的圖像數(shù)據(jù)關(guān)聯(lián)起來記錄的表示方位的信息，以使得作為預(yù)先設(shè)定的基準(zhǔn)的方位為圖像的中心的方式，將全景圖像在顯示單元上顯示。根據(jù)該公報(bào)，欣賞全景圖像的人能夠容易理解該全景圖像中顯現(xiàn)的被攝體在攝影時(shí)所處的方位。
[0003]在該公報(bào)中，在全方位的攝影、全周攝影、全景等較大范圍的攝影中，僅能提供一種單純記錄而未傳遞意圖的印象較淺的圖像，既無法得知攝影者正在看著較大視場角的圖像中的哪個(gè)部分，又無法得知以哪個(gè)被攝體為目的進(jìn)行了攝影。
[0004]本發(fā)明的目的在于提供一種既能夠提供全景圖像、全方位圖像那樣的較大視場角的圖像，又能夠獲得傳遞攝影者所看著的主要對象物的圖像的攝影裝置和攝影方法。
【發(fā)明內(nèi)容】
[0005]本發(fā)明的攝影裝置具有:攝影部，其對包含位于前方的被攝體和位于后方的攝影者的至少眼部的范圍同時(shí)進(jìn)行攝影，所述被攝體包含主要被攝體在內(nèi)；圖像處理部，其對所述攝影部的輸出信號進(jìn)行圖像處理，取得圖像數(shù)據(jù)；視線方向判定部，其判定由所述圖像處理部取得的所述圖像數(shù)據(jù)中的所述攝影者的視線方向；主要被攝體判定部，其根據(jù)由所述視線方向判定部判定的所述視線方向，判定所述攝影者欲攝影的所述主要被攝體；以及強(qiáng)調(diào)處理部，其對由所述主要被攝體判定部判定的所述主要被攝體進(jìn)行強(qiáng)調(diào)處理。
[0006]本發(fā)明的攝影方法對包含位于前方的被攝體和位于后方的攝影者的至少眼部的范圍同時(shí)進(jìn)行攝影，所述被攝體包括主要被攝體在內(nèi)，對通過所述攝影獲得的攝影信號進(jìn)行圖像處理并取得圖像數(shù)據(jù)，判定所述圖像數(shù)據(jù)中的所述攝影者的視線方向，根據(jù)所述視線方向判定所述攝影者欲攝影的所述主要被攝體，對所述欲攝影的所述主要被攝體進(jìn)行強(qiáng)調(diào)處理。
[0007]以下進(jìn)一步說明本發(fā)明的優(yōu)點(diǎn)，其部分內(nèi)容可從說明中顯而易見地得到，或者可以通過本發(fā)明的實(shí)踐而得知。本發(fā)明的優(yōu)點(diǎn)可以通過手段的組合實(shí)現(xiàn)，并可特別通過下文中指出的手段獲得。
【專利附圖】
【附圖說明】
[0008]附圖被并入說明書中并構(gòu)成說明書的一部分，其示出了本發(fā)明的實(shí)施例，并且與基于以上內(nèi)容的一般描述和以下提供的實(shí)施例的詳細(xì)描述一起用于解釋本發(fā)明的原理。
[0009]圖1是表示本發(fā)明的攝影裝置的一個(gè)實(shí)施方式的結(jié)構(gòu)框圖。
[0010]圖2是表示該裝置的攝影光學(xué)系統(tǒng)的結(jié)構(gòu)圖。
[0011]圖3A是表示通過該裝置的攝影取得全景圖像時(shí)的全方位攝影的情形的圖。
[0012]圖3B是表示該裝置的全方位攝影的攝影結(jié)果的圖。
[0013]圖3C是表示通過該裝置取得的全景圖像的圖。
[0014]圖4是用于說明該裝置中基準(zhǔn)視線方向的設(shè)定的圖。
[0015]圖5A是表示通過該裝置根據(jù)攝影者的鼻孔部的有無進(jìn)行基準(zhǔn)視線方向的設(shè)定時(shí)的狀態(tài)的圖。
[0016]圖5B是表示在通過該裝置攝影時(shí)攝影者的視線朝向被攝體的狀態(tài)的圖。
[0017]圖6A是表示通過該裝置判定攝影者的瞳孔位置時(shí)的狀態(tài)的圖。
[0018]圖6B是表示通過該裝置判定攝影者的瞳孔位置時(shí)的狀態(tài)的圖。
[0019]圖6C是表示通過該裝置根據(jù)攝影者的瞳孔位置進(jìn)行基準(zhǔn)視線方向的設(shè)定時(shí)的狀態(tài)的圖。
[0020]圖7A是通過該裝置表示攝影者的視線方向在前方的圖。
[0021 ]圖7B是通過該裝置表示攝影者的視線方向在自身朝向的左側(cè)的圖。
[0022]圖7C是通過該裝置表示攝影者的視線方向在自身朝向的右側(cè)的圖。
[0023]圖8A是通過該裝置表示攝影者的視線方向在自身朝向的左側(cè)的圖。
[0024]圖SB是通過該裝置表示攝影者的視線方向在自身朝向的右側(cè)的圖。
[0025]圖9是表示通過該裝置取得的全景圖像的縱向?qū)挾鹊慕嵌圈档脑O(shè)定的圖。
[0026]圖10是通過該裝置表示對由多個(gè)人物構(gòu)成的一群人物的強(qiáng)調(diào)范圍的設(shè)定的圖。
[0027]圖11是用于說明該裝置的基于標(biāo)記的強(qiáng)調(diào)范圍的設(shè)定根據(jù)的圖。
[0028]圖12是該裝置的相機(jī)控制流程圖。
[0029]圖13是該裝置的本裝置側(cè)視線方向的判定流程圖。
[0030]圖14是該裝置的視線方向的朝向判定流程圖。
【具體實(shí)施方式】
[0031]以下，參照【專利附圖】
【附圖說明】本發(fā)明的一個(gè)實(shí)施方式。
[0032]圖1表示攝影裝置10的結(jié)構(gòu)框圖。本裝置(相機(jī))10具有用于進(jìn)行全方位攝影的攝影光學(xué)系統(tǒng)11。本裝置10具有攝影光學(xué)系統(tǒng)11，從而在約360°的大致全方位(以下，意味著全方位)的攝影范圍內(nèi)對被攝體攝影，例如取得全景圖像。
[0033]圖2表示攝影光學(xué)系統(tǒng)11的結(jié)構(gòu)圖。攝影光學(xué)系統(tǒng)11具有形成魚眼鏡頭等超廣角鏡頭的多個(gè)鏡頭。攝影光學(xué)系統(tǒng)11通過魚眼鏡頭使光軸P周圍的全方位的攝影區(qū)域的光成像。該全方位的攝影區(qū)域還包含與光軸P對應(yīng)的區(qū)域。攝影光學(xué)系統(tǒng)11不限于通過魚眼鏡頭對全方位的攝影區(qū)域的光成像，還可以對除去包含光軸P的中央?yún)^(qū)域之外的光軸P周圍的環(huán)狀的攝影區(qū)域的光成像。攝影光學(xué)系統(tǒng)11對環(huán)狀的攝影區(qū)域的光成像，從而對全景風(fēng)格的帶狀區(qū)域的光成像。攝影光學(xué)系統(tǒng)11不限于魚眼鏡頭等超廣角的鏡頭。若為本裝置10那樣將光軸朝向天頂進(jìn)行攝影的方式，則不使用包含光軸P的中心部的圖像。因此，根據(jù)本裝置10的攝影方式，攝影光學(xué)系統(tǒng)11可使用取得光軸周圍180°的周邊圖像的反射型的光學(xué)系統(tǒng)。攝影光學(xué)系統(tǒng)11還可以將多個(gè)鏡頭組合以能夠?qū)θ苓M(jìn)行攝影。
[0034]本實(shí)施方式中的全方位包含嚴(yán)格意義上的所有方位的攝影區(qū)域和光軸P周圍的環(huán)狀的攝影區(qū)域。因此，魚眼鏡頭和廣角鏡頭組入到本裝置(相機(jī))10中的情況下，雖然并非在嚴(yán)格意義上的所有方位的攝影區(qū)域進(jìn)行攝影，然而在本實(shí)施方式中，設(shè)為能夠進(jìn)行全方位的攝影。
[0035]攝影光學(xué)系統(tǒng)11如圖2所示，既可以固定設(shè)置在本裝置主體1a上，也可以以能夠旋轉(zhuǎn)的方式設(shè)置。在固定式的情況下，攝影者握持本裝置10來擺放，從而本裝置10的姿勢發(fā)生變化，因此攝影光學(xué)系統(tǒng)11的光軸P的方向與本裝置10的姿勢的變化一起發(fā)生改變。在能夠旋轉(zhuǎn)的情況下，攝影光學(xué)系統(tǒng)11能夠相對于本裝置主體1a旋轉(zhuǎn)，因此即使攝影者將攝影光學(xué)系統(tǒng)11的光軸P朝向天頂方向來擺放，攝影光學(xué)系統(tǒng)11的光軸P也通過重力或致動(dòng)器的力而朝向天頂方向。
[0036]攝影光學(xué)系統(tǒng)11在能夠旋轉(zhuǎn)的情況下，如圖2所示包含例如形成為球狀的旋轉(zhuǎn)攝影體13。旋轉(zhuǎn)攝影體13被設(shè)置為能夠相對于本裝置主體1a自由旋轉(zhuǎn)。在旋轉(zhuǎn)攝影體13的內(nèi)部設(shè)有攝影光學(xué)系統(tǒng)11、基板14、配重15等。在基板14設(shè)有攝影部12。攝影光學(xué)系統(tǒng)11、攝影部12、基板14、配重15等與旋轉(zhuǎn)攝影體13的旋轉(zhuǎn)一起一體地旋轉(zhuǎn)。
[0037]配重15設(shè)置于旋轉(zhuǎn)攝影體13的下部、攝影光學(xué)系統(tǒng)11的光軸P的延長線上。在旋轉(zhuǎn)攝影體13上被施加配重15的重力。無論本裝置主體1a的傾斜如何，旋轉(zhuǎn)攝影體13都相對于本裝置主體1a旋轉(zhuǎn)，光軸P的朝向都保持天頂方向。
[0038]若如上述那樣將旋轉(zhuǎn)攝影體13構(gòu)成為能夠轉(zhuǎn)動(dòng)，則通過配重15使得攝影光學(xué)系統(tǒng)11朝向天頂。因此，即使攝影者未集中注意力擺放好本裝置10，因?yàn)閿z影光學(xué)系統(tǒng)11的光軸P朝向天頂，因此能夠?qū)λ椒较虻娜叭菀椎剡M(jìn)行攝影。本裝置10在不特別具備該旋轉(zhuǎn)攝影體13等機(jī)構(gòu)的情況下也成立。
[0039]若在攝影光學(xué)系統(tǒng)11的光軸P朝向天頂方向的狀態(tài)下進(jìn)行了全方位攝影，則攝影者的臉部和眼部進(jìn)入攝影光學(xué)系統(tǒng)11的攝影區(qū)域內(nèi)，該攝影者的臉部和眼部被攝影的可能性變大。在本實(shí)施方式中，攝影者為了進(jìn)行全方位的攝影，在使攝影光學(xué)系統(tǒng)11的光軸P朝向天頂方向的狀態(tài)下，觀看在前面顯示部27上顯示的圖像進(jìn)行攝影。
[0040]在旋轉(zhuǎn)攝影體13能夠轉(zhuǎn)動(dòng)的情況下，旋轉(zhuǎn)限制銷16設(shè)置于旋轉(zhuǎn)攝影體13的下部、攝影光學(xué)系統(tǒng)11的光軸P的延長線上。旋轉(zhuǎn)限制銷16將旋轉(zhuǎn)攝影體13的旋轉(zhuǎn)限制在特定的旋轉(zhuǎn)范圍內(nèi)。
[0041]在攝影光學(xué)系統(tǒng)11的光軸P上設(shè)有攝影部12。攝影部12將通過了攝影光學(xué)系統(tǒng)11的光轉(zhuǎn)換為電子的數(shù)字信號，并作為圖像數(shù)據(jù)輸出。
[0042]本裝置10具有由計(jì)算機(jī)構(gòu)成的控制部20?？刂撇?0控制本裝置10的整體?？刂撇?0上連接有攝影部12、麥克風(fēng)21、操作判定部22、記錄部24、通信部25、姿勢判定部26、前面?zhèn)蕊@示部27、前面?zhèn)扔|摸面板28、背面顯示部29、背面?zhèn)扔|摸面板30?？刂撇?0具有內(nèi)部存儲器。在本裝置10上也可以設(shè)置相機(jī)(眼部傳感器)23等。在本裝置10中，攝影者可以通過觀看相機(jī)(眼部傳感器)23從而將圖像的顯示切換為前面?zhèn)蕊@示部27或背面顯示部29。設(shè)置在本裝置10的背面的顯示部不僅可以為背面顯示部29，還可以設(shè)置其他的顯示部。
[0043]本裝置10的前面?zhèn)仁窃O(shè)有攝影光學(xué)系統(tǒng)11的面?zhèn)取Ｔ诒狙b置10的前面?zhèn)仍O(shè)有前面?zhèn)蕊@示部27和前面?zhèn)扔|摸面板28。
[0044]麥克風(fēng)21收集周圍氣氛的聲音，其中包括操作本裝置10的攝影者的聲音、該攝影者以外的例如小孩等人物的主要被攝體的聲音，將該收集的聲音轉(zhuǎn)換為電氣信號，并作為聲音檢測信號輸出。關(guān)于是否利用麥克風(fēng)21進(jìn)行聲音的收集，例如可以按照各種攝影模式自動(dòng)選擇。也可以設(shè)置一對麥克風(fēng)21。一對麥克風(fēng)21分別收集聲音，進(jìn)行立體聲錄音。
[0045]操作判定部22包括由攝影者手動(dòng)操作的各種操作部件。操作判定部22判定對各種操作部件的操作，輸出與該操作對應(yīng)的操作判定信號。各種操作部件例如包括進(jìn)行用于調(diào)整對主要被攝體的焦點(diǎn)調(diào)整和被攝體的明亮度的光圈的操作等的調(diào)整部件、釋放按鈕、動(dòng)態(tài)圖像按鈕、模式撥盤、選擇鍵、電源按鈕等。
[0046]本裝置10可以設(shè)置觸眼式的電子取景器(EVF)。EVF可以設(shè)置于本裝置10中以與背面顯示部29并用。本裝置10若并用EVF，則能夠在不受到外部光的影響的情況下進(jìn)行被攝體的觀察。本裝置10可以在背面設(shè)置背面相機(jī)(眼部傳感器)23和EVF。根據(jù)這種本裝置10，例如檢測攝影者的眼部是否與EVF接近到預(yù)先設(shè)定的距離內(nèi)，若攝影者的眼部接近到預(yù)先設(shè)定的距離內(nèi)，則EVF開始動(dòng)作。
[0047]記錄部24例如記錄在大致360°的全方位的攝影范圍內(nèi)對被攝體進(jìn)行攝影取得的全景圖像、從該全景圖像切取出特定區(qū)域的圖像、包含通過臉部檢測部41檢測出的攝影者A的臉部的圖像等。記錄部24例如預(yù)先記錄人體的臉部中的眼部等各部位的圖像詞典。圖像詞典例如包括具有臉部上的眼部、鼻部、嘴部等的陰影圖形的多個(gè)圖像。記錄部24例如為存儲卡等。
[0048]通信部25在本裝置10與外部裝置之間進(jìn)行例如包括通過攝影部12的攝影取得的各種圖像和從操作判定部22輸出的操作信號等的數(shù)據(jù)的通信。
[0049]姿勢判定部26檢測本裝置10的姿勢或該姿勢的變化。
[0050]前面顯示部27設(shè)置于本裝置10的前表面。前面顯示部27顯示實(shí)時(shí)取景圖像的顯示、通過攝影取得的全景圖像等。前面顯示部27例如為液晶顯示器或有機(jī)EL顯示器等。
[0051]前面?zhèn)扔|摸面板28設(shè)置于前面顯示部27的前表面。前面?zhèn)扔|摸面板28檢測攝影者的觸摸操作引起的按壓，輸出表示該觸摸操作的位置的觸摸坐標(biāo)信號。通過這種配置，攝影者能夠一邊通過攝像部12對臉部進(jìn)行攝像一邊觀看前面顯示部27的顯示，或進(jìn)行對前面?zhèn)扔|摸面板28的操作。
[0052]前面?zhèn)扔|摸面板28也可以具備與釋放按鈕同樣的功能。例如在前面顯示部27上顯示實(shí)時(shí)取景圖像的狀態(tài)下，攝影者若對前面?zhèn)扔|摸面板28進(jìn)行觸摸操作，則控制部20檢測對前面?zhèn)扔|摸面板28的觸摸操作，進(jìn)行對被攝體的攝影控制。
[0053]作為攝影者對前面?zhèn)扔|摸面板28進(jìn)行觸摸操作時(shí)的其他功能，控制部20也可以對準(zhǔn)與觸摸位置對應(yīng)的前面顯示部27上的圖像中的主要被攝體進(jìn)行焦點(diǎn)調(diào)整和曝光。
[0054]在將本裝置10的光軸P朝向天頂方向進(jìn)行攝影的模式中，前面?zhèn)蕊@示部27的前面朝天頂方向配置。攝影者觀察在朝向天頂方向的前面?zhèn)蕊@示部27上顯示的圖像，能夠確認(rèn)被攝體的構(gòu)圖等。
[0055]本裝置10具有攝影部12，其對包含具有位于前方的主要被攝體的被攝體、位于后方的攝影者的至少眼部的范圍同時(shí)進(jìn)行攝影。由此，本裝置10能夠通過配置為與攝像部12相同朝向的前面?zhèn)蕊@示部27進(jìn)行如下的操作。
[0056]本裝置10的攝影光學(xué)系統(tǒng)11和前面?zhèn)蕊@示部27都設(shè)置于本裝置10的前表面。因此，攝影者在將前面?zhèn)蕊@示部27朝向天頂方向配置，進(jìn)行全方位的攝影的情況下，在向前面?zhèn)蕊@示部27投去視線時(shí)，成為注視前面?zhèn)蕊@示部27的姿勢。
[0057]若攝影者基于這種姿勢進(jìn)行全方位的攝影，則攝影者的臉部(眼部)會進(jìn)入攝影光學(xué)系統(tǒng)11的攝影范圍內(nèi)，因此攝影者的臉部(眼部)通過攝影光學(xué)系統(tǒng)11而被攝影的概率變高。由此，在前面?zhèn)蕊@示部27上顯示的圖像中會顯示出攝影者，因此該攝影者通過觀看在前面?zhèn)蕊@示部27上顯示的圖像就能夠確認(rèn)攝影者自身。
[0058]在將前面?zhèn)蕊@示部27朝向天頂方向的狀態(tài)下進(jìn)行了全方位的攝影時(shí)，在前面?zhèn)蕊@示部27上顯示的圖像中，例如包含處于攝影者的前方的該攝影者的家人等主要被攝體的被攝體和攝影者本身一起被攝影。在這種攝影中，即使攝影者的家人等存在于該攝影者的前方，也能獲得攝影者自身與攝影者的家人等一起進(jìn)入其中的圖像。
[0059]根據(jù)這種本裝置10，能夠通過一次攝影獲得攝影者與家人等一起進(jìn)入到被攝體內(nèi)的圖像，能夠?qū)崿F(xiàn)對攝影者而言便利且快樂的照片攝影。
[0060]在攝影者向在背面顯示部29上顯示的圖像投去視線并進(jìn)行攝影的情況下，存在在攝影者對背面顯示部29的視線方向的延長線上的被攝體，本裝置10對該被攝體進(jìn)行攝影。這種情況下，本裝置10能夠與通常的相機(jī)同樣地正常用于由觀察者拿著本裝置10對前方的被攝體進(jìn)行攝影的用途。
[0061]本裝置10將前表面的尺寸形成得較大，在該前表面設(shè)置攝影光學(xué)系統(tǒng)11和前面?zhèn)蕊@示部27，從而能夠使該本裝置10小型化、薄型化。
[0062]本裝置10還能夠用于將攝影光學(xué)系統(tǒng)11的光軸P朝向攝影者自身的攝影、即所謂的自拍等。
[0063]本裝置10不限于將通過攝影光學(xué)系統(tǒng)11攝影的圖像顯示于在與設(shè)有該攝影光學(xué)系統(tǒng)11的面相同的面(前表面)的前面?zhèn)蕊@示部27，還可以使其顯示于設(shè)置在與前面?zhèn)蕊@示部27相反側(cè)的面上的背面顯示部29上。
[0064]背面顯示部29可以設(shè)置為以該背面顯示部29的一邊為旋轉(zhuǎn)軸相對于本裝置10轉(zhuǎn)動(dòng)。即使在這種背面顯示部29上顯示圖像，也能獲得與在前面?zhèn)蕊@示部27上顯示攝影者自身進(jìn)入到被攝體的圖像的情況同樣的效果。
[0065]背面顯示部29設(shè)置于本裝置10的背面。背面顯示部29顯示實(shí)時(shí)取景圖像的顯示、通過攝影取得的全景圖像等。背面顯示部29例如為液晶顯示器或有機(jī)EL顯示器等。背面顯示部29并非主要用于本裝置10。
[0066]背面?zhèn)扔|摸面板30設(shè)置于背面顯示部29的前表面。背面?zhèn)扔|摸面板30檢測攝影者的觸摸操作引起的按壓，輸出表示該觸摸操作位置的觸摸坐標(biāo)信號。背面?zhèn)扔|摸面板30與前面?zhèn)扔|摸面板28可以同樣地例如在背面顯示部29上顯示實(shí)時(shí)取景圖像的狀態(tài)下，在攝影者進(jìn)行了觸摸操作時(shí)，作為由釋放開關(guān)進(jìn)行了該觸摸操作而發(fā)揮功能。
[0067]關(guān)于前面?zhèn)蕊@示部27和背面顯示部29的各顯示動(dòng)作，可以例如分別按照各種攝影模式自動(dòng)選擇，或按照本裝置10的姿勢等選擇性地進(jìn)行顯示動(dòng)作。
[0068]控制部20具有內(nèi)部存儲器等。內(nèi)部存儲器預(yù)先存儲本裝置10的攝影程序。內(nèi)部存儲器等也可以記錄攝影結(jié)果?？刂撇?0通過執(zhí)行該攝影程序從而實(shí)現(xiàn)如下的功能。攝影程序使由計(jì)算機(jī)構(gòu)成的控制部20實(shí)現(xiàn)如下功能，即對包含具有主要被攝體的被攝體和攝影者的至少眼部的范圍進(jìn)行攝影的攝影功能、對攝影功能的輸出信號進(jìn)行圖像處理并取得圖像數(shù)據(jù)的圖像處理功能、判定通過圖像處理功能取得的圖像數(shù)據(jù)中的攝影者的視線方向的視線方向判定功能、根據(jù)通過視線方向判定功能判定的視線方向判定攝影者欲進(jìn)行攝影的主要被攝體的主要被攝體判定功能、對通過主要被攝體判定功能判定的主要被攝體進(jìn)行強(qiáng)調(diào)處理的強(qiáng)調(diào)處理功能。
[0069]下面說明主要被攝體的強(qiáng)調(diào)處理。
[0070]圖3A至圖3C示出用于說明利用本裝置10的攝影取得全景圖像的圖，該圖3A示出全方位攝影的情形，該圖3B示出攝影結(jié)果，該圖3C示出將攝影結(jié)果加工為全景圖像。從全方位的圖像中抽取必要的部分，以寬幅顯示的情況下的圖像就是全景圖像。寬幅和全景的定義為，比與本裝置I的前面?zhèn)扔|摸面板28或背面?zhèn)扔|摸面板30的縱橫比相比，橫長較長，橫向長度相比縱向長度例如為2倍以上的長度。
[0071]圖3A示出通過全方位攝影對作為攝影者本人的攝影者A、作為主要被攝體的例如父親等人物(以下，稱之為父親)B、小孩等人物(以下，稱之為小孩)C這3人進(jìn)行攝影的情形。攝影者A的視線方向(視線方向)S朝向父親B。
[0072]在該圖所示的狀態(tài)下進(jìn)行了全方位攝影時(shí)，可獲得與圖3B所示的攝影光學(xué)系統(tǒng)11的圖像圈對應(yīng)的圓形的攝影結(jié)果。在該圖中，根據(jù)攝影者A的視線方向S判定攝影者A欲攝影的主要被攝體、此時(shí)為小孩C和父親B，為了對小孩C和父親B進(jìn)行強(qiáng)調(diào)顯示而附加圓形的標(biāo)記F。
[0073]圖3C示出在全景圖像上為了對父親B進(jìn)行強(qiáng)調(diào)顯示而附加了環(huán)狀的標(biāo)記F的圖。
[0074]控制部20進(jìn)行用于實(shí)現(xiàn)主要被攝體的強(qiáng)調(diào)顯示的控制?？刂撇?0具有圖像處理部40、臉部檢測部41、視線方向判定部42、主要被攝體判定部43、強(qiáng)調(diào)顯示部44、顯示控制部45、聲音檢測部46。
[0075]圖像處理部40輸入從攝影部12輸出的全方位攝影的圖像數(shù)據(jù)，對該圖像數(shù)據(jù)實(shí)施白平衡校正和伽馬校正等的圖像處理。
[0076]臉部檢測部41從通過攝影部12的攝影取得的例如全方位攝影的圖像數(shù)據(jù)中檢測攝影者A等的人物的臉部。具體而言，臉部檢測部41讀出在記錄部24中預(yù)先記錄的圖像詞典的臉部的眼部、鼻部、嘴部等各部位的陰影圖形。臉部檢測部41對全方位攝影的圖像數(shù)據(jù)與在記錄部24中預(yù)先記錄的圖像詞典的臉部的眼部、鼻部、嘴部等各部位的陰影圖形進(jìn)行比較，根據(jù)該比較結(jié)果從通過攝影部12的攝影取得的圖像數(shù)據(jù)中檢測臉部和該臉部的眼部、鼻部、嘴部等各部位。
[0077]視線方向判定部42對通過臉部檢測部41檢測出的臉部和該臉部的眼部、鼻部、嘴部等各部位中例如眼部的眼白和黑眼珠的位置和大小、眼白和黑眼珠的配置、例如黑眼珠的左右上下的位置等進(jìn)行檢測，根據(jù)該黑眼珠的左右上下的位置等的檢測結(jié)果判定視線方向。
[0078]具體而言，視線方向判定部42獲取通過臉部檢測部41檢測出的全方位攝影的圖像數(shù)據(jù)中的人物、此時(shí)作為人物為攝影者A的臉部的圖像，根據(jù)攝影者A的臉部的至少鼻孔部的有無或眼部的瞳孔位置中的任意一方或雙方來判定視線方向S。作為攝影者A的判定，如上所述能夠根據(jù)所攝影的臉部圖像的方向和區(qū)域等進(jìn)行判定，作為臉部檢測的結(jié)果，也可以判別相機(jī)的所持者。若能夠進(jìn)行臉部的檢測，則也能夠根據(jù)臉部的陰影圖形判定眼部的位置。
[0079]具體說明視線方向S的判定。
[0080]視線方向判定部42判定攝影者A的視線方向S是否為本裝置10側(cè)。視線方向S為本裝置10側(cè)指的是攝影者A向本裝置10投去視線。判定的結(jié)果若視線方向S為本裝置10側(cè)，則視線方向判定部42將該本裝置10側(cè)的視線方向S設(shè)定為圖4所示的原點(diǎn)方向(基準(zhǔn)視線方向)G。
[0081]視線方向判定部42在設(shè)定基準(zhǔn)視線方向G之后，通過眼白和黑眼珠的配置來比較該基準(zhǔn)視線方向G與攝影者A的視線方向S，判定該攝影者A的視線方向S。
[0082]即，攝影者A在以攝影者A自身、小孩C和父親B為中心準(zhǔn)備進(jìn)行全景攝影時(shí)，首先，向圖3A所示小孩C和父親B投去視線并將小孩C和父親B以及攝影者A自身納入到本裝置10的攝影范圍內(nèi)。此后，攝影者A如圖4所示向在前面顯示部27上顯示的實(shí)時(shí)取景圖像投去視線，確認(rèn)小孩C和父親B以及攝影者A自身進(jìn)入到本裝置10的攝影范圍內(nèi)。此后，攝影者A對本裝置10的釋放按鈕進(jìn)行按壓操作或在前面顯示部27上的觸摸面板28進(jìn)行觸摸操作，從而本裝置10進(jìn)行攝影動(dòng)作，獲得圖3B所示的攝影結(jié)果，并取得圖3C所示的全景圖像。
[0083]因此，視線方向判定部42如圖4所示在攝影者A將視線方向S從小孩C和父親B朝向本裝置10側(cè)時(shí)，將該視線方向S設(shè)定為基準(zhǔn)視線方向G。關(guān)于該視線方向S，并不能夠嚴(yán)格地判定視線方向S本身。該視線方向S是通過眼白和黑眼珠的配置以及相對變化推測得到的。
[0084]設(shè)定了基準(zhǔn)視線方向G之后，視線方向判定部42比較該基準(zhǔn)視線方向G與攝影者A的視線方向S，判定該攝影者A的視線方向S。
[0085]在該攝影者A的視線方向S的判定中，視線方向判定部42根據(jù)基準(zhǔn)視線方向G與攝影者A的視線方向S的比較結(jié)果，判定攝影者A的視線方向(眼部的部分的黑眼珠的位置變化或基于眼白與黑眼珠的分配的差異)S相對于基準(zhǔn)視線方向G為左側(cè)、右側(cè)或前方的哪個(gè)。關(guān)于該攝影者A的視線方向S的判定，可以以鼻梁的圖形、鼻孔、臉部的輪廓圖形為基準(zhǔn)，觀察黑眼珠的位置(或眼白的位置)的變化來判定。關(guān)于該攝影者A的視線方向S的判定，可以確定眼白、黑眼珠的基準(zhǔn)位置，基于與該基準(zhǔn)位置的差異，判斷正在看著哪個(gè)方向。
[0086]視線方向判定部42根據(jù)在上述判定的攝影者A的視線方向S上存在的人物等主要被攝體、通過聲音檢測部46檢測出的攝影者A和人物等主要被攝體的聲音、攝影者A和人物等主要被攝體的各圖像，判定在攝影者A與人物等主要被攝體之間是否存在會話。該判定的結(jié)果，若存在會話，則視線方向判定部42將攝影者A的瞳孔位置與上述判定出的左偵U、右側(cè)或前方中的任意一個(gè)視線方向S關(guān)聯(lián)起來，將該關(guān)聯(lián)起來的數(shù)據(jù)存儲于內(nèi)部存儲器等。關(guān)聯(lián)起來的數(shù)據(jù)例如可以記錄于存儲卡等記錄部24。
[0087]下面說明攝影者A的視線方向S的基準(zhǔn)視線方向G的設(shè)定和攝影者A的視線方向S的判定的一例。
[0088]視線方向判定部42如上所述，根據(jù)通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)中的攝影者A的臉部的鼻孔部的有無或兩眼部的瞳孔位置中的任意一方或兩方來判定視線方向S。以下，舉出具體例子說明對視線方向S的判定。
[0089]圖5A表示攝影者A的視線方向S朝向本裝置10的前面顯示部27的情況。視線方向S大致等同于朝向本裝置10的攝影光學(xué)系統(tǒng)11。將該攝影者A的視線方向S朝向本裝置10的前面顯示部27時(shí)設(shè)作基準(zhǔn)視線方向G，而此時(shí)的攝影者A的臉部整面朝下。因此，在通過本裝置10的攝影光學(xué)系統(tǒng)11而由攝影部12攝影的全方位攝影的圖像數(shù)據(jù)中，攝影者A的臉部的鼻孔部幾乎沒有被攝影。
[0090]與此相對，圖5B表示攝影者A的視線方向S如圖3A所示朝向小孩C和父親B的情況。此時(shí)的攝影者A的臉部整面朝上。由此，在通過本裝置10的攝影光學(xué)系統(tǒng)11而由攝影部12攝影的全方位攝影的圖像數(shù)據(jù)中，拍攝到了攝影者A的鼻孔部。
[0091]因此，如圖5A所示在通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)中若沒有拍攝到攝影者A的鼻孔部，則視線方向判定部42判定為攝影者A的視線方向S朝向本裝置10的前面顯示部27。視線方向判定部42將該視線方向S設(shè)定為基準(zhǔn)視線方向G。
[0092]如圖5B所示在通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)中若拍攝到了攝影者A的鼻孔部，則視線方向判定部42判定為攝影者A的視線方向S朝向小孩C和父親B，不進(jìn)行基準(zhǔn)視線方向G的設(shè)定。
[0093]接著，說明由視線方向判定部42根據(jù)圖像數(shù)據(jù)中的攝影者A的臉部中的眼部的瞳孔位置來判定視線方向S時(shí)的具體例。
[0094]圖6A表示攝影者A的視線方向S朝向小孩C和父親B的情況。此時(shí)，通過本裝置10的攝影光學(xué)系統(tǒng)11而由攝影部12攝影的全方位攝影的圖像數(shù)據(jù)是拍攝到了攝影者A的眼部中的瞳孔和該瞳孔周圍的眼白的圖像數(shù)據(jù)。
[0095]圖6B表示攝影者A的視線方向S朝向小孩C和父親B的上方的情況。此時(shí)，通過攝影部12攝影的全方位攝影的圖像數(shù)據(jù)是拍攝到了攝影者A的眼部中的瞳孔和眼白位于2個(gè)區(qū)域、例如瞳孔位置為上方和眼白位置為下方這2個(gè)區(qū)域的圖像數(shù)據(jù)。
[0096]圖6C表示判斷為攝影者A的視線方向S朝向本裝置10的前面顯示部27，將視線方向S設(shè)定為基準(zhǔn)視線方向G的情況。此時(shí)，通過攝影部12攝影的全方位攝影的圖像數(shù)據(jù)是拍攝到了攝影者A的眼部中的瞳孔和眼白位于2個(gè)區(qū)域、例如瞳孔位置為下方而眼白位置為上方這2個(gè)區(qū)域的圖像數(shù)據(jù)。
[0097]因此，如圖6C所示在通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)中例如在瞳孔位置為下方而眼白位置為上方的2個(gè)區(qū)域進(jìn)行了攝影，則視線方向判定部42判定為攝影者A的視線方向S朝向本裝置10的前面顯示部27，將此時(shí)的視線方向S設(shè)定為基準(zhǔn)視線方向G。另外，在圖6A和圖6B所示狀態(tài)下，不進(jìn)行基準(zhǔn)視線方向G的設(shè)定。
[0098]接著，說明通過視線方向判定部42判定攝影者A的視線方向相對于基準(zhǔn)視線方向G為左側(cè)、右側(cè)或前方中的哪個(gè)時(shí)的具體例。
[0099]圖7A至圖7C表示攝影者A的臉部朝向前方而僅眼部的瞳孔朝向前方、左方向(左側(cè))、右方向(右側(cè))的情況，圖7A表示攝影者A的視線方向S位于前方的情況。攝影者A在正面朝向本裝置10的攝影光學(xué)系統(tǒng)11的狀態(tài)下被攝影。攝影者A的鼻部的鼻梁H存在于兩眼部之間。
[0100]在通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)上瞳孔位于眼部的中心，以該瞳孔為中心在左右兩側(cè)大致均等地拍攝到了眼白部，因此視線方向判定部42判定為攝影者A的視線方向S位于前方。
[0101]圖7B表示攝影者A的視線方向S在自身朝向的左側(cè)的情況。在通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)上瞳孔位于眼部的右側(cè)，在該瞳孔的左側(cè)拍攝到了眼白部，因此視線方向判定部42判定為攝影者A的視線方向S在自身朝向的左側(cè)。
[0102]圖7C表示攝影者A的視線方向S在自身朝向的右側(cè)的情況。在通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)上瞳孔位于眼部的左側(cè)，在該瞳孔的右側(cè)拍攝到了眼白部，因此視線方向判定部42判定為攝影者A的視線方向S在自身朝向的右側(cè)。
[0103]圖8A和圖8B表示攝影者A的臉部朝向側(cè)向而眼部的瞳孔朝向左方向(左側(cè))、右方向(右側(cè))的情況。圖8A表示攝影者A的視線方向S位于自身朝向的左側(cè)的情況。在通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)上瞳孔位于眼部的右側(cè)，在該瞳孔的左側(cè)拍攝到了眼白部，因此視線方向判定部42判定為攝影者A的視線方向S在自身朝向的左側(cè)。
[0104]圖8B表示攝影者A的視線方向S在自身朝向的右側(cè)的情況。在通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)上瞳孔位于眼部的左側(cè)，在該瞳孔的右側(cè)拍攝到了眼白部，因此視線方向判定部42判定為攝影者A的視線方向S在自身朝向的右側(cè)。
[0105]主要被攝體判定部43根據(jù)通過視線方向判定部42判定的視線方向S來判定攝影者A欲攝影的被攝體中的主要被攝體、即在視線方向S的延長線上存在的例如圖3B和圖3C所示的小孩C和父親B。
[0106]如果在具有攝影者A的鼻孔部的上方瞳孔位置朝下并且攝影者A的鼻梁和瞳孔位置不存在偏移，或者雖然不存在攝影者的鼻孔部然而瞳孔位置不存在上下方向的偏移且攝影者A的鼻梁和瞳孔位置不存在偏移，則主要被攝體判定部43判定為攝影者A的視線方向S是本裝置10側(cè)。
[0107]強(qiáng)調(diào)顯示部44對通過主要被攝體判定部43判定的主要被攝體進(jìn)行強(qiáng)調(diào)顯示。具體地，強(qiáng)調(diào)顯示部44對與通過圖像處理部40取得的圖像數(shù)據(jù)中的主要被攝體、例如圖3B和圖3C所示的小孩C和父親B對應(yīng)的圖像區(qū)域進(jìn)行強(qiáng)調(diào)用的圖像處理。關(guān)于強(qiáng)調(diào)用的圖像處理，例如進(jìn)行向小孩C和父親B等主要被攝體附加強(qiáng)調(diào)用的標(biāo)記、改變主要被攝體的配置位置或使與主要被攝體對應(yīng)的區(qū)域的濃淡級別相對改變之中的至少I個(gè)處理。
[0108]強(qiáng)調(diào)用的標(biāo)記F例如圖3B和圖3C所不，在全景圖像上使小孩C和父未B強(qiáng)調(diào)顯示。標(biāo)記F形成為環(huán)狀。標(biāo)記F不限于環(huán)狀，也可以為橢圓狀、四邊形狀等其他的形狀。關(guān)于標(biāo)記F，也可以改變小孩C和父親B等主要被攝體在圖像數(shù)據(jù)上的配置位置。標(biāo)記F還可以改變小孩C和父親B等主要被攝體的區(qū)域的濃淡級別，例如提高該區(qū)域的亮度。標(biāo)記F還可以進(jìn)行圖像處理以向小孩C和父親B等主要被攝體照射點(diǎn)光源。標(biāo)記F還可以進(jìn)行降低對比度或改變曝光等。
[0109]強(qiáng)調(diào)顯示部44在全方位攝影的圖像數(shù)據(jù)中設(shè)定了對主要被攝體進(jìn)行強(qiáng)調(diào)顯示的強(qiáng)調(diào)范圍。圖9中，將通過本裝置10取得的全方位攝影的圖像數(shù)據(jù)、例如全景圖像的縱向?qū)挾仍O(shè)定為角度Φ。縱向?qū)挾鹊慕嵌圈道缡菍⒈狙b置10配置于作為主要被攝體的父親B的胸部的高度位置處進(jìn)行攝影時(shí)，相對于將本裝置10與父親B的胸部的高度位置連結(jié)的水平線為下側(cè)的角度-10°、為上側(cè)的角度50°的角度范圍(-10°?50° =60° )。關(guān)于通過標(biāo)記F強(qiáng)調(diào)的范圍，若以該角度范圍(-10°?50° =60° )進(jìn)行強(qiáng)調(diào)，則不易得知強(qiáng)調(diào)的區(qū)域，因此例如設(shè)定為角度范圍60°的一半30°的范圍。
[0110]標(biāo)記F例如在橢圓狀的情況下，如圖10所示對由多個(gè)人物構(gòu)成的一群人物D進(jìn)行了攝影時(shí)，相對于該一群人物D的中心部將上側(cè)25°、下側(cè)10°設(shè)定為強(qiáng)調(diào)范圍。
[0111]如上在攝像部12與攝影者之間設(shè)有前面?zhèn)蕊@示部27。前面?zhèn)蕊@示部27上能夠顯示與圖像數(shù)據(jù)對應(yīng)的圖像和主要被攝體判定單元43的判定結(jié)果。攝影者通過觀看主要被攝體判定部43的判定結(jié)果，能夠確認(rèn)是否正確反映了攝影者的意圖。在攝影者看著被攝體和對象物時(shí)，難以同時(shí)觀看前面?zhèn)蕊@示部27等的顯示。也可以采用預(yù)先記錄攝影者看著被攝體的結(jié)果，將該結(jié)果持續(xù)顯示一段時(shí)間的做法。還可以對攝影者觀看了前面?zhèn)蕊@示部27的顯示的情況進(jìn)行檢測，進(jìn)行強(qiáng)調(diào)顯示。
[0112]下面，參照圖11說明基于標(biāo)記F的強(qiáng)調(diào)范圍的設(shè)定的根據(jù)。
[0113]攝影者A拿著本裝置10在例如距地面的高度為1.2m處對人物E等主要被攝體進(jìn)行攝影。人物E的身高例如為1.7m，在本裝置10與人物E之間的間隔例如為Im的條件下進(jìn)行攝影。本裝置10的攝影光學(xué)系統(tǒng)11的高度位置在水平方向J上與人物E的胸部的高度位置對應(yīng)。
[0114]在這種條件下，通過本裝置10對人物E攝影，為了使該人物E從胸部到臉部進(jìn)入到攝影范圍內(nèi)，需要相對于水平方向J使上側(cè)的角度Φ( = 25° )。另外，Φ =arctan (0.5) N 25°。其中，若僅對從人物E的胸部到臉部進(jìn)行攝影，則不存在人物E的背景，對于圖像的欣賞而言有不合適的地方，因而對角度Φ增倍而使上側(cè)的角度為50°。
[0115]在不存在由聲音檢測部46檢測出的對聲音的檢測且通過視線方向判定部42判定為主要被攝體是由多個(gè)人物構(gòu)成的人物群時(shí)，強(qiáng)調(diào)顯示部44對人物群進(jìn)行強(qiáng)調(diào)顯示。
[0116]顯示控制部45將通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)、例如實(shí)時(shí)取景圖像或全景圖像等顯示在前面顯示部27或背面顯示部29中的任意一方或兩方上。
[0117]聲音檢測部46輸入從麥克風(fēng)21輸出的聲音檢測信號,對包含攝影者的聲音和該攝影者以外的人物等主要被攝體的周圍的聲音進(jìn)行檢測。
[0118]接著，按照圖12所示的相機(jī)控制流程圖說明如上構(gòu)成的裝置的動(dòng)作。
[0119]控制部20在步驟SlOl中，判定是否設(shè)定為攝影模式。若判定的結(jié)果為設(shè)定為攝影模式，則控制部20在步驟S102中，判定包含攝影光學(xué)系統(tǒng)11的旋轉(zhuǎn)攝影體13是否朝向天頂。即，控制部20判定是否為全方位攝影。
[0120]若判定的結(jié)果為朝向天頂，則控制部20在步驟S103中，將被攝體的實(shí)時(shí)取景圖像等顯示在前面顯示部27或背面顯示部29中的任意一方或兩方上。即，攝影光學(xué)系統(tǒng)11通過具備作為魚眼鏡頭的功能的多個(gè)鏡頭對光軸P周圍的環(huán)狀的攝影區(qū)域的光成像。攝影部12將通過攝影光學(xué)系統(tǒng)11成像的光轉(zhuǎn)換為電氣模擬信號，將該模擬信號轉(zhuǎn)換為數(shù)字信號作為全方位攝影的圖像數(shù)據(jù)。圖像處理部40輸入從攝影部12輸出的圖像數(shù)據(jù)，對該圖像數(shù)據(jù)實(shí)施白平衡校正和伽馬校正等圖像處理。顯示控制部45將通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)、此處為實(shí)時(shí)取景圖像顯示在前面顯示部27或背面顯示部29中的任意一方或兩方上。
[0121]若上述步驟SlOl的判定結(jié)果并非攝影模式而是設(shè)定為其他模式、例如再現(xiàn)模式，則控制部20轉(zhuǎn)移到該再現(xiàn)模式。若上述步驟S102的判定結(jié)果為包含攝影光學(xué)系統(tǒng)11的旋轉(zhuǎn)攝影體13并非朝向天頂，則控制部20在步驟S104中轉(zhuǎn)移到通常攝影模式。
[0122]控制部20在步驟S105中，判斷在顯示實(shí)時(shí)取景圖像的是否為前面顯示部27。即，判斷在顯示實(shí)時(shí)取景圖像的顯示部是否為設(shè)置在與設(shè)有攝影光學(xué)系統(tǒng)11的面相同的面(前面?zhèn)鹊拿?上的前面顯示部27。通過該判斷如果在顯示實(shí)時(shí)取景圖像的是背面顯示部29，則控制部20將實(shí)時(shí)取景圖像的顯示切換為前面顯示部27。
[0123]若在通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)中包含攝影者A，則視線方向判定部42在步驟Slll中判定該攝影者A的視線方向S是否為本裝置10側(cè)(相機(jī)側(cè))。即，攝影者A例如圖3A所示以攝影者A自身、小孩C和父親B為中心進(jìn)行全景攝影時(shí)，如圖4所示將視線投向本裝置10的在顯示實(shí)時(shí)取景圖像的前面顯示部27側(cè)或小孩C和父親B側(cè)。
[0124]在判定攝影者A的視線方向S是否為本裝置10側(cè)時(shí)，臉部檢測部41將通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)的陰影圖形與在記錄部24中記錄的陰影圖形的圖像詞典進(jìn)行比較，根據(jù)比較結(jié)果判定圖像數(shù)據(jù)中的臉部，判定該臉部為哪個(gè)人物的。
[0125]視線方向判定部42如圖5A所示判定通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)中是否拍攝到了攝影者A的鼻孔部。
[0126]如果判定的結(jié)果為未拍攝到攝影者A的鼻孔部，則視線方向判定部42認(rèn)為攝影者A的視線方向S朝向本裝置10的前面顯示部27 (本裝置10側(cè))。
[0127]視線方向判定部42在步驟SI 12中，如圖5A所示將朝向本裝置10的前面顯示部27 (本裝置10側(cè))的攝影者A的視線方向S設(shè)定為基準(zhǔn)視線方向G。
[0128]視線方向判定部42將包含設(shè)定了基準(zhǔn)視線方向G時(shí)的攝影者A的臉部的圖像數(shù)據(jù)作為該攝影者A的臉部的初始圖形例如記錄于記錄部24等。
[0129]視線方向判定部42在步驟S113中，判定是否已進(jìn)行了攝影者A的視線方向S相對于基準(zhǔn)視線方向G為左側(cè)、右側(cè)或前方中的哪一個(gè)的判定、即攝影者A的視線方向S的朝向的判定。
[0130]其中，由于未進(jìn)行攝影者A的視線方向S相對于基準(zhǔn)視線方向G在左側(cè)、右側(cè)或前方中的哪一個(gè)的判定，因此控制部20經(jīng)過步驟SI 15而返回步驟S102，在步驟Slll中再次判定攝影者A的視線方向S是否為本裝置10側(cè)(相機(jī)側(cè))。
[0131]攝影者A的視線方向S為本裝置10側(cè)的判定已完畢，因此視線方向判定部42在步驟S121中，判定是否記錄了攝影者A的臉部的初始圖形。
[0132]判定的結(jié)果，攝影者A的臉部的初始圖形已在上述步驟S112中進(jìn)行了記錄，因此視線方向判定部42在步驟S122中，比較攝影者A的臉部的初始圖形與當(dāng)前時(shí)刻通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)中的攝影者A的臉部(以下，稱之為當(dāng)前時(shí)刻的攝影者A的臉部)。
[0133]比較的結(jié)果為，視線方向判定部42在步驟S123中，判定當(dāng)前時(shí)刻的攝影者A的臉部是否與攝影者A的臉部的初始圖形相比朝上、即如圖6B所示攝影者A的視線方向S是否朝向小孩C和父親B的上方。
[0134]若判定的結(jié)果為當(dāng)前時(shí)刻的攝影者A的臉部并未朝上，則視線方向判定部42在步驟S124中，認(rèn)為未判定為朝上，通過步驟S115返回步驟S102。
[0135]若當(dāng)前時(shí)刻的攝影者A的臉部朝上，則視線方向判定部42在步驟S131中，判定當(dāng)前時(shí)刻的攝影者A的臉部相對于攝影者A的臉部的初始圖形是否朝右、即圖7C所示攝影者A的視線方向S是否在自身朝向的右側(cè)。
[0136]若判定的結(jié)果為當(dāng)前時(shí)刻的攝影者A的臉部朝右，則視線方向判定部42在步驟S132中，判定為當(dāng)前時(shí)刻的攝影者A的臉部朝右。
[0137]另一方面，若當(dāng)前時(shí)刻的攝影者A的臉部并非朝右，則視線方向判定部42在步驟S133中，判定當(dāng)前時(shí)刻的攝影者A的臉部相對于攝影者A的臉部的初始圖形是否朝左、SP如圖7B所示攝影者A的視線方向S是否在自身朝向的左側(cè)。
[0138]若判定的結(jié)果為當(dāng)前時(shí)刻的攝影者A的臉部朝左，則視線方向判定部42在步驟S134中，判定為當(dāng)前時(shí)刻的攝影者A的臉部朝左。
[0139]若當(dāng)前時(shí)刻的攝影者A的臉部并非朝左，則由于已進(jìn)行了當(dāng)前時(shí)刻的攝影者A的臉部并非朝右的判定(步驟S131)，因此視線方向判定部42在步驟S135中，判定為當(dāng)前時(shí)刻的攝影者A的臉部朝向前方。
[0140]通過以上的處理，視線方向判定部42結(jié)束攝影者A的視線方向S相對于基準(zhǔn)視線方向G為左側(cè)、右側(cè)或前方中的哪一個(gè)的攝影者A的視線方向S的朝向的判定。
[0141]控制部20通過步驟SI 15返回步驟S102，在步驟SI 13中，再次判定是否結(jié)束了攝影者A的視線方向S相對于基準(zhǔn)視線方向G為左側(cè)、右側(cè)或前方中的哪一個(gè)的朝向的判定。判定的結(jié)果為該判定已結(jié)束，因此控制部20轉(zhuǎn)移到步驟SI 14。
[0142]主要被攝體判定部43在步驟S114中，根據(jù)通過視線方向判定部42判定的視線方向S，判定攝影者A欲攝影的被攝體中的主要被攝體、例如圖3B和圖3C所示的小孩C和父未B。
[0143]強(qiáng)調(diào)顯示部44對與通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)中的主要被攝體、例如圖3B和圖3C所示的小孩C和父親B對應(yīng)的圖像區(qū)域進(jìn)行強(qiáng)調(diào)用的圖像處理。作為強(qiáng)調(diào)用的圖像處理，例如進(jìn)行對小孩C和父親B等主要被攝體附加強(qiáng)調(diào)用的標(biāo)記、改變主要被攝體的配置位置或相對地改變與主要被攝體對應(yīng)的區(qū)域的濃淡級別之中的至少I個(gè)處理。
[0144]強(qiáng)調(diào)用的標(biāo)記F例如圖3B和圖3C所示在全景圖像上也形成為用于使小孩C和父親B強(qiáng)調(diào)顯示的環(huán)狀。附加了強(qiáng)調(diào)用的標(biāo)記F的圖像數(shù)據(jù)作為實(shí)時(shí)取景圖像在前面顯示部27上顯示。
[0145]控制部20在步驟S115中，判定是否進(jìn)行攝影。即，若進(jìn)行了對于操作判定部22的釋放按鈕的按壓操作或?qū)τ谇懊鎮(zhèn)扔|摸面板28的觸摸操作，則控制部20在該操作時(shí)進(jìn)行全景攝影，將通過該全景攝影取得的全景的圖像數(shù)據(jù)記錄于記錄部24。
[0146]S卩，若如圖3A所示進(jìn)行了全方位攝影，則圖像處理部40取得與該圖3B所示的攝影光學(xué)系統(tǒng)11的圖像圈對應(yīng)的環(huán)狀的作為攝影結(jié)果的圖像數(shù)據(jù)。主要被攝體判定部43在該圖像數(shù)據(jù)上，根據(jù)攝影者A的視線方向S判定攝影者A欲攝影的主要被攝體、此處為小孩C和父親B。強(qiáng)調(diào)顯示部44為了使小孩C和父親B強(qiáng)調(diào)顯示而將環(huán)狀的標(biāo)記F附加到圖像數(shù)據(jù)上?？刂撇?0將與攝影光學(xué)系統(tǒng)11的圖像圈對應(yīng)的環(huán)狀的攝影結(jié)果解壓縮作為圖3C所示的全景圖像，并且獲得為了使父親B強(qiáng)調(diào)顯示而附加了環(huán)狀的標(biāo)記F的全景圖像。
[0147]接著，說明視線方向判定部42進(jìn)行的攝影者A的視線方向S是否在本裝置10側(cè)的判定。
[0148]視線方向(尤其是攝影者A的視線方向)S原本利用圖5A和圖5B的箭頭S表現(xiàn)，而并非能夠?qū)⒃摷^S方向作為正確的視線方向檢測出來。在本實(shí)施方式中，從鼻梁和眼部的陰影部檢測臉部的朝向，并且考慮眼白和黑眼珠的配置來判定作為視線方向的箭頭S方向。
[0149]例如，如圖7A所示，若鼻梁位于兩眼部的中央部，而且兩眼部關(guān)于鼻梁位于對稱的位置，則判定為視線方向是圖5A和圖5B所示的箭頭S方向。在該視線方向S的判定中，如果無法判定鼻孔的圖形，則如圖5A所示判定為視線方向S相比水平方向而朝向下方。如果能夠檢測出鼻孔的圖形，則判定為視線方向S如圖5B所示朝向水平方向或相比水平方向朝向上方。
[0150]在視線方向S的判定中，例如可以預(yù)先記錄圖5A和圖5B所示的視線方向S作為基準(zhǔn)視線方向，將該基準(zhǔn)視線方向與應(yīng)判定的視線方向進(jìn)行比較，根據(jù)該比較結(jié)果推測應(yīng)判定的視線方向。
[0151 ] 在視線向左右移動(dòng)的情況下，通過檢測黑眼珠的位置相對于鼻梁向左右方向的哪個(gè)方向偏向，從而判定視線方向S為左方向或右方向。
[0152]接著，參照圖13所示的本裝置側(cè)視線方向的判定流程圖說明攝影者A的視線方向S的具體的判定。
[0153]視線方向判定部42在步驟S201中，判定是否通過臉部檢測部41在通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)中在作為本裝置10側(cè)的區(qū)域中檢測到了臉部、例如攝影者A的臉部。作為本裝置10側(cè)的區(qū)域，例如為在將本裝置10擺放成攝影者A向前面?zhèn)蕊@示部27投出視線，在直立的狀態(tài)下能夠觀看到該前面?zhèn)蕊@示部27的圖像的情況下，在該圖像數(shù)據(jù)中拍入了攝影者A的區(qū)域。
[0154]上述判定的結(jié)果為在作為本裝置10側(cè)的區(qū)域中檢測到攝影者A的臉部時(shí)，視線方向判定部42在步驟S202中，根據(jù)通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)，例如判定是否圖7A所示攝影者A的鼻部的鼻梁H存在于兩眼部之間，而且瞳孔是否分別位于兩眼部的中心且左右沒有偏移。
[0155]若判定的結(jié)果為攝影者A的鼻部的鼻梁H存在于兩眼部之間，瞳孔分別位于各眼部的中心且左右沒有偏移，則視線方向判定部42在步驟S203中，判定為攝影者A的視線方向S是本裝置10側(cè)。
[0156]若在作為本裝置10側(cè)的區(qū)域中未檢測到攝影者A的臉部，則視線方向判定部42從步驟S201移至步驟S204，判定是否如圖5B所示攝影者A的臉部朝上，拍攝到了攝影者A的鼻孔部，并且攝影者A的瞳孔位置位于下方而視線方向S在下方側(cè)，該攝影者A的視線方向S朝向本裝置10的前面顯示部27。
[0157]若判定的結(jié)果為攝影者A的臉部朝上且該攝影者A的視線方向S在下方側(cè)，則視線方向判定部42轉(zhuǎn)移到上述步驟S202。
[0158]另一方面，若攝影者A的臉部朝上且該攝影者A的視線方向S不在下方側(cè)，則視線方向判定部42在步驟S205中，根據(jù)通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)，判定是否如圖5A所示攝影者A的臉部的鼻孔部幾乎未被拍攝到，而且不存在攝影者A的瞳孔位置的向上下方向的偏移。
[0159]若判定的結(jié)果為攝影者A的臉部的鼻孔部幾乎未被拍攝到，而且不存在攝影者A的瞳孔位置的向上下方向的偏移，則視線方向判定部42轉(zhuǎn)移到上述步驟S202。
[0160]另一方面，若攝影者A的臉部的鼻孔部被拍攝到，而且存在攝影者A的瞳孔位置的向上下方向的偏移，則視線方向判定部42在步驟S206中，判定為攝影者A的視線方向S在本裝置10側(cè)以外。
[0161]接著，參照圖14所示的視線方向S的朝向判定流程圖，具體說明視線方向判定部42對視線方向S的朝向判定(圖12所示的步驟S132、134、135)。另外，攝影者A的視線方向S的朝向相對于基準(zhǔn)視線方向G為左側(cè)、右側(cè)或前方中的任意一個(gè)，將這些視線方向S的朝向表現(xiàn)為X。
[0162]視線方向判定部42在步驟S300中，判定能否按照例如圖7A至圖7C、圖8A和圖8B所示的各瞳孔位置判定攝影者A的視線方向S的朝向。
[0163]若判定的結(jié)果為無法判定，則視線方向判定部42在步驟S301中，根據(jù)通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)來判定攝影者A的臉部的圖像與通過麥克風(fēng)21收集的攝影者A和小孩C以及父親B等主要被攝體的各聲音的關(guān)系。即，視線方向判定部42在步驟S302中，判定在視線方向S的朝向X、即相對于基準(zhǔn)視線方向G的左側(cè)、右側(cè)或前方的視線方向S的延長線上是否存在小孩C和父親B等主要被攝體的臉部。以下，X表示左側(cè)、右側(cè)或前方。
[0164]若判定的結(jié)果為相對于基準(zhǔn)視線方向G在左側(cè)、右側(cè)或前方(X)的視線方向S的延長線上存在主要被攝體的臉部，則視線方向判定部42在步驟S303中，判定存在于上述左偵U、右側(cè)或前方(X)的視線方向S的延長線上的主要被攝體的臉部中的嘴部是否存在變化、例如嘴部是否存在開閉等的動(dòng)作。嘴部的開閉動(dòng)作的有無用于判定攝影者A是否正在與例如小孩C和父親B等主要被攝體進(jìn)行會話。
[0165]若判定的結(jié)果為主要被攝體的嘴部存在變化，則視線方向判定部42在步驟S304中，判定是否收集了從攝影者A的嘴部發(fā)出的聲音。麥克風(fēng)21通過立體聲收集聲音，因此控制部20能夠根據(jù)從該麥克風(fēng)21輸出的聲音信號來判定收集的聲音的方向。因此，視線方向判定部42通過使收集的聲音的方向與通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)中的攝影者A的位置對應(yīng)起來，從而判定是否正在從攝影者A的臉部發(fā)出聲音。
[0166]若判定的結(jié)果為從攝影者A的臉部發(fā)出聲音，則視線方向判定部42在步驟S305中，根據(jù)從麥克風(fēng)21輸出的聲音信號，判定是否例如從左側(cè)、右側(cè)或前方的攝影者A的臉部發(fā)出聲音。
[0167]若判定的結(jié)果為從存在于視線方向S為左側(cè)、右側(cè)或前方的視線方向S的延長線上的攝影者A的臉部發(fā)出聲音，則視線方向判定部42在步驟S306中，將與根據(jù)從麥克風(fēng)21輸出的聲音信號獲得的視線方向S在左側(cè)、右側(cè)或前方對應(yīng)的攝影者A的眼部的瞳孔位置與例如在上述圖7A至圖7C、圖8A和圖8B所示的各瞳孔位置對應(yīng)起來，例如記錄于記錄部24，并進(jìn)行數(shù)據(jù)庫化。
[0168]強(qiáng)調(diào)顯示部44在步驟S310中，對在攝影者A的視線方向S為左側(cè)、右側(cè)或前方時(shí)的該視線方向S的延長線上存在的例如小孩C和父親B等主要被攝體進(jìn)行強(qiáng)調(diào)處理。
[0169]若上述步驟S305的判定的結(jié)果為在從攝影者A觀察時(shí)左側(cè)、右側(cè)或前方的視線方向S的延長線上存在的例如小孩C和父親B等主要被攝體沒有發(fā)出聲音，則視線方向判定部42在步驟S307中，判定在從攝影者A觀察時(shí)左側(cè)、右側(cè)或前方的視線方向S的延長線上存在的人物等主要被攝體是否為I人。
[0170]若判定的結(jié)果為人物等主要被攝體是I人，則強(qiáng)調(diào)顯示部44在上述步驟S310中，對在攝影者A的左側(cè)、右側(cè)或前方的視線方向S的延長線上存在的人物等主要被攝體的臉部進(jìn)行強(qiáng)調(diào)處理。
[0171]若人物等主要被攝體并非I人，則強(qiáng)調(diào)顯示部44在步驟S312中，對在攝影者A的左側(cè)、右側(cè)或前方的視線方向S的延長線上存在的多個(gè)人物等主要被攝體群的各臉部進(jìn)行強(qiáng)調(diào)處理。
[0172]若上述步驟S302的判定結(jié)果為沒有存在于視線方向S的朝向X、即相對于基準(zhǔn)視線方向G為左側(cè)、右側(cè)或前方的視線方向S的延長線上的人物等主要被攝體，則視線方向判定部42在步驟S311中，利用標(biāo)記F，在上述左側(cè)、右側(cè)或前方的視線方向S上、例如角度范圍30°的角度范圍內(nèi)對人物等主要被攝體進(jìn)行強(qiáng)調(diào)。
[0173]若上述步驟S300的判定的結(jié)果為能夠按照例如圖7A至圖7C、圖8A和圖8B所示的各瞳孔位置判定攝影者A的視線方向S的朝向，則視線方向判定部42在步驟S321中，按照該圖7A至圖7C、圖8A和圖SB所示的各瞳孔位置判定攝影者A的視線方向S的朝向。
[0174]根據(jù)上述一個(gè)實(shí)施方式，在全方位的攝影范圍對被攝體進(jìn)行攝影，若在從該全方位的攝影取得的全方位攝影的圖像數(shù)據(jù)中包含攝影者A，則判定該攝影者A的視線方向S，根據(jù)該判定的視線方向S判定攝影者A欲攝影的被攝體中的例如小孩C和父親B等主要被攝體，對該判定的主要被攝體進(jìn)行強(qiáng)調(diào)顯示，因此能夠取得能夠?qū)z影者A看著的被攝體中的例如小孩C和父親B等主要被攝體進(jìn)行強(qiáng)調(diào)的全景圖像。
[0175]在上述實(shí)施方式中，說明的是對于視線方向S的判定使用臉部的輪廓或鼻孔等的圖像判定等，然而不限于此，還可以使用預(yù)置基準(zhǔn)位置的方法或?qū)⒚總€(gè)基本的視線方向的多個(gè)眼部的圖像圖形預(yù)先作為詞典圖像進(jìn)行記錄，通過對全方位攝影的圖像數(shù)據(jù)與詞典圖像進(jìn)行比較從而判定視線方向的方法等，可以僅利用眼部的圖像來判定視線方向。
[0176]本裝置10不限于具有用于在全方位的攝影范圍對被攝體進(jìn)行攝影以取得全景圖像的攝影光學(xué)系統(tǒng)11，還可以具有能夠?qū)z影者A的眼部與攝影者A所看著的方向同時(shí)進(jìn)行攝影的攝影光學(xué)系統(tǒng)。
[0177]在強(qiáng)調(diào)處理中，使用了形成為環(huán)狀的標(biāo)記F，然而不限于該環(huán)狀的標(biāo)記F，還可以將橢圓狀、四邊形狀等其他形狀用作標(biāo)記F。強(qiáng)調(diào)處理可以為如下處理:在小孩C和父親B等主要被攝體的圖像數(shù)據(jù)上改變配置位置；改變小孩C和父親B等主要被攝體的區(qū)域的濃淡級別，例如提高該區(qū)域的亮度；進(jìn)行圖像處理以向小孩C和父親B等主要被攝體照射點(diǎn)光源；降低對比度；或改變曝光。
[0178]關(guān)于進(jìn)行強(qiáng)調(diào)的區(qū)域、例如利用形成為環(huán)狀的標(biāo)記F來進(jìn)行強(qiáng)調(diào)的范圍，例如可以設(shè)定為角度范圍30°，或者將相對于由多個(gè)人物構(gòu)成的一群人物D的中心部的上側(cè)25°、下側(cè)10°設(shè)定為強(qiáng)調(diào)范圍。該基于標(biāo)記F的強(qiáng)調(diào)范圍適合于用于進(jìn)行強(qiáng)調(diào)的小孩C和父親B等主要被攝體的大小。
[0179]如果是這種基于標(biāo)記F的強(qiáng)調(diào)范圍，則能夠明確地知道攝影者看著全景圖像中的哪個(gè)部分?？芍獢z影者以哪個(gè)被攝體為目的進(jìn)行了攝影。能夠得到在攝影現(xiàn)場的氣氛中，知道攝影者欲攝影的對象的被攝體、攝影者所看著的被攝體、攝影者印象較深的被攝體的全景圖像。因而，在日后欣賞全景圖像時(shí)，容易得知在攝影時(shí)所看著的被攝體，對于欣賞全景圖像而言是較大的幫助。
[0180]由于對攝影者A的左側(cè)、右側(cè)或前方的視線方向S進(jìn)行判定，因此在強(qiáng)調(diào)處理中，能夠強(qiáng)調(diào)在該攝影者A的左側(cè)、右側(cè)或前方的視線方向S的延長線上存在的人物等主要被攝體的臉部。
[0181]本裝置10在使用攝影者A的臉部的圖像的用戶界面具有特征，未必限于攝影裝置。例如，本裝置10還能應(yīng)用于各種設(shè)備的遙控器那樣針對產(chǎn)業(yè)用、醫(yī)療用裝置的操作部件等對象物進(jìn)行操作的結(jié)構(gòu)或擺放設(shè)備的操作部位，這都是不言自明的。
[0182]本裝置10若應(yīng)用于相機(jī)，則能夠用于以強(qiáng)調(diào)顯示的部位等的圖像區(qū)域?yàn)閷ο筮M(jìn)行無線操作的設(shè)備或集中觀察的設(shè)備。在能夠?qū)Ρ粩z體和攝影者進(jìn)行攝影的設(shè)備中，為了由攝影者擺放該相機(jī)并對臉部的朝向進(jìn)行判定并操作，需要進(jìn)行協(xié)調(diào)處理的技術(shù)。只要是符合這些條件的設(shè)備，就都能夠應(yīng)用其中。在車載設(shè)備那樣攝影者希望迅速向設(shè)備傳遞意圖的結(jié)構(gòu)中也是有效的。因而本裝置10屬于信息處理裝置。
[0183]在上述實(shí)施方式所述的本裝置10的各流程圖所示的各處理都能夠作為可使控制部20執(zhí)行的程序進(jìn)行存儲。該程序可存儲在存儲卡(ROM卡、RAM卡等)、磁盤(軟盤(注冊商標(biāo))、硬盤等)、光盤(⑶_R0M、DVD等)、半導(dǎo)體存儲器等的外部存儲裝置的存儲介質(zhì)中。
[0184]本領(lǐng)域技術(shù)人員熟知且容易想到所附加的優(yōu)點(diǎn)和變更。因此，本發(fā)明具備更廣的范圍而不局限于以上示出和描述的具體細(xì)節(jié)和代表性實(shí)施例。因此，在不脫離本發(fā)明的總體發(fā)明構(gòu)思的精神的范圍內(nèi)可以做出各種變更，本發(fā)明通過所附權(quán)利要求書及其等同物進(jìn)行限定。
[0185]相關(guān)申請的相互參考
[0186]本申請基于在2013年7月22日提出的在先日本專利申請2013-151929、并要求其優(yōu)先權(quán)，在此將其全部內(nèi)容并入本文作為參考。
【權(quán)利要求】
1.一種攝影裝置，其具有: 攝影部，其對包含位于前方的被攝體和位于后方的攝影者的至少眼部的范圍同時(shí)進(jìn)行攝影，所述被攝體包括主要被攝體； 圖像處理部，其對所述攝影部的輸出信號進(jìn)行圖像處理，取得圖像數(shù)據(jù)； 視線方向判定部，其判定由所述圖像處理部取得的所述圖像數(shù)據(jù)中的所述攝影者的視線方向； 主要被攝體判定部，其根據(jù)由所述視線方向判定部判定的所述視線方向，判定所述攝影者欲攝影的所述主要被攝體；以及 強(qiáng)調(diào)處理部，其對由所述主要被攝體判定部判定的所述主要被攝體進(jìn)行強(qiáng)調(diào)處理。
2.根據(jù)權(quán)利要求1所述的攝影裝置，其中， 所述攝影裝置具有顯示部，該顯示部設(shè)置于所述攝像部與所述攝影者之間，能夠顯示與所述圖像數(shù)據(jù)對應(yīng)的圖像和所述主要被攝體判定部的判定結(jié)果。
3.根據(jù)權(quán)利要求1所述的攝影裝置，其中， 所述視線方向判定部判定所述攝影者的所述視線方向是否朝著本裝置側(cè)，若所述視線方向朝著所述本裝置側(cè)，則將所述本裝置側(cè)的所述視線方向作為基準(zhǔn)，比較該基準(zhǔn)視線方向與所述攝影者的所述視線方向，判定該攝影者的所述視線方向。
4.根據(jù)權(quán)利要求3所述的攝影裝置，其中， 所述視線方向判定部根據(jù)所述基準(zhǔn)視線方向與所述攝影者的所述視線方向之間的比較結(jié)果，判定所述攝影者的所述視線方向相對于所述基準(zhǔn)視線方向?yàn)樽髠?cè)、右側(cè)或前方中的哪個(gè)方向。
5.根據(jù)權(quán)利要求3所述的攝影裝置，其中， 如果具有所述攝影者的鼻孔部，瞳孔位置朝向下方且所述攝影者的鼻梁和所述瞳孔位置不存在偏移，則所述視線方向判定部判定為所述攝影者的所述視線方向朝著所述本裝置側(cè)。
6.根據(jù)權(quán)利要求3所述的攝影裝置，其中， 如果沒有所述攝影者的鼻孔部，瞳孔位置在上下方向上沒有偏移，且所述攝影者的鼻梁和所述瞳孔位置不存在偏移，則所述視線方向判定部判定為所述攝影者的所述視線方向朝著所述本裝置側(cè)。
7.根據(jù)權(quán)利要求3所述的攝影裝置，其中， 如果所述攝影者的鼻梁和瞳孔位置存在偏移，則所述視線方向判定部判定為所述攝影者的所述視線方向朝著所述本裝置以外。
8.根據(jù)權(quán)利要求3所述的攝影裝置，其中， 如果不存在所述攝影者的鼻孔部，瞳孔位置存在偏移，則所述視線方向判定部判定為所述攝影者的所述視線方向朝著所述本裝置以外。
9.根據(jù)權(quán)利要求4所述的攝影裝置，其中， 所述攝影裝置還具有檢測所述攝影者和所述主要被攝體的聲音的聲音檢測部， 所述視線方向判定部根據(jù)在上述判定出的所述視線方向上存在的所述主要被攝體、由所述聲音檢測部檢測出的所述聲音、所述攝影者和所述主要被攝體的各圖像，判定在所述攝影者與所述主要被攝體之間是否存在會話，當(dāng)判定為存在所述會話時(shí)，將所述攝影者的瞳孔位置與所述左側(cè)、所述右側(cè)或所述前方中的任意一個(gè)所述視線方向關(guān)聯(lián)起來。
10.根據(jù)權(quán)利要求6所述的攝影裝置，其中， 當(dāng)所述視線方向判定部判定為所述聲音檢測部沒有檢測出所述聲音且所述主要被攝體為由多個(gè)人物構(gòu)成的人物群時(shí)， 所述強(qiáng)調(diào)處理部對所述人物群進(jìn)行強(qiáng)調(diào)處理。
11.根據(jù)權(quán)利要求1所述的攝影裝置，其中， 所述強(qiáng)調(diào)處理部對所述圖像數(shù)據(jù)中的與所述主要被攝體對應(yīng)的圖像區(qū)域進(jìn)行強(qiáng)調(diào)用的圖像處理， 所述強(qiáng)調(diào)用的圖像處理進(jìn)行如下處理中的至少I個(gè)處理:對所述主要被攝體附加強(qiáng)調(diào)用的標(biāo)記的處理、改變所述主要被攝體的配置位置的處理、或相對地改變與所述主要被攝體對應(yīng)的區(qū)域的濃淡級別的處理。
12.根據(jù)權(quán)利要求1所述的攝影裝置，其中， 所述強(qiáng)調(diào)處理部在所述圖像數(shù)據(jù)中設(shè)定對所述主要被攝體進(jìn)行強(qiáng)調(diào)顯示的強(qiáng)調(diào)范圍。
13.根據(jù)權(quán)利要求1所述的攝影裝置，其中， 所述攝影部具有用于全方位進(jìn)行攝影的攝影光學(xué)系統(tǒng)，輸出全方位攝影的圖像數(shù)據(jù)。
14.一種攝影方法，包括如下步驟: 對包含位于前方的被攝體和位于后方的攝影者的至少眼部的范圍同時(shí)進(jìn)行攝影，所述被攝體包括主要被攝體， 對通過所述攝影獲得的攝影信號進(jìn)行圖像處理而取得圖像數(shù)據(jù)， 判定所述圖像數(shù)據(jù)中的所述攝影者的視線方向， 根據(jù)所述視線方向判定所述攝影者欲攝影的所述主要被攝體， 對所述欲攝影的所述主要被攝體進(jìn)行強(qiáng)調(diào)處理。
【文檔編號】H04N5/232GK104333690SQ201410350473
【公開日】2015年2月4日 申請日期:2014年7月22日 優(yōu)先權(quán)日:2013年7月22日
【發(fā)明者】佐藤和宏, 山本紗知惠, 沼尻恭一, 野中修 申請人:奧林巴斯映像株式會社, 奧林巴斯株式會社
【專利摘要】本發(fā)明提供攝影裝置以及攝影方法。攝影裝置具有攝影部、圖像處理部、視線方向判定部、主要被攝體判定部、強(qiáng)調(diào)處理部。所述視線方向判定部判定通過所述圖像處理部取得的所述圖像數(shù)據(jù)中的所述攝影者的視線方向。所述主要被攝體判定部根據(jù)通過所述視線方向判定部判定的所述視線方向，判定所述攝影者欲攝影的所述主要被攝體。所述強(qiáng)調(diào)處理部對通過所述主要被攝體判定部判定的所述主要被攝體進(jìn)行強(qiáng)調(diào)處理。
【專利說明】攝影裝置以及攝影方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及在全方位、全周、全景等較大的攝影范圍內(nèi)對被攝體攝影的攝影裝置和攝影方法。
【背景技術(shù)】
[0002]關(guān)于在全方位的攝影范圍內(nèi)對被攝體攝影的攝影裝置的技術(shù)，例如具有日本特開2011-40898號公報(bào)。該公報(bào)公開的技術(shù)具有:攝影單元，其對沿著規(guī)定的攝影面的360°方向的全景圖像進(jìn)行攝影；檢測單元，其檢測配設(shè)了攝影單元的該攝影再現(xiàn)裝置的殼體的一個(gè)結(jié)構(gòu)面相對的方位；記錄單元，其將通過攝影單元的攝影得到的全景圖像的圖像數(shù)據(jù)與表示通過檢測單元檢測出的方位的信息關(guān)聯(lián)起來記錄；顯示單元，其顯示圖像；以及顯示控制單元，其根據(jù)與通過記錄單元記錄的圖像數(shù)據(jù)關(guān)聯(lián)起來記錄的表示方位的信息，以使得作為預(yù)先設(shè)定的基準(zhǔn)的方位為圖像的中心的方式，將全景圖像在顯示單元上顯示。根據(jù)該公報(bào)，欣賞全景圖像的人能夠容易理解該全景圖像中顯現(xiàn)的被攝體在攝影時(shí)所處的方位。
[0003]在該公報(bào)中，在全方位的攝影、全周攝影、全景等較大范圍的攝影中，僅能提供一種單純記錄而未傳遞意圖的印象較淺的圖像，既無法得知攝影者正在看著較大視場角的圖像中的哪個(gè)部分，又無法得知以哪個(gè)被攝體為目的進(jìn)行了攝影。
[0004]本發(fā)明的目的在于提供一種既能夠提供全景圖像、全方位圖像那樣的較大視場角的圖像，又能夠獲得傳遞攝影者所看著的主要對象物的圖像的攝影裝置和攝影方法。
【發(fā)明內(nèi)容】
[0005]本發(fā)明的攝影裝置具有:攝影部，其對包含位于前方的被攝體和位于后方的攝影者的至少眼部的范圍同時(shí)進(jìn)行攝影，所述被攝體包含主要被攝體在內(nèi)；圖像處理部，其對所述攝影部的輸出信號進(jìn)行圖像處理，取得圖像數(shù)據(jù)；視線方向判定部，其判定由所述圖像處理部取得的所述圖像數(shù)據(jù)中的所述攝影者的視線方向；主要被攝體判定部，其根據(jù)由所述視線方向判定部判定的所述視線方向，判定所述攝影者欲攝影的所述主要被攝體；以及強(qiáng)調(diào)處理部，其對由所述主要被攝體判定部判定的所述主要被攝體進(jìn)行強(qiáng)調(diào)處理。
[0006]本發(fā)明的攝影方法對包含位于前方的被攝體和位于后方的攝影者的至少眼部的范圍同時(shí)進(jìn)行攝影，所述被攝體包括主要被攝體在內(nèi)，對通過所述攝影獲得的攝影信號進(jìn)行圖像處理并取得圖像數(shù)據(jù)，判定所述圖像數(shù)據(jù)中的所述攝影者的視線方向，根據(jù)所述視線方向判定所述攝影者欲攝影的所述主要被攝體，對所述欲攝影的所述主要被攝體進(jìn)行強(qiáng)調(diào)處理。
[0007]以下進(jìn)一步說明本發(fā)明的優(yōu)點(diǎn)，其部分內(nèi)容可從說明中顯而易見地得到，或者可以通過本發(fā)明的實(shí)踐而得知。本發(fā)明的優(yōu)點(diǎn)可以通過手段的組合實(shí)現(xiàn)，并可特別通過下文中指出的手段獲得。
【專利附圖】
【附圖說明】
[0008]附圖被并入說明書中并構(gòu)成說明書的一部分，其示出了本發(fā)明的實(shí)施例，并且與基于以上內(nèi)容的一般描述和以下提供的實(shí)施例的詳細(xì)描述一起用于解釋本發(fā)明的原理。
[0009]圖1是表示本發(fā)明的攝影裝置的一個(gè)實(shí)施方式的結(jié)構(gòu)框圖。
[0010]圖2是表示該裝置的攝影光學(xué)系統(tǒng)的結(jié)構(gòu)圖。
[0011]圖3A是表示通過該裝置的攝影取得全景圖像時(shí)的全方位攝影的情形的圖。
[0012]圖3B是表示該裝置的全方位攝影的攝影結(jié)果的圖。
[0013]圖3C是表示通過該裝置取得的全景圖像的圖。
[0014]圖4是用于說明該裝置中基準(zhǔn)視線方向的設(shè)定的圖。
[0015]圖5A是表示通過該裝置根據(jù)攝影者的鼻孔部的有無進(jìn)行基準(zhǔn)視線方向的設(shè)定時(shí)的狀態(tài)的圖。
[0016]圖5B是表示在通過該裝置攝影時(shí)攝影者的視線朝向被攝體的狀態(tài)的圖。
[0017]圖6A是表示通過該裝置判定攝影者的瞳孔位置時(shí)的狀態(tài)的圖。
[0018]圖6B是表示通過該裝置判定攝影者的瞳孔位置時(shí)的狀態(tài)的圖。
[0019]圖6C是表示通過該裝置根據(jù)攝影者的瞳孔位置進(jìn)行基準(zhǔn)視線方向的設(shè)定時(shí)的狀態(tài)的圖。
[0020]圖7A是通過該裝置表示攝影者的視線方向在前方的圖。
[0021 ]圖7B是通過該裝置表示攝影者的視線方向在自身朝向的左側(cè)的圖。
[0022]圖7C是通過該裝置表示攝影者的視線方向在自身朝向的右側(cè)的圖。
[0023]圖8A是通過該裝置表示攝影者的視線方向在自身朝向的左側(cè)的圖。
[0024]圖SB是通過該裝置表示攝影者的視線方向在自身朝向的右側(cè)的圖。
[0025]圖9是表示通過該裝置取得的全景圖像的縱向?qū)挾鹊慕嵌圈档脑O(shè)定的圖。
[0026]圖10是通過該裝置表示對由多個(gè)人物構(gòu)成的一群人物的強(qiáng)調(diào)范圍的設(shè)定的圖。
[0027]圖11是用于說明該裝置的基于標(biāo)記的強(qiáng)調(diào)范圍的設(shè)定根據(jù)的圖。
[0028]圖12是該裝置的相機(jī)控制流程圖。
[0029]圖13是該裝置的本裝置側(cè)視線方向的判定流程圖。
[0030]圖14是該裝置的視線方向的朝向判定流程圖。
【具體實(shí)施方式】
[0031]以下，參照【專利附圖】
【附圖說明】本發(fā)明的一個(gè)實(shí)施方式。
[0032]圖1表示攝影裝置10的結(jié)構(gòu)框圖。本裝置(相機(jī))10具有用于進(jìn)行全方位攝影的攝影光學(xué)系統(tǒng)11。本裝置10具有攝影光學(xué)系統(tǒng)11，從而在約360°的大致全方位(以下，意味著全方位)的攝影范圍內(nèi)對被攝體攝影，例如取得全景圖像。
[0033]圖2表示攝影光學(xué)系統(tǒng)11的結(jié)構(gòu)圖。攝影光學(xué)系統(tǒng)11具有形成魚眼鏡頭等超廣角鏡頭的多個(gè)鏡頭。攝影光學(xué)系統(tǒng)11通過魚眼鏡頭使光軸P周圍的全方位的攝影區(qū)域的光成像。該全方位的攝影區(qū)域還包含與光軸P對應(yīng)的區(qū)域。攝影光學(xué)系統(tǒng)11不限于通過魚眼鏡頭對全方位的攝影區(qū)域的光成像，還可以對除去包含光軸P的中央?yún)^(qū)域之外的光軸P周圍的環(huán)狀的攝影區(qū)域的光成像。攝影光學(xué)系統(tǒng)11對環(huán)狀的攝影區(qū)域的光成像，從而對全景風(fēng)格的帶狀區(qū)域的光成像。攝影光學(xué)系統(tǒng)11不限于魚眼鏡頭等超廣角的鏡頭。若為本裝置10那樣將光軸朝向天頂進(jìn)行攝影的方式，則不使用包含光軸P的中心部的圖像。因此，根據(jù)本裝置10的攝影方式，攝影光學(xué)系統(tǒng)11可使用取得光軸周圍180°的周邊圖像的反射型的光學(xué)系統(tǒng)。攝影光學(xué)系統(tǒng)11還可以將多個(gè)鏡頭組合以能夠?qū)θ苓M(jìn)行攝影。
[0034]本實(shí)施方式中的全方位包含嚴(yán)格意義上的所有方位的攝影區(qū)域和光軸P周圍的環(huán)狀的攝影區(qū)域。因此，魚眼鏡頭和廣角鏡頭組入到本裝置(相機(jī))10中的情況下，雖然并非在嚴(yán)格意義上的所有方位的攝影區(qū)域進(jìn)行攝影，然而在本實(shí)施方式中，設(shè)為能夠進(jìn)行全方位的攝影。
[0035]攝影光學(xué)系統(tǒng)11如圖2所示，既可以固定設(shè)置在本裝置主體1a上，也可以以能夠旋轉(zhuǎn)的方式設(shè)置。在固定式的情況下，攝影者握持本裝置10來擺放，從而本裝置10的姿勢發(fā)生變化，因此攝影光學(xué)系統(tǒng)11的光軸P的方向與本裝置10的姿勢的變化一起發(fā)生改變。在能夠旋轉(zhuǎn)的情況下，攝影光學(xué)系統(tǒng)11能夠相對于本裝置主體1a旋轉(zhuǎn)，因此即使攝影者將攝影光學(xué)系統(tǒng)11的光軸P朝向天頂方向來擺放，攝影光學(xué)系統(tǒng)11的光軸P也通過重力或致動(dòng)器的力而朝向天頂方向。
[0036]攝影光學(xué)系統(tǒng)11在能夠旋轉(zhuǎn)的情況下，如圖2所示包含例如形成為球狀的旋轉(zhuǎn)攝影體13。旋轉(zhuǎn)攝影體13被設(shè)置為能夠相對于本裝置主體1a自由旋轉(zhuǎn)。在旋轉(zhuǎn)攝影體13的內(nèi)部設(shè)有攝影光學(xué)系統(tǒng)11、基板14、配重15等。在基板14設(shè)有攝影部12。攝影光學(xué)系統(tǒng)11、攝影部12、基板14、配重15等與旋轉(zhuǎn)攝影體13的旋轉(zhuǎn)一起一體地旋轉(zhuǎn)。
[0037]配重15設(shè)置于旋轉(zhuǎn)攝影體13的下部、攝影光學(xué)系統(tǒng)11的光軸P的延長線上。在旋轉(zhuǎn)攝影體13上被施加配重15的重力。無論本裝置主體1a的傾斜如何，旋轉(zhuǎn)攝影體13都相對于本裝置主體1a旋轉(zhuǎn)，光軸P的朝向都保持天頂方向。
[0038]若如上述那樣將旋轉(zhuǎn)攝影體13構(gòu)成為能夠轉(zhuǎn)動(dòng)，則通過配重15使得攝影光學(xué)系統(tǒng)11朝向天頂。因此，即使攝影者未集中注意力擺放好本裝置10，因?yàn)閿z影光學(xué)系統(tǒng)11的光軸P朝向天頂，因此能夠?qū)λ椒较虻娜叭菀椎剡M(jìn)行攝影。本裝置10在不特別具備該旋轉(zhuǎn)攝影體13等機(jī)構(gòu)的情況下也成立。
[0039]若在攝影光學(xué)系統(tǒng)11的光軸P朝向天頂方向的狀態(tài)下進(jìn)行了全方位攝影，則攝影者的臉部和眼部進(jìn)入攝影光學(xué)系統(tǒng)11的攝影區(qū)域內(nèi)，該攝影者的臉部和眼部被攝影的可能性變大。在本實(shí)施方式中，攝影者為了進(jìn)行全方位的攝影，在使攝影光學(xué)系統(tǒng)11的光軸P朝向天頂方向的狀態(tài)下，觀看在前面顯示部27上顯示的圖像進(jìn)行攝影。
[0040]在旋轉(zhuǎn)攝影體13能夠轉(zhuǎn)動(dòng)的情況下，旋轉(zhuǎn)限制銷16設(shè)置于旋轉(zhuǎn)攝影體13的下部、攝影光學(xué)系統(tǒng)11的光軸P的延長線上。旋轉(zhuǎn)限制銷16將旋轉(zhuǎn)攝影體13的旋轉(zhuǎn)限制在特定的旋轉(zhuǎn)范圍內(nèi)。
[0041]在攝影光學(xué)系統(tǒng)11的光軸P上設(shè)有攝影部12。攝影部12將通過了攝影光學(xué)系統(tǒng)11的光轉(zhuǎn)換為電子的數(shù)字信號，并作為圖像數(shù)據(jù)輸出。
[0042]本裝置10具有由計(jì)算機(jī)構(gòu)成的控制部20?？刂撇?0控制本裝置10的整體?？刂撇?0上連接有攝影部12、麥克風(fēng)21、操作判定部22、記錄部24、通信部25、姿勢判定部26、前面?zhèn)蕊@示部27、前面?zhèn)扔|摸面板28、背面顯示部29、背面?zhèn)扔|摸面板30?？刂撇?0具有內(nèi)部存儲器。在本裝置10上也可以設(shè)置相機(jī)(眼部傳感器)23等。在本裝置10中，攝影者可以通過觀看相機(jī)(眼部傳感器)23從而將圖像的顯示切換為前面?zhèn)蕊@示部27或背面顯示部29。設(shè)置在本裝置10的背面的顯示部不僅可以為背面顯示部29，還可以設(shè)置其他的顯示部。
[0043]本裝置10的前面?zhèn)仁窃O(shè)有攝影光學(xué)系統(tǒng)11的面?zhèn)取Ｔ诒狙b置10的前面?zhèn)仍O(shè)有前面?zhèn)蕊@示部27和前面?zhèn)扔|摸面板28。
[0044]麥克風(fēng)21收集周圍氣氛的聲音，其中包括操作本裝置10的攝影者的聲音、該攝影者以外的例如小孩等人物的主要被攝體的聲音，將該收集的聲音轉(zhuǎn)換為電氣信號，并作為聲音檢測信號輸出。關(guān)于是否利用麥克風(fēng)21進(jìn)行聲音的收集，例如可以按照各種攝影模式自動(dòng)選擇。也可以設(shè)置一對麥克風(fēng)21。一對麥克風(fēng)21分別收集聲音，進(jìn)行立體聲錄音。
[0045]操作判定部22包括由攝影者手動(dòng)操作的各種操作部件。操作判定部22判定對各種操作部件的操作，輸出與該操作對應(yīng)的操作判定信號。各種操作部件例如包括進(jìn)行用于調(diào)整對主要被攝體的焦點(diǎn)調(diào)整和被攝體的明亮度的光圈的操作等的調(diào)整部件、釋放按鈕、動(dòng)態(tài)圖像按鈕、模式撥盤、選擇鍵、電源按鈕等。
[0046]本裝置10可以設(shè)置觸眼式的電子取景器(EVF)。EVF可以設(shè)置于本裝置10中以與背面顯示部29并用。本裝置10若并用EVF，則能夠在不受到外部光的影響的情況下進(jìn)行被攝體的觀察。本裝置10可以在背面設(shè)置背面相機(jī)(眼部傳感器)23和EVF。根據(jù)這種本裝置10，例如檢測攝影者的眼部是否與EVF接近到預(yù)先設(shè)定的距離內(nèi)，若攝影者的眼部接近到預(yù)先設(shè)定的距離內(nèi)，則EVF開始動(dòng)作。
[0047]記錄部24例如記錄在大致360°的全方位的攝影范圍內(nèi)對被攝體進(jìn)行攝影取得的全景圖像、從該全景圖像切取出特定區(qū)域的圖像、包含通過臉部檢測部41檢測出的攝影者A的臉部的圖像等。記錄部24例如預(yù)先記錄人體的臉部中的眼部等各部位的圖像詞典。圖像詞典例如包括具有臉部上的眼部、鼻部、嘴部等的陰影圖形的多個(gè)圖像。記錄部24例如為存儲卡等。
[0048]通信部25在本裝置10與外部裝置之間進(jìn)行例如包括通過攝影部12的攝影取得的各種圖像和從操作判定部22輸出的操作信號等的數(shù)據(jù)的通信。
[0049]姿勢判定部26檢測本裝置10的姿勢或該姿勢的變化。
[0050]前面顯示部27設(shè)置于本裝置10的前表面。前面顯示部27顯示實(shí)時(shí)取景圖像的顯示、通過攝影取得的全景圖像等。前面顯示部27例如為液晶顯示器或有機(jī)EL顯示器等。
[0051]前面?zhèn)扔|摸面板28設(shè)置于前面顯示部27的前表面。前面?zhèn)扔|摸面板28檢測攝影者的觸摸操作引起的按壓，輸出表示該觸摸操作的位置的觸摸坐標(biāo)信號。通過這種配置，攝影者能夠一邊通過攝像部12對臉部進(jìn)行攝像一邊觀看前面顯示部27的顯示，或進(jìn)行對前面?zhèn)扔|摸面板28的操作。
[0052]前面?zhèn)扔|摸面板28也可以具備與釋放按鈕同樣的功能。例如在前面顯示部27上顯示實(shí)時(shí)取景圖像的狀態(tài)下，攝影者若對前面?zhèn)扔|摸面板28進(jìn)行觸摸操作，則控制部20檢測對前面?zhèn)扔|摸面板28的觸摸操作，進(jìn)行對被攝體的攝影控制。
[0053]作為攝影者對前面?zhèn)扔|摸面板28進(jìn)行觸摸操作時(shí)的其他功能，控制部20也可以對準(zhǔn)與觸摸位置對應(yīng)的前面顯示部27上的圖像中的主要被攝體進(jìn)行焦點(diǎn)調(diào)整和曝光。
[0054]在將本裝置10的光軸P朝向天頂方向進(jìn)行攝影的模式中，前面?zhèn)蕊@示部27的前面朝天頂方向配置。攝影者觀察在朝向天頂方向的前面?zhèn)蕊@示部27上顯示的圖像，能夠確認(rèn)被攝體的構(gòu)圖等。
[0055]本裝置10具有攝影部12，其對包含具有位于前方的主要被攝體的被攝體、位于后方的攝影者的至少眼部的范圍同時(shí)進(jìn)行攝影。由此，本裝置10能夠通過配置為與攝像部12相同朝向的前面?zhèn)蕊@示部27進(jìn)行如下的操作。
[0056]本裝置10的攝影光學(xué)系統(tǒng)11和前面?zhèn)蕊@示部27都設(shè)置于本裝置10的前表面。因此，攝影者在將前面?zhèn)蕊@示部27朝向天頂方向配置，進(jìn)行全方位的攝影的情況下，在向前面?zhèn)蕊@示部27投去視線時(shí)，成為注視前面?zhèn)蕊@示部27的姿勢。
[0057]若攝影者基于這種姿勢進(jìn)行全方位的攝影，則攝影者的臉部(眼部)會進(jìn)入攝影光學(xué)系統(tǒng)11的攝影范圍內(nèi)，因此攝影者的臉部(眼部)通過攝影光學(xué)系統(tǒng)11而被攝影的概率變高。由此，在前面?zhèn)蕊@示部27上顯示的圖像中會顯示出攝影者，因此該攝影者通過觀看在前面?zhèn)蕊@示部27上顯示的圖像就能夠確認(rèn)攝影者自身。
[0058]在將前面?zhèn)蕊@示部27朝向天頂方向的狀態(tài)下進(jìn)行了全方位的攝影時(shí)，在前面?zhèn)蕊@示部27上顯示的圖像中，例如包含處于攝影者的前方的該攝影者的家人等主要被攝體的被攝體和攝影者本身一起被攝影。在這種攝影中，即使攝影者的家人等存在于該攝影者的前方，也能獲得攝影者自身與攝影者的家人等一起進(jìn)入其中的圖像。
[0059]根據(jù)這種本裝置10，能夠通過一次攝影獲得攝影者與家人等一起進(jìn)入到被攝體內(nèi)的圖像，能夠?qū)崿F(xiàn)對攝影者而言便利且快樂的照片攝影。
[0060]在攝影者向在背面顯示部29上顯示的圖像投去視線并進(jìn)行攝影的情況下，存在在攝影者對背面顯示部29的視線方向的延長線上的被攝體，本裝置10對該被攝體進(jìn)行攝影。這種情況下，本裝置10能夠與通常的相機(jī)同樣地正常用于由觀察者拿著本裝置10對前方的被攝體進(jìn)行攝影的用途。
[0061]本裝置10將前表面的尺寸形成得較大，在該前表面設(shè)置攝影光學(xué)系統(tǒng)11和前面?zhèn)蕊@示部27，從而能夠使該本裝置10小型化、薄型化。
[0062]本裝置10還能夠用于將攝影光學(xué)系統(tǒng)11的光軸P朝向攝影者自身的攝影、即所謂的自拍等。
[0063]本裝置10不限于將通過攝影光學(xué)系統(tǒng)11攝影的圖像顯示于在與設(shè)有該攝影光學(xué)系統(tǒng)11的面相同的面(前表面)的前面?zhèn)蕊@示部27，還可以使其顯示于設(shè)置在與前面?zhèn)蕊@示部27相反側(cè)的面上的背面顯示部29上。
[0064]背面顯示部29可以設(shè)置為以該背面顯示部29的一邊為旋轉(zhuǎn)軸相對于本裝置10轉(zhuǎn)動(dòng)。即使在這種背面顯示部29上顯示圖像，也能獲得與在前面?zhèn)蕊@示部27上顯示攝影者自身進(jìn)入到被攝體的圖像的情況同樣的效果。
[0065]背面顯示部29設(shè)置于本裝置10的背面。背面顯示部29顯示實(shí)時(shí)取景圖像的顯示、通過攝影取得的全景圖像等。背面顯示部29例如為液晶顯示器或有機(jī)EL顯示器等。背面顯示部29并非主要用于本裝置10。
[0066]背面?zhèn)扔|摸面板30設(shè)置于背面顯示部29的前表面。背面?zhèn)扔|摸面板30檢測攝影者的觸摸操作引起的按壓，輸出表示該觸摸操作位置的觸摸坐標(biāo)信號。背面?zhèn)扔|摸面板30與前面?zhèn)扔|摸面板28可以同樣地例如在背面顯示部29上顯示實(shí)時(shí)取景圖像的狀態(tài)下，在攝影者進(jìn)行了觸摸操作時(shí)，作為由釋放開關(guān)進(jìn)行了該觸摸操作而發(fā)揮功能。
[0067]關(guān)于前面?zhèn)蕊@示部27和背面顯示部29的各顯示動(dòng)作，可以例如分別按照各種攝影模式自動(dòng)選擇，或按照本裝置10的姿勢等選擇性地進(jìn)行顯示動(dòng)作。
[0068]控制部20具有內(nèi)部存儲器等。內(nèi)部存儲器預(yù)先存儲本裝置10的攝影程序。內(nèi)部存儲器等也可以記錄攝影結(jié)果?？刂撇?0通過執(zhí)行該攝影程序從而實(shí)現(xiàn)如下的功能。攝影程序使由計(jì)算機(jī)構(gòu)成的控制部20實(shí)現(xiàn)如下功能，即對包含具有主要被攝體的被攝體和攝影者的至少眼部的范圍進(jìn)行攝影的攝影功能、對攝影功能的輸出信號進(jìn)行圖像處理并取得圖像數(shù)據(jù)的圖像處理功能、判定通過圖像處理功能取得的圖像數(shù)據(jù)中的攝影者的視線方向的視線方向判定功能、根據(jù)通過視線方向判定功能判定的視線方向判定攝影者欲進(jìn)行攝影的主要被攝體的主要被攝體判定功能、對通過主要被攝體判定功能判定的主要被攝體進(jìn)行強(qiáng)調(diào)處理的強(qiáng)調(diào)處理功能。
[0069]下面說明主要被攝體的強(qiáng)調(diào)處理。
[0070]圖3A至圖3C示出用于說明利用本裝置10的攝影取得全景圖像的圖，該圖3A示出全方位攝影的情形，該圖3B示出攝影結(jié)果，該圖3C示出將攝影結(jié)果加工為全景圖像。從全方位的圖像中抽取必要的部分，以寬幅顯示的情況下的圖像就是全景圖像。寬幅和全景的定義為，比與本裝置I的前面?zhèn)扔|摸面板28或背面?zhèn)扔|摸面板30的縱橫比相比，橫長較長，橫向長度相比縱向長度例如為2倍以上的長度。
[0071]圖3A示出通過全方位攝影對作為攝影者本人的攝影者A、作為主要被攝體的例如父親等人物(以下，稱之為父親)B、小孩等人物(以下，稱之為小孩)C這3人進(jìn)行攝影的情形。攝影者A的視線方向(視線方向)S朝向父親B。
[0072]在該圖所示的狀態(tài)下進(jìn)行了全方位攝影時(shí)，可獲得與圖3B所示的攝影光學(xué)系統(tǒng)11的圖像圈對應(yīng)的圓形的攝影結(jié)果。在該圖中，根據(jù)攝影者A的視線方向S判定攝影者A欲攝影的主要被攝體、此時(shí)為小孩C和父親B，為了對小孩C和父親B進(jìn)行強(qiáng)調(diào)顯示而附加圓形的標(biāo)記F。
[0073]圖3C示出在全景圖像上為了對父親B進(jìn)行強(qiáng)調(diào)顯示而附加了環(huán)狀的標(biāo)記F的圖。
[0074]控制部20進(jìn)行用于實(shí)現(xiàn)主要被攝體的強(qiáng)調(diào)顯示的控制?？刂撇?0具有圖像處理部40、臉部檢測部41、視線方向判定部42、主要被攝體判定部43、強(qiáng)調(diào)顯示部44、顯示控制部45、聲音檢測部46。
[0075]圖像處理部40輸入從攝影部12輸出的全方位攝影的圖像數(shù)據(jù)，對該圖像數(shù)據(jù)實(shí)施白平衡校正和伽馬校正等的圖像處理。
[0076]臉部檢測部41從通過攝影部12的攝影取得的例如全方位攝影的圖像數(shù)據(jù)中檢測攝影者A等的人物的臉部。具體而言，臉部檢測部41讀出在記錄部24中預(yù)先記錄的圖像詞典的臉部的眼部、鼻部、嘴部等各部位的陰影圖形。臉部檢測部41對全方位攝影的圖像數(shù)據(jù)與在記錄部24中預(yù)先記錄的圖像詞典的臉部的眼部、鼻部、嘴部等各部位的陰影圖形進(jìn)行比較，根據(jù)該比較結(jié)果從通過攝影部12的攝影取得的圖像數(shù)據(jù)中檢測臉部和該臉部的眼部、鼻部、嘴部等各部位。
[0077]視線方向判定部42對通過臉部檢測部41檢測出的臉部和該臉部的眼部、鼻部、嘴部等各部位中例如眼部的眼白和黑眼珠的位置和大小、眼白和黑眼珠的配置、例如黑眼珠的左右上下的位置等進(jìn)行檢測，根據(jù)該黑眼珠的左右上下的位置等的檢測結(jié)果判定視線方向。
[0078]具體而言，視線方向判定部42獲取通過臉部檢測部41檢測出的全方位攝影的圖像數(shù)據(jù)中的人物、此時(shí)作為人物為攝影者A的臉部的圖像，根據(jù)攝影者A的臉部的至少鼻孔部的有無或眼部的瞳孔位置中的任意一方或雙方來判定視線方向S。作為攝影者A的判定，如上所述能夠根據(jù)所攝影的臉部圖像的方向和區(qū)域等進(jìn)行判定，作為臉部檢測的結(jié)果，也可以判別相機(jī)的所持者。若能夠進(jìn)行臉部的檢測，則也能夠根據(jù)臉部的陰影圖形判定眼部的位置。
[0079]具體說明視線方向S的判定。
[0080]視線方向判定部42判定攝影者A的視線方向S是否為本裝置10側(cè)。視線方向S為本裝置10側(cè)指的是攝影者A向本裝置10投去視線。判定的結(jié)果若視線方向S為本裝置10側(cè)，則視線方向判定部42將該本裝置10側(cè)的視線方向S設(shè)定為圖4所示的原點(diǎn)方向(基準(zhǔn)視線方向)G。
[0081]視線方向判定部42在設(shè)定基準(zhǔn)視線方向G之后，通過眼白和黑眼珠的配置來比較該基準(zhǔn)視線方向G與攝影者A的視線方向S，判定該攝影者A的視線方向S。
[0082]即，攝影者A在以攝影者A自身、小孩C和父親B為中心準(zhǔn)備進(jìn)行全景攝影時(shí)，首先，向圖3A所示小孩C和父親B投去視線并將小孩C和父親B以及攝影者A自身納入到本裝置10的攝影范圍內(nèi)。此后，攝影者A如圖4所示向在前面顯示部27上顯示的實(shí)時(shí)取景圖像投去視線，確認(rèn)小孩C和父親B以及攝影者A自身進(jìn)入到本裝置10的攝影范圍內(nèi)。此后，攝影者A對本裝置10的釋放按鈕進(jìn)行按壓操作或在前面顯示部27上的觸摸面板28進(jìn)行觸摸操作，從而本裝置10進(jìn)行攝影動(dòng)作，獲得圖3B所示的攝影結(jié)果，并取得圖3C所示的全景圖像。
[0083]因此，視線方向判定部42如圖4所示在攝影者A將視線方向S從小孩C和父親B朝向本裝置10側(cè)時(shí)，將該視線方向S設(shè)定為基準(zhǔn)視線方向G。關(guān)于該視線方向S，并不能夠嚴(yán)格地判定視線方向S本身。該視線方向S是通過眼白和黑眼珠的配置以及相對變化推測得到的。
[0084]設(shè)定了基準(zhǔn)視線方向G之后，視線方向判定部42比較該基準(zhǔn)視線方向G與攝影者A的視線方向S，判定該攝影者A的視線方向S。
[0085]在該攝影者A的視線方向S的判定中，視線方向判定部42根據(jù)基準(zhǔn)視線方向G與攝影者A的視線方向S的比較結(jié)果，判定攝影者A的視線方向(眼部的部分的黑眼珠的位置變化或基于眼白與黑眼珠的分配的差異)S相對于基準(zhǔn)視線方向G為左側(cè)、右側(cè)或前方的哪個(gè)。關(guān)于該攝影者A的視線方向S的判定，可以以鼻梁的圖形、鼻孔、臉部的輪廓圖形為基準(zhǔn)，觀察黑眼珠的位置(或眼白的位置)的變化來判定。關(guān)于該攝影者A的視線方向S的判定，可以確定眼白、黑眼珠的基準(zhǔn)位置，基于與該基準(zhǔn)位置的差異，判斷正在看著哪個(gè)方向。
[0086]視線方向判定部42根據(jù)在上述判定的攝影者A的視線方向S上存在的人物等主要被攝體、通過聲音檢測部46檢測出的攝影者A和人物等主要被攝體的聲音、攝影者A和人物等主要被攝體的各圖像，判定在攝影者A與人物等主要被攝體之間是否存在會話。該判定的結(jié)果，若存在會話，則視線方向判定部42將攝影者A的瞳孔位置與上述判定出的左偵U、右側(cè)或前方中的任意一個(gè)視線方向S關(guān)聯(lián)起來，將該關(guān)聯(lián)起來的數(shù)據(jù)存儲于內(nèi)部存儲器等。關(guān)聯(lián)起來的數(shù)據(jù)例如可以記錄于存儲卡等記錄部24。
[0087]下面說明攝影者A的視線方向S的基準(zhǔn)視線方向G的設(shè)定和攝影者A的視線方向S的判定的一例。
[0088]視線方向判定部42如上所述，根據(jù)通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)中的攝影者A的臉部的鼻孔部的有無或兩眼部的瞳孔位置中的任意一方或兩方來判定視線方向S。以下，舉出具體例子說明對視線方向S的判定。
[0089]圖5A表示攝影者A的視線方向S朝向本裝置10的前面顯示部27的情況。視線方向S大致等同于朝向本裝置10的攝影光學(xué)系統(tǒng)11。將該攝影者A的視線方向S朝向本裝置10的前面顯示部27時(shí)設(shè)作基準(zhǔn)視線方向G，而此時(shí)的攝影者A的臉部整面朝下。因此，在通過本裝置10的攝影光學(xué)系統(tǒng)11而由攝影部12攝影的全方位攝影的圖像數(shù)據(jù)中，攝影者A的臉部的鼻孔部幾乎沒有被攝影。
[0090]與此相對，圖5B表示攝影者A的視線方向S如圖3A所示朝向小孩C和父親B的情況。此時(shí)的攝影者A的臉部整面朝上。由此，在通過本裝置10的攝影光學(xué)系統(tǒng)11而由攝影部12攝影的全方位攝影的圖像數(shù)據(jù)中，拍攝到了攝影者A的鼻孔部。
[0091]因此，如圖5A所示在通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)中若沒有拍攝到攝影者A的鼻孔部，則視線方向判定部42判定為攝影者A的視線方向S朝向本裝置10的前面顯示部27。視線方向判定部42將該視線方向S設(shè)定為基準(zhǔn)視線方向G。
[0092]如圖5B所示在通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)中若拍攝到了攝影者A的鼻孔部，則視線方向判定部42判定為攝影者A的視線方向S朝向小孩C和父親B，不進(jìn)行基準(zhǔn)視線方向G的設(shè)定。
[0093]接著，說明由視線方向判定部42根據(jù)圖像數(shù)據(jù)中的攝影者A的臉部中的眼部的瞳孔位置來判定視線方向S時(shí)的具體例。
[0094]圖6A表示攝影者A的視線方向S朝向小孩C和父親B的情況。此時(shí)，通過本裝置10的攝影光學(xué)系統(tǒng)11而由攝影部12攝影的全方位攝影的圖像數(shù)據(jù)是拍攝到了攝影者A的眼部中的瞳孔和該瞳孔周圍的眼白的圖像數(shù)據(jù)。
[0095]圖6B表示攝影者A的視線方向S朝向小孩C和父親B的上方的情況。此時(shí)，通過攝影部12攝影的全方位攝影的圖像數(shù)據(jù)是拍攝到了攝影者A的眼部中的瞳孔和眼白位于2個(gè)區(qū)域、例如瞳孔位置為上方和眼白位置為下方這2個(gè)區(qū)域的圖像數(shù)據(jù)。
[0096]圖6C表示判斷為攝影者A的視線方向S朝向本裝置10的前面顯示部27，將視線方向S設(shè)定為基準(zhǔn)視線方向G的情況。此時(shí)，通過攝影部12攝影的全方位攝影的圖像數(shù)據(jù)是拍攝到了攝影者A的眼部中的瞳孔和眼白位于2個(gè)區(qū)域、例如瞳孔位置為下方而眼白位置為上方這2個(gè)區(qū)域的圖像數(shù)據(jù)。
[0097]因此，如圖6C所示在通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)中例如在瞳孔位置為下方而眼白位置為上方的2個(gè)區(qū)域進(jìn)行了攝影，則視線方向判定部42判定為攝影者A的視線方向S朝向本裝置10的前面顯示部27，將此時(shí)的視線方向S設(shè)定為基準(zhǔn)視線方向G。另外，在圖6A和圖6B所示狀態(tài)下，不進(jìn)行基準(zhǔn)視線方向G的設(shè)定。
[0098]接著，說明通過視線方向判定部42判定攝影者A的視線方向相對于基準(zhǔn)視線方向G為左側(cè)、右側(cè)或前方中的哪個(gè)時(shí)的具體例。
[0099]圖7A至圖7C表示攝影者A的臉部朝向前方而僅眼部的瞳孔朝向前方、左方向(左側(cè))、右方向(右側(cè))的情況，圖7A表示攝影者A的視線方向S位于前方的情況。攝影者A在正面朝向本裝置10的攝影光學(xué)系統(tǒng)11的狀態(tài)下被攝影。攝影者A的鼻部的鼻梁H存在于兩眼部之間。
[0100]在通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)上瞳孔位于眼部的中心，以該瞳孔為中心在左右兩側(cè)大致均等地拍攝到了眼白部，因此視線方向判定部42判定為攝影者A的視線方向S位于前方。
[0101]圖7B表示攝影者A的視線方向S在自身朝向的左側(cè)的情況。在通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)上瞳孔位于眼部的右側(cè)，在該瞳孔的左側(cè)拍攝到了眼白部，因此視線方向判定部42判定為攝影者A的視線方向S在自身朝向的左側(cè)。
[0102]圖7C表示攝影者A的視線方向S在自身朝向的右側(cè)的情況。在通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)上瞳孔位于眼部的左側(cè)，在該瞳孔的右側(cè)拍攝到了眼白部，因此視線方向判定部42判定為攝影者A的視線方向S在自身朝向的右側(cè)。
[0103]圖8A和圖8B表示攝影者A的臉部朝向側(cè)向而眼部的瞳孔朝向左方向(左側(cè))、右方向(右側(cè))的情況。圖8A表示攝影者A的視線方向S位于自身朝向的左側(cè)的情況。在通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)上瞳孔位于眼部的右側(cè)，在該瞳孔的左側(cè)拍攝到了眼白部，因此視線方向判定部42判定為攝影者A的視線方向S在自身朝向的左側(cè)。
[0104]圖8B表示攝影者A的視線方向S在自身朝向的右側(cè)的情況。在通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)上瞳孔位于眼部的左側(cè)，在該瞳孔的右側(cè)拍攝到了眼白部，因此視線方向判定部42判定為攝影者A的視線方向S在自身朝向的右側(cè)。
[0105]主要被攝體判定部43根據(jù)通過視線方向判定部42判定的視線方向S來判定攝影者A欲攝影的被攝體中的主要被攝體、即在視線方向S的延長線上存在的例如圖3B和圖3C所示的小孩C和父親B。
[0106]如果在具有攝影者A的鼻孔部的上方瞳孔位置朝下并且攝影者A的鼻梁和瞳孔位置不存在偏移，或者雖然不存在攝影者的鼻孔部然而瞳孔位置不存在上下方向的偏移且攝影者A的鼻梁和瞳孔位置不存在偏移，則主要被攝體判定部43判定為攝影者A的視線方向S是本裝置10側(cè)。
[0107]強(qiáng)調(diào)顯示部44對通過主要被攝體判定部43判定的主要被攝體進(jìn)行強(qiáng)調(diào)顯示。具體地，強(qiáng)調(diào)顯示部44對與通過圖像處理部40取得的圖像數(shù)據(jù)中的主要被攝體、例如圖3B和圖3C所示的小孩C和父親B對應(yīng)的圖像區(qū)域進(jìn)行強(qiáng)調(diào)用的圖像處理。關(guān)于強(qiáng)調(diào)用的圖像處理，例如進(jìn)行向小孩C和父親B等主要被攝體附加強(qiáng)調(diào)用的標(biāo)記、改變主要被攝體的配置位置或使與主要被攝體對應(yīng)的區(qū)域的濃淡級別相對改變之中的至少I個(gè)處理。
[0108]強(qiáng)調(diào)用的標(biāo)記F例如圖3B和圖3C所不，在全景圖像上使小孩C和父未B強(qiáng)調(diào)顯示。標(biāo)記F形成為環(huán)狀。標(biāo)記F不限于環(huán)狀，也可以為橢圓狀、四邊形狀等其他的形狀。關(guān)于標(biāo)記F，也可以改變小孩C和父親B等主要被攝體在圖像數(shù)據(jù)上的配置位置。標(biāo)記F還可以改變小孩C和父親B等主要被攝體的區(qū)域的濃淡級別，例如提高該區(qū)域的亮度。標(biāo)記F還可以進(jìn)行圖像處理以向小孩C和父親B等主要被攝體照射點(diǎn)光源。標(biāo)記F還可以進(jìn)行降低對比度或改變曝光等。
[0109]強(qiáng)調(diào)顯示部44在全方位攝影的圖像數(shù)據(jù)中設(shè)定了對主要被攝體進(jìn)行強(qiáng)調(diào)顯示的強(qiáng)調(diào)范圍。圖9中，將通過本裝置10取得的全方位攝影的圖像數(shù)據(jù)、例如全景圖像的縱向?qū)挾仍O(shè)定為角度Φ。縱向?qū)挾鹊慕嵌圈道缡菍⒈狙b置10配置于作為主要被攝體的父親B的胸部的高度位置處進(jìn)行攝影時(shí)，相對于將本裝置10與父親B的胸部的高度位置連結(jié)的水平線為下側(cè)的角度-10°、為上側(cè)的角度50°的角度范圍(-10°?50° =60° )。關(guān)于通過標(biāo)記F強(qiáng)調(diào)的范圍，若以該角度范圍(-10°?50° =60° )進(jìn)行強(qiáng)調(diào)，則不易得知強(qiáng)調(diào)的區(qū)域，因此例如設(shè)定為角度范圍60°的一半30°的范圍。
[0110]標(biāo)記F例如在橢圓狀的情況下，如圖10所示對由多個(gè)人物構(gòu)成的一群人物D進(jìn)行了攝影時(shí)，相對于該一群人物D的中心部將上側(cè)25°、下側(cè)10°設(shè)定為強(qiáng)調(diào)范圍。
[0111]如上在攝像部12與攝影者之間設(shè)有前面?zhèn)蕊@示部27。前面?zhèn)蕊@示部27上能夠顯示與圖像數(shù)據(jù)對應(yīng)的圖像和主要被攝體判定單元43的判定結(jié)果。攝影者通過觀看主要被攝體判定部43的判定結(jié)果，能夠確認(rèn)是否正確反映了攝影者的意圖。在攝影者看著被攝體和對象物時(shí)，難以同時(shí)觀看前面?zhèn)蕊@示部27等的顯示。也可以采用預(yù)先記錄攝影者看著被攝體的結(jié)果，將該結(jié)果持續(xù)顯示一段時(shí)間的做法。還可以對攝影者觀看了前面?zhèn)蕊@示部27的顯示的情況進(jìn)行檢測，進(jìn)行強(qiáng)調(diào)顯示。
[0112]下面，參照圖11說明基于標(biāo)記F的強(qiáng)調(diào)范圍的設(shè)定的根據(jù)。
[0113]攝影者A拿著本裝置10在例如距地面的高度為1.2m處對人物E等主要被攝體進(jìn)行攝影。人物E的身高例如為1.7m，在本裝置10與人物E之間的間隔例如為Im的條件下進(jìn)行攝影。本裝置10的攝影光學(xué)系統(tǒng)11的高度位置在水平方向J上與人物E的胸部的高度位置對應(yīng)。
[0114]在這種條件下，通過本裝置10對人物E攝影，為了使該人物E從胸部到臉部進(jìn)入到攝影范圍內(nèi)，需要相對于水平方向J使上側(cè)的角度Φ( = 25° )。另外，Φ =arctan (0.5) N 25°。其中，若僅對從人物E的胸部到臉部進(jìn)行攝影，則不存在人物E的背景，對于圖像的欣賞而言有不合適的地方，因而對角度Φ增倍而使上側(cè)的角度為50°。
[0115]在不存在由聲音檢測部46檢測出的對聲音的檢測且通過視線方向判定部42判定為主要被攝體是由多個(gè)人物構(gòu)成的人物群時(shí)，強(qiáng)調(diào)顯示部44對人物群進(jìn)行強(qiáng)調(diào)顯示。
[0116]顯示控制部45將通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)、例如實(shí)時(shí)取景圖像或全景圖像等顯示在前面顯示部27或背面顯示部29中的任意一方或兩方上。
[0117]聲音檢測部46輸入從麥克風(fēng)21輸出的聲音檢測信號,對包含攝影者的聲音和該攝影者以外的人物等主要被攝體的周圍的聲音進(jìn)行檢測。
[0118]接著，按照圖12所示的相機(jī)控制流程圖說明如上構(gòu)成的裝置的動(dòng)作。
[0119]控制部20在步驟SlOl中，判定是否設(shè)定為攝影模式。若判定的結(jié)果為設(shè)定為攝影模式，則控制部20在步驟S102中，判定包含攝影光學(xué)系統(tǒng)11的旋轉(zhuǎn)攝影體13是否朝向天頂。即，控制部20判定是否為全方位攝影。
[0120]若判定的結(jié)果為朝向天頂，則控制部20在步驟S103中，將被攝體的實(shí)時(shí)取景圖像等顯示在前面顯示部27或背面顯示部29中的任意一方或兩方上。即，攝影光學(xué)系統(tǒng)11通過具備作為魚眼鏡頭的功能的多個(gè)鏡頭對光軸P周圍的環(huán)狀的攝影區(qū)域的光成像。攝影部12將通過攝影光學(xué)系統(tǒng)11成像的光轉(zhuǎn)換為電氣模擬信號，將該模擬信號轉(zhuǎn)換為數(shù)字信號作為全方位攝影的圖像數(shù)據(jù)。圖像處理部40輸入從攝影部12輸出的圖像數(shù)據(jù)，對該圖像數(shù)據(jù)實(shí)施白平衡校正和伽馬校正等圖像處理。顯示控制部45將通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)、此處為實(shí)時(shí)取景圖像顯示在前面顯示部27或背面顯示部29中的任意一方或兩方上。
[0121]若上述步驟SlOl的判定結(jié)果并非攝影模式而是設(shè)定為其他模式、例如再現(xiàn)模式，則控制部20轉(zhuǎn)移到該再現(xiàn)模式。若上述步驟S102的判定結(jié)果為包含攝影光學(xué)系統(tǒng)11的旋轉(zhuǎn)攝影體13并非朝向天頂，則控制部20在步驟S104中轉(zhuǎn)移到通常攝影模式。
[0122]控制部20在步驟S105中，判斷在顯示實(shí)時(shí)取景圖像的是否為前面顯示部27。即，判斷在顯示實(shí)時(shí)取景圖像的顯示部是否為設(shè)置在與設(shè)有攝影光學(xué)系統(tǒng)11的面相同的面(前面?zhèn)鹊拿?上的前面顯示部27。通過該判斷如果在顯示實(shí)時(shí)取景圖像的是背面顯示部29，則控制部20將實(shí)時(shí)取景圖像的顯示切換為前面顯示部27。
[0123]若在通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)中包含攝影者A，則視線方向判定部42在步驟Slll中判定該攝影者A的視線方向S是否為本裝置10側(cè)(相機(jī)側(cè))。即，攝影者A例如圖3A所示以攝影者A自身、小孩C和父親B為中心進(jìn)行全景攝影時(shí)，如圖4所示將視線投向本裝置10的在顯示實(shí)時(shí)取景圖像的前面顯示部27側(cè)或小孩C和父親B側(cè)。
[0124]在判定攝影者A的視線方向S是否為本裝置10側(cè)時(shí)，臉部檢測部41將通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)的陰影圖形與在記錄部24中記錄的陰影圖形的圖像詞典進(jìn)行比較，根據(jù)比較結(jié)果判定圖像數(shù)據(jù)中的臉部，判定該臉部為哪個(gè)人物的。
[0125]視線方向判定部42如圖5A所示判定通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)中是否拍攝到了攝影者A的鼻孔部。
[0126]如果判定的結(jié)果為未拍攝到攝影者A的鼻孔部，則視線方向判定部42認(rèn)為攝影者A的視線方向S朝向本裝置10的前面顯示部27 (本裝置10側(cè))。
[0127]視線方向判定部42在步驟SI 12中，如圖5A所示將朝向本裝置10的前面顯示部27 (本裝置10側(cè))的攝影者A的視線方向S設(shè)定為基準(zhǔn)視線方向G。
[0128]視線方向判定部42將包含設(shè)定了基準(zhǔn)視線方向G時(shí)的攝影者A的臉部的圖像數(shù)據(jù)作為該攝影者A的臉部的初始圖形例如記錄于記錄部24等。
[0129]視線方向判定部42在步驟S113中，判定是否已進(jìn)行了攝影者A的視線方向S相對于基準(zhǔn)視線方向G為左側(cè)、右側(cè)或前方中的哪一個(gè)的判定、即攝影者A的視線方向S的朝向的判定。
[0130]其中，由于未進(jìn)行攝影者A的視線方向S相對于基準(zhǔn)視線方向G在左側(cè)、右側(cè)或前方中的哪一個(gè)的判定，因此控制部20經(jīng)過步驟SI 15而返回步驟S102，在步驟Slll中再次判定攝影者A的視線方向S是否為本裝置10側(cè)(相機(jī)側(cè))。
[0131]攝影者A的視線方向S為本裝置10側(cè)的判定已完畢，因此視線方向判定部42在步驟S121中，判定是否記錄了攝影者A的臉部的初始圖形。
[0132]判定的結(jié)果，攝影者A的臉部的初始圖形已在上述步驟S112中進(jìn)行了記錄，因此視線方向判定部42在步驟S122中，比較攝影者A的臉部的初始圖形與當(dāng)前時(shí)刻通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)中的攝影者A的臉部(以下，稱之為當(dāng)前時(shí)刻的攝影者A的臉部)。
[0133]比較的結(jié)果為，視線方向判定部42在步驟S123中，判定當(dāng)前時(shí)刻的攝影者A的臉部是否與攝影者A的臉部的初始圖形相比朝上、即如圖6B所示攝影者A的視線方向S是否朝向小孩C和父親B的上方。
[0134]若判定的結(jié)果為當(dāng)前時(shí)刻的攝影者A的臉部并未朝上，則視線方向判定部42在步驟S124中，認(rèn)為未判定為朝上，通過步驟S115返回步驟S102。
[0135]若當(dāng)前時(shí)刻的攝影者A的臉部朝上，則視線方向判定部42在步驟S131中，判定當(dāng)前時(shí)刻的攝影者A的臉部相對于攝影者A的臉部的初始圖形是否朝右、即圖7C所示攝影者A的視線方向S是否在自身朝向的右側(cè)。
[0136]若判定的結(jié)果為當(dāng)前時(shí)刻的攝影者A的臉部朝右，則視線方向判定部42在步驟S132中，判定為當(dāng)前時(shí)刻的攝影者A的臉部朝右。
[0137]另一方面，若當(dāng)前時(shí)刻的攝影者A的臉部并非朝右，則視線方向判定部42在步驟S133中，判定當(dāng)前時(shí)刻的攝影者A的臉部相對于攝影者A的臉部的初始圖形是否朝左、SP如圖7B所示攝影者A的視線方向S是否在自身朝向的左側(cè)。
[0138]若判定的結(jié)果為當(dāng)前時(shí)刻的攝影者A的臉部朝左，則視線方向判定部42在步驟S134中，判定為當(dāng)前時(shí)刻的攝影者A的臉部朝左。
[0139]若當(dāng)前時(shí)刻的攝影者A的臉部并非朝左，則由于已進(jìn)行了當(dāng)前時(shí)刻的攝影者A的臉部并非朝右的判定(步驟S131)，因此視線方向判定部42在步驟S135中，判定為當(dāng)前時(shí)刻的攝影者A的臉部朝向前方。
[0140]通過以上的處理，視線方向判定部42結(jié)束攝影者A的視線方向S相對于基準(zhǔn)視線方向G為左側(cè)、右側(cè)或前方中的哪一個(gè)的攝影者A的視線方向S的朝向的判定。
[0141]控制部20通過步驟SI 15返回步驟S102，在步驟SI 13中，再次判定是否結(jié)束了攝影者A的視線方向S相對于基準(zhǔn)視線方向G為左側(cè)、右側(cè)或前方中的哪一個(gè)的朝向的判定。判定的結(jié)果為該判定已結(jié)束，因此控制部20轉(zhuǎn)移到步驟SI 14。
[0142]主要被攝體判定部43在步驟S114中，根據(jù)通過視線方向判定部42判定的視線方向S，判定攝影者A欲攝影的被攝體中的主要被攝體、例如圖3B和圖3C所示的小孩C和父未B。
[0143]強(qiáng)調(diào)顯示部44對與通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)中的主要被攝體、例如圖3B和圖3C所示的小孩C和父親B對應(yīng)的圖像區(qū)域進(jìn)行強(qiáng)調(diào)用的圖像處理。作為強(qiáng)調(diào)用的圖像處理，例如進(jìn)行對小孩C和父親B等主要被攝體附加強(qiáng)調(diào)用的標(biāo)記、改變主要被攝體的配置位置或相對地改變與主要被攝體對應(yīng)的區(qū)域的濃淡級別之中的至少I個(gè)處理。
[0144]強(qiáng)調(diào)用的標(biāo)記F例如圖3B和圖3C所示在全景圖像上也形成為用于使小孩C和父親B強(qiáng)調(diào)顯示的環(huán)狀。附加了強(qiáng)調(diào)用的標(biāo)記F的圖像數(shù)據(jù)作為實(shí)時(shí)取景圖像在前面顯示部27上顯示。
[0145]控制部20在步驟S115中，判定是否進(jìn)行攝影。即，若進(jìn)行了對于操作判定部22的釋放按鈕的按壓操作或?qū)τ谇懊鎮(zhèn)扔|摸面板28的觸摸操作，則控制部20在該操作時(shí)進(jìn)行全景攝影，將通過該全景攝影取得的全景的圖像數(shù)據(jù)記錄于記錄部24。
[0146]S卩，若如圖3A所示進(jìn)行了全方位攝影，則圖像處理部40取得與該圖3B所示的攝影光學(xué)系統(tǒng)11的圖像圈對應(yīng)的環(huán)狀的作為攝影結(jié)果的圖像數(shù)據(jù)。主要被攝體判定部43在該圖像數(shù)據(jù)上，根據(jù)攝影者A的視線方向S判定攝影者A欲攝影的主要被攝體、此處為小孩C和父親B。強(qiáng)調(diào)顯示部44為了使小孩C和父親B強(qiáng)調(diào)顯示而將環(huán)狀的標(biāo)記F附加到圖像數(shù)據(jù)上?？刂撇?0將與攝影光學(xué)系統(tǒng)11的圖像圈對應(yīng)的環(huán)狀的攝影結(jié)果解壓縮作為圖3C所示的全景圖像，并且獲得為了使父親B強(qiáng)調(diào)顯示而附加了環(huán)狀的標(biāo)記F的全景圖像。
[0147]接著，說明視線方向判定部42進(jìn)行的攝影者A的視線方向S是否在本裝置10側(cè)的判定。
[0148]視線方向(尤其是攝影者A的視線方向)S原本利用圖5A和圖5B的箭頭S表現(xiàn)，而并非能夠?qū)⒃摷^S方向作為正確的視線方向檢測出來。在本實(shí)施方式中，從鼻梁和眼部的陰影部檢測臉部的朝向，并且考慮眼白和黑眼珠的配置來判定作為視線方向的箭頭S方向。
[0149]例如，如圖7A所示，若鼻梁位于兩眼部的中央部，而且兩眼部關(guān)于鼻梁位于對稱的位置，則判定為視線方向是圖5A和圖5B所示的箭頭S方向。在該視線方向S的判定中，如果無法判定鼻孔的圖形，則如圖5A所示判定為視線方向S相比水平方向而朝向下方。如果能夠檢測出鼻孔的圖形，則判定為視線方向S如圖5B所示朝向水平方向或相比水平方向朝向上方。
[0150]在視線方向S的判定中，例如可以預(yù)先記錄圖5A和圖5B所示的視線方向S作為基準(zhǔn)視線方向，將該基準(zhǔn)視線方向與應(yīng)判定的視線方向進(jìn)行比較，根據(jù)該比較結(jié)果推測應(yīng)判定的視線方向。
[0151 ] 在視線向左右移動(dòng)的情況下，通過檢測黑眼珠的位置相對于鼻梁向左右方向的哪個(gè)方向偏向，從而判定視線方向S為左方向或右方向。
[0152]接著，參照圖13所示的本裝置側(cè)視線方向的判定流程圖說明攝影者A的視線方向S的具體的判定。
[0153]視線方向判定部42在步驟S201中，判定是否通過臉部檢測部41在通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)中在作為本裝置10側(cè)的區(qū)域中檢測到了臉部、例如攝影者A的臉部。作為本裝置10側(cè)的區(qū)域，例如為在將本裝置10擺放成攝影者A向前面?zhèn)蕊@示部27投出視線，在直立的狀態(tài)下能夠觀看到該前面?zhèn)蕊@示部27的圖像的情況下，在該圖像數(shù)據(jù)中拍入了攝影者A的區(qū)域。
[0154]上述判定的結(jié)果為在作為本裝置10側(cè)的區(qū)域中檢測到攝影者A的臉部時(shí)，視線方向判定部42在步驟S202中，根據(jù)通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)，例如判定是否圖7A所示攝影者A的鼻部的鼻梁H存在于兩眼部之間，而且瞳孔是否分別位于兩眼部的中心且左右沒有偏移。
[0155]若判定的結(jié)果為攝影者A的鼻部的鼻梁H存在于兩眼部之間，瞳孔分別位于各眼部的中心且左右沒有偏移，則視線方向判定部42在步驟S203中，判定為攝影者A的視線方向S是本裝置10側(cè)。
[0156]若在作為本裝置10側(cè)的區(qū)域中未檢測到攝影者A的臉部，則視線方向判定部42從步驟S201移至步驟S204，判定是否如圖5B所示攝影者A的臉部朝上，拍攝到了攝影者A的鼻孔部，并且攝影者A的瞳孔位置位于下方而視線方向S在下方側(cè)，該攝影者A的視線方向S朝向本裝置10的前面顯示部27。
[0157]若判定的結(jié)果為攝影者A的臉部朝上且該攝影者A的視線方向S在下方側(cè)，則視線方向判定部42轉(zhuǎn)移到上述步驟S202。
[0158]另一方面，若攝影者A的臉部朝上且該攝影者A的視線方向S不在下方側(cè)，則視線方向判定部42在步驟S205中，根據(jù)通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)，判定是否如圖5A所示攝影者A的臉部的鼻孔部幾乎未被拍攝到，而且不存在攝影者A的瞳孔位置的向上下方向的偏移。
[0159]若判定的結(jié)果為攝影者A的臉部的鼻孔部幾乎未被拍攝到，而且不存在攝影者A的瞳孔位置的向上下方向的偏移，則視線方向判定部42轉(zhuǎn)移到上述步驟S202。
[0160]另一方面，若攝影者A的臉部的鼻孔部被拍攝到，而且存在攝影者A的瞳孔位置的向上下方向的偏移，則視線方向判定部42在步驟S206中，判定為攝影者A的視線方向S在本裝置10側(cè)以外。
[0161]接著，參照圖14所示的視線方向S的朝向判定流程圖，具體說明視線方向判定部42對視線方向S的朝向判定(圖12所示的步驟S132、134、135)。另外，攝影者A的視線方向S的朝向相對于基準(zhǔn)視線方向G為左側(cè)、右側(cè)或前方中的任意一個(gè)，將這些視線方向S的朝向表現(xiàn)為X。
[0162]視線方向判定部42在步驟S300中，判定能否按照例如圖7A至圖7C、圖8A和圖8B所示的各瞳孔位置判定攝影者A的視線方向S的朝向。
[0163]若判定的結(jié)果為無法判定，則視線方向判定部42在步驟S301中，根據(jù)通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)來判定攝影者A的臉部的圖像與通過麥克風(fēng)21收集的攝影者A和小孩C以及父親B等主要被攝體的各聲音的關(guān)系。即，視線方向判定部42在步驟S302中，判定在視線方向S的朝向X、即相對于基準(zhǔn)視線方向G的左側(cè)、右側(cè)或前方的視線方向S的延長線上是否存在小孩C和父親B等主要被攝體的臉部。以下，X表示左側(cè)、右側(cè)或前方。
[0164]若判定的結(jié)果為相對于基準(zhǔn)視線方向G在左側(cè)、右側(cè)或前方(X)的視線方向S的延長線上存在主要被攝體的臉部，則視線方向判定部42在步驟S303中，判定存在于上述左偵U、右側(cè)或前方(X)的視線方向S的延長線上的主要被攝體的臉部中的嘴部是否存在變化、例如嘴部是否存在開閉等的動(dòng)作。嘴部的開閉動(dòng)作的有無用于判定攝影者A是否正在與例如小孩C和父親B等主要被攝體進(jìn)行會話。
[0165]若判定的結(jié)果為主要被攝體的嘴部存在變化，則視線方向判定部42在步驟S304中，判定是否收集了從攝影者A的嘴部發(fā)出的聲音。麥克風(fēng)21通過立體聲收集聲音，因此控制部20能夠根據(jù)從該麥克風(fēng)21輸出的聲音信號來判定收集的聲音的方向。因此，視線方向判定部42通過使收集的聲音的方向與通過圖像處理部40取得的全方位攝影的圖像數(shù)據(jù)中的攝影者A的位置對應(yīng)起來，從而判定是否正在從攝影者A的臉部發(fā)出聲音。
[0166]若判定的結(jié)果為從攝影者A的臉部發(fā)出聲音，則視線方向判定部42在步驟S305中，根據(jù)從麥克風(fēng)21輸出的聲音信號，判定是否例如從左側(cè)、右側(cè)或前方的攝影者A的臉部發(fā)出聲音。
[0167]若判定的結(jié)果為從存在于視線方向S為左側(cè)、右側(cè)或前方的視線方向S的延長線上的攝影者A的臉部發(fā)出聲音，則視線方向判定部42在步驟S306中，將與根據(jù)從麥克風(fēng)21輸出的聲音信號獲得的視線方向S在左側(cè)、右側(cè)或前方對應(yīng)的攝影者A的眼部的瞳孔位置與例如在上述圖7A至圖7C、圖8A和圖8B所示的各瞳孔位置對應(yīng)起來，例如記錄于記錄部24，并進(jìn)行數(shù)據(jù)庫化。
[0168]強(qiáng)調(diào)顯示部44在步驟S310中，對在攝影者A的視線方向S為左側(cè)、右側(cè)或前方時(shí)的該視線方向S的延長線上存在的例如小孩C和父親B等主要被攝體進(jìn)行強(qiáng)調(diào)處理。
[0169]若上述步驟S305的判定的結(jié)果為在從攝影者A觀察時(shí)左側(cè)、右側(cè)或前方的視線方向S的延長線上存在的例如小孩C和父親B等主要被攝體沒有發(fā)出聲音，則視線方向判定部42在步驟S307中，判定在從攝影者A觀察時(shí)左側(cè)、右側(cè)或前方的視線方向S的延長線上存在的人物等主要被攝體是否為I人。
[0170]若判定的結(jié)果為人物等主要被攝體是I人，則強(qiáng)調(diào)顯示部44在上述步驟S310中，對在攝影者A的左側(cè)、右側(cè)或前方的視線方向S的延長線上存在的人物等主要被攝體的臉部進(jìn)行強(qiáng)調(diào)處理。
[0171]若人物等主要被攝體并非I人，則強(qiáng)調(diào)顯示部44在步驟S312中，對在攝影者A的左側(cè)、右側(cè)或前方的視線方向S的延長線上存在的多個(gè)人物等主要被攝體群的各臉部進(jìn)行強(qiáng)調(diào)處理。
[0172]若上述步驟S302的判定結(jié)果為沒有存在于視線方向S的朝向X、即相對于基準(zhǔn)視線方向G為左側(cè)、右側(cè)或前方的視線方向S的延長線上的人物等主要被攝體，則視線方向判定部42在步驟S311中，利用標(biāo)記F，在上述左側(cè)、右側(cè)或前方的視線方向S上、例如角度范圍30°的角度范圍內(nèi)對人物等主要被攝體進(jìn)行強(qiáng)調(diào)。
[0173]若上述步驟S300的判定的結(jié)果為能夠按照例如圖7A至圖7C、圖8A和圖8B所示的各瞳孔位置判定攝影者A的視線方向S的朝向，則視線方向判定部42在步驟S321中，按照該圖7A至圖7C、圖8A和圖SB所示的各瞳孔位置判定攝影者A的視線方向S的朝向。
[0174]根據(jù)上述一個(gè)實(shí)施方式，在全方位的攝影范圍對被攝體進(jìn)行攝影，若在從該全方位的攝影取得的全方位攝影的圖像數(shù)據(jù)中包含攝影者A，則判定該攝影者A的視線方向S，根據(jù)該判定的視線方向S判定攝影者A欲攝影的被攝體中的例如小孩C和父親B等主要被攝體，對該判定的主要被攝體進(jìn)行強(qiáng)調(diào)顯示，因此能夠取得能夠?qū)z影者A看著的被攝體中的例如小孩C和父親B等主要被攝體進(jìn)行強(qiáng)調(diào)的全景圖像。
[0175]在上述實(shí)施方式中，說明的是對于視線方向S的判定使用臉部的輪廓或鼻孔等的圖像判定等，然而不限于此，還可以使用預(yù)置基準(zhǔn)位置的方法或?qū)⒚總€(gè)基本的視線方向的多個(gè)眼部的圖像圖形預(yù)先作為詞典圖像進(jìn)行記錄，通過對全方位攝影的圖像數(shù)據(jù)與詞典圖像進(jìn)行比較從而判定視線方向的方法等，可以僅利用眼部的圖像來判定視線方向。
[0176]本裝置10不限于具有用于在全方位的攝影范圍對被攝體進(jìn)行攝影以取得全景圖像的攝影光學(xué)系統(tǒng)11，還可以具有能夠?qū)z影者A的眼部與攝影者A所看著的方向同時(shí)進(jìn)行攝影的攝影光學(xué)系統(tǒng)。
[0177]在強(qiáng)調(diào)處理中，使用了形成為環(huán)狀的標(biāo)記F，然而不限于該環(huán)狀的標(biāo)記F，還可以將橢圓狀、四邊形狀等其他形狀用作標(biāo)記F。強(qiáng)調(diào)處理可以為如下處理:在小孩C和父親B等主要被攝體的圖像數(shù)據(jù)上改變配置位置；改變小孩C和父親B等主要被攝體的區(qū)域的濃淡級別，例如提高該區(qū)域的亮度；進(jìn)行圖像處理以向小孩C和父親B等主要被攝體照射點(diǎn)光源；降低對比度；或改變曝光。
[0178]關(guān)于進(jìn)行強(qiáng)調(diào)的區(qū)域、例如利用形成為環(huán)狀的標(biāo)記F來進(jìn)行強(qiáng)調(diào)的范圍，例如可以設(shè)定為角度范圍30°，或者將相對于由多個(gè)人物構(gòu)成的一群人物D的中心部的上側(cè)25°、下側(cè)10°設(shè)定為強(qiáng)調(diào)范圍。該基于標(biāo)記F的強(qiáng)調(diào)范圍適合于用于進(jìn)行強(qiáng)調(diào)的小孩C和父親B等主要被攝體的大小。
[0179]如果是這種基于標(biāo)記F的強(qiáng)調(diào)范圍，則能夠明確地知道攝影者看著全景圖像中的哪個(gè)部分?？芍獢z影者以哪個(gè)被攝體為目的進(jìn)行了攝影。能夠得到在攝影現(xiàn)場的氣氛中，知道攝影者欲攝影的對象的被攝體、攝影者所看著的被攝體、攝影者印象較深的被攝體的全景圖像。因而，在日后欣賞全景圖像時(shí)，容易得知在攝影時(shí)所看著的被攝體，對于欣賞全景圖像而言是較大的幫助。
[0180]由于對攝影者A的左側(cè)、右側(cè)或前方的視線方向S進(jìn)行判定，因此在強(qiáng)調(diào)處理中，能夠強(qiáng)調(diào)在該攝影者A的左側(cè)、右側(cè)或前方的視線方向S的延長線上存在的人物等主要被攝體的臉部。
[0181]本裝置10在使用攝影者A的臉部的圖像的用戶界面具有特征，未必限于攝影裝置。例如，本裝置10還能應(yīng)用于各種設(shè)備的遙控器那樣針對產(chǎn)業(yè)用、醫(yī)療用裝置的操作部件等對象物進(jìn)行操作的結(jié)構(gòu)或擺放設(shè)備的操作部位，這都是不言自明的。
[0182]本裝置10若應(yīng)用于相機(jī)，則能夠用于以強(qiáng)調(diào)顯示的部位等的圖像區(qū)域?yàn)閷ο筮M(jìn)行無線操作的設(shè)備或集中觀察的設(shè)備。在能夠?qū)Ρ粩z體和攝影者進(jìn)行攝影的設(shè)備中，為了由攝影者擺放該相機(jī)并對臉部的朝向進(jìn)行判定并操作，需要進(jìn)行協(xié)調(diào)處理的技術(shù)。只要是符合這些條件的設(shè)備，就都能夠應(yīng)用其中。在車載設(shè)備那樣攝影者希望迅速向設(shè)備傳遞意圖的結(jié)構(gòu)中也是有效的。因而本裝置10屬于信息處理裝置。
[0183]在上述實(shí)施方式所述的本裝置10的各流程圖所示的各處理都能夠作為可使控制部20執(zhí)行的程序進(jìn)行存儲。該程序可存儲在存儲卡(ROM卡、RAM卡等)、磁盤(軟盤(注冊商標(biāo))、硬盤等)、光盤(⑶_R0M、DVD等)、半導(dǎo)體存儲器等的外部存儲裝置的存儲介質(zhì)中。
[0184]本領(lǐng)域技術(shù)人員熟知且容易想到所附加的優(yōu)點(diǎn)和變更。因此，本發(fā)明具備更廣的范圍而不局限于以上示出和描述的具體細(xì)節(jié)和代表性實(shí)施例。因此，在不脫離本發(fā)明的總體發(fā)明構(gòu)思的精神的范圍內(nèi)可以做出各種變更，本發(fā)明通過所附權(quán)利要求書及其等同物進(jìn)行限定。
[0185]相關(guān)申請的相互參考
[0186]本申請基于在2013年7月22日提出的在先日本專利申請2013-151929、并要求其優(yōu)先權(quán)，在此將其全部內(nèi)容并入本文作為參考。
【權(quán)利要求】
1.一種攝影裝置，其具有: 攝影部，其對包含位于前方的被攝體和位于后方的攝影者的至少眼部的范圍同時(shí)進(jìn)行攝影，所述被攝體包括主要被攝體； 圖像處理部，其對所述攝影部的輸出信號進(jìn)行圖像處理，取得圖像數(shù)據(jù)； 視線方向判定部，其判定由所述圖像處理部取得的所述圖像數(shù)據(jù)中的所述攝影者的視線方向； 主要被攝體判定部，其根據(jù)由所述視線方向判定部判定的所述視線方向，判定所述攝影者欲攝影的所述主要被攝體；以及 強(qiáng)調(diào)處理部，其對由所述主要被攝體判定部判定的所述主要被攝體進(jìn)行強(qiáng)調(diào)處理。
2.根據(jù)權(quán)利要求1所述的攝影裝置，其中， 所述攝影裝置具有顯示部，該顯示部設(shè)置于所述攝像部與所述攝影者之間，能夠顯示與所述圖像數(shù)據(jù)對應(yīng)的圖像和所述主要被攝體判定部的判定結(jié)果。
3.根據(jù)權(quán)利要求1所述的攝影裝置，其中， 所述視線方向判定部判定所述攝影者的所述視線方向是否朝著本裝置側(cè)，若所述視線方向朝著所述本裝置側(cè)，則將所述本裝置側(cè)的所述視線方向作為基準(zhǔn)，比較該基準(zhǔn)視線方向與所述攝影者的所述視線方向，判定該攝影者的所述視線方向。
4.根據(jù)權(quán)利要求3所述的攝影裝置，其中， 所述視線方向判定部根據(jù)所述基準(zhǔn)視線方向與所述攝影者的所述視線方向之間的比較結(jié)果，判定所述攝影者的所述視線方向相對于所述基準(zhǔn)視線方向?yàn)樽髠?cè)、右側(cè)或前方中的哪個(gè)方向。
5.根據(jù)權(quán)利要求3所述的攝影裝置，其中， 如果具有所述攝影者的鼻孔部，瞳孔位置朝向下方且所述攝影者的鼻梁和所述瞳孔位置不存在偏移，則所述視線方向判定部判定為所述攝影者的所述視線方向朝著所述本裝置側(cè)。
6.根據(jù)權(quán)利要求3所述的攝影裝置，其中， 如果沒有所述攝影者的鼻孔部，瞳孔位置在上下方向上沒有偏移，且所述攝影者的鼻梁和所述瞳孔位置不存在偏移，則所述視線方向判定部判定為所述攝影者的所述視線方向朝著所述本裝置側(cè)。
7.根據(jù)權(quán)利要求3所述的攝影裝置，其中， 如果所述攝影者的鼻梁和瞳孔位置存在偏移，則所述視線方向判定部判定為所述攝影者的所述視線方向朝著所述本裝置以外。
8.根據(jù)權(quán)利要求3所述的攝影裝置，其中， 如果不存在所述攝影者的鼻孔部，瞳孔位置存在偏移，則所述視線方向判定部判定為所述攝影者的所述視線方向朝著所述本裝置以外。
9.根據(jù)權(quán)利要求4所述的攝影裝置，其中， 所述攝影裝置還具有檢測所述攝影者和所述主要被攝體的聲音的聲音檢測部， 所述視線方向判定部根據(jù)在上述判定出的所述視線方向上存在的所述主要被攝體、由所述聲音檢測部檢測出的所述聲音、所述攝影者和所述主要被攝體的各圖像，判定在所述攝影者與所述主要被攝體之間是否存在會話，當(dāng)判定為存在所述會話時(shí)，將所述攝影者的瞳孔位置與所述左側(cè)、所述右側(cè)或所述前方中的任意一個(gè)所述視線方向關(guān)聯(lián)起來。
10.根據(jù)權(quán)利要求6所述的攝影裝置，其中， 當(dāng)所述視線方向判定部判定為所述聲音檢測部沒有檢測出所述聲音且所述主要被攝體為由多個(gè)人物構(gòu)成的人物群時(shí)， 所述強(qiáng)調(diào)處理部對所述人物群進(jìn)行強(qiáng)調(diào)處理。
11.根據(jù)權(quán)利要求1所述的攝影裝置，其中， 所述強(qiáng)調(diào)處理部對所述圖像數(shù)據(jù)中的與所述主要被攝體對應(yīng)的圖像區(qū)域進(jìn)行強(qiáng)調(diào)用的圖像處理， 所述強(qiáng)調(diào)用的圖像處理進(jìn)行如下處理中的至少I個(gè)處理:對所述主要被攝體附加強(qiáng)調(diào)用的標(biāo)記的處理、改變所述主要被攝體的配置位置的處理、或相對地改變與所述主要被攝體對應(yīng)的區(qū)域的濃淡級別的處理。
12.根據(jù)權(quán)利要求1所述的攝影裝置，其中， 所述強(qiáng)調(diào)處理部在所述圖像數(shù)據(jù)中設(shè)定對所述主要被攝體進(jìn)行強(qiáng)調(diào)顯示的強(qiáng)調(diào)范圍。
13.根據(jù)權(quán)利要求1所述的攝影裝置，其中， 所述攝影部具有用于全方位進(jìn)行攝影的攝影光學(xué)系統(tǒng)，輸出全方位攝影的圖像數(shù)據(jù)。
14.一種攝影方法，包括如下步驟: 對包含位于前方的被攝體和位于后方的攝影者的至少眼部的范圍同時(shí)進(jìn)行攝影，所述被攝體包括主要被攝體， 對通過所述攝影獲得的攝影信號進(jìn)行圖像處理而取得圖像數(shù)據(jù)， 判定所述圖像數(shù)據(jù)中的所述攝影者的視線方向， 根據(jù)所述視線方向判定所述攝影者欲攝影的所述主要被攝體， 對所述欲攝影的所述主要被攝體進(jìn)行強(qiáng)調(diào)處理。
【文檔編號】H04N5/232GK104333690SQ201410350473
【公開日】2015年2月4日 申請日期:2014年7月22日 優(yōu)先權(quán)日:2013年7月22日
【發(fā)明者】佐藤和宏, 山本紗知惠, 沼尻恭一, 野中修 申請人:奧林巴斯映像株式會社, 奧林巴斯株式會社
相關(guān)技術(shù)
網(wǎng)友詢問留言
已有0條留言
- 還沒有人留言評論。精彩留言會獲得點(diǎn)贊！
1